RT لمساعدة Simon على زيادة الوعي بهجمات الحقن الفورية في LLMs. يبدو إلى حد ما مثل الغرب المتوحش للحوسبة المبكرة ، مع فيروسات الكمبيوتر (الآن = مطالبات ضارة مختبئة في بيانات / أدوات الويب) ، وليس دفاعات متطورة (مكافحة الفيروسات ، أو نموذج أمان kernel / مساحة المستخدم الأكثر تطورا حيث يتم إعطاء الوكيل على سبيل المثال أنواع إجراءات محددة للغاية بدلا من القدرة على تشغيل البرامج النصية bash التعسفية). متضاربة لأنني أريد أن أكون من أوائل المتبنين لوكلاء LLM في الحوسبة الشخصية الخاصة بي ، لكن الغرب المتوحش للاحتمالات يعيقني.
Simon Willison
Simon Willison‏16 يونيو 2025
If you use "AI agents" (LLMs that call tools) you need to be aware of the Lethal Trifecta Any time you combine access to private data with exposure to untrusted content and the ability to externally communicate an attacker can trick the system into stealing your data!
يجب أن أوضح أن الخطر يكون أعلى إذا كنت تدير وكلاء LLM محليين (مثل Cursor و Claude Code وما إلى ذلك). إذا كنت تتحدث فقط إلى LLM على موقع ويب (مثل ChatGPT) ، فإن الخطر أقل بكثير * ما لم تبدأ في تشغيل الموصلات. على سبيل المثال ، رأيت للتو ChatGPT يضيف دعم MCP. سيجمع هذا بشكل سيئ بشكل خاص مع جميع ميزات الذاكرة المضافة مؤخرا - على سبيل المثال تخيل أن ChatGPT يخبر كل ما يعرفه عنك لبعض المهاجمين على الإنترنت لمجرد أنك حددت المربع الخطأ في إعدادات الموصلات.
‏‎386.34‏K