المشكلة تبدأ عندما يقرأ الوكيل شيئًا لم يكتبه المستخدم
يعمل كثير من وكلاء الذكاء الاصطناعي عبر قراءة صفحات ويب ومستندات ورسائل ومستودعات برمجية. هذه المصادر ضرورية لتنفيذ المهمة، لكنها لا تتمتع بالسلطة نفسها التي تتمتع بها تعليمات المستخدم أو النظام. الخطر يظهر عندما تُصاغ جملة داخل مصدر خارجي على هيئة أمر، ثم يعاملها الوكيل كما لو كانت توجيهًا مشروعًا.
يسمى ذلك حقن التعليمات أو Prompt Injection. وهو يختلف عن سؤال المستخدم المباشر: المهاجم هنا يحاول تمرير تعليمات عبر مادة يُفترض أن تُقرأ بوصفها بيانات، لا بوصفها أوامر.
سلسلة الثقة: من يحق له إصدار الأمر؟
يمكن تصور المهمة على ثلاث طبقات: المستخدم يحدد الهدف، والأدوات تجلب مواد خارجية، والوكيل يقرر كيف يستخدمها. ينبغي ألا تستطيع صفحة نتائج أو ملف مرفق إعادة تعريف الهدف أو توسيع الصلاحيات.
مثلًا، إذا كان المطلوب تلخيص تقرير، فوجود عبارة داخل التقرير تطلب إرسال بيانات خاصة إلى عنوان آخر لا يحول هذا الطلب إلى تعليمات مخولة. النص قد يكون جزءًا من المحتوى الذي يجب وصفه، لا فعلًا يجب تنفيذه.
لماذا تصبح المشكلة أخطر مع الأدوات؟
في روبوت محادثة يقتصر على الإجابة، قد ينتج عن الهجوم نص مضلل. أما الوكيل الذي يملك الوصول إلى بريد أو ملفات أو أدوات نشر، فقد يصبح الخطأ إجراءً خارجيًا: إرسال معلومات، تعديل ملف، أو اعتماد نتيجة غير صحيحة.
لذلك لا تكفي مقارنة جودة الإجابات؛ ينبغي فحص الأفعال المسموح بها، ومنح الأذونات بحسب المهمة، وطلب تأكيد صريح قبل الإجراءات غير القابلة للعكس.
ما الذي تقوله المصادر الأولية؟
تناقش أبحاث منشورة من شركات تطوير النماذج أن حقن التعليمات يمثل مشكلة في الحدود بين التعليمات الموثوقة والمحتوى الأقل ثقة. كما تصف أدبيات أمن التطبيقات هذه الفئة من المخاطر عند توصيل النماذج بأدوات ومصادر خارجية.
لكن مجرد نشر اختبار ناجح ضد نموذج معين لا يثبت أن كل النماذج قابلة للاختراق بالنسبة نفسها. النتائج تعتمد على نوع المهمة والأدوات والحواجز ونموذج التهديد، وقد تتغير مع التحديثات.
منهجية تحقق قابلة لإعادة التنفيذ
لإجراء اختبار أصلي لاحقًا، ينبغي أولًا بناء بيئة معزولة ببيانات وهمية، ثم تحديد مهمة شرعية واضحة وإدخال مصدر خارجي يحتوي على تعليمات عدائية معروفة. يسجل الباحث هل التزم الوكيل بالهدف، وهل حاول استدعاء أداة غير مصرح بها، وهل طلب تأكيدًا.
يلزم تكرار الاختبار عبر سيناريوهات متعددة وتوثيق الإصدارات والإعدادات. لا تُعد هذه المادة تقريرًا عن اختبار نفذته SP CAST، ولم تُجر مقابلات ميدانية أو تجارب اختراق في إعدادها.
حدود الاستنتاج
لا يمكن استنتاج معدل انتشار عالمي من أمثلة منشورة أو عروض توضيحية. كذلك لا يمكن الجزم بسلامة منتج لمجرد نجاحه في سيناريو واحد. وينبغي فصل ما تقوله الشركة عن وسائل الحماية عما تثبته اختبارات مستقلة.
عند استخدام وثائق شركة مطورة لنموذجها، تبقى هذه وثائق أولية مهمة لفهم التصميم والادعاءات، لكنها ليست بديلًا عن التحقق الخارجي.
مسؤولية المؤسسة المستخدمة
ابدأ بتصنيف المصادر الخارجية على أنها بيانات غير موثوقة، ثم قيد الوصول للأدوات الحساسة، وسجل الأفعال، وراجع الطلبات التي تتجاوز المهمة. وفي الأعمال عالية الأثر، اجعل التنفيذ البشري شرطًا قبل النشر أو الدفع أو مشاركة البيانات.
الهدف ليس منع الوكلاء من قراءة الويب، بل منع أي نص يجدونه من التحول تلقائيًا إلى سلطة على أنظمة المؤسسة.
الخلاصة
السؤال الصحفي الأهم ليس هل يستطيع الوكيل قراءة صفحة خبيثة، بل متى يمكن أن تتحول قراءة الصفحة إلى فعل غير مأذون به. هذا الفرق هو أساس المساءلة التقنية والتنظيمية.

