الحد الفاصل الذي لا يظهر في المحادثة
قد يتلقى وكيل الذكاء الاصطناعي طلبًا مشروعًا لتلخيص ملف، ثم يجد داخل الملف نصًا يأمره بإرسال البيانات إلى عنوان خارجي أو بتغيير هدف المهمة. النص الموجود في الملف جزء من مادة غير موثوقة، لا تعليمات جديدة من المستخدم. هنا تبدأ مشكلة حقن التعليمات.
ماذا تقول المصادر الأولية
توثق إرشادات OWASP مخاطر حقن التعليمات المباشر وغير المباشر، وتوصي بعزل المحتوى غير الموثوق عن التعليمات ذات السلطة، وتقليل الصلاحيات والتحقق من استدعاءات الأدوات. ويقدم إطار NIST AI RMF طريقة أوسع لحوكمة المخاطر وقياسها وإدارتها. هذه الإرشادات لا تشكل شهادة أمان لأي منتج بعينه.
لماذا تختلف المخاطر عندما يمتلك النموذج أدوات
إذا كان النظام يلخص مستندًا فقط، قد تظهر المشكلة في الإجابة. أما إذا كان يستطيع إرسال بريد أو تعديل قاعدة بيانات أو استدعاء واجهة برمجية، فقد يتحول التأثير النصي إلى إجراء خارجي. لذلك لا يكفي فحص المخرجات اللغوية؛ يجب ضبط الصلاحيات عند مستوى الأداة نفسها.
مسار تحقق قابل لإعادة التنفيذ
يمكن اختبار الوكيل داخل بيئة معزولة باستخدام ملفات وهمية، تتضمن أحدها تعليمات مزروعة تدعي امتلاك سلطة أعلى. تُسجل استدعاءات الأدوات والبيانات التي حاول النظام الوصول إليها، ويُقارن السلوك بقائمة صلاحيات محددة مسبقًا. يجب منع الاتصال بخدمات حقيقية أو استخدام معلومات أشخاص خلال الاختبار.
أسئلة تحتاج إجابات من الموردين
هل يمكن فصل صلاحية القراءة عن صلاحية الإرسال؟ هل تظهر للمراجع البشري وجهة الإرسال والمحتوى قبل التنفيذ؟ ما الذي يسجله النظام عن مصدر التعليمات؟ وهل يستطيع المسؤول إلغاء التفويض فورًا؟ هذه أسئلة تدقيق قابلة للتحقق وليست اتهامات لشركة بعينها.
حدود هذا التقرير
اعتمد هذا التحليل على وثائق تقنية وأطر حوكمة منشورة. لم تجر SP CAST في إعداد هذه المادة مقابلات أصلية أو تجارب اختراق مستقلة؛ لذلك لا ننسب نتائج مختبرية أو شهادات إلى أشخاص لم نتواصل معهم.
الخلاصة
المعيار الحقيقي ليس قدرة الوكيل على فهم النص، بل قدرته على رفض تحويل محتوى خارجي إلى سلطة تشغيلية. وتبدأ المساءلة من تصميم الصلاحيات وسجلات الأفعال، لا من وعود الدقة وحدها.