سؤال السلطة قبل سؤال الدقة
تخيل مساعدًا مؤسسيًا مخولًا بإعداد طلب شراء ثم إرساله بعد الموافقة. قد يفهم الطلب بدقة، ويختار المورد الصحيح، لكنه ينفذ عملية الإرسال قبل مراجعة الشخص المخول. في هذا المثال الافتراضي لم يفشل النموذج في فهم اللغة؛ بل فشل تصميم النظام في الفصل بين اقتراح الفعل والتصريح بتنفيذه. لهذا لا يكفي قياس جودة الإجابة وحدها.
أربع حلقات في سلسلة القرار
تمر العملية عادة بطلب المستخدم، وتفسير النموذج له، واختيار الأداة والوسائط، ثم تنفيذ الإجراء عبر نظام خارجي. في كل حلقة توجد صلاحية مختلفة: من يطلب؟ ما البيانات التي يراها المساعد؟ أي أداة يمكن استدعاؤها؟ وهل يحق لها تعديل سجل أو إرسال رسالة أو تحويل مبلغ؟ إذا كان حساب الأداة يملك صلاحيات واسعة، فقد يتجاوز أثر الخطأ حدود المحادثة نفسها.
الفرق بين الخطأ والتلاعب
قد يصدر فعل غير مرغوب فيه بسبب غموض التعليمات، أو خطأ في اختيار الأداة، أو بيانات غير محدثة. وقد يحاول محتوى خارجي حقن تعليمات خبيثة داخل مستند أو صفحة يقرأها المساعد. توضح OWASP مخاطر حقن التعليمات ومبدأ عدم اعتبار المحتوى غير الموثوق أمرًا أعلى سلطة. لا يثبت ظهور استدعاء غير صحيح وحده وجود هجوم؛ يجب توثيق مصدر التعليمات وتسلسل القرار.
ما الذي تقوله الأطر المرجعية؟
يدعو إطار NIST لإدارة مخاطر الذكاء الاصطناعي إلى حوكمة المخاطر وقياسها وإدارتها على امتداد دورة حياة النظام. ويقدم ملف الذكاء الاصطناعي التوليدي اعتبارات إضافية للمخاطر المرتبطة بهذه الأنظمة. هذه الوثائق لا تصادق على منتج بعينه، ولا تعني أن وجود سياسة مكتوبة يضمن ضبط التنفيذ. الاختبار ينبغي أن يشمل الصلاحيات الفعلية للأدوات وسلوكها تحت ظروف غير متوقعة.
بروتوكول اختبار في بيئة معزولة
أنشئ أداة وهمية لا تتصل بخدمات حقيقية، وتستقبل طلبات من ثلاثة أنواع: قراءة معلومة، وتعديل سجل تجريبي، وإرسال رسالة اختبار. خصص لكل نوع حدًا مختلفًا من الصلاحيات. اطلب من المساعد تنفيذ سيناريو عاديًا، ثم سيناريو غامضًا، ثم سيناريو يتضمن تعليمات متعارضة داخل مستند تجريبي. سجل طلب المستخدم الأصلي، والمحتوى المسترجع، واسم الأداة، والوسائط، وقرار التأكيد البشري، ونتيجة التنفيذ. لا تستخدم بيانات عملاء أو مفاتيح إنتاج.
معيار النجاح ليس عدد الإجابات الصحيحة
ينبغي أن يرفض النظام تعديل السجل عند غياب التفويض، وأن يطلب تأكيدًا صريحًا قبل الإجراءات ذات الأثر الخارجي، وأن يمنع تكرار الفعل عند إعادة المحاولة. قارن السلوك بين حساب محدود الصلاحية وحساب إداري، وتحقق من أن رفض التنفيذ يحدث في طبقة الأداة أو الخدمة أيضًا، لا في نص تعليمات النموذج فقط.
الأدلة التي يحتاجها التدقيق
النتيجة القابلة للمراجعة تتطلب سجلًا زمنيًا للأحداث ومعرفًا لكل استدعاء، وإثبات هوية صاحب الطلب، وقرار السماح أو المنع، والنسخة المستخدمة من سياسة الصلاحيات. ويجب حماية السجلات نفسها من احتواء أسرار أو بيانات شخصية غير ضرورية. سجلات المحادثة وحدها قد لا تكشف ما نفذته الأداة بالفعل.
أسئلة للمورد قبل التعاقد
هل يمكن تخصيص صلاحيات كل أداة على حدة؟ هل يدعم النظام الموافقة البشرية قبل العمليات الحساسة؟ هل يمكن إيقاف التنفيذ عند تغير حالة الطلب؟ هل يحتفظ بسجل مستقل عن مخرجات النموذج؟ وهل يستطيع العميل اختبار سيناريوهات الفشل دون الوصول إلى بيانات الإنتاج؟ الإجابات التسويقية العامة لا تغني عن عرض تقني قابل للتحقق.
حدود التقرير
هذه مادة تحليلية قائمة على وثائق منشورة وبروتوكول اختبار مقترح. لم تُجر مقابلات أصلية أو تجارب اختراق مستقلة، ولم يُختبر منتج تجاري محدد. السيناريوهات افتراضية، والضوابط المقترحة تحتاج إلى تكييف بحسب البنية التقنية والقانونية للمؤسسة.
الخلاصة
المساعد الآمن ليس من يجيب بصورة مقنعة فقط، بل من يتوقف عند حدود سلطته. يجب أن يكون التفويض قرارًا تنفذه الأنظمة، لا مجرد طلب مهذب داخل المحادثة.

