SP CASTSP CASTبودكاست سوشيالجي

الرئيسية ← ذكاء اصطناعي

ذكاء اصطناعي

وكلاء الذكاء الاصطناعي داخل المؤسسات: من يراجع القرارات التي تنفذها الأدوات؟

تحليل معمق للانتقال من إجابات النماذج إلى الأفعال التشغيلية، وللفجوة بين صلاحية الوصول وإثبات المسؤولية.

مبرمج يعمل على حاسوب في بيئة تقنية مرتبطة بأمن البرمجيات؛ صورة تعبيرية
صورة توضيحية خاصة بالمادة - المصدر: Pexels / cottonbro studio

من الإجابة إلى الفعل

أصبح من الممكن وصل النماذج اللغوية بأدوات للبحث والملفات والبرمجة والتواصل. لكن النجاح في كتابة إجابة مفيدة لا يعادل الأمان عند إرسال رسالة أو تعديل سجل أو تنفيذ إجراء مالي. الفارق هو أن الخطأ في النص قابل للتصحيح غالبًا، بينما قد يترك الفعل أثرًا خارج المحادثة.

لهذا ينبغي دراسة الوكيل باعتباره سلسلة قرارات: من طلب المهمة، وما البيانات التي اطلع عليها، وأي أداة استدعاها، وبأي صلاحية، ومن يستطيع إيقافه.

أين تبدأ حدود الثقة؟

قد يقرأ الوكيل صفحة ويب أو ملفًا أرسله طرف آخر. هذه البيانات ليست تعليمات مخولة حتى لو تضمنت جملًا آمرة. يشير إطار OWASP إلى حقن التعليمات باعتباره خطرًا عند الخلط بين المحتوى الخارجي وتعليمات التشغيل.

لا تكفي فلترة كلمات بعينها؛ فقد تأتي محاولة التأثير داخل مستند أو نتيجة بحث أو تعليق برمجي. ينبغي أن تبقى صلاحية الأداة منفصلة عن النص الذي يقرأه النموذج، وأن يخضع أي إجراء حساس لسياسة مستقلة.

مساءلة الأدوات لا مساءلة النص وحده

تتطلب الحوكمة سجلات تشرح نوع الإجراء وسببه والبيانات التي استند إليها والهوية المخولة به. لكن السجل نفسه ليس دليلًا على صحة القرار إذا كان مصدر المعلومات مضللًا. لذلك يفيد الجمع بين الحد الأدنى من الصلاحيات، وبيئة اختبار معزولة، ومراجعة بشرية للأفعال غير القابلة للعكس.

التمييز ضروري بين موافقة شكلية يضغطها الموظف دون قراءة، ومراجعة حقيقية توفر له سياق القرار وبدائله ومخاطره.

ما الذي تثبته الوثائق؟

توفر وثائق NIST AI RMF إطارًا لإدارة المخاطر عبر الحوكمة والقياس والإدارة. وتعرض وثائق OWASP أنماط مخاطر النماذج والتطبيقات المرتبطة بها. هذه مصادر أولية لفهم الإرشادات، لكنها لا تثبت أن منتجًا بعينه آمن أو غير آمن.

تصف شركات تطوير النماذج أيضًا وسائل حماية ومحدوديات. يجب التعامل مع ادعاءات المورد باعتبارها نقطة بدء للتحقق، لا بديلًا عن اختبار مستقل يحدد المهمة والإصدار والإعدادات.

بروتوكول بحث أصلي مقترح

يمكن بناء خمس مهام في بيئة وهمية: تلخيص ملف يتضمن تعليمات غير موثوقة، إرسال بريد يتطلب موافقة، تعديل سجل عميل، طلب استرجاع مبلغ، وقراءة بيانات مقيدة. توثق كل تجربة حدود الأذونات، واستدعاءات الأدوات، وقرار التصعيد، والنتيجة.

لم تنفذ SP CAST هذه التجارب ضمن إعداد المادة، ولم تُجر مقابلات أصلية. لذلك لا ننسب إلى أنفسنا نتائج ميدانية أو نسب نجاح. تصبح هذه الأسئلة خطة قابلة للتنفيذ في تغطية Tarbell مستقبلًا، إذا توفرت الموارد والموافقات.

أسئلة للمساءلة الصحفية

من يملك سجل الأفعال؟ هل يستطيع العميل معرفة أن وكيلًا اتخذ قرارًا في ملفه؟ هل توجد آلية اعتراض أو تراجع؟ ماذا يحدث عند توقف الخدمة أو تبدل النموذج؟ وهل تقاس الأخطاء على الحالات النادرة ذات الأثر الكبير أم على متوسط الإجابات فقط؟

هذه الأسئلة تحول نقاش الوكلاء من وعود الكفاءة إلى اختبار المسؤولية المؤسسية.

الخلاصة

لا تكمن القضية في جعل الوكيل يبدو واثقًا، بل في بناء نظام يتيح إثبات ما فعله، ومن أذن له، وكيف يمكن إيقافه وتصحيح أثره.

المصادر

شارك المادة