السؤال الذي يسبق جودة الإجابة
يطلب موظف من مساعد مؤسسي تلخيص سياسة داخلية. يبحث النظام في فهرس مستندات ويعيد مقتطفًا يبدو مناسبًا، لكن الوثيقة تحتوي على معلومات لا يملك الموظف صلاحية الاطلاع عليها. في هذا السيناريو الافتراضي لا تكمن المشكلة في بلاغة النموذج؛ بل في المسار الذي سمح للمحتوى المحمي بالوصول إلى مرحلة توليد الإجابة.
كيف تتكون سلسلة الوصول؟
تبدأ العملية عند تخزين المستند وتحديد صلاحياته، ثم فهرسته وتقسيمه إلى مقاطع، وربما إنشاء تمثيلات بحثية له، وأخيرًا استرجاع المقاطع وتمريرها إلى النموذج. إذا جرى فحص صلاحيات المستخدم عند فتح الملف الأصلي فقط، ولم يُطبق الفحص نفسه عند استرجاع المقاطع، فقد تصبح طبقة البحث منفذًا غير مقصود للمعلومات.
فصل ثلاث مشكلات مختلفة
أولًا: الاسترجاع غير المصرح به، عندما يصل إلى النموذج مقطع لا يحق للمستخدم رؤيته. ثانيًا: الإفصاح في الإجابة، عندما يعيد النموذج معلومات حساسة. ثالثًا: حقن التعليمات، عندما يحاول نص داخل المستند تغيير سلوك المساعد. قد تتداخل المشكلات، لكن لكل منها اختبارًا وضابطًا مختلفًا؛ ولا يصح استخدام مصطلح واحد لوصفها جميعًا.
ماذا تقول المصادر الأولية؟
يوفر NIST إطارًا لإدارة مخاطر أنظمة الذكاء الاصطناعي عبر الحوكمة والقياس والإدارة. وتعرض OWASP فئات مخاطر التطبيقات القائمة على النماذج اللغوية، ومنها الإفصاح عن المعلومات الحساسة وحقن التعليمات. وتشرح وثائق البحث المؤسسي لدى Microsoft آليات أمنية على مستوى خدمة البحث. هذه الوثائق تقدم مبادئ وأدوات، لكنها لا تثبت وقوع تسرب في نظام محدد.
بروتوكول اختبار يمكن تدقيقه
أنشئ في بيئة معزولة مستندين اصطناعيين: أحدهما متاح لجميع المستخدمين، والآخر لمجموعة محددة. ضع في الثاني عبارة اختبار غير حساسة وفريدة. اختبر الاسترجاع والإجابة بحسابين مختلفي الصلاحيات، وسجل هوية الحساب وصلاحياته ومعرف المستند والمقاطع التي أعادها البحث. ينبغي أن تكون العبارة الوهمية غير قابلة للخلط مع سر حقيقي.
ما الذي يجعل الدليل أقوى؟
لا يكفي أن يظهر النص في إجابة واحدة. يجب إعادة التجربة بعد مسح ذاكرة الجلسة، وتحديد ما إذا كان التسرب من الفهرس أو من سجل المحادثة أو من ذاكرة مؤقتة، ومقارنة سجلات التحكم في الوصول. يمكن الاستعانة بمراجعة بشرية مستقلة وإعادة الاختبار بعد تغيير الصلاحيات، مع الاحتفاظ بالنتائج السلبية أيضًا لتجنب انتقاء الأمثلة.
الضوابط والمسؤوليات
الحد الأدنى هو تطبيق تفويض الوصول عند الاسترجاع نفسه، وتحديث الفهارس عندما تتغير الصلاحيات، وتقليل البيانات المرسلة إلى النموذج، ومراقبة الاستدعاءات. لا يحل التنبيه النصي «لا تكشف الأسرار» محل التحكم التقني. كما ينبغي أن يكون مالك البيانات وفريق الأمن ومشغل النظام قادرين على تفسير مسار الوثيقة من التخزين إلى الإجابة.
حدود التقرير
هذا تحليل وثائقي أصلي وبروتوكول اختبار مقترح، وليس نتيجة تجربة ميدانية منفذة. لم تُجر مقابلات أصلية أو اختبارات اختراق مستقلة لإعداد المادة، ولا تُنسب إلى مؤسسة محددة واقعة تسرب لم تُثبت. الأمثلة الواردة افتراضية لتوضيح حدود الصلاحيات.
الخلاصة
يبدأ أمان المساعد المؤسسي قبل وصول النص إلى النموذج: عند من يحق له استرجاع المعلومة، وكيف يُثبت النظام أنه احترم ذلك الحق في كل خطوة.