SP CASTSP CASTبودكاست سوشيالجي

الرئيسية ← ذكاء اصطناعي

ذكاء اصطناعي

حين يسترجع مساعد الذكاء الاصطناعي وثيقة لا ينبغي أن يراها: أين يفشل حاجز الصلاحيات؟

قراءة معمقة في مخاطر استرجاع الوثائق، والفصل بين هوية المستخدم وصلاحية أداة البحث، والأدلة اللازمة لاختبار التسرب.

مختص يعمل على حاسوب محمول في بيئة تقنية مع شاشة تعرض بيانات أمنية
صورة توضيحية خاصة بالمادة - المصدر: Pexels / Antoni Shkraba

الإجابة الصحيحة قد تكون تسربًا

يسأل موظف مساعدًا داخليًا عن سياسة سفر الشركة، فيعرض المساعد فقرة من ملف مالي سري أدرجه محرك البحث ضمن النتائج. لا يلزم أن يكون النموذج قد اخترع المعلومة أو تعرض لهجوم مباشر؛ قد يكون أجاب بدقة عن مادة لم يكن يحق للمستخدم رؤيتها. هذا سيناريو افتراضي يوضح أن جودة الإجابة لا تعادل مشروعية الوصول إلى مصدرها.

أين تبدأ سلسلة الاسترجاع؟

تستخدم أنظمة الإجابة المدعومة بالاسترجاع مراحل تشمل فهرسة الوثائق، وتجزئتها، وربطها ببيانات وصفية، والبحث عن المقاطع ذات الصلة، ثم تمريرها إلى النموذج. إذا ضاعت صلاحيات الملف الأصلي أثناء التجزئة أو اعتمد البحث هوية حساب خدمة واسع الامتيازات، فقد يصل مقطع محظور إلى سياق النموذج قبل توليد الإجابة. منع عرضه في الواجهة بعد ذلك ليس بديلًا كافيًا عن منع الاسترجاع نفسه.

ثلاثة أنواع من الحدود

الحد الأول هو هوية السائل وصلاحياته وقت الطلب. الثاني هو صلاحية الوثيقة أو المقطع وفق المصدر الأصلي، بما في ذلك تغييرات العضوية والحذف. الثالث هو حدود استخدام النموذج للأدوات والبيانات التي وصلت إليه. قد تنجح طبقة واحدة وتفشل أخرى؛ لذلك ينبغي اختبار المسار كاملًا، لا الاكتفاء بفحص صفحة تسجيل الدخول.

ماذا تقول المراجع؟

يركز إطار NIST لإدارة مخاطر الذكاء الاصطناعي على الحوكمة والقياس وإدارة المخاطر. ويضيف ملف الذكاء الاصطناعي التوليدي اعتبارات تتعلق بالمعلومات والخصوصية والاعتماد على المخرجات. وتوضح إرشادات OWASP مخاطر المحتوى غير الموثوق وحقن التعليمات. هذه المراجع لا تصادق على بنية محددة، لكنها تقدم أساسًا لصياغة ضوابط واختبارات قابلة للتدقيق.

بروتوكول تحقق يمكن تكراره

أنشئ في بيئة اختبار وثائق وهمية ذات مستويات وصول مختلفة: عام، فريق المبيعات، الإدارة. أدرج في كل وثيقة عبارة اختبار غير حساسة ومميزة. أنشئ ثلاثة مستخدمين بصلاحيات مختلفة، ثم اطرح الأسئلة نفسها عبر المساعد والبحث المباشر. سجل لكل استعلام هوية المستخدم، ومعرف الوثيقة، ومقاطع الاسترجاع، وقرار التفويض، ومحتوى الإجابة. كرر الاختبار بعد تغيير الصلاحيات وحذف وثيقة من المصدر.

مقاييس تتجاوز الانطباع

المؤشر الأول هو عدد المقاطع غير المصرح بها التي وصلت إلى سياق النموذج، حتى لو لم تظهر في الإجابة. الثاني هو عدد الإجابات التي كشفت عبارة اختبار محمية. الثالث هو الزمن اللازم لانعكاس إلغاء الصلاحية أو الحذف في الفهرس. الرابع هو قدرة السجلات على إعادة بناء سبب السماح أو المنع. لا تُجر هذه الاختبارات على بيانات سرية حقيقية ولا تنشر نصوصًا تكشف محتوى محميًا.

الوثائق التي يجب طلبها من المورد

اطلب وصفًا لهوية الاتصال بالمصدر، وكيفية تطبيق قوائم التحكم في الوصول قبل الاسترجاع، وآلية حذف البيانات وإعادة الفهرسة، وسجلات التفويض، وسياسة الاحتفاظ بالمقاطع. اسأل هل تعتمد صلاحيات الاسترجاع على المستخدم النهائي أم على حساب خدمة مشترك، وهل يمكن التحقق من ذلك عمليًا. الإجابة المكتوبة وحدها لا تثبت أن التنفيذ مطابق لها.

أسئلة المقابلات المحتملة

في تحقيق ميداني لاحق يمكن سؤال مسؤول أمن المعلومات عن تصميم الصلاحيات، ومطور النظام عن انتقال بيانات التفويض بين الفهرس والأداة، ومسؤول الخصوصية عن الاحتفاظ والحذف. لم تُجر هذه المقابلات لهذه المادة، ولا ننسب إلى أي شخص إفادة لم يدل بها.

حدود الأدلة الحالية

تعتمد هذه المادة على وثائق أولية منشورة وتحليل هندسي وبروتوكول اختبار مقترح. لم تنفذ SP CAST اختبار اختراق مستقلًا، ولم تتحقق من تسرب داخل منتج تجاري بعينه، ولم تجمع سجلات عملاء أو مقابلات أصلية. لذلك لا تمثل السيناريوهات المذكورة إثباتًا لواقعة فعلية.

الخلاصة

حماية المساعد لا تبدأ عند صياغة جواب مهذب، بل عند تقرير أي وثيقة يمكن أن تدخل سياقه أصلًا. عندما تكون صلاحيات البحث منفصلة عن صلاحيات المستخدم، تصبح الإجابة الدقيقة نفسها قناة محتملة لكشف معلومات لا يملك السائل حق الاطلاع عليها.

المصادر

شارك المادة