حواجز الذكاء الاصطناعي

موديل اللغة يحاول يجاوب على أي حاجة، بأي نبرة، لأي شخص. بالنسبة لمساعد الأعمال، هذي مسؤولية: يمكنه يخرج عن الموضوع، يوعد باسترجاع ما عندوش سلطة عليه، يكشف بيانات زبون آخر، يتبع تعليمات مزروعة في صفحة ويب، أو ينتج محتوى مسيء كيما يتعرض للاستفزاز.

قائمة OWASP لأهم 10 مخاطر لتطبيقات LLM تذكر المخاطر الرئيسية، بما في ذلك حقن التعليمات، كشف المعلومات الحساسة، وكثرة الصلاحيات (وكيل مسموح له بعمل أكثر مما يجب) والمعلومات الخاطئة. ملف الذكاء الاصطناعي التوليدي من NIST (AI 600-1) يطرح نفس القضايا من زاوية إدارة المخاطر.

التحكم في المدخلات يفلتر شنو يوصل للموديل: تعديل الرسائل المسيئة، حدود الرسائل المزعجة، كشف البيانات الحساسة. التحكم على مستوى التعليمات يحدد النطاق والسلوك: دور المساعد، المواضيع اللي يرفضها، الالتزامات اللي ما ينجمش يقوم بها بلا دليل. التحكم على مستوى الأدوات يحدد شنو ينجم الوكيل يعمل: وصول للقراءة فقط، إجراءات مقيدة بسجلات الزبون المسجل، تأكيد قبل أي حاجة لا يمكن التراجع عنها. التحكم في المخرجات يتحقق من الإجابة قبل ما تتبعت.

أقوى الحواجز تتنفذ في الكود، موش في التعليمات. “أظهر للزبون طلباته الخاصة فقط” موثوق كيما أداة الطلبات نفسها تفلتر حسب الزبون الموثق؛ هذي هشة كيما تكون جملة فقط في التعليمات.

زوج من أنماط الفشل شائعة. الحجب الزائد: مساعد مقيد لدرجة أنه يرفض أسئلة معقولة، وهذا يبعد الزبائن كما لو كانت الإجابة خاطئة. قواعد التعليمات فقط: حدود مكتوبة في التعليمات النظامية اللي يمكن لمستخدم مصمم يتحدث الموديل للخروج منها.

الحواجز تحتاج أيضا للمراقبة. سجلات التعديل، الطلبات المرفوضة والتصعيدات تظهر إذا كانت الحدود في المكان الصحيح.

AI SmartTalk تجمع عدة طبقات. السياسات المدمجة تحافظ على المساعد في دوره، ترفض الطلبات خارج الموضوع والسلطة المزعومة، تعتبر النص المسترجع كبيانات بدلاً من تعليمات، وتطلب دليل قبل الالتزامات. أدوات الطلبات ترجع فقط طلبات الزبون المسجل، بعد كود تحقق عبر البريد الإلكتروني. تعديل اختياري مع إعدادات مريحة، معتدلة أو صارمة يفلتر الرسائل المسيئة ويحتفظ بسجل تدقيق، وحدود الرسائل المزعجة والحظر تحمي القنوات. كيما المساعد يجب يتوقف، يسلم المحادثة للفريق.