حواجز الأمان في الذكاء الاصطناعي

نموذج اللغة راح يحاول يجاوب على أي حاجة، بأي نبرة، لأي شخص. بالنسبة لمساعد الأعمال، هذا خطر: يمكن أن يخرج عن الموضوع، يوعد برد مالي ما عندهش سلطة عليه، يكشف بيانات عميل آخر، يتبع تعليمات مزروعة في صفحة ويب، أو ينتج محتوى مسيء عند الاستفزاز.

قائمة OWASP لأفضل 10 مخاطر لتطبيقات LLM تدرج المخاطر الرئيسية، بما في ذلك حقن الطلبات، الكشف عن المعلومات الحساسة، الوكالة المفرطة (وكيل مسموح له بالقيام بأكثر مما ينبغي) والمعلومات المضللة. إطار عمل NIST للذكاء الاصطناعي التوليدي (AI 600-1) يعرض نفس القضايا من زاوية إدارة المخاطر.

تحكمات الإدخال تصفي ما يصل إلى النموذج: تعديل الرسائل المسيئة، حدود الرسائل المزعجة، كشف البيانات الحساسة. تحكمات مستوى التعليمات تحدد النطاق والسلوك: دور المساعد، المواضيع التي يجب رفضها، الالتزامات التي لا يمكن أن يقدمها بدون دليل. تحكمات مستوى الأدوات تحدد ما يمكن أن يفعله الوكيل: وصول للقراءة فقط، إجراءات مقيدة بسجلات العميل المسجل، تأكيد قبل أي شيء لا يمكن التراجع عنه. تحكمات المخرجات تتحقق من الإجابة قبل إرسالها.

أقوى الحواجز تُ enforced في الكود، وليس في الطلب. “عرض فقط طلبات العميل الخاصة” موثوق عندما تقوم أداة الطلب بتصفية بواسطة العميل الموثق؛ إنها هشة عندما تكون مجرد جملة في التعليمات.

هناك وضعان شائعان للفشل. الحجب المفرط: مساعد مقيد لدرجة أنه يرفض أسئلة معقولة، مما يدفع العملاء بعيدًا تمامًا كما يفعل الجواب الخاطئ. قواعد تعتمد فقط على الطلب: حدود مكتوبة في طلب النظام يمكن لمستخدم مصمم التحدث للنموذج للخروج منها.

الحواجز تحتاج أيضًا إلى المراقبة. سجلات التعديل، الطلبات المرفوضة والتصعيدات تظهر ما إذا كانت الحدود في المكان الصحيح.

AI SmartTalk يجمع عدة طبقات. السياسات المدمجة تحافظ على المساعد في دوره، ترفض الطلبات خارج الموضوع والسلطة المزعومة، تعالج النص المسترجع كبيانات بدلاً من تعليمات، وتتطلب دليل قبل الالتزامات. أدوات الطلب تعيد فقط طلبات العميل المسجل، بعد رمز تحقق عبر البريد الإلكتروني. التعديل الاختياري مع إعدادات مريحة، معتدلة أو صارمة تصفي الرسائل المسيئة وتحافظ على سجل تدقيق، وحدود الرسائل المزعجة والحظر تحمي القنوات. عندما يجب على المساعد التوقف، يسلم المحادثة للفريق.