حواجز الذكاء الاصطناعي

سوف يحاول نموذج اللغة الإجابة على أي شيء، بأي نغمة، لأي شخص. بالنسبة لمساعد الأعمال، فإن ذلك يمثل مخاطرة: قد يتجول بعيدًا عن الموضوع، يعد برد أموال ليس لديه سلطة لمنحه، يكشف بيانات عميل آخر، يتبع تعليمات مزروعة في صفحة ويب، أو ينتج محتوى مسيء عند الاستفزاز.

تسرد قائمة OWASP لأهم 10 مخاطر لتطبيقات LLM المخاطر الرئيسية، بما في ذلك حقن الطلبات، الكشف عن المعلومات الحساسة، الوكالة المفرطة (وكيل يُسمح له بالقيام بأكثر مما ينبغي) والمعلومات المضللة. يؤطر ملف الذكاء الاصطناعي التوليدي من NIST (AI 600-1) نفس القضايا من زاوية إدارة المخاطر.

تتحكم عناصر الإدخال في ما يصل إلى النموذج: اعتدال الرسائل المسيئة، حدود الرسائل غير المرغوب فيها، الكشف عن البيانات الحساسة. تحدد عناصر التحكم على مستوى التعليمات النطاق والسلوك: دور المساعد، المواضيع التي يجب رفضها، الالتزامات التي لا يمكنه القيام بها دون دليل. تحدد عناصر التحكم على مستوى الأدوات ما يمكن أن يفعله الوكيل: الوصول للقراءة فقط، الإجراءات المقيدة بسجلات العميل المسجل فقط، التأكيد قبل أي شيء لا يمكن التراجع عنه. تتحقق عناصر التحكم في المخرجات من الإجابة قبل إرسالها.

أقوى الحواجز تُفرض في الشيفرة، وليس في الطلب. "عرض طلبات العميل فقط" موثوق عندما تقوم أداة الطلبات نفسها بتصفية بواسطة العميل الموثق؛ إنها هشة عندما تكون مجرد جملة في التعليمات.

هناك وضعان شائعان للفشل. الحجب المفرط: مساعد مقيد لدرجة أنه يرفض أسئلة معقولة، مما يدفع العملاء بعيدًا تمامًا كما يفعل الجواب الخاطئ. قواعد تعتمد على الطلب فقط: حدود مكتوبة في الطلب النظامي يمكن لمستخدم مصمم التحدث للنموذج للخروج منها.

تحتاج الحواجز أيضًا إلى المراقبة. تُظهر سجلات الاعتدال، الطلبات المرفوضة والتصعيدات ما إذا كانت الحدود في المكان الصحيح.

يجمع AI SmartTalk عدة طبقات. تحافظ السياسات المدمجة على المساعد في دوره، ترفض الطلبات غير المتعلقة بالموضوع والسلطة المدعاة، تعالج النص المسترجع كبيانات بدلاً من تعليمات، وتتطلب دليلًا قبل الالتزامات. تعيد أدوات الطلبات فقط طلبات العميل المسجل، بعد رمز تحقق عبر البريد الإلكتروني. الاعتدال الاختياري مع إعدادات مريحة، معتدلة أو صارمة يقوم بتصفية الرسائل المسيئة ويحتفظ بسجل تدقيق، وتساعد حدود الرسائل غير المرغوب فيها والحظر في حماية القنوات. عندما يجب على المساعد التوقف، يسلم المحادثة إلى الفريق.