AI koruma rayları

Bir dil modeli, herkes için, her tonla, her şeyi yanıtlamaya çalışır. Bir iş asistanı için bu bir sorundur: konudan sapabilir, yetkisi olmayan bir geri ödeme vaadi verebilir, başka bir müşterinin verilerini açığa çıkarabilir, bir web sayfasına yerleştirilen talimatları takip edebilir veya kışkırtıldığında saldırgan içerik üretebilir.

OWASP, LLM uygulamaları için en büyük riskleri listeleyen Top 10'da, istem enjekte etme, hassas bilgi ifşası, aşırı yetki (bir ajanın yapması gerekenin ötesinde yetki verilmesi) ve yanlış bilgilendirme gibi ana riskleri sıralar. NIST'in Üretken AI Profili (AI 600-1) aynı sorunları risk yönetimi açısından çerçeveler.

Girdi kontrolleri, modele ulaşanları filtreler: kötüye kullanım mesajlarının moderasyonu, spam sınırları, hassas verilerin tespiti. Talimat düzeyindeki kontroller kapsamı ve davranışı tanımlar: asistanın rolü, reddedilecek konular, kanıt olmadan veremeyeceği taahhütler. Araç düzeyindeki kontroller, ajanın yapabileceği şeyleri sınırlar: yalnızca okuma erişimi, işlemler yalnızca oturum açmış müşterinin kendi kayıtlarına kısıtlı, geri dönüşü olmayan herhangi bir işlemden önce onay. Çıktı kontrolleri, cevap gönderilmeden önce kontrol eder.

En güçlü koruyucu raylar, kodda uygulanır, istemde değil. "Müşteriye yalnızca kendi siparişlerini göster" ifadesi, sipariş aracının kendisi doğrulanmış müşteri tarafından filtrelendiğinde güvenilirdir; yalnızca talimatlarda bir cümle olduğunda kırılgandır.

İki yaygın başarısızlık modu vardır. Aşırı engelleme: o kadar kısıtlanmış bir asistan ki makul soruları reddeder, bu da müşterileri yanlış bir cevap kadar kesin bir şekilde uzaklaştırır. Sadece istem kuralları: sistem isteminde yazılı olan sınırlamalar, kararlı bir kullanıcının modeli ikna edebileceği sınırlamalardır.

Koruyucu rayların izlenmesi de gereklidir. Moderasyon kayıtları, reddedilen talepler ve yükseltmeler, sınırlamaların doğru yerde olup olmadığını gösterir.

AI SmartTalk birkaç katmanı bir araya getirir. Yerleşik politikalar, asistanı rolüne bağlı tutar, konudan sapma taleplerini ve iddia edilen yetkileri reddeder, alınan metni talimat yerine veri olarak ele alır ve taahhütlerden önce kanıt gerektirir. Sipariş araçları yalnızca oturum açmış müşterinin kendi siparişlerini, bir e-posta doğrulama kodundan sonra döndürür. İsteğe bağlı moderasyon, gevşek, orta veya katı ön ayarlarla kötüye kullanım mesajlarını filtreler ve bir denetim kaydı tutar, spam sınırları ve yasaklar kanalları korur. Asistanın durması gerektiğinde, konuşmayı ekibe devreder.