รั้วรักษาความปลอดภัย AI

โมเดลภาษาอาจพยายามตอบคำถามใด ๆ ในโทนใดก็ได้ สำหรับผู้ช่วยทางธุรกิจนั้นเป็นความเสี่ยง: มันอาจหลุดออกนอกหัวข้อ สัญญาคืนเงินที่มันไม่มีอำนาจที่จะให้ เปิดเผยข้อมูลของลูกค้าคนอื่น ปฏิบัติตามคำสั่งที่ปลูกฝังในหน้าเว็บ หรือผลิตเนื้อหาที่ไม่เหมาะสมเมื่อถูกยั่วยุ。

OWASP Top 10 สำหรับแอปพลิเคชัน LLM ระบุความเสี่ยงหลัก ๆ รวมถึงการฉีดคำสั่ง การเปิดเผยข้อมูลที่ละเอียดอ่อน การมีอำนาจมากเกินไป (ตัวแทนที่ได้รับอนุญาตให้ทำมากกว่าที่ควร) และข้อมูลที่ผิด NIST's Generative AI Profile (AI 600-1) กรอบปัญหาเดียวกันจากมุมมองการจัดการความเสี่ยง。

การควบคุมข้อมูลนำเข้ากรองสิ่งที่เข้าถึงโมเดล: การควบคุมข้อความที่ไม่เหมาะสม ขีดจำกัดสแปม การตรวจจับข้อมูลที่ละเอียดอ่อน การควบคุมระดับคำสั่งกำหนดขอบเขตและพฤติกรรม: บทบาทของผู้ช่วย หัวข้อที่ต้องปฏิเสธ ข้อผูกพันที่ไม่สามารถทำได้โดยไม่มีหลักฐาน การควบคุมระดับเครื่องมือจำกัดสิ่งที่ตัวแทนสามารถทำได้: การเข้าถึงแบบอ่านอย่างเดียว การกระทำที่จำกัดเฉพาะบันทึกของลูกค้าที่ลงชื่อเข้าใช้ การยืนยันก่อนการกระทำใด ๆ ที่ไม่สามารถย้อนกลับได้ การควบคุมผลลัพธ์ตรวจสอบคำตอบก่อนที่จะส่ง。

การป้องกันที่แข็งแกร่งที่สุดถูกบังคับใช้ในโค้ด ไม่ใช่ในคำสั่ง “แสดงเฉพาะคำสั่งของลูกค้าเอง” เป็นสิ่งที่เชื่อถือได้เมื่อเครื่องมือคำสั่งกรองโดยลูกค้าที่ได้รับการตรวจสอบ; มันอ่อนแอเมื่อมันเป็นเพียงประโยคในคำสั่ง。

โหมดการล้มเหลวสองแบบที่พบบ่อย การบล็อกมากเกินไป: ผู้ช่วยที่ถูกจำกัดมากจนปฏิเสธคำถามที่สมเหตุสมผล ซึ่งทำให้ลูกค้าหนีไปเช่นเดียวกับคำตอบที่ผิด กฎเฉพาะคำสั่ง: ข้อจำกัดที่เขียนในคำสั่งระบบที่ผู้ใช้ที่มุ่งมั่นสามารถพูดให้โมเดลหลุดออกไปได้。

การป้องกันยังต้องการการตรวจสอบ บันทึกการควบคุม ข้อเรียกร้องที่ถูกปฏิเสธ และการเพิ่มระดับแสดงให้เห็นว่าข้อจำกัดอยู่ในที่ที่ถูกต้องหรือไม่。

AI SmartTalk รวมหลายชั้นเข้าด้วยกัน นโยบายในตัวทำให้ผู้ช่วยอยู่ในบทบาทของตน ปฏิเสธคำขอที่ออกนอกหัวข้อและอำนาจที่อ้างสิทธิ์ ถือว่าข้อความที่ดึงมานั้นเป็นข้อมูลมากกว่าคำสั่ง และต้องการหลักฐานก่อนที่จะมีข้อผูกพัน เครื่องมือคำสั่งจะส่งคืนเฉพาะคำสั่งของลูกค้าที่ลงชื่อเข้าใช้เท่านั้น หลังจากรหัสยืนยันทางอีเมล การควบคุมการตรวจสอบแบบเลือกได้ด้วยการตั้งค่าผ่อนคลาย ปานกลาง หรือเข้มงวดจะกรองข้อความที่ไม่เหมาะสมและเก็บบันทึกการตรวจสอบ และขีดจำกัดและการห้ามสแปมจะปกป้องช่องทาง เมื่อผู้ช่วยควรหยุด มันจะส่งการสนทนาไปยังทีม。