AI დაცვის ზოლები

ენობრივი მოდელი ყველაფრის პასუხის გაწვდას ცდილობს, ნებისმიერ ტონალობაში, ნებისმიერი ადამიანისთვის. ბიზნეს ასისტენტისათვის ეს რისკია: შეიძლება თემიდან გადახვიოს, დაჰპირდეს დაბრუნებას, რომლის გაწვდაც არ აქვს უფლებამოსილება, სხვა მომხმარებლის მონაცემები გაამჟღავნოს, ინსტრუქციებს მიჰყვეს, რომლებიც ვებსაიტზეა ჩადებული, ან პროვოკაციის დროს შეურაცხმყოფელი შინაარსი წარმოადგინოს.

OWASP-ის LLM აპლიკაციების ტოპ 10 ჩამონათვალში არის ძირითადი რისკები, მათ შორის პრომპტის ინექცია, მგრძნობიარე ინფორმაციის გამჟღავნება, ზედმეტი უფლებამოსილება (აგენტი, რომელსაც შეუძლია უფრო მეტი გააკეთოს, ვიდრე უნდა) და დეზინფორმაცია. NIST-ის გენერაციული AI პროფილი (AI 600-1) იმავე საკითხებს რისკების მართვის კუთხით განიხილავს.

შესატყვისი კონტროლები ფილტრავენ იმას, რაც მოდელში შედის: შეურაცხმყოფელი შეტყობინებების მოდერაცია, სპამის შეზღუდვები, მგრძნობიარე მონაცემების აღმოჩენა. ინსტრუქციის დონეზე კონტროლები განსაზღვრავენ სფეროს და ქცევას: ასისტენტის როლი, თემები, რომლებსაც უნდა უარი თქვას, ვალდებულებები, რომლებიც ვერ უნდა გააკეთოს მტკიცებულების გარეშე. ხელსაწყოს დონეზე კონტროლები ზღუდავენ იმას, რაც აგენტმა შეიძლება გააკეთოს: მხოლოდ წაკითხვის წვდომა, მოქმედებები, რომლებიც შეზღუდულია შესული მომხმარებლის საკუთარ ჩანაწერებზე, ნებისმიერი დაუბრუნებელი მოქმედების წინადასტურება. გამოსვლის კონტროლები პასუხს ამოწმებენ, სანამ ის გაიგზავნება.

ყველაზე ძლიერი დაცვის ბარიერები კოდშია გაწვდილი, არა პრომპტში. “მხოლოდ მომხმარებელს თავისი შეკვეთები უნდა აჩვენოს” საიმედოა, როდესაც შეკვეთის ხელსაწყო თავად ფილტრავს გადამოწმებული მომხმარებლით; ეს მყიფეა, როდესაც ეს მხოლოდ წინადადებაა ინსტრუქციებში.

ორი წარუმატებლობის რეჟიმი გავრცელებულია. ზედმეტად დაბლოკვა: ასისტენტი იმდენად შეზღუდულია, რომ უარს ამბობს合理 კითხვებზე, რაც მომხმარებლებს შორს წევს ისე, როგორც არასწორი პასუხი. მხოლოდ პრომპტზე დაწერილი წესები: შეზღუდვები, რომლებიც სისტემის პრომპტშია დაწერილი, რომლებსაცDetermined მომხმარებელი მოდელისგან გამოსვლის საშუალება აქვს.

დაცვის ბარიერები ასევე საჭიროებენ მონიტორინგს. მოდერაციის ლოგები, უარყოფილი მოთხოვნები და ესკალაციები აჩვენებენ, არის თუ არა შეზღუდვები სწორ ადგილას.

AI SmartTalk რამდენიმე ფენის კომბინაციას წარმოადგენს. ჩაშენებული პოლიტიკები ასისტენტს მის როლზე ინარჩუნებენ, უარს ამბობენ თემებზე, რომლებიც არ ეხება, ითვლიან აღებული ტექსტის მონაცემებად, არა ინსტრუქციებად, და მოითხოვენ მტკიცებულებას ვალდებულებების წინ. შეკვეთის ხელსაწყოები მხოლოდ შესული მომხმარებლის საკუთარ შეკვეთებს აბრუნებენ, ელფოსტის გადამოწმების კოდის შემდეგ. არჩევითი მოდერაცია, რომელიც მოიცავს მოდერირებულ, ზომიერ ან მკაცრ წინასწარ განსაზღვრულ პარამეტრებს, ფილტრავს შეურაცხმყოფელ შეტყობინებებს და ინარჩუნებს აუდიტის ლოგს, ხოლო სპამის შეზღუდვები და აკრძალვები იცავს არხებს. როდესაც ასისტენტი უნდა შეწყვიტოს, ის საუბარს გუნდს გადასცემს.