AI saugikliai
Greitas apibrėžimas
AI saugikliai yra techninės ir politikos kontrolės, kurios išlaiko AI sistemą per operatorių numatytas ribas. Jie apibrėžia, ką ji apima, kokius duomenis mato, kokius veiksmus gali atlikti ir ką turi atsisakyti.
Šioje puslapio dalyje
Kodėl reikalingi apsauginiai barjerai
Kalbos modelis stengiasi atsakyti į bet ką, bet kokiu tonu, bet kam. Verslo asistentui tai yra rizika: jis gali nukrypti nuo temos, pažadėti grąžinimą, kurio neturi teisės duoti, atskleisti kito kliento duomenis, vykdyti nurodymus, įterptus į interneto puslapį, arba sukelti įžeidžiančią turinį, kai yra provokuojamas.
OWASP Top 10 LLM programoms išvardija pagrindines rizikas, įskaitant užklausų injekciją, jautrių duomenų atskleidimą, per didelę agentūrą (agentas, kuriam leidžiama daryti daugiau, nei turėtų) ir dezinformaciją. NIST Generatyviosios AI profilio (AI 600-1) dokumentas apibrėžia tas pačias problemas iš rizikos valdymo perspektyvos.
Pagrindiniai apsauginių barjerų tipai
Įvesties kontrolės filtruoja, kas pasiekia modelį: piktnaudžiavimo žinučių moderavimas, šlamšto ribos, jautrių duomenų aptikimas. Nurodymų lygio kontrolės apibrėžia apimtį ir elgesį: asistento vaidmuo, temos, kurių atsisakoma, įsipareigojimai, kurių jis negali duoti be įrodymų. Įrankių lygio kontrolės riboja, ką agentas gali daryti: tik skaitymo prieiga, veiksmai, apriboti tik prisijungusio kliento įrašams, patvirtinimas prieš bet kokius negrįžtamus veiksmus. Išvesties kontrolės tikrina atsakymą prieš jį siunčiant.
Galingiausi apsauginiai barjerai yra įgyvendinami kode, o ne užklausoje. „Rodyti klientui tik jo užsakymus“ yra patikima, kai užsakymų įrankis pats filtruojasi pagal patvirtintą klientą; tai yra trapu, kai tai tik sakinys instrukcijose.
Apsauginiai barjerai, kurie tyliai žlunga
Du dažni žlugimo režimai yra įprasti. Per daug blokuojant: asistentas taip apribotas, kad atsisako protingų klausimų, kas atbaido klientus taip pat, kaip ir neteisingas atsakymas. Tik užklausų taisyklės: ribojimai, parašyti sistemos užklausoje, kuriuos atkaklus vartotojas gali išvesti iš modelio.
Apsauginiai barjerai taip pat reikalauja stebėjimo. Moderavimo žurnalai, atsisakyti prašymai ir eskalacijos rodo, ar ribos yra tinkamoje vietoje.
Apsauginiai barjerai AI SmartTalk
AI SmartTalk sujungia kelis sluoksnius. Įmontuotos politikos laikosi asistento vaidmens, atsisako ne į temą nukreiptų prašymų ir teigiamos valdžios, traktuoja gautą tekstą kaip duomenis, o ne nurodymus, ir reikalauja įrodymų prieš įsipareigojimus. Užsakymų įrankiai grąžina tik prisijungusio kliento užsakymus, po el. pašto patvirtinimo kodo. Pasirinktinė moderacija su atsipalaidavusiais, vidutiniais ar griežtais nustatymais filtruojama piktnaudžiavimo žinutes ir palaiko auditų žurnalą, o šlamšto ribos ir draudimai saugo kanalus. Kai asistentas turėtų sustoti, jis perduoda pokalbį komandai.
Dažnai užduodami klausimai
Ar apsauginiai barjerai yra tas pats, kas turinio moderavimas?
Moderavimas yra vienas iš apsauginių barjerų. Jis filtruoja žalingą turinį; apsauginiai barjerai taip pat apima apimtį, duomenų prieigą, leidžiamus veiksmus ir eskalaciją.
Ar apsauginiai barjerai gali sustabdyti užklausų injekciją?
Jie sumažina jos poveikį, o ne užkerta kelią kiekvienam bandymui. Nurodymų atskyrimas nuo duomenų, įrankių teisių ribojimas ir veiksmų patvirtinimas kode reiškia, kad sėkminga injekcija gali padaryti mažai žalos.
Ar apsauginiai barjerai daro AI asistentą mažiau naudingą?
Blogai sureguliuoti barjerai taip. Geros apsaugos yra siauros: jos blokuoja tai, kas tikrai rizikinga, ir palieka asistentui laisvę padėti visais kitais klausimais.
Šaltiniai
Susiję terminai
- AI haliucinacija (LLM haliucinacija)
- Paskatų inžinerija
- Žmogaus perdavimas
- ES AI įstatymas (pokalbių robotų skaidrumas)
- GDPR ir AI pokalbių robotai
- Didelis kalbos modelis (LLM)
- Informacijos paieška ir generavimas (RAG)
- Intencijos nustatymas
- Įterpimai
- MCP (Model Context Protocol)
- Vektorių paieška (semantinė paieška)