Varovala AI
Hitro definicija
Varovala AI so tehnične in politične kontrole, ki ohranjajo AI sistem znotraj meja, ki jih nameravajo njegovi operaterji. Določajo, kaj pokriva, kakšne podatke vidi, katere ukrepe lahko sprejme in čemu se mora upreti.
Na tej strani
Zakaj so potrebni varovalni mehanizmi
Jezikovni model se bo trudil odgovoriti na vse, v katerem koli tonu, za kogar koli. Za poslovnega asistenta je to tveganje: lahko odstopi od teme, obljubi vračilo, za katero nima pooblastil, razkrije podatke drugega kupca, sledi navodilom, vdelanim v spletno stran, ali proizvede žaljivo vsebino, ko je provokacija.
OWASP Top 10 za LLM aplikacije navaja glavna tveganja, vključno z injekcijo pozivov, razkritjem občutljivih informacij, pretirano agencijo (agenta, ki mu je dovoljeno delati več, kot bi smel) in dezinformacijami. NIST-ov profil generativne umetne inteligence (AI 600-1) obravnava iste težave z vidika upravljanja tveganj.
Glavne vrste varovalnih mehanizmov
Kontrole vhodnih podatkov filtrirajo, kaj doseže model: moderiranje zlorabnih sporočil, omejitve neželene pošte, odkrivanje občutljivih podatkov. Kontrole na ravni navodil določajo obseg in vedenje: vlogo asistenta, teme, ki jih je treba zavrniti, obveznosti, ki jih ne sme sprejeti brez dokazov. Kontrole na ravni orodij omejujejo, kaj lahko agent počne: dostop samo za branje, dejanja omejena na lastne zapise prijavljenega kupca, potrditev pred kakršnim koli nepopravljivim dejanjem. Kontrole izhodnih podatkov preverjajo odgovor, preden ga pošljejo.
Najmočnejši varovalni mehanizmi so uveljavljeni v kodi, ne v pozivu. "Prikaži kupcu samo njegove lastne naročila" je zanesljivo, ko orodje za naročila samo filtrira po preverjenem kupcu; je krhko, ko je to le stavek v navodilih.
Varovalni mehanizmi, ki tiho odpovejo
Dva pogosta načina odpovedi sta. Prekomerno blokiranje: asistent je tako omejen, da zavrne razumne vprašanja, kar kupce odganja prav tako zagotovo kot napačen odgovor. Pravila samo za pozive: omejitve zapisane v sistemskem pozivu, iz katerih se lahko odločen uporabnik izgovori.
Varovalni mehanizmi potrebujejo tudi spremljanje. Dnevniki moderiranja, zavrnjeni zahtevki in eskalacije kažejo, ali so omejitve na pravem mestu.
Varovalni mehanizmi v AI SmartTalk
AI SmartTalk združuje več plasti. Vgrajene politike ohranjajo asistenta v njegovi vlogi, zavračajo off-topic zahtevke in domnevna pooblastila, obravnavajo pridobljeno besedilo kot podatke in ne kot navodila ter zahtevajo dokaze pred obveznostmi. Orodja za naročila vrnejo samo naročila prijavljenega kupca, po preveritvenem kodi e-pošte. Neobvezno moderiranje z sproščenimi, zmernimi ali strogimi prednastavitvami filtrira zlorabna sporočila in vodi revizijski dnevnik, omejitve in prepovedi neželene pošte pa ščitijo kanale. Ko bi se moral asistent ustaviti, preda pogovor ekipi.
Pogosto zastavljena vprašanja
Ali so varovalni mehanizmi enaki moderiranju vsebine?
Moderiranje je en varovalni mehanizem med drugimi. Filtrira škodljivo vsebino; varovalni mehanizmi pokrivajo tudi obseg, dostop do podatkov, dovoljena dejanja in eskalacijo.
Ali lahko varovalni mehanizmi preprečijo injekcijo pozivov?
Zmanjšujejo njen vpliv, namesto da bi preprečili vsak poskus. Ločevanje navodil od podatkov, omejevanje dovoljenj orodij in preverjanje dejanj v kodi pomeni, da lahko uspešna injekcija povzroči malo škode.
Ali varovalni mehanizmi naredijo AI asistenta manj uporabnega?
Slabo nastavljeni mehanizmi to storijo. Dobri varovalni mehanizmi so ozki: blokirajo tisto, kar je resnično tvegano, in pustijo asistenta prosto pomagati pri vsem drugem.