AI turvapiirded
Kiire määratlus
AI turvapiirded on tehnilised ja poliitilised kontrollid, mis hoiavad AI süsteemi selle operaatorite soovitud piirides. Need määratlevad, mida see katab, milliseid andmeid see näeb, milliseid toiminguid see saab teha ja mida see peab keelduma.
Sellel lehel
Miks on vajalikud piirded
Keelemudel püüab vastata kõigile küsimustele, igas toonis, igaühele. Äriassistent on selle jaoks riskantne: see võib kalduda teemast kõrvale, lubada tagasimakset, milleks tal ei ole volitusi, avaldada teise kliendi andmeid, järgida veebilehe sisse pandud juhiseid või toota provotseerimise korral solvavat sisu.
OWASP Top 10 LLM rakenduste jaoks loetleb peamised riskid, sealhulgas käsu süstimine, tundlike andmete avalikustamine, liigne volitus (agendi lubamine teha rohkem, kui ta peaks) ja valeinformatsioon. NISTi genereeritud AI profiil (AI 600-1) käsitleb samu teemasid riskijuhtimise vaatenurgast.
Peamised piirdetüübid
Sisendkontrollid filtreerivad, mis jõuab mudelini: kuritarvitavate sõnumite modereerimine, rämpsposti piirangud, tundlike andmete tuvastamine. Juhise tasandi kontrollid määratlevad ulatuse ja käitumise: assistendi roll, teemad, millest keelduda, lubadused, mida ta ei tohi anda ilma tõenditeta. Tööriista tasandi kontrollid piiravad, mida agent saab teha: ainult lugemisõigus, toimingud, mis on piiratud sisse logitud kliendi enda andmetega, kinnitamine enne midagi pöördumatut. Väljundkontrollid kontrollivad vastust enne selle saatmist.
Tugevaimad piirded on kehtestatud koodis, mitte käsus. "Kliendile näidatakse ainult tema enda tellimusi" on usaldusväärne, kui tellimustööriist ise filtreerib kinnitatud kliendi järgi; see on habras, kui see on ainult lause juhistes.
Vaikimisi ebaõnnestuvad piirded
Kaks ebaõnnestumise režiimi on tavalised. Ülemäärane blokeerimine: assistent on nii piiratud, et keeldub mõistlikest küsimustest, mis tõukab kliente eemale sama kindlalt kui vale vastus. Ainult käsureeglid: piirangud, mis on kirjutatud süsteemi käsusse, millest kindel kasutaja saab mudeli välja rääkida.
Piirded vajavad ka jälgimist. Modereerimise logid, keeldunud taotlused ja eskalatsioonid näitavad, kas piirangud on õigetes kohtades.
Piirded AI SmartTalkis
AI SmartTalk ühendab mitu taset. Sisseehitatud poliitikad hoiavad assistendi oma rollis, keelavad teemast kõrvale kaldumise taotlused ja väidetud volitused, käsitlevad taastatud teksti andmetena, mitte juhistena, ja nõuavad tõendit enne lubadusi. Tellimustööriistad tagastavad ainult sisse logitud kliendi enda tellimused, pärast e-posti kinnituskoodi. Valikuline modereerimine, millel on lõdvad, mõõdukad või ranged eelvalikud, filtreerib kuritarvitavaid sõnumeid ja hoiab auditi logi, ning rämpsposti piirangud ja keelud kaitsevad kanaleid. Kui assistent peaks peatuma, annab ta vestluse meeskonnale.
Korduma kippuvad küsimused
Kas piirded on sama, mis sisu modereerimine?
Modereerimine on üks piirete seas. See filtreerib kahjulikku sisu; piirded katab ka ulatuse, andmete juurdepääsu, lubatud toimingud ja eskalatsiooni.
Kas piirded saavad peatada käsu süstimise?
Need vähendavad selle mõju, mitte ei takista iga katset. Juhiste eraldamine andmetest, tööriista õiguste piiramine ja toimingute kinnitamine koodis tähendab, et edukas süstimine võib teha vähe kahju.
Kas piirded teevad AI assistendi vähem kasulikuks?
Halvasti häälestatud piirded teevad. Head piirded on kitsad: need blokeerivad tõeliselt riskantse ja jätavad assistendi vabaks aitama kõiges muus.