AI drošības barjeras
Ātra definīcija
AI drošības barjeras ir tehniskās un politikas kontroles, kas uztur AI sistēmu tās operatoru noteiktajos ierobežojumos. Tās nosaka, ko tā aptver, kādus datus tā redz, kādas darbības tā var veikt un ko tā ir jāatsaka.
Šajā lapā
Kāpēc ir nepieciešami aizsargstieņi
Valodas modelis mēģinās atbildēt uz jebko, jebkurā tonī, ikvienam. Biznesa palīgam tas ir risks: tas var novirzīties no tēmas, solīt atmaksu, ko tam nav tiesību sniegt, atklāt cita klienta datus, sekot instrukcijām, kas ievietotas tīmekļa lapā, vai radīt aizskarošu saturu, ja tiek provocēts.
OWASP Top 10 LLM lietojumprogrammām uzskaita galvenos riskus, tostarp komandu injekciju, sensitīvu informācijas atklāšanu, pārmērīgu aģentūru (aģents, kuram atļauts darīt vairāk, nekā tam vajadzētu) un dezinformāciju. NIST ģeneratīvās AI profila (AI 600-1) ietvaros tiek skatīti tie paši jautājumi no riska pārvaldības viedokļa.
Galvenie aizsargstieņu veidi
Ievades kontroles filtrē, kas nonāk modelī: ļaunprātīgu ziņojumu moderēšana, surogātpasta ierobežojumi, sensitīvu datu noteikšana. Instrukciju līmeņa kontroles nosaka apjomu un uzvedību: palīga lomu, tēmas, kuras atteikt, solījumus, ko tas nevar sniegt bez pierādījumiem. Rīku līmeņa kontroles ierobežo, ko aģents var darīt: tikai lasīšanas piekļuve, darbības ierobežotas uz pierakstījušā klienta paša ierakstiem, apstiprinājums pirms jebkādas neatgriezeniskas darbības. Izvades kontroles pārbauda atbildi pirms tās nosūtīšanas.
Spēcīgākie aizsargstieņi tiek ieviesti kodā, nevis komandu. “Rādīt klientam tikai viņa paša pasūtījumus” ir uzticams, kad pasūtījumu rīks pats filtrē pēc pārbaudītā klienta; tas ir trausls, ja tas ir tikai teikums instrukcijās.
Aizsargstieņi, kas klusi neizdodas
Divi bieži sastopami neveiksmju veidi. Pārmērīga bloķēšana: palīgs ir tik ierobežots, ka atsakās no saprātīgiem jautājumiem, kas attālinās klientus tikpat droši kā nepareiza atbilde. Tikai komandu noteikumi: ierobežojumi, kas uzrakstīti sistēmas komandu, no kuriem apņēmīgs lietotājs var izvest modeli.
Aizsargstieņiem arī nepieciešama uzraudzība. Moderēšanas žurnāli, atteikumi un eskalācijas parāda, vai ierobežojumi ir pareizajā vietā.
Aizsargstieņi AI SmartTalk
AI SmartTalk apvieno vairākas slāņus. Iebūvētas politikas uztur palīgu savā lomā, atsakās no nevietā esošiem pieprasījumiem un apgalvotām pilnvarām, uzskata iegūto tekstu par datiem, nevis instrukcijām, un prasa pierādījumus pirms solījumiem. Pasūtījumu rīki atgriež tikai pierakstījušā klienta paša pasūtījumus, pēc e-pasta verifikācijas koda. Papildus moderēšana ar atvieglotiem, mēreniem vai stingriem iestatījumiem filtrē ļaunprātīgus ziņojumus un uztur revīzijas žurnālu, un surogātpasta ierobežojumi un aizliegumi aizsargā kanālus. Kad palīgam jāapstājas, tas nodod sarunu komandai.
Biežāk uzdotie jautājumi
Vai aizsargstieņi ir tas pats, kas satura moderēšana?
Moderēšana ir viens no aizsargstieņiem. Tā filtrē kaitīgu saturu; aizsargstieņi arī aptver apjomu, datu piekļuvi, atļautās darbības un eskalāciju.
Vai aizsargstieņi var apturēt komandu injekciju?
Tie samazina tās ietekmi, nevis novērš katru mēģinājumu. Instrukciju atdalīšana no datiem, rīku atļauju ierobežošana un darbību pārbaude kodā nozīmē, ka veiksmīga injekcija var nodarīt maz kaitējuma.
Vai aizsargstieņi padara AI palīgu mazāk noderīgu?
Nepareizi noregulēti aizsargstieņi to dara. Labi aizsargstieņi ir šauri: tie bloķē to, kas patiešām ir riskanti, un atstāj palīgu brīvu palīdzēt visās citās jomās.
Avoti
Saistītie termini
- AI halucinācija (LLM halucinācija)
- Aicinājumu inženierija
- Cilvēka nodošana
- ES AI likums (čatbotu caurskatāmība)
- GDPR un AI čatboti
- Iekļaušana
- Informācijas iegūšanas papildināta ģenerācija (RAG)
- Liels valodas modelis (LLM)
- MCP (Modeļa konteksta protokols)
- Nodoma noteikšana
- Vektoru meklēšana (semantiskā meklēšana)