AI zaštitne ograde
Brza definicija
AI zaštitne ograde su tehničke i političke kontrole koje drže AI sistem unutar granica koje njegovi operateri nameravaju. Definišu šta pokriva, koje podatke vidi, koje akcije može preduzeti i šta mora odbiti.
Na ovoj stranici
Zašto su zaštitne barijere potrebne
Model jezika će pokušati da odgovori na bilo šta, u bilo kom tonu, za bilo koga. Za poslovnog asistenta to je rizik: može odstupiti od teme, obećati povraćaj novca za koji nema ovlašćenje, otkriti podatke drugog kupca, slediti instrukcije postavljene na veb stranici ili proizvesti uvredljiv sadržaj kada je provociran.
OWASP Top 10 za LLM aplikacije navodi glavne rizike, uključujući injekciju upita, otkrivanje osetljivih informacija, prekomernu agenciju (agentu je dozvoljeno da radi više nego što bi trebalo) i dezinformacije. NIST-ov Generativni AI Profil (AI 600-1) okvirno obrađuje iste probleme iz ugla upravljanja rizikom.
Glavne vrste zaštitnih barijera
Kontrola unosa filtrira šta stiže do modela: moderacija uvredljivih poruka, limiti spama, otkrivanje osetljivih podataka. Kontrole na nivou instrukcija definišu obim i ponašanje: uloga asistenta, teme koje treba odbiti, obaveze koje ne može preuzeti bez dokaza. Kontrole na nivou alata ograničavaju šta agent može da radi: pristup samo za čitanje, akcije ograničene na sopstvene podatke prijavljenog kupca, potvrda pre bilo čega nepovratnog. Kontrole izlaza proveravaju odgovor pre nego što bude poslat.
Najjače zaštitne barijere su sprovedene u kodu, a ne u upitu. "Samo pokažite kupcu njegove sopstvene porudžbine" je pouzdano kada sam alat za porudžbine filtrira po proverenom kupcu; krhko je kada je to samo rečenica u instrukcijama.
Zaštitne barijere koje tiho ne uspevaju
Dva načina neuspeha su uobičajena. Prekomerno blokiranje: asistent je toliko ograničen da odbija razumna pitanja, što odbija kupce isto toliko sigurno kao i pogrešan odgovor. Pravila samo za upit: ograničenja napisana u sistemskom upitu koja odlučan korisnik može da ubedi model da ignoriše.
Zaštitne barijere takođe treba nadgledati. Logovi moderacije, odbijeni zahtevi i eskalacije pokazuju da li su ograničenja na pravom mestu.
Zaštitne barijere u AI SmartTalk
AI SmartTalk kombinuje nekoliko slojeva. Ugrađene politike drže asistenta u njegovoj ulozi, odbijaju zahteve van teme i tvrđenu vlast, tretiraju preuzete tekstove kao podatke, a ne kao instrukcije, i zahtevaju dokaze pre obaveza. Alat za porudžbine vraća samo sopstvene porudžbine prijavljenog kupca, nakon koda za verifikaciju e-pošte. Opcionalna moderacija sa opuštenim, umerenim ili strogim predsetovima filtrira uvredljive poruke i vodi log o reviziji, a limiti spama i zabrane štite kanale. Kada asistent treba da stane, predaje razgovor timu.
Često postavljana pitanja
Da li su zaštitne barijere isto što i moderacija sadržaja?
Moderacija je jedna od zaštitnih barijera. Filtrira štetan sadržaj; zaštitne barijere takođe pokrivaju obim, pristup podacima, dozvoljene akcije i eskalaciju.
Mogu li zaštitne barijere sprečiti injekciju upita?
Smanjuju njegov uticaj umesto da spreče svaki pokušaj. Odvajanje instrukcija od podataka, ograničenje dozvola alata i verifikacija akcija u kodu znače da uspešna injekcija može učiniti malo štete.
Da li zaštitne barijere čine AI asistenta manje korisnim?
Loše podešene barijere da. Dobre zaštitne barijere su uske: blokiraju ono što je zaista rizično i ostavljaju asistenta slobodnim da pomaže u svemu ostalom.
Izvori
Povezani pojmovi
- AI halucinacija (LLM halucinacija)
- Inženjering upita
- Ljudski prenos
- EU Akt o veštačkoj inteligenciji (transparentnost četbotova)
- GDPR i AI chatboti
- Detekcija namere
- Generacija obogaćena pretragom (RAG)
- MCP (Protokol konteksta modela)
- Ugrađivanja
- Vektorska pretraga (semantička pretraga)
- Veliki jezički model (LLM)