AI zaštitne mjere

Jezični model će pokušati odgovoriti na bilo što, u bilo kojem tonu, za bilo koga. Za poslovnog asistenta to je rizik: može skrenuti s teme, obećati povrat novca za koji nema ovlasti, otkriti podatke drugog kupca, slijediti upute postavljene na web stranici ili proizvesti uvredljiv sadržaj kada je izazvan.

OWASP Top 10 za LLM aplikacije navodi glavne rizike, uključujući injekciju upita, otkrivanje osjetljivih informacija, prekomjernu ovlast (agenta kojem je dopušteno raditi više nego što bi trebao) i dezinformacije. NIST-ov Profil generativne AI (AI 600-1) okvirno postavlja ista pitanja iz perspektive upravljanja rizicima.

Kontrole unosa filtriraju što dolazi do modela: moderiranje uvredljivih poruka, ograničenja na spam, otkrivanje osjetljivih podataka. Kontrole na razini uputa definiraju opseg i ponašanje: uloga asistenta, teme koje treba odbiti, obveze koje ne smije preuzeti bez dokaza. Kontrole na razini alata ograničavaju što agent može raditi: pristup samo za čitanje, radnje ograničene na vlastite zapise prijavljenog kupca, potvrda prije bilo čega nepovratnog. Kontrole izlaza provjeravaju odgovor prije nego što se pošalje.

Najjače zaštitne ograde provode se u kodu, a ne u upitu. "Samo prikazuj kupcu njihove vlastite narudžbe" je pouzdano kada alat za narudžbe sam filtrira prema provjerenom kupcu; krhko je kada je to samo rečenica u uputama.

Dva načina neuspjeha su uobičajena. Prekomjerno blokiranje: asistent je toliko ograničen da odbija razumna pitanja, što odbija kupce jednako sigurno kao i pogrešan odgovor. Pravila samo u upitu: ograničenja napisana u sustavnom upitu koja odlučan korisnik može izvući iz modela.

Zaštitne ograde također trebaju nadzor. Zapisnici moderacije, odbijeni zahtjevi i eskalacije pokazuju jesu li ograničenja na pravom mjestu.

AI SmartTalk kombinira nekoliko slojeva. Ugrađene politike drže asistenta u njegovoj ulozi, odbijaju zahtjeve izvan teme i navodnu ovlast, tretiraju preuzeti tekst kao podatke, a ne kao upute, i zahtijevaju dokaze prije obveza. Alati za narudžbe vraćaju samo vlastite narudžbe prijavljenog kupca, nakon potvrde putem e-maila. Opcionalna moderacija s opuštenim, umjerenim ili strogim postavkama filtrira uvredljive poruke i vodi revizijski zapis, a ograničenja i zabrane spama štite kanale. Kada asistent treba prestati, predaje razgovor timu.