AI bezpečnostné opatrenia

Jazykový model sa pokúsi odpovedať na čokoľvek, v akomkoľvek tóne, pre kohokoľvek. Pre obchodného asistenta je to riziko: môže sa odchýliť od témy, sľúbiť vrátenie peňazí, na ktoré nemá právo, odhaliť údaje iného zákazníka, riadiť sa pokynmi umiestnenými na webovej stránke alebo produkovať urážlivý obsah, keď je provokovaný.

OWASP Top 10 pre aplikácie LLM uvádza hlavné riziká, vrátane injekcie príkazov, zverejnenia citlivých informácií, nadmernej agentúry (agenta, ktorý môže robiť viac, ako by mal) a dezinformácií. Generatívny profil AI NIST (AI 600-1) rámcuje rovnaké problémy z pohľadu riadenia rizík.

Kontroly vstupu filtrujú, čo sa dostane k modelu: moderovanie urážlivých správ, limity spamu, detekcia citlivých údajov. Kontroly na úrovni pokynov definujú rozsah a správanie: úlohu asistenta, témy, ktoré má odmietnuť, záväzky, ktoré nemôže urobiť bez dôkazov. Kontroly na úrovni nástrojov obmedzujú, čo môže agent robiť: prístup iba na čítanie, akcie obmedzené na vlastné záznamy prihláseného zákazníka, potvrdenie pred čímkoľvek neodvratným. Kontroly výstupu kontrolujú odpoveď pred jej odoslaním.

Najsilnejšie ochranné bariéry sú vynútené v kóde, nie v pokyne. „Zobraziť zákazníkovi iba jeho vlastné objednávky“ je spoľahlivé, keď nástroj na objednávanie sám filtruje podľa overeného zákazníka; je krehké, keď je to iba veta v pokynoch.

Dva bežné režimy zlyhania sú. Prehnané blokovanie: asistent je tak obmedzený, že odmieta rozumné otázky, čo odháňa zákazníkov rovnako iste ako nesprávna odpoveď. Iba pravidlá v pokyne: obmedzenia napísané v systémovom pokyne, z ktorých môže odhodlaný používateľ model „vytiahnuť“.

Ochranné bariéry potrebujú aj monitorovanie. Záznamy moderovania, odmietnuté požiadavky a eskalácie ukazujú, či sú obmedzenia na správnom mieste.

AI SmartTalk kombinuje niekoľko vrstiev. Vstavané politiky udržujú asistenta v jeho úlohe, odmietajú požiadavky mimo tému a nárokovanú autoritu, zaobchádzajú s načítaným textom ako s údajmi, nie ako s pokynmi, a vyžadujú dôkazy pred záväzkami. Nástroje na objednávanie vracajú iba vlastné objednávky prihláseného zákazníka, po overovacom kóde z e-mailu. Voliteľné moderovanie s uvoľnenými, miernymi alebo prísnymi predvoľbami filtruje urážlivé správy a vedie auditný záznam, a limity spamu a zákazy chránia kanály. Keď by mal asistent prestať, odovzdá konverzáciu tímu.