AI ochranné prvky
Rychlá definice
AI ochranné prvky jsou technické a politické kontroly, které udržují AI systém v mezích, které jeho operátoři zamýšleli. Definují, co pokrývá, jaká data vidí, jaké akce může podniknout a co musí odmítnout.
Na této stránce
Proč jsou potřebné zábrany
Jazykový model se pokusí odpovědět na cokoliv, v jakémkoliv tónu, pro kohokoliv. Pro obchodního asistenta je to riziko: může se odchýlit od tématu, slíbit vrácení peněz, na které nemá pravomoc, odhalit data jiného zákazníka, řídit se pokyny zasazenými na webové stránce nebo vyprodukovat urážlivý obsah, když je vyprovokován.
OWASP Top 10 pro aplikace LLM uvádí hlavní rizika, včetně injekce promptu, zveřejnění citlivých informací, nadměrné pravomoci (agenta, který je oprávněn dělat více, než by měl) a dezinformací. Generativní AI profil NIST (AI 600-1) rámcuje stejné problémy z pohledu řízení rizik.
Hlavní typy zábran
Kontroly vstupu filtrují, co se dostane k modelu: moderování urážlivých zpráv, limity spamu, detekce citlivých dat. Kontroly na úrovni instrukcí definují rozsah a chování: role asistenta, témata, která má odmítnout, závazky, které nesmí učinit bez důkazů. Kontroly na úrovni nástrojů omezují, co může agent dělat: přístup pouze pro čtení, akce omezené na vlastní záznamy přihlášeného zákazníka, potvrzení před čímkoliv nevratným. Kontroly výstupu kontrolují odpověď před jejím odesláním.
Nejsilnější zábrany jsou vynucovány v kódu, nikoli v promptu. "Zobrazit zákazníkovi pouze jeho vlastní objednávky" je spolehlivé, když nástroj na objednávky sám filtruje podle ověřeného zákazníka; je křehké, když je to pouze věta v pokynech.
Zábrany, které selhávají tiše
Dva běžné režimy selhání. Přílišné blokování: asistent je tak omezený, že odmítá rozumné otázky, což zákazníky odrazuje stejně jistě jako špatná odpověď. Pravidla pouze pro prompt: limity napsané v systémovém promptu, ze kterých může odhodlaný uživatel model "vytáhnout".
Zábrany také potřebují monitoring. Záznamy moderace, odmítnuté žádosti a eskalace ukazují, zda jsou limity na správném místě.
Zábrany v AI SmartTalk
AI SmartTalk kombinuje několik vrstev. Vestavěné politiky udržují asistenta v jeho roli, odmítají mimo téma žádosti a uplatněnou autoritu, zacházejí s vyhledaným textem jako s daty, nikoli jako s pokyny, a vyžadují důkazy před závazky. Nástroje na objednávky vracejí pouze vlastní objednávky přihlášeného zákazníka, po ověření e-mailem. Volitelná moderace s uvolněnými, mírnými nebo přísnými předvolbami filtruje urážlivé zprávy a uchovává auditní záznam, a limity a zákazy spamu chrání kanály. Když by měl asistent přestat, předá konverzaci týmu.
Často kladené otázky
Jsou zábrany totéž jako moderování obsahu?
Moderování je jednou ze zábran mezi ostatními. Filtruje škodlivý obsah; zábrany také pokrývají rozsah, přístup k datům, povolené akce a eskalaci.
Mohou zábrany zastavit injekci promptu?
Snižují její dopad spíše než aby zabránily každému pokusu. Oddělení pokynů od dat, omezení oprávnění nástrojů a ověřování akcí v kódu znamená, že úspěšná injekce může způsobit jen malou škodu.
Způsobují zábrany, že je AI asistent méně užitečný?
Špatně nastavené ano. Dobré zábrany jsou úzké: blokují to, co je skutečně rizikové, a nechávají asistenta svobodného pomáhat se vším ostatním.