Zabezpieczenia AI

Model językowy spróbuje odpowiedzieć na wszystko, w każdym tonie, dla każdego. Dla asystenta biznesowego to ryzyko: może zbaczać z tematu, obiecywać zwrot, do którego nie ma uprawnień, ujawniać dane innego klienta, podążać za instrukcjami umieszczonymi na stronie internetowej lub produkować obraźliwe treści, gdy zostanie sprowokowany.

OWASP Top 10 dla aplikacji LLM wymienia główne ryzyka, w tym wstrzykiwanie poleceń, ujawnianie wrażliwych informacji, nadmierną autonomię (agenta, któremu pozwolono robić więcej, niż powinien) oraz dezinformację. Profil AI NIST (AI 600-1) przedstawia te same problemy z perspektywy zarządzania ryzykiem.

Kontrole wejściowe filtrują to, co dociera do modelu: moderacja obraźliwych wiadomości, limity spamu, wykrywanie wrażliwych danych. Kontrole na poziomie instrukcji definiują zakres i zachowanie: rola asystenta, tematy do odrzucenia, zobowiązania, których nie może podejmować bez dowodów. Kontrole na poziomie narzędzi ograniczają to, co agent może zrobić: dostęp tylko do odczytu, działania ograniczone do własnych rekordów zalogowanego klienta, potwierdzenie przed jakimikolwiek nieodwracalnymi działaniami. Kontrole wyjściowe sprawdzają odpowiedź przed jej wysłaniem.

Najsilniejsze bariery ochronne są egzekwowane w kodzie, a nie w poleceniu. „Pokazuj klientowi tylko jego własne zamówienia” jest wiarygodne, gdy narzędzie do zamówień samo filtruje według zweryfikowanego klienta; jest kruche, gdy jest tylko zdaniem w instrukcjach.

Dwa powszechne tryby awarii to: nadmierne blokowanie - asystent tak ograniczony, że odmawia rozsądnych pytań, co odpycha klientów tak samo skutecznie, jak błędna odpowiedź. Zasady oparte tylko na poleceniach: ograniczenia zapisane w systemowym poleceniu, z których zdeterminowany użytkownik może wyprowadzić model.

Bariery ochronne również potrzebują monitorowania. Dzienniki moderacji, odrzucone prośby i eskalacje pokazują, czy ograniczenia są na właściwym miejscu.

AI SmartTalk łączy kilka warstw. Wbudowane zasady utrzymują asystenta w jego roli, odrzucają prośby niezwiązane z tematem i roszczenia o uprawnienia, traktują pobrany tekst jako dane, a nie instrukcje, i wymagają dowodów przed zobowiązaniami. Narzędzia do zamówień zwracają tylko zamówienia zalogowanego klienta, po weryfikacji kodem e-mail. Opcjonalna moderacja z luźnymi, umiarkowanymi lub surowymi ustawieniami filtruje obraźliwe wiadomości i prowadzi dziennik audytu, a limity spamu i zakazy chronią kanały. Gdy asystent powinien przestać, przekazuje rozmowę zespołowi.