AI заштитни бариери

Моделот на јазикот ќе се обиде да одговори на сè, во секој тон, за секого. За бизнис асистент, тоа е ризик: може да се оддалечи од темата, да ветува повраток кој нема авторитет да го даде, да открие податоци на друг клиент, да следи инструкции поставени на веб-страница или да произведе навредливо содржина кога е провоцирана.

OWASP Топ 10 за LLM апликации ги наведува главните ризици, вклучувајќи инјекција на упатства, откривање на чувствителни информации, прекумерна агенција (агент кој е дозволен да прави повеќе од што треба) и дезинформации. NIST Генеративен AI Профил (AI 600-1) ги рамкира истите проблеми од агол на управување со ризици.

Контролите за влез филтрираат што стигнува до моделот: модерација на навредливи пораки, ограничувања на спам, откривање на чувствителни податоци. Контролите на ниво на инструкции го дефинираат опсегот и однесувањето: улогата на асистентот, темите што треба да се одбијат, обврските што не може да ги направи без докази. Контролите на ниво на алатки го ограничуваат што агентот може да направи: само за читање, дејствија ограничени на сопствените записи на пријавениот клиент, потврда пред било што неповратно. Контролите за излез го проверуваат одговорот пред да биде испратен.

Најсилните заштитни огради се спроведуваат во код, а не во упатството. “Само покажи му на клиентот неговите сопствени нарачки” е сигурно кога алатката за нарачки самата филтрира по проверениот клиент; е кревко кога е само реченица во упатствата.

Два модела на неуспех се вообичаени. Прекумерно блокирање: асистент кој е толку ограничен што одбива разумни прашања, што ги одвраќа клиентите исто толку сигурно како и погрешен одговор. Правила само за упатства: ограничувања напишани во системското упатство од кое одлучен корисник може да го изговори моделот.

Заштитните огради исто така треба да се следат. Логовите на модерација, одбиените барања и ескалации покажуваат дали ограничувањата се на вистинското место.

AI SmartTalk комбинира неколку слоеви. Вградени политики го задржуваат асистентот во неговата улога, одбиваат барања надвор од темата и тврдења за авторитет, третираат повратени текстови како податоци наместо инструкции, и бараат докази пред обврските. Алатките за нарачки само враќаат сопствените нарачки на пријавениот клиент, по кодот за верификација на е-пошта. Опционалната модерација со опуштени, умерени или строги претпоставки филтрира навредливи пораки и води евиденција, а ограничувањата и забраните за спам ги заштитуваат каналите. Кога асистентот треба да запре, го предава разговорот на тимот.