AI zaštitne ograde

Модел језика ће покушати да одговори на било шта, у било ком тону, за било кога. За пословног асистента то је ризик: може одступити од теме, обећати повраћај новца за који нема овлашћење, открити податке другог купца, следити инструкције постављене на веб страници или произвести увредљив садржај када је провоциран.

OWASP Топ 10 за ЛЛМ апликације наводи главне ризике, укључујући инјекцију упита, откривање осетљивих информација, прекомерну агенцију (агенту је дозвољено да ради више него што би требало) и дезинформације. NIST-ов Генеративни АИ Профил (АИ 600-1) оквирно обрађује исте проблеме из угла управљања ризиком.

Контрола уноса филтрира шта стиже до модела: модерација увредљивих порука, лимити спама, откривање осетљивих података. Контроле на нивоу инструкција дефинишу обим и понашање: улога асистента, теме које треба одбити, обавезе које не може преузети без доказа. Контроле на нивоу алата ограничавају шта агент може да ради: приступ само за читање, акције ограничене на сопствене податке пријављеног купца, потврда пре било чега неповратног. Контроле излаза проверавају одговор пре него што буде послат.

Најјаче заштитне баријере су спроведене у коду, а не у упиту. "Само покажите купцу његове сопствене поруџбине" је поуздано када сам алат за поруџбине филтрира по провереном купцу; крхко је када је то само реченица у инструкцијама.

Два начина неуспеха су уобичајена. Прекомерно блокирање: асистент је толико ограничен да одбија разумна питања, што одбија купце исто толико сигурно као и погрешан одговор. Правила само за упит: ограничења написана у системском упиту која одлучан корисник може да убеди модел да игнорише.

Заштитне баријере такође треба надгледати. Логови модерације, одбијени захтеви и ескалације показују да ли су ограничења на правом месту.

АИ СмартТок комбинује неколико слојева. Уграђене политике држе асистента у његовој улози, одбијају захтеве ван теме и тврђену власт, третирају преузете текстове као податке, а не као инструкције, и захтевају доказе пре обавеза. Алат за поруџбине враћа само сопствене поруџбине пријављеног купца, након кода за верификацију е-поште. Опционална модерација са опуштеним, умереним или строгим предсетовима филтрира увредљиве поруке и води лог о ревизији, а лимити спама и забране штите канале. Када асистент треба да стане, предаје разговор тиму.