Kufijtë e AI

Një model gjuhe do të përpiqet të përgjigjet për çdo gjë, në çdo ton, për këdo. Për një ndihmës biznesi, kjo është një rrezik: mund të largohet nga tema, të premtojë një rimbursim që nuk ka autoritet për ta dhënë, të zbulojë të dhëna të një klienti tjetër, të ndjekë udhëzime të vendosura në një faqe interneti, ose të prodhojë përmbajtje ofenduese kur provokohet.

Lista OWASP Top 10 për aplikacionet LLM përmend rreziqet kryesore, duke përfshirë injeksionin e nxitjeve, zbulimin e informacionit të ndjeshëm, agjencinë e tepruar (një agjent i lejuar të bëjë më shumë se sa duhet) dhe dezinformimin. Profili i AI Generative i NIST (AI 600-1) e kornizon të njëjtat çështje nga një këndvështrim menaxhimi të rrezikut.

Kontrolli i inputit filtrojnë atë që arrin në model: moderimi i mesazheve abuzive, kufizimet e spamit, zbulimi i të dhënave të ndjeshme. Kontrolli në nivelin e udhëzimeve përcakton fushën dhe sjelljen: roli i ndihmësit, temat për të cilat duhet të refuzojë, angazhimet që nuk mund të bëjë pa prova. Kontrolli në nivelin e mjeteve kufizon atë që agjenti mund të bëjë: akses vetëm për lexim, veprime të kufizuara në regjistrat e klientit të regjistruar, konfirmim para çdo gjëje të pakthyeshme. Kontrolli i output-it kontrollon përgjigjen para se të dërgohet.

Mbrojtësit më të fortë zbatohen në kod, jo në nxitje. "Të tregoni vetëm klientit porositë e tij" është e besueshme kur mjeti i porosisë vetë filtrohet nga klienti i verifikuar; është e brishtë kur është vetëm një fjali në udhëzimet.

Dy mënyra dështimi janë të zakonshme. Teprimi i bllokimit: një ndihmës kaq i kufizuar sa refuzon pyetje të arsyeshme, që largon klientët ashtu si një përgjigje e gabuar. Rregullat vetëm për nxitje: kufizime të shkruara në nxitjen e sistemit që një përdorues i vendosur mund t'i flasë modelit jashtë.

Mbrojtësit gjithashtu kanë nevojë për monitorim. Regjistrat e moderimit, kërkesat e refuzuara dhe eskalimet tregojnë nëse kufizimet janë në vendin e duhur.

AI SmartTalk kombinon disa nivele. Politikat e ndërtuara mbajnë ndihmësin në rolin e tij, refuzojnë kërkesat jashtë teme dhe autoritetin e pretenduar, trajtojnë tekstin e rikuperuar si të dhëna dhe jo si udhëzime, dhe kërkojnë prova para angazhimeve. Mjetet e porosisë kthejnë vetëm porositë e klientit të regjistruar, pas një kodi verifikimi përmes emailit. Moderimi opsional me preset të relaksuar, të moderuar ose të rreptë filtrojnë mesazhet abuzive dhe mbajnë një regjistër auditimi, dhe kufizimet dhe ndalimet e spamit mbrojnë kanalet. Kur ndihmësi duhet të ndalojë, ai ia kalon bisedën ekipit.