AI kerítések
Gyors definíció
Az AI kerítések azok a technikai és politikai ellenőrzések, amelyek biztosítják, hogy egy AI rendszer a működtetői által szándékolt határokon belül maradjon. Meghatározzák, hogy mit fed le, milyen adatokat lát, milyen tevékenységeket végezhet, és mit kell visszautasítania.
Ezen az oldalon
Miért van szükség védőkorlátokra
A nyelvi modell bármit megpróbál válaszolni, bármilyen hangnemben, bárkinek. Egy üzleti asszisztens számára ez kockázatot jelent: elkalandozhat a témától, ígérhet visszatérítést, amire nincs hatásköre, felfedheti egy másik ügyfél adatait, követheti a weboldalon elhelyezett utasításokat, vagy sértő tartalmat produkálhat, ha provokálják.
Az OWASP Top 10 a LLM alkalmazások számára felsorolja a fő kockázatokat, beleértve a prompt injekciót, érzékeny információk nyilvánosságra hozatalát, a túlzott ügynökséget (egy ügynök, akinek több dolgot engedélyeznek, mint amennyit kellene) és a félretájékoztatást. A NIST Generatív AI Profil (AI 600-1) ugyanazokat a problémákat keretezi a kockázatkezelés szempontjából.
A védőkorlátok fő típusai
A bemeneti vezérlők kiszűrik, mi jut el a modellhez: a bántó üzenetek moderálása, spam korlátok, érzékeny adatok észlelése. Az utasítás szintű vezérlők meghatározzák a terjedelmet és a viselkedést: az asszisztens szerepe, a visszautasítandó témák, kötelezettségek, amelyeket nem tehet meg bizonyíték nélkül. Az eszköz szintű vezérlők korlátozzák, mit tehet az ügynök: csak olvasási hozzáférés, cselekvések korlátozva a bejelentkezett ügyfél saját nyilvántartásaira, megerősítés bármi visszafordíthatatlan előtt. A kimeneti vezérlők ellenőrzik a választ, mielőtt azt elküldenék.
A legszigorúbb védőkorlátokat kódba kényszerítik, nem a promptba. "Csak az ügyfél saját rendeléseit mutasd" megbízható, amikor a rendelési eszköz maga a hitelesített ügyfél által szűr; törékeny, amikor csak egy mondat az utasításokban.
Csendesen megbukó védőkorlátok
Két gyakori hibamód van. Túlzott blokkolás: egy olyan asszisztens, amely annyira korlátozott, hogy visszautasítja a ésszerű kérdéseket, ami éppúgy elriasztja az ügyfeleket, mint egy rossz válasz. Csak prompt szabályok: a rendszer promptjában írt korlátozások, amelyeket egy eltökélt felhasználó ki tud beszélni a modellből.
A védőkorlátokat figyelni is kell. A moderálási naplók, a visszautasított kérések és az eszkalációk megmutatják, hogy a korlátok a megfelelő helyen vannak-e.
Védőkorlátok az AI SmartTalkban
Az AI SmartTalk több réteget kombinál. A beépített irányelvek fenntartják az asszisztens szerepét, visszautasítják a témán kívüli kéréseket és a megkérdőjelezett hatáskört, az előkerült szöveget adatként kezelik, nem utasításként, és bizonyítékot igényelnek a kötelezettségek előtt. A rendelési eszközök csak a bejelentkezett ügyfél saját rendeléseit adják vissza, egy e-mailes ellenőrző kód után. Az opcionális moderálás, amely lazább, mérsékelt vagy szigorú előbeállításokkal rendelkezik, kiszűri a bántó üzeneteket és audit naplót vezet, a spam korlátok és tilalmak pedig védik a csatornákat. Amikor az asszisztensnek meg kell állnia, átadja a beszélgetést a csapatnak.
Gyakran ismételt kérdések
A védőkorlátok ugyanazok, mint a tartalommoderálás?
A moderálás egy védőkorlát a többi között. Kiszűri a káros tartalmakat; a védőkorlátok a terjedelmet, az adatokhoz való hozzáférést, a megengedett cselekvéseket és az eszkalációt is lefedik.
Meg tudják állítani a prompt injekciót a védőkorlátok?
Csökkentik a hatását, nem pedig megakadályozzák minden kísérletet. Az utasítások és az adatok elkülönítése, az eszközengedélyek korlátozása és a kód ellenőrzése azt jelenti, hogy egy sikeres injekció kevés kárt tud okozni.
A védőkorlátok csökkentik az AI asszisztens hasznosságát?
A rosszul beállítottak igen. A jó védőkorlátok szűkek: blokkolják, ami valóban kockázatos, és szabadon hagyják az asszisztenst, hogy minden másban segítsen.