AI-rajoitteet
Nopea määritelmä
AI-rajoitteet ovat teknisiä ja poliittisia kontrollia, jotka pitävät AI-järjestelmän sen rajojen sisällä, joita sen operaattorit aikovat. Ne määrittävät, mitä se kattaa, mitä tietoa se näkee, mitä toimia se voi tehdä ja mitä sen on kieltäydyttävä.
Tällä sivulla
Miksi kaiteet ovat tarpeen
Kielimalli yrittää vastata mihin tahansa, missä tahansa sävyssä, kenelle tahansa. Liiketoiminta-apulaiselle tämä on riski: se voi harhailla aiheesta, luvata hyvityksen, johon sillä ei ole valtuuksia, paljastaa toisen asiakkaan tietoja, noudattaa verkkosivulle istutettuja ohjeita tai tuottaa loukkaavaa sisältöä, kun sitä provosoidaan.
OWASP:n Top 10 LLM-sovelluksille listaa tärkeimmät riskit, mukaan lukien kehotteen injektio, arkaluontoisten tietojen paljastaminen, liiallinen valtuutus (agentti, jolle on annettu enemmän valtuuksia kuin sen pitäisi) ja väärä tieto. NIST:n Generative AI Profile (AI 600-1) kehystää samat asiat riskienhallinnan näkökulmasta.
Kaiteiden päätyypit
Syöttöohjaimet suodattavat sen, mikä pääsee malliin: väärinkäytösten moderointi, roskapostirajat, arkaluontoisten tietojen havaitseminen. Ohje-tason ohjaimet määrittävät laajuuden ja käyttäytymisen: avustajan rooli, aiheet, joista kieltäydytään, sitoumukset, joita se ei voi tehdä ilman todisteita. Työkalutason ohjaimet rajoittavat sitä, mitä agentti voi tehdä: vain luku -pääsy, toiminnot rajoitettu vain kirjautuneen asiakkaan omiin tietoihin, vahvistus ennen mitään peruuttamatonta. Tulostason ohjaimet tarkistavat vastauksen ennen sen lähettämistä.
Vahvimmat kaiteet on pakotettu koodissa, ei kehotteessa. "Näytä asiakkaalle vain heidän omat tilauksensa" on luotettava, kun tilausväline itsessään suodattaa varmennetun asiakkaan mukaan; se on hauras, kun se on vain lause ohjeissa.
Kaiteet, jotka epäonnistuvat hiljaa
Kaksi epäonnistumistapaa on yleisiä. Liiallinen estäminen: avustaja on niin rajoitettu, että se kieltäytyy kohtuullisista kysymyksistä, mikä karkottaa asiakkaita yhtä varmasti kuin väärä vastaus. Vain kehotteeseen perustuvat säännöt: rajoitukset, jotka on kirjoitettu järjestelmän kehotteeseen, joista päättävä käyttäjä voi puhua mallin ulos.
Kaiteet tarvitsevat myös seurantaa. Moderointilokit, hylätyt pyynnöt ja eskalaatiot osoittavat, ovatko rajoitukset oikeassa paikassa.
Kaiteet AI SmartTalkissa
AI SmartTalk yhdistää useita kerroksia. Sisäänrakennetut politiikat pitävät avustajan sen roolissa, kieltäytyvät aiheen ulkopuolisista pyynnöistä ja väitetyistä valtuuksista, käsittelevät haetun tekstin datana eivätkä ohjeina, ja vaativat todisteita ennen sitoumuksia. Tilaustyökalut palauttavat vain kirjautuneen asiakkaan omat tilaukset sähköpostivarmennuskoodin jälkeen. Valinnainen moderointi, jossa on rentoja, kohtuullisia tai tiukkoja esiasetuksia, suodattaa väärinkäytöksiä ja pitää auditointilokia, ja roskapostirajat ja -kiellot suojaavat kanavia. Kun avustajan pitäisi lopettaa, se luovuttaa keskustelun tiimille.
Usein kysytyt kysymykset
Ovatko kaiteet sama asia kuin sisällön moderointi?
Moderointi on yksi kaide muiden joukossa. Se suodattaa haitallista sisältöä; kaiteet kattavat myös laajuuden, tietojen pääsyn, sallitut toimet ja eskalaation.
Voivatko kaiteet estää kehotteen injektiota?
Ne vähentävät sen vaikutusta sen sijaan, että estäisivät jokaisen yrityksen. Ohjeiden erottaminen datasta, työkalupääsyjen rajoittaminen ja toimintojen vahvistaminen koodissa tarkoittavat, että onnistunut injektio voi aiheuttaa vain vähän vahinkoa.
Tehdäänkö kaiteista AI-avustajasta vähemmän hyödyllinen?
Huonosti säädetyt kaiteet tekevät niin. Hyvät kaiteet ovat kapeita: ne estävät aidosti riskialttiit asiat ja antavat avustajan auttaa kaikessa muussa.