Guardrail AI

Un modello linguistico cercherà di rispondere a qualsiasi cosa, in qualsiasi tono, per chiunque. Per un assistente aziendale, ciò rappresenta un rischio: potrebbe deviare dall'argomento, promettere un rimborso che non ha l'autorità di concedere, rivelare i dati di un altro cliente, seguire istruzioni piantate in una pagina web o produrre contenuti offensivi quando provocato.

La OWASP Top 10 per le applicazioni LLM elenca i principali rischi, tra cui l'iniezione di prompt, la divulgazione di informazioni sensibili, l'eccessiva agenzia (un agente autorizzato a fare più di quanto dovrebbe) e la disinformazione. Il Profilo di AI Generativa del NIST (AI 600-1) inquadra le stesse questioni da un punto di vista di gestione del rischio.

I controlli di input filtrano ciò che raggiunge il modello: moderazione dei messaggi abusivi, limiti di spam, rilevamento di dati sensibili. I controlli a livello di istruzioni definiscono l'ambito e il comportamento: il ruolo dell'assistente, gli argomenti da rifiutare, gli impegni che non può assumere senza prove. I controlli a livello di strumenti limitano ciò che l'agente può fare: accesso in sola lettura, azioni limitate ai record del cliente connesso, conferma prima di qualsiasi cosa irreversibile. I controlli di output verificano la risposta prima che venga inviata.

I guardrail più robusti sono applicati nel codice, non nel prompt. “Mostra solo al cliente i propri ordini” è affidabile quando lo strumento degli ordini stesso filtra per il cliente verificato; è fragile quando è solo una frase nelle istruzioni.

Due modalità di fallimento sono comuni. Over-blocking: un assistente così ristretto che rifiuta domande ragionevoli, il che allontana i clienti tanto quanto una risposta sbagliata. Regole solo nel prompt: limiti scritti nel prompt di sistema da cui un utente determinato può far uscire il modello.

I guardrail necessitano anche di monitoraggio. I registri di moderazione, le richieste rifiutate e le escalation mostrano se i limiti sono nel posto giusto.

AI SmartTalk combina diversi livelli. Politiche integrate mantengono l'assistente nel suo ruolo, rifiutano richieste fuori tema e autorità rivendicate, trattano il testo recuperato come dati piuttosto che come istruzioni e richiedono prove prima di impegni. Gli strumenti per gli ordini restituiscono solo gli ordini del cliente connesso, dopo un codice di verifica via email. Moderazione opzionale con preset rilassati, moderati o rigorosi filtra i messaggi abusivi e mantiene un registro di audit, e limiti e divieti di spam proteggono i canali. Quando l'assistente dovrebbe fermarsi, passa la conversazione al team.