Guardrails de IA

Um modelo de linguagem tentará responder a qualquer coisa, em qualquer tom, para qualquer pessoa. Para um assistente de negócios, isso é um risco: ele pode se desviar do tópico, prometer um reembolso que não tem autoridade para conceder, revelar dados de outro cliente, seguir instruções plantadas em uma página da web ou produzir conteúdo ofensivo quando provocado.

O OWASP Top 10 para aplicações de LLM lista os principais riscos, incluindo injeção de prompt, divulgação de informações sensíveis, agência excessiva (um agente permitido a fazer mais do que deveria) e desinformação. O Perfil de IA Generativa do NIST (AI 600-1) enquadra os mesmos problemas sob uma perspectiva de gerenciamento de riscos.

Controles de entrada filtram o que chega ao modelo: moderação de mensagens abusivas, limites de spam, detecção de dados sensíveis. Controles em nível de instrução definem escopo e comportamento: o papel do assistente, tópicos a recusar, compromissos que ele não pode fazer sem evidências. Controles em nível de ferramenta limitam o que o agente pode fazer: acesso somente leitura, ações restritas aos próprios registros do cliente logado, confirmação antes de qualquer coisa irreversível. Controles de saída verificam a resposta antes de ser enviada.

Os guardrails mais fortes são aplicados no código, não no prompt. "Mostrar apenas ao cliente seus próprios pedidos" é confiável quando a ferramenta de pedidos filtra pelo cliente verificado; é frágil quando é apenas uma frase nas instruções.

Dois modos de falha são comuns. Bloqueio excessivo: um assistente tão restrito que se recusa a responder perguntas razoáveis, o que afasta os clientes tão seguramente quanto uma resposta errada. Regras apenas de prompt: limites escritos no prompt do sistema que um usuário determinado pode persuadir o modelo a ignorar.

Os guardrails também precisam de monitoramento. Registros de moderação, solicitações recusadas e escalonamentos mostram se os limites estão no lugar certo.

O AI SmartTalk combina várias camadas. Políticas internas mantêm o assistente em seu papel, recusam solicitações fora do tópico e autoridade reivindicada, tratam o texto recuperado como dados em vez de instruções e exigem evidências antes de compromissos. As ferramentas de pedidos retornam apenas os próprios pedidos do cliente logado, após um código de verificação por e-mail. A moderação opcional com predefinições relaxadas, moderadas ou rigorosas filtra mensagens abusivas e mantém um registro de auditoria, e limites e proibições de spam protegem os canais. Quando o assistente deve parar, ele entrega a conversa à equipe.