Barandillas de IA

Un modelo de lenguaje intentará responder cualquier cosa, en cualquier tono, para cualquier persona. Para un asistente empresarial, eso es un riesgo: puede desviarse del tema, prometer un reembolso que no tiene autoridad para otorgar, revelar datos de otro cliente, seguir instrucciones plantadas en una página web o producir contenido ofensivo cuando se le provoca.

El OWASP Top 10 para aplicaciones LLM enumera los principales riesgos, incluyendo inyección de prompts, divulgación de información sensible, excesiva autonomía (un agente permitido hacer más de lo que debería) y desinformación. El Perfil de IA Generativa de NIST (AI 600-1) enmarca los mismos problemas desde un ángulo de gestión de riesgos.

Los controles de entrada filtran lo que llega al modelo: moderación de mensajes abusivos, límites de spam, detección de datos sensibles. Los controles a nivel de instrucciones definen el alcance y el comportamiento: el rol del asistente, temas a rechazar, compromisos que no puede hacer sin evidencia. Los controles a nivel de herramientas limitan lo que el agente puede hacer: acceso solo de lectura, acciones restringidas a los registros del cliente que ha iniciado sesión, confirmación antes de cualquier cosa irreversible. Los controles de salida verifican la respuesta antes de enviarla.

Las barandillas más sólidas se aplican en el código, no en el prompt. “Solo mostrar al cliente sus propios pedidos” es confiable cuando la herramienta de pedidos filtra por el cliente verificado; es frágil cuando es solo una frase en las instrucciones.

Dos modos de falla son comunes. Sobrebloqueo: un asistente tan restringido que se niega a responder preguntas razonables, lo que aleja a los clientes tan seguro como una respuesta incorrecta. Reglas solo de prompt: límites escritos en el prompt del sistema de los que un usuario decidido puede convencer al modelo de ignorar.

Las barandillas también necesitan monitoreo. Los registros de moderación, solicitudes rechazadas y escalaciones muestran si los límites están en el lugar correcto.

AI SmartTalk combina varias capas. Las políticas integradas mantienen al asistente en su rol, rechazan solicitudes fuera de tema y autoridad reclamada, tratan el texto recuperado como datos en lugar de instrucciones, y requieren evidencia antes de compromisos. Las herramientas de pedidos solo devuelven los propios pedidos del cliente que ha iniciado sesión, después de un código de verificación por correo electrónico. La moderación opcional con preajustes relajados, moderados o estrictos filtra mensajes abusivos y mantiene un registro de auditoría, y los límites y prohibiciones de spam protegen los canales. Cuando el asistente debe detenerse, entrega la conversación al equipo.