Modelo de lenguaje grande (LLM)
Definición rápida
Un modelo de lenguaje grande (LLM) es una red neuronal entrenada con grandes cantidades de texto para predecir la siguiente palabra, lo que le permite entender y generar lenguaje natural. Es el motor de razonamiento detrás de los chatbots modernos y los agentes de IA.
En esta página
Cómo funciona un LLM
Un LLM lee texto como tokens — partes de palabras — y, para cada posición, calcula la probabilidad de cada posible siguiente token. Generar una respuesta significa repetir esa predicción token tras token. Casi todos los LLM actuales utilizan la arquitectura Transformer introducida por Vaswani y colegas en 2017, cuyo mecanismo de atención permite al modelo ponderar cada parte de la entrada al producir cada palabra.
El entrenamiento ocurre en etapas. El preentrenamiento en un enorme corpus de texto enseña lenguaje y conocimiento general. La afinación de instrucciones y la retroalimentación de las personas luego enseñan al modelo a seguir solicitudes, mantener un diálogo y rechazar algunas tareas. En 2020, el artículo de GPT-3 mostró que un modelo lo suficientemente grande podría realizar nuevas tareas a partir de unos pocos ejemplos en el aviso, sin necesidad de reentrenamiento.
Lo que un LLM no sabe
El conocimiento de un LLM está congelado al final de sus datos de entrenamiento, y nunca ha visto la información privada de tu negocio: precios, inventario, política de devoluciones, pedidos de clientes. Cuando se le pregunta sobre ellos, a menudo producirá una suposición plausible — una alucinación. También tiene una ventana de contexto limitada, la cantidad de texto que puede tener en cuenta a la vez.
Por eso, los asistentes comerciales útiles rara vez dependen solo del modelo. La generación aumentada por recuperación (RAG) le proporciona los pasajes relevantes de tu contenido, y las herramientas le permiten consultar sistemas en vivo como un catálogo o una base de datos de pedidos.
Elegir un modelo
Los modelos difieren en calidad de razonamiento, velocidad, precio por token, los idiomas que manejan bien, tamaño del contexto y dónde están alojados. Para el servicio al cliente, un modelo rápido y de tamaño medio suele ser suficiente para preguntas rutinarias, mientras que los casos más difíciles — políticas largas, solicitudes de múltiples pasos — se benefician de uno más robusto. La ubicación de los datos también importa: un negocio europeo puede preferir un modelo alojado en la UE.
El modelo es solo una parte del resultado. Las instrucciones, los datos de referencia, las herramientas y la evaluación en conversaciones reales suelen importar más que cambiar de un modelo líder a otro.
LLMs en AI SmartTalk
Los asistentes de AI SmartTalk están construidos alrededor de LLMs y utilizan modelos alojados en la UE por defecto; un cliente puede optar por utilizar modelos de otros proveedores. Las respuestas del asistente están fundamentadas en el contenido indexado y el catálogo del negocio, y utiliza herramientas para buscar datos en vivo en lugar de pedirle al modelo que lo recuerde.
Preguntas frecuentes
¿Es ChatGPT un LLM?
ChatGPT es una aplicación construida sobre LLMs creados por OpenAI. El modelo genera texto; la aplicación añade una interfaz de chat, memoria de conversación, herramientas como búsqueda web y reglas de seguridad.
¿Qué significa “grande” en modelo de lenguaje grande?
Se refiere al número de parámetros — los pesos internos aprendidos en el entrenamiento, que van desde miles de millones hasta cientos de miles de millones — y al tamaño del corpus de entrenamiento. No hay un umbral exacto.
¿Puede un LLM aprender de los datos de mi empresa?
Existen dos enfoques. El ajuste fino reentrena el modelo con tus ejemplos, lo cual es costoso y no se mantiene al día con los hechos cambiantes. La generación aumentada por recuperación deja el modelo sin cambios y le proporciona los pasajes correctos en el momento de la pregunta, lo que se adapta mejor a precios, inventario y políticas.
¿Son seguros los LLMs para usar con datos de clientes?
Depende de los términos del proveedor, de dónde está alojado el modelo y de cómo la aplicación maneja los datos personales. Verifica si el proveedor utiliza tus datos para entrenamiento, dónde se procesan y si hay un acuerdo de procesamiento de datos disponible.