Modelo de linguagem grande (LLM)
Definição rápida
Um modelo de linguagem grande (LLM) é uma rede neural treinada em grandes quantidades de texto para prever a próxima palavra, o que permite entender e gerar linguagem natural. É o motor de raciocínio por trás dos chatbots modernos e agentes de IA.
Nesta página
Como um LLM funciona
Um LLM lê texto como tokens — pedaços de palavras — e, para cada posição, calcula a probabilidade de cada possível próximo token. Gerar uma resposta significa repetir essa previsão token após token. Quase todos os LLMs atuais usam a arquitetura Transformer introduzida por Vaswani e colegas em 2017, cujo mecanismo de atenção permite que o modelo pese cada parte da entrada ao produzir cada palavra.
O treinamento acontece em etapas. O pré-treinamento em um enorme corpus de texto ensina linguagem e conhecimento geral. O ajuste de instruções e o feedback de pessoas então ensinam o modelo a seguir solicitações, manter um diálogo e recusar algumas tarefas. Em 2020, o artigo do GPT-3 mostrou que um modelo grande o suficiente poderia realizar novas tarefas a partir de alguns exemplos no prompt, sem re-treinamento.
O que um LLM não sabe
O conhecimento de um LLM está congelado no final de seus dados de treinamento, e ele nunca viu as informações privadas da sua empresa: preços, estoque, política de devolução, pedidos de clientes. Quando questionado sobre eles, muitas vezes ele produzirá um palpite plausível — uma alucinação. Ele também tem uma janela de contexto limitada, a quantidade de texto que pode levar em conta de uma só vez.
É por isso que assistentes de negócios úteis raramente dependem apenas do modelo. A geração aumentada por recuperação (RAG) fornece os trechos relevantes do seu conteúdo, e ferramentas permitem que ele consulte sistemas ao vivo, como um catálogo ou um banco de dados de pedidos.
Escolhendo um modelo
Os modelos diferem na qualidade do raciocínio, velocidade, preço por token, as línguas que lidam bem, tamanho do contexto e onde estão hospedados. Para atendimento ao cliente, um modelo rápido e de tamanho médio é frequentemente suficiente para perguntas rotineiras, enquanto casos mais difíceis — políticas longas, solicitações em várias etapas — se beneficiam de um modelo mais forte. A localização dos dados também é importante: uma empresa europeia pode preferir um modelo hospedado na UE.
O modelo é apenas uma parte do resultado. Instruções, dados de base, ferramentas e avaliação em conversas reais geralmente importam mais do que mudar de um modelo líder para outro.
LLMs no AI SmartTalk
Os assistentes do AI SmartTalk são construídos em torno de LLMs e usam modelos hospedados na UE por padrão; um cliente pode optar por usar modelos de outros provedores. As respostas do assistente são fundamentadas no conteúdo indexado e no catálogo da empresa, e ele usa ferramentas para buscar dados ao vivo em vez de pedir ao modelo que se lembre disso.
Perguntas frequentes
O ChatGPT é um LLM?
O ChatGPT é uma aplicação construída sobre LLMs feitos pela OpenAI. O modelo gera texto; a aplicação adiciona uma interface de chat, memória de conversa, ferramentas como busca na web e regras de segurança.
O que significa “grande” em modelo de linguagem grande?
Refere-se ao número de parâmetros — os pesos internos aprendidos no treinamento, de bilhões a centenas de bilhões — e ao tamanho do corpus de treinamento. Não há um limite exato.
Um LLM pode aprender com os dados da minha empresa?
Existem duas abordagens. O ajuste fino re-treina o modelo com seus exemplos, o que é caro e não acompanha os fatos em mudança. A geração aumentada por recuperação mantém o modelo inalterado e fornece os trechos corretos no momento da pergunta, o que se adequa melhor a preços, estoque e políticas.
Os LLMs são seguros para usar com dados de clientes?
Depende dos termos do provedor, onde o modelo está hospedado e como a aplicação lida com dados pessoais. Verifique se o provedor usa seus dados para treinamento, onde eles são processados e se um acordo de processamento de dados está disponível.