Grand modèle de langage (LLM)
Définition express
Un grand modèle de langage (LLM) est un réseau de neurones entraîné sur d'énormes volumes de texte à prédire le mot suivant, ce qui lui permet de comprendre et de produire du langage naturel. C'est le moteur de raisonnement des chatbots et des agents IA actuels.
Sur cette page
Comment fonctionne un LLM
Un LLM lit le texte sous forme de tokens — des morceaux de mots — et calcule, pour chaque position, la probabilité de chaque token suivant possible. Générer une réponse revient à répéter cette prédiction, token après token. Presque tous les LLM actuels reposent sur l'architecture Transformer présentée par Vaswani et ses collègues en 2017, dont le mécanisme d'attention permet au modèle de tenir compte de chaque partie du texte d'entrée pour produire chaque mot.
L'entraînement se fait par étapes. Le pré-entraînement sur un immense corpus apprend la langue et des connaissances générales. Un ajustement sur des consignes, puis les retours de personnes, apprennent ensuite au modèle à suivre une demande, à tenir un dialogue et à refuser certaines tâches. En 2020, l'article sur GPT-3 a montré qu'un modèle assez grand pouvait réaliser une tâche nouvelle à partir de quelques exemples donnés dans la consigne, sans réentraînement.
Ce qu'un LLM ne sait pas
Les connaissances d'un LLM s'arrêtent à la fin de ses données d'entraînement, et il n'a jamais vu les informations privées de votre entreprise : prix, stock, politique de retour, commandes des clients. Interrogé à leur sujet, il produit souvent une supposition plausible — une hallucination. Sa fenêtre de contexte, c'est-à-dire la quantité de texte qu'il peut prendre en compte d'un coup, est aussi limitée.
C'est pourquoi les assistants d'entreprise utiles comptent rarement sur le modèle seul. La génération augmentée par récupération (RAG) lui fournit les passages pertinents de vos contenus, et des outils lui permettent d'interroger des systèmes à jour, comme un catalogue ou une base de commandes.
Choisir un modèle
Les modèles diffèrent par la qualité de leur raisonnement, leur rapidité, leur prix au token, les langues qu'ils maîtrisent, la taille de leur contexte et leur lieu d'hébergement. En service client, un modèle rapide de taille moyenne suffit souvent pour les questions courantes, tandis que les cas plus difficiles — conditions longues, demandes en plusieurs étapes — gagnent à passer par un modèle plus puissant. La localisation des données compte aussi : une entreprise européenne peut préférer un modèle hébergé dans l'UE.
Le modèle n'est qu'une partie du résultat. Les consignes, les données d'ancrage, les outils et l'évaluation sur de vraies conversations pèsent en général davantage que le passage d'un modèle de pointe à un autre.
Les LLM dans AI SmartTalk
Les assistants AI SmartTalk sont construits autour de LLM et utilisent par défaut des modèles hébergés dans l'UE ; un client peut choisir d'utiliser à la place les modèles d'autres fournisseurs. Les réponses de l'assistant s'appuient sur les contenus et le catalogue indexés de l'entreprise, et il utilise des outils pour consulter les données à jour plutôt que de demander au modèle de s'en souvenir.
Questions fréquentes
ChatGPT est-il un LLM ?
ChatGPT est une application construite sur des LLM conçus par OpenAI. Le modèle génère le texte ; l'application ajoute une interface de discussion, la mémoire de la conversation, des outils comme la recherche web et des règles de sécurité.
Que veut dire « grand » dans grand modèle de langage ?
Le mot renvoie au nombre de paramètres — les poids internes appris pendant l'entraînement, de quelques milliards à plusieurs centaines de milliards — et à la taille du corpus d'entraînement. Il n'existe pas de seuil précis.
Un LLM peut-il apprendre à partir des données de mon entreprise ?
Deux approches existent. Le fine-tuning réentraîne le modèle sur vos exemples : c'est coûteux et cela ne suit pas l'évolution des informations. La génération augmentée par récupération laisse le modèle intact et lui fournit les bons passages au moment de la question, ce qui convient mieux aux prix, au stock et aux conditions.
Peut-on utiliser un LLM avec des données clients ?
Cela dépend des conditions du fournisseur, du lieu d'hébergement du modèle et de la façon dont l'application traite les données personnelles. Vérifiez si le fournisseur utilise vos données pour entraîner ses modèles, où elles sont traitées et si un accord de sous-traitance (DPA) est proposé.