Modello di linguaggio grande (LLM)
Definizione rapida
Un modello di linguaggio grande (LLM) è una rete neurale addestrata su enormi quantità di testo per prevedere la parola successiva, il che gli consente di comprendere e generare linguaggio naturale. È il motore di ragionamento dietro i chatbot moderni e gli agenti AI.
In questa pagina
Come funziona un LLM
Un LLM legge il testo come token — pezzi di parole — e, per ogni posizione, calcola la probabilità di ogni possibile token successivo. Generare una risposta significa ripetere quella previsione token dopo token. Quasi tutti gli LLM attuali utilizzano l'architettura Transformer introdotta da Vaswani e colleghi nel 2017, il cui meccanismo di attenzione consente al modello di pesare ogni parte dell'input durante la produzione di ogni parola.
L'addestramento avviene in fasi. La pre-istruzione su un enorme corpus di testo insegna linguaggio e conoscenze generali. La messa a punto delle istruzioni e il feedback delle persone insegnano quindi al modello a seguire le richieste, mantenere un dialogo e rifiutare alcuni compiti. Nel 2020, il documento GPT-3 ha dimostrato che un modello sufficientemente grande poteva eseguire nuovi compiti a partire da pochi esempi nel prompt, senza riaddestramento.
Cosa non sa un LLM
La conoscenza di un LLM è congelata alla fine dei suoi dati di addestramento e non ha mai visto le informazioni private della tua azienda: prezzi, stock, politica di reso, ordini dei clienti. Se gli viene chiesto di esse, spesso produrrà una congettura plausibile — un'allucinazione. Ha anche una finestra di contesto limitata, la quantità di testo che può prendere in considerazione contemporaneamente.
Ecco perché gli assistenti aziendali utili raramente si affidano solo al modello. La generazione aumentata da recupero (RAG) gli fornisce i passaggi pertinenti dal tuo contenuto, e gli strumenti gli consentono di interrogare sistemi in tempo reale come un catalogo o un database degli ordini.
Scegliere un modello
I modelli differiscono nella qualità del ragionamento, velocità, prezzo per token, le lingue che gestiscono bene, dimensione del contesto e dove sono ospitati. Per il servizio clienti, un modello veloce e di dimensioni medie è spesso sufficiente per domande di routine, mentre i casi più complessi — politiche lunghe, richieste a più fasi — beneficiano di uno più potente. Anche la posizione dei dati è importante: un'azienda europea potrebbe preferire un modello ospitato nell'UE.
Il modello è solo una parte del risultato. Istruzioni, dati di base, strumenti e valutazione su conversazioni reali di solito contano di più rispetto al passaggio da un modello leader a un altro.
LLM in AI SmartTalk
Gli assistenti AI SmartTalk sono costruiti attorno agli LLM e utilizzano modelli ospitati nell'UE per impostazione predefinita; un cliente può scegliere di utilizzare modelli di altri fornitori. Le risposte dell'assistente sono basate sul contenuto indicizzato e sul catalogo dell'azienda, e utilizza strumenti per cercare dati in tempo reale piuttosto che chiedere al modello di ricordarli.
Domande frequenti
ChatGPT è un LLM?
ChatGPT è un'applicazione costruita sopra gli LLM realizzati da OpenAI. Il modello genera testo; l'applicazione aggiunge un'interfaccia di chat, memoria della conversazione, strumenti come la ricerca web e regole di sicurezza.
Cosa significa “grande” in modello di linguaggio grande?
Si riferisce al numero di parametri — i pesi interni appresi durante l'addestramento, da miliardi a centinaia di miliardi — e alla dimensione del corpus di addestramento. Non esiste una soglia esatta.
Un LLM può apprendere dai dati della mia azienda?
Esistono due approcci. La messa a punto fine riaddestra il modello sui tuoi esempi, il che è costoso e non tiene il passo con i fatti in cambiamento. La generazione aumentata da recupero lascia il modello invariato e gli fornisce i passaggi giusti al momento della domanda, il che si adatta meglio a prezzi, stock e politiche.
Gli LLM sono sicuri da usare con i dati dei clienti?
Dipende dai termini del fornitore, da dove è ospitato il modello e da come l'applicazione gestisce i dati personali. Controlla se il fornitore utilizza i tuoi dati per l'addestramento, dove vengono elaborati e se è disponibile un accordo sul trattamento dei dati.