Model de limbaj mare (LLM)
Definiție rapidă
Un model de limbaj mare (LLM) este o rețea neuronală antrenată pe cantități foarte mari de text pentru a prezice următorul cuvânt, ceea ce îi permite să înțeleagă și să genereze limbaj natural. Este motorul de raționare din spatele chatbot-urilor moderne și al agenților AI.
Pe această pagină
Cum funcționează un LLM
Un LLM citește textul ca pe token-uri — părți de cuvinte — și, pentru fiecare poziție, calculează probabilitatea fiecărui token următor posibil. Generarea unui răspuns înseamnă repetarea acelei predicții token după token. Aproape toate LLM-urile actuale folosesc arhitectura Transformer introdusă de Vaswani și colegii săi în 2017, al cărei mecanism de atenție permite modelului să cântărească fiecare parte a inputului atunci când produce fiecare cuvânt.
Antrenamentul se desfășoară în etape. Pre-antrenamentul pe un corp de text uriaș învață limbajul și cunoștințe generale. Ajustarea instrucțiunilor și feedback-ul de la oameni învață apoi modelul să urmeze cererile, să poarte un dialog și să refuze unele sarcini. În 2020, lucrarea GPT-3 a arătat că un model suficient de mare ar putea îndeplini sarcini noi din câteva exemple în prompt, fără a fi necesar un nou antrenament.
Ce nu știe un LLM
Cunoștințele unui LLM sunt înghețate la sfârșitul datelor sale de antrenament, iar acesta nu a văzut niciodată informațiile private ale afacerii tale: prețuri, stoc, politică de returnare, comenzi ale clienților. Întrebat despre acestea, va produce adesea o presupunere plauzibilă — o halucinație. De asemenea, are o fereastră de context limitată, cantitatea de text pe care o poate lua în considerare simultan.
De aceea, asistenții utili pentru afaceri rareori se bazează doar pe model. Generarea augmentată prin recuperare (RAG) îi furnizează pasaje relevante din conținutul tău, iar uneltele îi permit să interogheze sisteme live, cum ar fi un catalog sau o bază de date cu comenzi.
Alegerea unui model
Modelele diferă în calitatea raționării, viteză, preț pe token, limbile pe care le gestionează bine, dimensiunea contextului și locul în care sunt găzduite. Pentru serviciul clienți, un model rapid, de dimensiuni medii este adesea suficient pentru întrebări de rutină, în timp ce cazurile mai dificile — politici lungi, cereri în mai multe etape — beneficiază de un model mai puternic. Locația datelor contează de asemenea: o afacere europeană poate prefera un model găzduit în UE.
Modelul este doar o parte din rezultat. Instrucțiunile, datele de bază, uneltele și evaluarea pe conversații reale contează de obicei mai mult decât trecerea de la un model de frunte la altul.
LLM-uri în AI SmartTalk
Asistenții AI SmartTalk sunt construiți în jurul LLM-urilor și folosesc modele găzduite în UE în mod implicit; un client poate alege să folosească modele de la alți furnizori. Răspunsurile asistentului sunt fundamentate în conținutul indexat și catalogul afacerii, și folosește unelte pentru a căuta date live în loc să ceară modelului să le rețină.
Întrebări frecvente
Este ChatGPT un LLM?
ChatGPT este o aplicație construită pe baza LLM-urilor realizate de OpenAI. Modelul generează text; aplicația adaugă o interfață de chat, memorie a conversației, unelte precum căutarea pe web și reguli de siguranță.
Ce înseamnă „mare” în model de limbaj mare?
Se referă la numărul de parametri — greutățile interne învățate în timpul antrenamentului, de la miliarde la sute de miliarde — și la dimensiunea corpusului de antrenament. Nu există un prag exact.
Poate un LLM să învețe din datele companiei mele?
Există două abordări. Ajustarea fină reantrenează modelul pe exemplele tale, ceea ce este costisitor și nu ține pasul cu faptele în schimbare. Generarea augmentată prin recuperare lasă modelul neschimbat și îi oferă pasajele corecte la momentul întrebării, ceea ce se potrivește mai bine prețurilor, stocului și politicilor.
Sunt LLM-urile sigure de utilizat cu datele clienților?
Depinde de termenii furnizorului, de locul în care este găzduit modelul și de modul în care aplicația gestionează datele personale. Verifică dacă furnizorul folosește datele tale pentru antrenament, unde sunt procesate și dacă este disponibil un acord de procesare a datelor.