Velik jezikovni model (LLM)
Hitro definicija
Velik jezikovni model (LLM) je nevronska mreža, usposobljena na zelo velikih količinah besedil za napovedovanje naslednje besede, kar mu omogoča razumevanje in generiranje naravnega jezika. To je motor za razmišljanje za sodobne klepetalnike in AI agente.
Na tej strani
Kako deluje LLM
LLM bere besedilo kot tokene — dele besed — in za vsako pozicijo izračuna verjetnost vsakega možnega naslednjega tokna. Generiranje odgovora pomeni ponavljanje te napovedi tokna za toknen. Skoraj vsi trenutni LLM-ji uporabljajo arhitekturo Transformer, ki jo je uvedel Vaswani in njegovi sodelavci leta 2017, katere mehanizem pozornosti omogoča modelu, da tehta vsak del vhodnih podatkov pri proizvodnji vsake besede.
Usposabljanje poteka v fazah. Predusposabljanje na ogromnem besedilnem korpusu uči jezik in splošno znanje. Prilagajanje navodil in povratne informacije od ljudi nato modelu pomagajo, da sledi zahtevam, vodi dialog in zavrne nekatere naloge. Leta 2020 je članek o GPT-3 pokazal, da lahko dovolj velik model opravlja nove naloge na podlagi nekaj primerov v pozivu, brez ponovnega usposabljanja.
Kaj LLM ne ve
Znanje LLM je zamrznjeno na koncu njegovih podatkov za usposabljanje in nikoli ni videl zasebnih informacij vašega podjetja: cen, zalog, politike vračil, naročil strank. Ko ga vprašate o njih, pogosto ustvari verjetno ugibanje — halucinacijo. Ima tudi omejeno okno konteksta, količino besedila, ki ga lahko upošteva naenkrat.
Zato koristni poslovni asistenti redko zanašajo le na model. Generacija, obogatena z iskanjem (RAG), mu posreduje ustrezne odlomke iz vaših vsebin, orodja pa mu omogočajo iskanje v živo, kot je katalog ali baza podatkov naročil.
Izbira modela
Modeli se razlikujejo po kakovosti razmišljanja, hitrosti, ceni na token, jezikih, ki jih dobro obvladajo, velikosti konteksta in kraju gostovanja. Za službo za stranke je pogosto dovolj hiter, srednje velik model za rutinska vprašanja, medtem ko težji primeri — dolge politike, večstopenjske zahteve — koristijo močnejšemu modelu. Pomembna je tudi lokacija podatkov: evropsko podjetje morda raje izbere model, ki je gostovan v EU.
Model je le del rezultata. Navodila, podatki o temelju, orodja in ocenjevanje na realnih pogovorih so običajno pomembnejši od prehoda z enega vodilnega modela na drugega.
LLM-ji v AI SmartTalk
Asistenti AI SmartTalk so zgrajeni okoli LLM-jev in privzeto uporabljajo modele, ki so gostovani v EU; stranka se lahko odloči, da namesto tega uporabi modele drugih ponudnikov. Odgovori asistenta so zasnovani na indeksiranih vsebinah in katalogu podjetja, ter uporablja orodja za iskanje v živo, namesto da bi modelu naročil, naj si jih zapomni.
Pogosto zastavljena vprašanja
Je ChatGPT LLM?
ChatGPT je aplikacija, zgrajena na vrhu LLM-jev, ki jih je izdelal OpenAI. Model generira besedilo; aplikacija dodaja klepetalni vmesnik, spomin na pogovore, orodja, kot je iskanje po spletu, in varnostna pravila.
Kaj pomeni 'velik' v velikem jezikovnem modelu?
Pomeni število parametrov — notranje teže, naučene med usposabljanjem, od milijard do stotin milijard — in velikost usposabljanja korpusa. Ni natančnega praga.
Se lahko LLM uči iz podatkov moje podjetja?
Obstajata dva pristopa. Fine-tuning ponovno usposobi model na vaših primerih, kar je drago in ne sledi spreminjajočim se dejstvom. Generacija, obogatena z iskanjem, pušča model nespremenjen in mu daje prave odlomke ob času vprašanja, kar bolje ustreza cenam, zalogam in politikam.
So LLM-ji varni za uporabo s podatki strank?
Odvisno je od pogojev ponudnika, kje je model gostovan in kako aplikacija ravna s osebnimi podatki. Preverite, ali ponudnik uporablja vaše podatke za usposabljanje, kje se obdelujejo in ali je na voljo pogodba o obdelavi podatkov.