Stort språkmodell (LLM)
Snabb definition
En stor språkmodell (LLM) är ett neuralt nätverk som tränats på mycket stora mängder text för att förutsäga nästa ord, vilket gör att den kan förstå och generera naturligt språk. Det är resonemangsmotorn bakom moderna chattbotar och AI-agenter.
På den här sidan
Hur en LLM fungerar
En LLM läser text som token — delar av ord — och beräknar för varje position sannolikheten för varje möjligt nästa token. Att generera ett svar innebär att upprepa den förutsägelsen token efter token. Nästan alla nuvarande LLM:er använder Transformer-arkitekturen som introducerades av Vaswani och kollegor 2017, vars uppmärksamhetsmekanism låter modellen väga varje del av ingången när den producerar varje ord.
Träning sker i etapper. Förträning på en stor textkorpus lär språk och allmän kunskap. Instruktionsjustering och feedback från människor lär sedan modellen att följa förfrågningar, hålla en dialog och avböja vissa uppgifter. År 2020 visade GPT-3-papperet att en tillräckligt stor modell kunde utföra nya uppgifter utifrån några exempel i prompten, utan omträning.
Vad en LLM inte vet
En LLM:s kunskap är fryst vid slutet av dess träningsdata, och den har aldrig sett ditt företags privata information: priser, lager, returpolicy, kundbeställningar. När den frågas om dem kommer den ofta att producera en plausibel gissning — en hallucination. Den har också ett begränsat kontextfönster, den mängd text den kan ta hänsyn till på en gång.
Det är därför användbara affärsassistenter sällan förlitar sig på modellen ensam. Retrieval-augmented generation (RAG) matar den med relevanta avsnitt från ditt innehåll, och verktyg låter den fråga levande system som en katalog eller en beställningsdatabas.
Välja en modell
Modeller skiljer sig åt i kvalitet på resonemang, hastighet, pris per token, de språk de hanterar väl, kontextstorlek och var de är värd. För kundservice är en snabb, medelstor modell ofta tillräcklig för rutinfrågor, medan svårare fall — långa policyer, fler steg-förfrågningar — gynnas av en starkare. Dataplats spelar också roll: ett europeiskt företag kan föredra en modell som är värd i EU.
Modellen är bara en del av resultatet. Instruktioner, grunddata, verktyg och utvärdering på verkliga konversationer brukar spela större roll än att byta från en ledande modell till en annan.
LLM:er i AI SmartTalk
AI SmartTalk-assistenter är byggda kring LLM:er och använder EU-värd modeller som standard; en kund kan välja att använda andra leverantörers modeller istället. Assistentens svar är grundade i företagets indexerade innehåll och katalog, och den använder verktyg för att slå upp levande data istället för att be modellen att komma ihåg det.
Vanliga frågor
Är ChatGPT en LLM?
ChatGPT är en applikation byggd ovanpå LLM:er skapade av OpenAI. Modellen genererar text; applikationen lägger till ett chattgränssnitt, konversationsminne, verktyg som webbsökning och säkerhetsregler.
Vad betyder "stor" i stor språkmodell?
Det hänvisar till antalet parametrar — de interna vikterna som lärs in under träning, från miljarder till hundratals miljarder — och till storleken på träningskorpuset. Det finns ingen exakt tröskel.
Kan en LLM lära sig av mitt företags data?
Två tillvägagångssätt finns. Finjustering omtränerar modellen på dina exempel, vilket är kostsamt och inte hänger med i föränderliga fakta. Retrieval-augmented generation lämnar modellen oförändrad och ger den rätta avsnitten vid frågetid, vilket passar priser, lager och policyer bättre.
Är LLM:er säkra att använda med kunddata?
Det beror på leverantörens villkor, var modellen är värd och hur applikationen hanterar personuppgifter. Kontrollera om leverantören använder dina data för träning, var de bearbetas och om ett avtal om databehandling är tillgängligt.