Stor språkmodell (LLM)
Rask definisjon
En stor språkmodell (LLM) er et nevralt nettverk trent på svært store mengder tekst for å forutsi neste ord, noe som lar den forstå og generere naturlig språk. Det er resonnementsmotoren bak moderne chatbots og AI-agenter.
På denne siden
Hvordan en LLM fungerer
En LLM leser tekst som tokens — biter av ord — og beregner for hver posisjon sannsynligheten for hver mulig neste token. Å generere et svar betyr å gjenta den prediksjonen token etter token. Nesten alle nåværende LLM-er bruker Transformer-arkitekturen introdusert av Vaswani og kolleger i 2017, hvis oppmerksomhetsmekanisme lar modellen vurdere hver del av inngangen når den produserer hvert ord.
Treningen skjer i faser. Forhåndstrening på et stort tekstkorpus lærer språk og generell kunnskap. Instruksjonsjustering og tilbakemelding fra mennesker lærer deretter modellen å følge forespørslene, holde en dialog og avslå noen oppgaver. I 2020 viste GPT-3-artikkelen at en stor nok modell kunne utføre nye oppgaver fra noen få eksempler i prompten, uten å bli trent på nytt.
Hva en LLM ikke vet
En LLMs kunnskap er fryset ved slutten av treningsdataene, og den har aldri sett din bedrifts private informasjon: priser, lager, returpolicy, kundeordrer. Når den blir spurt om dem, vil den ofte produsere et plausibelt gjetning — en hallusinasjon. Den har også et begrenset kontekstvindu, mengden tekst den kan ta hensyn til på en gang.
Det er derfor nyttige forretningsassistenter sjelden stoler på modellen alene. Hentningsforsterket generering (RAG) gir den relevante avsnittene fra innholdet ditt, og verktøy lar den spørre levende systemer som en katalog eller en ordredatabase.
Velge en modell
Modeller varierer i kvalitet på resonnement, hastighet, pris per token, språk de håndterer godt, konteksts størrelse, og hvor de er vert. For kundeservice er en rask, middels stor modell ofte tilstrekkelig for rutinespørsmål, mens vanskeligere saker — lange policyer, flertrinnsforespørsel — drar nytte av en sterkere. Dataplasserings er også viktig: en europeisk bedrift kan foretrekke en modell som er vert i EU.
Modellen er bare én del av resultatet. Instruksjoner, grunnlagsdata, verktøy og evaluering på virkelige samtaler betyr vanligvis mer enn å bytte fra en ledende modell til en annen.
LLM-er i AI SmartTalk
AI SmartTalk-assistenter er bygget rundt LLM-er og bruker EU-vert modeller som standard; en kunde kan velge å bruke andre leverandørers modeller i stedet. Assistentens svar er forankret i bedriftens indekserte innhold og katalog, og den bruker verktøy for å se opp levende data i stedet for å be modellen om å huske det.
Ofte stilte spørsmål
Er ChatGPT en LLM?
ChatGPT er en applikasjon bygget på toppen av LLM-er laget av OpenAI. Modellen genererer tekst; applikasjonen legger til et chattegrensesnitt, samtalehukommelse, verktøy som nett-søk, og sikkerhetsregler.
Hva betyr “stor” i stor språkmodell?
Det refererer til antall parametere — de interne vektene lært under trening, fra milliarder til hundrevis av milliarder — og til størrelsen på treningskorpuset. Det finnes ingen nøyaktig terskel.
Kan en LLM lære av dataene til selskapet mitt?
To tilnærminger eksisterer. Finjustering trener modellen på dine eksempler, noe som er kostbart og ikke holder tritt med endrende fakta. Hentningsforsterket generering lar modellen være uendret og gir den de riktige avsnittene ved spørsmålstid, noe som passer bedre for priser, lager og policyer.
Er LLM-er trygge å bruke med kundedata?
Det avhenger av leverandørens vilkår, hvor modellen er vert og hvordan applikasjonen håndterer personopplysninger. Sjekk om leverandøren bruker dataene dine til trening, hvor de behandles, og om en databehandlingsavtale er tilgjengelig.