Stor sprogmodel (LLM)
Hurtig definition
En stor sprogmodel (LLM) er et neuralt netværk trænet på meget store mængder tekst for at forudsige det næste ord, hvilket gør det muligt at forstå og generere naturligt sprog. Det er ræsonneringsmotoren bag moderne chatbots og AI-agenter.
På denne side
Hvordan en LLM fungerer
En LLM læser tekst som tokens — dele af ord — og beregner for hver position sandsynligheden for hver mulig næste token. At generere et svar betyder at gentage den forudsigelse token efter token. Næsten alle nuværende LLM'er bruger Transformer-arkitekturen introduceret af Vaswani og kolleger i 2017, hvis opmærksomhedsmekanisme lader modellen vægte hver del af inputtet, når der produceres hvert ord.
Træning sker i faser. Fortræning på et kæmpe tekstkorpus lærer sprog og generel viden. Instruktionsjustering og feedback fra mennesker lærer derefter modellen at følge anmodninger, føre en dialog og afslå nogle opgaver. I 2020 viste GPT-3-papiret, at en stor nok model kunne udføre nye opgaver ud fra et par eksempler i prompten, uden at skulle trænes igen.
Hvad en LLM ikke ved
En LLM's viden er frosset ved slutningen af dens træningsdata, og den har aldrig set din virksomheds private oplysninger: priser, lager, returpolitik, kundebestillinger. Når den bliver spurgt om dem, vil den ofte producere et plausibelt gæt — en hallucination. Den har også et begrænset kontekstvindue, den mængde tekst, den kan tage i betragtning ad gangen.
Det er derfor, nyttige forretningsassistenter sjældent kun stoler på modellen. Retrieval-augmented generation (RAG) giver den de relevante passager fra dit indhold, og værktøjer lader den forespørge live systemer som et katalog eller en ordre database.
Valg af en model
Modeller adskiller sig i kvaliteten af ræsonnering, hastighed, pris pr. token, de sprog de håndterer godt, kontekststørrelse og hvor de er hostet. Til kundeservice er en hurtig, mellemstor model ofte tilstrækkelig til rutinemæssige spørgsmål, mens sværere tilfælde — lange politikker, flertrinsanmodninger — drager fordel af en stærkere. Data placering betyder også noget: en europæisk virksomhed kan foretrække en model, der er hostet i EU.
Modellen er kun én del af resultatet. Instruktioner, grundlæggende data, værktøjer og evaluering på rigtige samtaler betyder ofte mere end at skifte fra en førende model til en anden.
LLMs i AI SmartTalk
AI SmartTalk assistenter er bygget omkring LLM'er og bruger som standard EU-hostede modeller; en kunde kan vælge at bruge andre udbyderes modeller i stedet. Assistentens svar er forankret i virksomhedens indekserede indhold og katalog, og den bruger værktøjer til at slå live data op i stedet for at bede modellen om at huske det.
Ofte stillede spørgsmål
Er ChatGPT en LLM?
ChatGPT er en applikation bygget oven på LLM'er lavet af OpenAI. Modellen genererer tekst; applikationen tilføjer en chatgrænseflade, samtaleminde, værktøjer som websøgningsfunktioner og sikkerhedsregler.
Hvad betyder “stor” i stor sprogmodel?
Det henviser til antallet af parametre — de interne vægte lært under træningen, fra milliarder til hundrede milliarder — og til størrelsen af træningskorpus. Der er ingen præcis grænse.
Kan en LLM lære af mine virksomheders data?
To tilgange eksisterer. Finjustering træner modellen på dine eksempler, hvilket er kostbart og ikke holder trit med ændrende fakta. Retrieval-augmented generation efterlader modellen uændret og giver den de rigtige passager på spørgsmåls tidspunktet, hvilket passer bedre til priser, lager og politikker.
Er LLM'er sikre at bruge med kundedata?
Det afhænger af udbyderens vilkår, hvor modellen er hostet, og hvordan applikationen håndterer personlige data. Tjek om udbyderen bruger dine data til træning, hvor de behandles, og om en databehandlingsaftale er tilgængelig.