Groot taalmodel (LLM)
Vinige definisie
‘n Groot taalmodel (LLM) is ‘n neurale netwerk wat op baie groot hoeveelhede teks opgelei is om die volgende woord te voorspel, wat dit in staat stel om natuurlike taal te verstaan en te genereer. Dit is die redenasie-enjin agter moderne kletsbots en KI-agente.
Op hierdie bladsy
Hoe ‘n LLM werk
‘n LLM lees teks as tokens — stukke woorde — en bereken vir elke posisie die waarskynlikheid van elke moontlike volgende token. Om ‘n antwoord te genereer beteken om daardie voorspellings-token herhaaldelik te herhaal. Byna alle huidige LLM's gebruik die Transformer-argitektuur wat in 2017 deur Vaswani en kollegas bekendgestel is, waarvan die aandagmeganisme die model toelaat om elke deel van die invoer te weeg wanneer dit elke woord produseer.
Opleiding gebeur in fases. Vooropleiding op ‘n enorme tekskorpus leer taal en algemene kennis. Instruksietuning en terugvoer van mense leer dan die model om versoeke te volg, ‘n dialoog te voer en sommige take te weier. In 2020 het die GPT-3-artikel getoon dat ‘n groot genoeg model nuwe take kan uitvoer vanaf ‘n paar voorbeelde in die prompt, sonder om weer op te lei.
Wat ‘n LLM nie weet nie
‘n LLM se kennis is bevrore aan die einde van sy opleidingsdata, en dit het nog nooit jou besigheid se privaat inligting gesien nie: pryse, voorraad, terugkeerbeleid, klantbestellings. As daaroor gevra word, sal dit dikwels ‘n waarskynlike raaiskoot lewer — ‘n hallusinasie. Dit het ook ‘n beperkte konteksvenster, die hoeveelheid teks wat dit op ‘n slag kan oorweeg.
Dit is waarom nuttige besigheidsassistente selde op die model alleen staatmaak. Herwinning-augmented generasie (RAG) voed dit die relevante gedeeltes uit jou inhoud, en gereedskap laat dit toe om lewendige stelsels soos ‘n katalogus of ‘n bestel databasis te ondervra.
Keuse van ‘n model
Modelle verskil in die kwaliteit van redenasie, spoed, prys per token, die tale wat hulle goed hanteer, konteksgrootte, en waar hulle gehoste is. Vir kliëntediens is ‘n vinnige, middelgrootte model dikwels genoeg vir roetine vrae, terwyl moeiliker gevalle — lang beleide, multi-stap versoeke — baat vind by ‘n sterker een. Data-lokasie is ook belangrik: ‘n Europese besigheid mag verkies om ‘n model te gebruik wat in die EU gehoste is.
Die model is slegs een deel van die resultaat. Instruksies, gronddata, gereedskap en evaluasie op werklike gesprekke is gewoonlik belangriker as om van een leidende model na ‘n ander te skuif.
LLM's in KI SmartTalk
KI SmartTalk assistente is gebou rondom LLM's en gebruik EU-gehoste modelle per standaard; ‘n kliënt kan kies om ander verskaffers se modelle te gebruik. Die assistent se antwoorde is gegrond in die besigheid se geïndekseerde inhoud en katalogus, en dit gebruik gereedskap om lewendige data op te soek eerder as om die model te vra om dit te onthou.
Gereelde vrae
Is ChatGPT ‘n LLM?
ChatGPT is ‘n toepassing wat bo-op LLM's gebou is wat deur OpenAI gemaak is. Die model genereer teks; die toepassing voeg ‘n kletstoepassing, gesprekgeheue, gereedskap soos websoektog, en veiligheidsreëls by.
Wat beteken “groot” in groot taalmodel?
Dit verwys na die aantal parameters — die interne gewigte wat in opleiding geleer is, van biljoene tot honderde biljoene — en na die grootte van die opleidingskorpus. Daar is geen presiese drempel nie.
Kan ‘n LLM van my maatskappy se data leer?
Twee benaderings bestaan. Fyn-tuning herlei die model op jou voorbeelde, wat duur is en nie op hoogte bly van veranderende feite nie. Herwinning-augmented generasie laat die model onveranderd en gee dit die regte gedeeltes tydens vrae, wat beter geskik is vir pryse, voorraad en beleide.
Is LLM's veilig om te gebruik met klantdata?
Dit hang af van die verskaffer se voorwaardes, waar die model gehoste is en hoe die toepassing persoonlike data hanteer. Kontroleer of die verskaffer jou data vir opleiding gebruik, waar dit verwerk word, en of ‘n data-verwerkingsooreenkoms beskikbaar is.