Groot taalmodel (LLM)

Een LLM leest tekst als tokens — stukjes woorden — en berekent voor elke positie de waarschijnlijkheid van elk mogelijk volgend token. Een antwoord genereren betekent die voorspelling token na token herhalen. Bijna alle huidige LLM's gebruiken de Transformer-architectuur die in 2017 door Vaswani en collega's werd geïntroduceerd, wiens aandachtmechanisme het model in staat stelt om elk deel van de invoer te wegen bij het produceren van elk woord.

Training gebeurt in fasen. Voortraining op een enorme tekstcorpus leert taal en algemene kennis. Instructietuning en feedback van mensen leren het model vervolgens om verzoeken op te volgen, een dialoog te voeren en sommige taken te weigeren. In 2020 toonde het GPT-3-papier aan dat een groot genoeg model nieuwe taken kon uitvoeren op basis van een paar voorbeelden in de prompt, zonder hertraining.

De kennis van een LLM is bevroren aan het einde van zijn trainingsdata, en het heeft nooit de privé-informatie van jouw bedrijf gezien: prijzen, voorraad, retourbeleid, klantbestellingen. Wanneer er naar gevraagd wordt, zal het vaak een plausibele gok doen — een hallucinatie. Het heeft ook een beperkte contextvenster, de hoeveelheid tekst die het tegelijkertijd kan verwerken.

Dat is waarom nuttige zakelijke assistenten zelden alleen op het model vertrouwen. Retrieval-augmented generation (RAG) voedt het met de relevante passages uit jouw inhoud, en tools stellen het in staat om live systemen te raadplegen, zoals een catalogus of een orderdatabase.

Modellen verschillen in kwaliteit van redeneren, snelheid, prijs per token, de talen die ze goed kunnen verwerken, contextgrootte en waar ze gehost worden. Voor klantenservice is een snel, middelgroot model vaak voldoende voor routinematige vragen, terwijl moeilijkere gevallen — lange beleidsstukken, meerstapsverzoeken — profiteren van een sterker model. De locatie van de gegevens is ook belangrijk: een Europees bedrijf kan de voorkeur geven aan een model dat in de EU wordt gehost.

Het model is slechts één onderdeel van het resultaat. Instructies, grondgegevens, tools en evaluatie op basis van echte gesprekken zijn meestal belangrijker dan overstappen van het ene toonaangevende model naar het andere.

AI SmartTalk-assistenten zijn gebouwd rond LLM's en gebruiken standaard EU-gehoste modellen; een klant kan ervoor kiezen om in plaats daarvan modellen van andere aanbieders te gebruiken. De antwoorden van de assistent zijn gebaseerd op de geïndexeerde inhoud en catalogus van het bedrijf, en het gebruikt tools om live gegevens op te zoeken in plaats van het model te vragen om zich deze te herinneren.