Retrieval-augmented generation (RAG)
Snelle definitie
Retrieval-augmented generation (RAG) is een techniek waarbij een AI-systeem eerst relevante passages ophaalt uit een vertrouwde bron, zoals een kennisdatabase of een productcatalogus, en deze vervolgens aan een taalmodel geeft, zodat het antwoord gebaseerd is op die passages in plaats van alleen op zijn geheugen.
Op deze pagina
Waarom RAG bestaat
Een taalmodel leert van een vaste momentopname van tekst. Het weet niet wat jouw retourbeleid is, jouw huidige prijzen of het product dat je vanmorgen hebt toegevoegd, en wanneer het toch wordt gevraagd, kan het een plausibel maar fout antwoord geven. Het opnieuw trainen van een model elke keer dat jouw inhoud verandert, zou traag en duur zijn.
RAG lost dit op door kennis buiten het model te houden. Jouw inhoud blijft in een doorzoekbare opslag die je op elk moment kunt bijwerken; het model wordt alleen gevraagd om de relevante fragmenten te lezen en een antwoord te formuleren. Deze aanpak werd beschreven door Lewis en collega's bij Facebook AI Research in 2020.
Hoe het werkt, stap voor stap
Eerst wordt de inhoud voorbereid: documenten, webpagina's of productrecords worden opgesplitst in passages, en elke passage wordt omgezet in een embedding — een lijst van nummers die de betekenis vastlegt. Deze embeddings worden opgeslagen in een vectorindex, vaak naast een klassieke trefwoordenindex.
Wanneer er een vraag binnenkomt, wordt deze op dezelfde manier omgezet en worden de dichtstbijzijnde passages opgehaald, soms gecombineerd met trefwoordzoekopdrachten of filters zoals taal of categorie. De beste passages worden in de prompt van het model ingevoegd met een instructie om vanuit deze passages te antwoorden. Veel systemen geven ook de bronnen terug, zodat de lezer kan controleren waar het antwoord vandaan komt.
Beperkingen om te weten
RAG is alleen zo goed als wat het ophaalt. Als de juiste passage ontbreekt, verouderd is of slecht is opgesplitst, antwoordt het model vanuit het verkeerde fragment of valt het terug op zijn geheugen. Gestructureerde vragen — "de goedkoopste jas op voorraad in maat M" — worden slecht bediend door alleen vergelijkingszoekopdrachten en hebben filters op echte gegevens nodig. En het model kan nog steeds een passage verkeerd interpreteren, dus antwoorden over gevoelige onderwerpen moeten worden gecontroleerd of geëscaleerd.
Daarom combineren productiesystemen RAG met gestructureerde zoekopdrachten, versheidsregels die de inhoud opnieuw synchroniseren wanneer deze verandert, en duidelijke instructies om aan te geven wanneer de bronnen het antwoord niet bevatten.
RAG in klantenservice
Voor een ondersteuning of e-commerce assistent is RAG wat de agent in staat stelt om te antwoorden vanuit jouw FAQ, jouw beleid en jouw catalogus in de taal van de klant, en naar de pagina te wijzen die hij heeft gebruikt. In AI SmartTalk wordt de kennis waaruit een assistent antwoordt — webpagina's, documenten, FAQ-invoer en gesynchroniseerde producten — op deze manier geïndexeerd, en productvragen gebruiken ook filters op prijs, opties en voorraad.
Veelgestelde vragen
Is RAG hetzelfde als fine-tuning?
Nee. Fine-tuning verandert de gewichten van het model door het te trainen op voorbeelden; RAG laat het model ongewijzigd en geeft het de juiste informatie op het moment van de vraag. RAG is meestal de betere keuze voor feiten die veranderen, zoals prijzen, voorraad of beleid.
Verhindert RAG AI-hallucinaties?
Het vermindert ze aanzienlijk, omdat het model antwoordt vanuit echte passages, maar het verwijdert ze niet. Goede retrieval, een instructie om toe te geven wanneer de bronnen stil zijn, en een overdracht naar een persoon voor gevoelige gevallen zijn nog steeds nodig.
Wat is een vector database?
Een opslagplaats die embeddings indexeert, zodat de passages die het dichtst in betekenis bij een vraag liggen, snel kunnen worden gevonden. Het is de gebruikelijke retrieval-laag van een RAG-systeem, vaak gecombineerd met trefwoordzoekopdrachten.
Kan RAG werken met een productcatalogus?
Ja, maar producten hebben meer nodig dan alleen vergelijkingszoekopdrachten: een assistent moet filteren op gestructureerde velden zoals prijs, maat of voorraad, en vervolgens RAG gebruiken voor beschrijvingen en koopgidsen.