Hentningsforsterket generering (RAG)
Rask definisjon
Retrieval-augmented generation (RAG) er en teknikk der et AI-system først henter relevante avsnitt fra en pålitelig kilde, som en kunnskapsbase eller en produktkatalog, og deretter gir dem til en språkmodell slik at svaret hviler på disse avsnittene i stedet for bare på hukommelsen.
På denne siden
Hvorfor RAG eksisterer
En språkmodell lærer fra et fast øyeblikksbilde av tekst. Den vet ikke om din returpolicy, dine nåværende priser eller produktet du la til i morges, og når den blir spurt uansett kan den produsere et plausibelt, men feil svar. Å trene en modell hver gang innholdet ditt endres ville vært tregt og kostbart.
RAG løser dette ved å holde kunnskap utenfor modellen. Ditt innhold forblir i et søkbart lager som du kan oppdatere når som helst; modellen blir bare bedt om å lese de relevante utdragene og formulere et svar. Tilnærmingen ble beskrevet av Lewis og kolleger ved Facebook AI Research i 2020.
Hvordan det fungerer, trinn for trinn
Først blir innholdet forberedt: dokumenter, nettsider eller produktoppføringer deles opp i avsnitt, og hvert avsnitt blir omgjort til en embedding — en liste med tall som fanger opp meningen. Disse embeddingene lagres i et vektorindeks, ofte sammen med et klassisk nøkkelordindeks.
Når et spørsmål kommer, blir det konvertert på samme måte og de nærmeste avsnittene hentes, noen ganger kombinert med nøkkelordssøk eller filtre som språk eller kategori. De beste avsnittene settes inn i modellens prompt med en instruksjon om å svare fra dem. Mange systemer returnerer også kildene, slik at leseren kan sjekke hvor svaret kom fra.
Begrensninger å vite om
RAG er bare så god som det den henter. Hvis det riktige avsnittet mangler, er utdatert eller dårlig delt, svarer modellen fra det gale utdraget eller faller tilbake på hukommelsen. Strukturerte spørsmål — "den billigste jakken på lager i størrelse M" — blir dårlig betjent av likhetssøk alene og trenger filtre på reelle data. Og modellen kan fortsatt misforstå et avsnitt, så svar på sensitive emner bør sjekkes eller eskaleres.
Det er derfor produksjonssystemer kombinerer RAG med strukturert søk, ferskhetsregler som re-synkroniserer innholdet når det endres, og klare instruksjoner om å si ifra når kildene ikke inneholder svaret.
RAG i kundeservice
For en støtte- eller e-handelsassistent, er RAG det som lar agenten svare ut fra din FAQ, dine retningslinjer og din katalog på kundens språk, og peke på siden den brukte. I AI SmartTalk er kunnskapen en assistent svarer fra — nettside sider, dokumenter, FAQ-poster og synkroniserte produkter — indeksert på denne måten, og produktspørsmål bruker også filtre på pris, alternativer og lager.
Ofte stilte spørsmål
Er RAG det samme som finjustering?
Nei. Finjustering endrer modellens vekter ved å trene den på eksempler; RAG lar modellen være uendret og gir den riktig informasjon når spørsmålet stilles. RAG er vanligvis det bedre valget for fakta som endres, som priser, lager eller retningslinjer.
Stopper RAG AI-hallusinasjoner?
Det reduserer dem mye, fordi modellen svarer fra ekte avsnitt, men det fjerner dem ikke. God henting, en instruksjon om å innrømme når kildene er stille, og en overlevering til en person for sensitive saker er fortsatt nødvendig.
Hva er en vektordatabasen?
Et lager som indekserer embeddingene slik at avsnittene som er nærmest i mening til et spørsmål kan finnes raskt. Det er det vanlige henterlaget i et RAG-system, ofte parret med nøkkelordssøk.
Kan RAG fungere med en produktkatalog?
Ja, men produkter trenger mer enn likhetssøk: en assistent bør filtrere på strukturerte felt som pris, størrelse eller lager, og deretter bruke RAG for beskrivelser og kjøpsveiledninger.