Retrieval-augmented generation (RAG)
Hurtig definition
Retrieval-augmented generation (RAG) er en teknik, hvor et AI-system først henter relevante passager fra en pålidelig kilde, såsom en vidensbase eller en produktkatalog, og derefter giver dem til en sprogmodel, så dens svar hviler på disse passager snarere end kun på dens hukommelse.
På denne side
Hvorfor RAG eksisterer
En sprogmodel lærer fra et fast snapshot af tekst. Den kender ikke din returpolitik, dine nuværende priser eller det produkt, du tilføjede i morges, og når den alligevel bliver spurgt, kan den producere et plausibelt, men forkert svar. At genuddanne en model hver gang dit indhold ændrer sig ville være langsomt og dyrt.
RAG løser dette ved at holde viden uden for modellen. Dit indhold forbliver i et søgbart lager, som du kan opdatere når som helst; modellen bliver kun bedt om at læse de relevante uddrag og formulere et svar. Tilgangen blev beskrevet af Lewis og kolleger ved Facebook AI Research i 2020.
Hvordan det fungerer, trin for trin
Først forberedes indholdet: dokumenter, web sider eller produktoptegnelser opdeles i passager, og hver passage omdannes til en embedding — en liste af tal, der fanger dens betydning. Disse embeddings opbevares i et vektorindeks, ofte sammen med et klassisk nøgleordsindeks.
Når et spørgsmål kommer, konverteres det på samme måde, og de nærmeste passager hentes, nogle gange kombineret med nøgleordsøgning eller filtre som sprog eller kategori. De bedste passager indsættes i modellens prompt med en instruktion om at svare ud fra dem. Mange systemer returnerer også kilderne, så læseren kan tjekke, hvor svaret kom fra.
Begrænsninger at vide om
RAG er kun så god som det, den henter. Hvis den rigtige passage mangler, er forældet eller dårligt opdelt, svarer modellen fra det forkerte uddrag eller falder tilbage på sin hukommelse. Strukturerede spørgsmål — "den billigste jakke på lager i størrelse M" — får dårlig service af lighedssøgning alene og har brug for filtre på reelle data. Og modellen kan stadig misforstå en passage, så svar om følsomme emner bør kontrolleres eller eskaleres.
Det er derfor, produktionssystemer kombinerer RAG med struktureret søgning, friskhedsregler, der gen-synkroniserer indhold, når det ændrer sig, og klare instruktioner om at sige, hvornår kilderne ikke indeholder svaret.
RAG i kundeservice
For en support- eller e-handelsassistent er RAG det, der lader agenten svare ud fra din FAQ, dine politikker og din katalog på kundens sprog og pege på den side, den brugte. I AI SmartTalk er den viden, en assistent svarer ud fra — webside, dokumenter, FAQ-poster og synkroniserede produkter — indekseret på denne måde, og produktspørgsmål bruger også filtre på pris, muligheder og lager.
Ofte stillede spørgsmål
Er RAG det samme som finjustering?
Nej. Finjustering ændrer modellens vægte ved at træne den på eksempler; RAG efterlader modellen uændret og giver den de rigtige oplysninger, når spørgsmålet stilles. RAG er normalt det bedre valg for fakta, der ændrer sig, såsom priser, lager eller politikker.
Stopper RAG AI-hallucinationer?
Det reducerer dem meget, fordi modellen svarer ud fra reelle passager, men det fjerner dem ikke. God hentning, en instruktion om at indrømme, når kilderne er tavse, og en overdragelse til en person for følsomme sager er stadig nødvendig.
Hvad er en vektor database?
Et lager, der indekserer embeddings, så de passager, der er tættest på betydningen af et spørgsmål, kan findes hurtigt. Det er det sædvanlige hentningslag i et RAG-system, ofte parret med nøgleordsøgning.
Kan RAG arbejde med en produktkatalog?
Ja, men produkter har brug for mere end lighedssøgning: en assistent bør filtrere på strukturerede felter som pris, størrelse eller lager, og derefter bruge RAG til beskrivelser og købsvejledninger.