Generacija obogaćena pretraživanjem (RAG)
Brza definicija
Generacija obogaćena pretraživanjem (RAG) je tehnika u kojoj AI sustav prvo preuzima relevantne odlomke iz pouzdane izvore, poput baze znanja ili kataloga proizvoda, a zatim ih daje jezičnom modelu kako bi njegov odgovor bio temeljen na tim odlomcima, a ne samo na njegovom pamćenju.
Na ovoj stranici
Zašto RAG postoji
Jezični model uči iz fiksnog snimka teksta. Ne zna vašu politiku povrata, vaše trenutne cijene ili proizvod koji ste dodali jutros, a kada ga se to pita, može dati uvjerljiv, ali pogrešan odgovor. Ponovno treniranje modela svaki put kada se vaš sadržaj promijeni bilo bi sporo i skupo.
RAG to rješava držeći znanje izvan modela. Vaš sadržaj ostaje u pretraživoj pohrani koju možete ažurirati u bilo kojem trenutku; model se samo traži da pročita relevantne isječke i formulira odgovor. Ovaj pristup opisali su Lewis i njegovi kolege iz Facebook AI Researcha 2020. godine.
Kako to funkcionira, korak po korak
Prvo, sadržaj se priprema: dokumenti, web stranice ili zapisi proizvoda dijele se na odlomke, a svaki odlomak se pretvara u ugradnju — popis brojeva koji hvata njegovo značenje. Ove ugradnje pohranjuju se u vektorski indeks, često uz klasični indeks ključnih riječi.
Kada pitanje stigne, ono se pretvara na isti način i najbliži odlomci se preuzimaju, ponekad u kombinaciji s pretraživanjem ključnih riječi ili filtrima poput jezika ili kategorije. Najbolji odlomci umetnuti su u modelov upit s instrukcijom da odgovori iz njih. Mnogi sustavi također vraćaju izvore, tako da čitatelj može provjeriti odakle je odgovor došao.
Ograničenja koja treba znati
RAG je dobar koliko i ono što preuzima. Ako pravi odlomak nedostaje, zastario je ili je loše podijeljen, model odgovara iz pogrešnog isječka ili se oslanja na svoje pamćenje. Strukturalna pitanja — "najjeftinija jakna na skladištu u veličini M" — slabo su poslužena samo pretraživanjem sličnosti i trebaju filtre na stvarnim podacima. I model može još uvijek pogrešno pročitati odlomak, pa bi odgovore na osjetljive teme trebalo provjeriti ili eskalirati.
Zato proizvodni sustavi kombiniraju RAG sa strukturiranim pretraživanjem, pravilima svježine koja ponovo sinkroniziraju sadržaj kada se promijeni, i jasnim uputama da kažu kada izvori ne sadrže odgovor.
RAG u korisničkoj podršci
Za asistenta za podršku ili e-trgovinu, RAG je ono što omogućuje agentu da odgovara iz vaših FAQ-a, vaših politika i vašeg kataloga na jeziku kupca, i ukazuje na stranicu koju je koristio. U AI SmartTalku, znanje iz kojeg asistent odgovara — web stranice, dokumenti, unosi FAQ-a i sinkronizirani proizvodi — indeksira se na ovaj način, a pitanja o proizvodima također koriste filtre na cijenu, opcije i skladište.
Često postavljana pitanja
Je li RAG isto što i fino podešavanje?
Ne. Fino podešavanje mijenja težine modela treniranjem na primjerima; RAG ostavlja model nepromijenjenim i daje mu prave informacije u trenutku postavljanja pitanja. RAG je obično bolji izbor za činjenice koje se mijenjaju, poput cijena, zaliha ili politika.
Smanjuje li RAG AI halucinacije?
Puno ih smanjuje, jer model odgovara iz stvarnih odlomaka, ali ih ne uklanja. Dobar povratak, instrukcija da se prizna kada su izvori tihi, i predaja osobi za osjetljive slučajeve i dalje su potrebni.
Što je vektorska baza podataka?
Pohrana koja indeksira ugradnje tako da se odlomci najbliži značenju pitanja mogu brzo pronaći. To je uobičajeni sloj pretraživanja RAG sustava, često uparen s pretraživanjem ključnih riječi.
Može li RAG raditi s katalogom proizvoda?
Da, ali proizvodi trebaju više od pretraživanja sličnosti: asistent bi trebao filtrirati po strukturiranim poljima poput cijene, veličine ili zalihe, a zatim koristiti RAG za opise i vodiče za kupovinu.