Generacija, obogatena z iskanjem (RAG)
Hitro definicija
Generacija, obogatena z iskanjem (RAG) je tehnika, pri kateri AI sistem najprej pridobi ustrezne odlomke iz zaupanja vrednega vira, kot je baza znanja ali katalog izdelkov, nato pa jih posreduje jezikovnemu modelu, da njegov odgovor temelji na teh odlomkih in ne le na njegovi spominski kapaciteti.
Na tej strani
Zakaj RAG obstaja
Jezikovni model se uči iz fiksnega posnetka besedila. Ne pozna vaše politike vračanja, trenutnih cen ali izdelka, ki ste ga dodali to jutro, in ko ga vprašate, lahko poda verjeten, a napačen odgovor. Ponovno usposabljanje modela vsakič, ko se vaša vsebina spremeni, bi bilo počasno in drago.
RAG to rešuje tako, da ohranja znanje zunaj modela. Vaša vsebina ostane v iskalnem skladišču, ki ga lahko kadar koli posodobite; model je le prosil, da prebere ustrezne odlomke in oblikuje odgovor. Ta pristop so opisali Lewis in sodelavci na Facebook AI Research leta 2020.
Kako deluje, korak za korakom
Najprej se pripravi vsebina: dokumenti, spletne strani ali zapisi izdelkov se razdelijo na odlomke, vsak odlomak pa se pretvori v vektorski zapis — seznam števil, ki zajame njegovo pomen. Ti vektorski zapisi se shranijo v vektorski indeks, pogosto skupaj s klasičnim indeksom ključnih besed.
Ko vprašanje prispe, se pretvori na enak način in najbližji odlomki se pridobijo, včasih v kombinaciji s iskanjem po ključnih besedah ali filtri, kot so jezik ali kategorija. Najboljši odlomki se vstavijo v modelov poziv z navodili, da odgovori iz njih. Mnogi sistemi tudi vrnejo vire, tako da lahko bralec preveri, od kod je odgovor prišel.
Omejitve, ki jih je treba poznati
RAG je dober le toliko, kolikor je to, kar pridobi. Če pravilen odlomak manjka, je zastarel ali slabo razdeljen, model odgovori iz napačnega odlomka ali se zanaša na svoj spomin. Strukturalna vprašanja — "najcenejša jakna na voljo v velikosti M" — so slabo obravnavana zgolj s podobnostnim iskanjem in potrebujejo filtre na realnih podatkih. In model lahko še vedno napačno razume odlomke, zato je treba odgovore na občutljive teme preveriti ali eskalirati.
Zato proizvodni sistemi kombinirajo RAG s strukturiranim iskanjem, pravili svežine, ki ponovno sinhronizirajo vsebino, ko se spremeni, in jasnimi navodili, da povedo, kdaj viri ne vsebujejo odgovora.
RAG v službi za stranke
Za podporo ali e-trgovinskega asistenta je RAG tisto, kar omogoča agentu, da odgovori iz vaših FAQ, vaših politik in vašega kataloga v jeziku stranke ter pokaže stran, ki jo je uporabil. V AI SmartTalk je znanje, iz katerega asistent odgovarja — spletne strani, dokumenti, vnosi FAQ in sinhronizirani izdelki — indeksirano na ta način, vprašanja o izdelkih pa prav tako uporabljajo filtre na ceno, možnosti in zalogo.
Pogosto zastavljena vprašanja
Je RAG isto kot fino prilagajanje?
Ne. Fino prilagajanje spreminja teže modela z usposabljanjem na primerih; RAG pusti model nespremenjen in mu posreduje prave informacije ob času vprašanja. RAG je običajno boljša izbira za dejstva, ki se spreminjajo, kot so cene, zaloge ali politike.
Ali RAG preprečuje AI halucinacije?
Zmanjša jih precej, ker model odgovarja iz realnih odlomkov, vendar jih ne odstrani. Dober postopek iskanja, navodilo, da prizna, ko so viri tiho, in predaja osebi za občutljive primere so še vedno potrebni.
Kaj je vektorska baza podatkov?
Shramba, ki indeksira vektorske zapise, tako da se odlomki, ki so najbližji pomenu vprašanja, lahko hitro najdejo. To je običajni sloj iskanja v sistemu RAG, pogosto v kombinaciji z iskanjem po ključnih besedah.
Ali RAG deluje s katalogom izdelkov?
Da, vendar izdelki potrebujejo več kot le iskanje po podobnosti: asistent bi moral filtrirati po strukturiranih poljih, kot so cena, velikost ali zaloga, nato pa uporabiti RAG za opise in nakupne vodiče.