Lekérdezés-augmentált generáció (RAG)
Gyors definíció
A lekérdezés-augmentált generáció (RAG) egy technika, amelyben egy AI rendszer először releváns szakaszokat kérdez le egy megbízható forrásból, például egy tudásbázisból vagy egy termékkatalógusból, majd ezeket egy nyelvi modellnek adja, hogy a válasza ezekre a szakaszokra épüljön, ne csupán a memóriájára.
Ezen az oldalon
Miért létezik a RAG
Egy nyelvi modell egy rögzített szövegsnapshotból tanul. Nem ismeri a visszatérítési politikáját, a jelenlegi árakat vagy a terméket, amelyet ma reggel tett hozzá, és ha mégis megkérdezik, valószínű, hogy egy plauzibilis, de hibás választ ad. Egy modellt minden alkalommal újra tanítani, amikor a tartalom változik, lassú és drága lenne.
A RAG ezt úgy oldja meg, hogy a tudást a modellen kívül tartja. A tartalmad egy kereshető tárolóban marad, amelyet bármikor frissíthetsz; a modellt csak arra kérik, hogy olvassa el a releváns kivonatokat és fogalmazza meg a választ. Ezt a megközelítést Lewis és kollégái írták le a Facebook AI Research-nél 2020-ban.
Hogyan működik, lépésről lépésre
Először a tartalom előkészítése történik: dokumentumokat, weboldalakat vagy terméknyilvántartásokat szakaszokra bontanak, és minden szakasz egy embeddinggé alakul — egy számokból álló lista, amely rögzíti a jelentését. Ezeket az embeddingeket egy vektorindexben tárolják, gyakran egy klasszikus kulcsszóindex mellett.
Amikor egy kérdés érkezik, ugyanúgy konvertálják, és a legközelebbi szakaszokat kérdezik le, néha kulcsszavas kereséssel vagy szűrőkkel, például nyelv vagy kategória szerint kombinálva. A legjobb szakaszokat beillesztik a modell promptjába egy utasítással, hogy ezekből válaszoljon. Sok rendszer a forrásokat is visszaadja, így az olvasó ellenőrizheti, honnan származik a válasz.
Ismerendő korlátok
A RAG csak annyira jó, amennyire a lekérdezett tartalom. Ha a megfelelő szakasz hiányzik, elavult vagy rosszul van felosztva, a modell a hibás kivonatból válaszol, vagy visszaesik a memóriájára. A strukturált kérdések — "a legolcsóbb kabát M-es méretben" — rosszul teljesítenek csupán a hasonlósági keresés által, és valós adatokon szűrőkre van szükség. A modell még mindig félreértheti a szakaszt, így a érzékeny témákra adott válaszokat ellenőrizni vagy továbbítani kell.
Ezért a termelési rendszerek a RAG-ot strukturált kereséssel, frissességi szabályokkal, amelyek újraszinkronizálják a tartalmat, amikor az változik, és világos utasításokkal kombinálják, hogy jelezzék, amikor a források nem tartalmazzák a választ.
RAG az ügyfélszolgálatban
Egy támogatási vagy e-kereskedelmi asszisztens számára a RAG az, ami lehetővé teszi, hogy az ügynök a saját GYIK-jából, politikáiból és katalógusából válaszoljon az ügyfél nyelvén, és hivatkozzon arra az oldalra, amelyet használt. Az AI SmartTalk-ban az a tudás, amelyből egy asszisztens válaszol — weboldalak, dokumentumok, GYIK bejegyzések és szinkronizált termékek — így van indexelve, és a termékekkel kapcsolatos kérdések szűrőket is használnak az ár, opciók és készlet alapján.
Gyakran ismételt kérdések
A RAG ugyanaz, mint a finomhangolás?
Nem. A finomhangolás megváltoztatja a modell súlyait azáltal, hogy példákon tanítja; a RAG nem változtatja meg a modellt, hanem a megfelelő információt adja át kérdéskor. A RAG általában a jobb választás a változó tényekhez, például árakhoz, készlethez vagy politikákhoz.
Megakadályozza a RAG az AI hallucinációkat?
Nagyon csökkenti őket, mert a modell valós szakaszokból válaszol, de nem távolítja el őket. Jó lekérdezés, utasítás arra, hogy ismerje el, amikor a források néma, és egy érzékeny esetekben egy személyhez való átadás még mindig szükséges.
Mi az a vektor adatbázis?
Egy tároló, amely indexeli az embeddingeket, így a kérdéshez legközelebb álló jelentésű szakaszok gyorsan megtalálhatók. Ez a RAG rendszer szokásos lekérdezési rétege, gyakran kulcsszavas kereséssel párosítva.
Működhet a RAG egy termékkatalógussal?
Igen, de a termékeknek több mint hasonlósági keresésre van szükségük: egy asszisztensnek szűrnie kell strukturált mezők, például ár, méret vagy készlet alapján, majd a RAG-ot kell használnia a leírásokhoz és vásárlási útmutatókhoz.