Generování s využitím vyhledávání (RAG)
Rychlá definice
Generování s využitím vyhledávání (RAG) je technika, při které AI systém nejprve vyhledá relevantní pasáže z důvěryhodného zdroje, jako je znalostní báze nebo produktový katalog, a poté je předá jazykovému modelu, aby jeho odpověď vycházela z těchto pasáží, nikoli pouze z jeho paměti.
Na této stránce
Proč RAG existuje
Jazykový model se učí z pevného snímku textu. Nezná vaši zásady vracení zboží, vaše aktuální ceny ani produkt, který jste přidali dnes ráno, a když se na to zeptáte, může poskytnout pravděpodobnou, ale špatnou odpověď. Znovu trénovat model pokaždé, když se váš obsah změní, by bylo pomalé a drahé.
RAG to řeší tím, že uchovává znalosti mimo model. Váš obsah zůstává v prohledávatelném úložišti, které můžete kdykoli aktualizovat; model je pouze požádán, aby přečetl relevantní výňatky a formuloval odpověď. Tento přístup popsal Lewis a jeho kolegové ve Facebook AI Research v roce 2020.
Jak to funguje, krok za krokem
Nejprve se obsah připraví: dokumenty, webové stránky nebo produktové záznamy se rozdělí na pasáže a každá pasáž se převede na embedding — seznam čísel, který zachycuje její význam. Tyto embeddingy se ukládají do vektorového indexu, často vedle klasického klíčového indexu.
Když přijde otázka, je převedena stejným způsobem a nejbližší pasáže jsou vyhledány, někdy v kombinaci s vyhledáváním podle klíčových slov nebo filtry, jako je jazyk nebo kategorie. Nejlepší pasáže jsou vloženy do výzvy modelu s pokynem, aby na nich odpověděl. Mnoho systémů také vrací zdroje, takže čtenář může zkontrolovat, odkud odpověď pochází.
Omezení, o kterých je dobré vědět
RAG je dobré pouze tak, jaké pasáže vyhledá. Pokud chybí správná pasáž, je zastaralá nebo špatně rozdělena, model odpovídá na základě špatného výňatku nebo se vrací ke své paměti. Strukturované otázky — "nejlevnější bunda na skladě ve velikosti M" — jsou špatně obsluhovány pouze vyhledáváním podobnosti a potřebují filtry na skutečná data. A model může stále špatně interpretovat pasáž, takže odpovědi na citlivá témata by měly být zkontrolovány nebo eskalovány.
Proto výrobní systémy kombinují RAG se strukturovaným vyhledáváním, pravidly čerstvosti, která znovu synchronizují obsah, když se změní, a jasnými pokyny, aby bylo řečeno, kdy zdroje neobsahují odpověď.
RAG v zákaznickém servisu
Pro asistenta podpory nebo e-commerce je RAG to, co umožňuje agentovi odpovídat na základě vašich FAQ, vašich politik a vašeho katalogu v jazyce zákazníka a ukázat na stránku, kterou použil. V AI SmartTalk jsou znalosti, ze kterých asistent odpovídá — webové stránky, dokumenty, položky FAQ a synchronizované produkty — indexovány tímto způsobem a otázky ohledně produktů také používají filtry na cenu, možnosti a sklad.
Často kladené otázky
Je RAG to samé jako jemné ladění?
Ne. Jemné ladění mění váhy modelu tím, že ho trénuje na příkladech; RAG nechává model beze změny a předává mu správné informace v čase otázky. RAG je obvykle lepší volbou pro fakta, která se mění, jako jsou ceny, sklad nebo politiky.
Zastaví RAG halucinace AI?
Hodně je snižuje, protože model odpovídá na základě skutečných pasáží, ale neodstraňuje je. Dobré vyhledávání, pokyn k přiznání, když jsou zdroje tiché, a předání osobě pro citlivé případy jsou stále potřeba.
Co je to vektorová databáze?
Úložiště, které indexuje embeddingy, aby bylo možné rychle najít pasáže nejblíže významu k otázce. Je to obvyklá vrstva vyhledávání v systému RAG, často spárovaná s vyhledáváním podle klíčových slov.
Může RAG pracovat s produktovým katalogem?
Ano, ale produkty potřebují více než pouze vyhledávání podobnosti: asistent by měl filtrovat podle strukturovaných polí, jako je cena, velikost nebo sklad, a poté použít RAG pro popisy a nákupní průvodce.