Генерация, подобрена с извличане (RAG)
Бързо определение
Генерацията, подобрена с извличане (RAG) е техника, при която AI система първо извлича релевантни пасажи от надежден източник, като база знания или каталог на продукти, след което ги предоставя на езиков модел, така че отговорът му да се основава на тези пасажи, а не само на паметта му.
На тази страница
Защо съществува RAG
Езиковият модел учи от фиксиран момент на текст. Той не знае вашата политика за връщане, текущите ви цени или продукта, който добавихте тази сутрин, и когато бъде попитан, може да произведе правдоподобен, но грешен отговор. Преподготовката на модел всеки път, когато вашето съдържание се промени, би била бавна и скъпа.
RAG решава този проблем, като запазва знанията извън модела. Вашето съдържание остава в търсима база, която можете да актуализирате по всяко време; моделът само трябва да прочете релевантните откъси и да формулира отговор. Подходът беше описан от Луис и колеги в Facebook AI Research през 2020 г.
Как работи, стъпка по стъпка
Първо, съдържанието се подготвя: документи, уеб страници или записи на продукти се разделят на пасажи, а всеки пасаж се превръща в векторно представяне — списък от числа, който улавя неговото значение. Тези векторни представяния се съхраняват в векторен индекс, често заедно с класически индекс на ключови думи.
Когато пристигне въпрос, той се преобразува по същия начин и най-близките пасажи се извличат, понякога комбинирани с търсене по ключови думи или филтри, като език или категория. Най-добрите пасажи се вмъкват в подсказката на модела с инструкция да отговори на тях. Много системи също връщат източниците, така че читателят да може да провери откъде идва отговорът.
Ограничения, които трябва да знаете
RAG е толкова добър, колкото това, което извлича. Ако правилният пасаж липсва, е остарял или е лошо разделен, моделът отговаря на базата на грешен откъс или се връща към паметта си. Структурираните въпроси — "най-евтиното яке в наличност в размер M" — не се обслужват добре само от търсене по сходство и се нуждаят от филтри на реални данни. И моделът все още може да прочете неправилно пасаж, така че отговорите по чувствителни теми трябва да бъдат проверявани или ескалирани.
Затова производствените системи комбинират RAG със структурирано търсене, правила за свежест, които синхронизират съдържанието, когато то се променя, и ясни инструкции да се посочи, когато източниците не съдържат отговор.
RAG в обслужването на клиенти
За асистент за поддръжка или електронна търговия, RAG е това, което позволява на агента да отговаря на базата на вашите FAQ, вашите политики и вашия каталог на езика на клиента и да посочи страницата, която е използвал. В AI SmartTalk, знанията, от които асистентът отговаря — уеб страници, документи, записи на FAQ и синхронизирани продукти — са индексирани по този начин, а въпросите за продукти също използват филтри за цена, опции и наличност.
Често задавани въпроси
RAG същото ли е като фино настройване?
Не. Финото настройване променя теглата на модела, като го обучава на примери; RAG оставя модела непроменен и му предоставя правилната информация в момента на задаване на въпрос. RAG обикновено е по-добрият избор за факти, които се променят, като цени, наличности или политики.
Спира ли RAG халюцинациите на AI?
Той значително ги намалява, защото моделът отговаря на базата на реални пасажи, но не ги премахва. Добро извличане, инструкция да се признае, когато източниците мълчат, и предаване на човек за чувствителни случаи все още са необходими.
Какво е векторна база данни?
Склад, който индексира векторни представяния, така че пасажите, най-близки по значение до въпрос, да могат да бъдат намерени бързо. Това е обичайната извличаща слой на RAG система, често в комбинация с търсене по ключови думи.
Може ли RAG да работи с каталог на продукти?
Да, но продуктите се нуждаят от повече от търсене по сходство: асистентът трябва да филтрира по структурирани полета, като цена, размер или наличност, след което да използва RAG за описания и ръководства за покупка.