Генерація з підсиленням запитів (RAG)
Швидке визначення
Генерація з підсиленням запитів (RAG) — це техніка, за якої система ШІ спочатку отримує відповідні фрагменти з надійного джерела, такого як база знань або каталог продуктів, а потім передає їх мовній моделі, щоб її відповідь базувалася на цих фрагментах, а не лише на її пам'яті.
На цій сторінці
Чому існує RAG
Мовна модель навчається на фіксованій вибірці тексту. Вона не знає вашу політику повернення, ваші актуальні ціни або продукт, який ви додали сьогодні вранці, і, запитуючи, може дати правдоподібну, але неправильну відповідь. Повторне навчання моделі щоразу, коли ваш контент змінюється, було б повільним і дорогим.
RAG вирішує цю проблему, зберігаючи знання поза моделлю. Ваш контент залишається в пошуковому сховищі, яке ви можете оновлювати в будь-який час; модель лише запитується на читання відповідних витягів і формулювання відповіді. Цей підхід був описаний Льюїсом та колегами з Facebook AI Research у 2020 році.
Як це працює, крок за кроком
Спочатку готується контент: документи, веб-сторінки або записи продуктів розділяються на фрагменти, і кожен фрагмент перетворюється на вектор — список чисел, що відображає його значення. Ці вектори зберігаються в векторному індексі, часто поряд з класичним індексом ключових слів.
Коли надходить запитання, воно перетворюється таким же чином, і найближчі фрагменти отримуються, іноді в поєднанні з пошуком за ключовими словами або фільтрами, такими як мова чи категорія. Найкращі фрагменти вставляються в підказку моделі з інструкцією відповідати на їх основі. Багато систем також повертають джерела, щоб читач міг перевірити, звідки прийшла відповідь.
Обмеження, про які слід знати
RAG є таким же хорошим, як те, що він отримує. Якщо правильний фрагмент відсутній, застарілий або погано розділений, модель відповідає на основі неправильного витягу або повертається до своєї пам'яті. Структуровані запитання — "найдешевша куртка в наявності розміру M" — погано обслуговуються лише пошуком за схожістю і потребують фільтрів на реальних даних. І модель все ще може неправильно прочитати фрагмент, тому відповіді на чутливі теми слід перевіряти або ескалювати.
Ось чому виробничі системи поєднують RAG зі структурованим пошуком, правилами свіжості, які повторно синхронізують контент, коли він змінюється, і чіткими інструкціями, щоб вказати, коли джерела не містять відповіді.
RAG у службі підтримки клієнтів
Для асистента підтримки або електронної комерції RAG дозволяє агенту відповідати на основі вашого FAQ, ваших політик і вашого каталогу мовою клієнта та вказувати на сторінку, яку він використав. У AI SmartTalk знання, з яких відповідає асистент — веб-сторінки, документи, записи FAQ та синхронізовані продукти — індексуються таким чином, а запитання про продукти також використовують фільтри за ціною, варіантами та наявністю.
Поширені запитання
Чи є RAG тим самим, що й доопрацювання?
Ні. Доопрацювання змінює ваги моделі, навчаючи її на прикладах; RAG залишає модель незмінною і надає їй правильну інформацію в момент запитання. RAG зазвичай є кращим вибором для фактів, які змінюються, таких як ціни, наявність або політики.
Чи зупиняє RAG галюцинації ШІ?
Воно значно їх зменшує, оскільки модель відповідає на основі реальних фрагментів, але не усуває їх. Хороший пошук, інструкція визнати, коли джерела мовчать, і передача людині для чутливих випадків все ще потрібні.
Що таке векторна база даних?
Сховище, яке індексує вектори, щоб фрагменти, найближчі за значенням до запитання, могли бути знайдені швидко. Це звичайний шар отримання системи RAG, часто в парі з пошуком за ключовими словами.
Чи може RAG працювати з каталогом продуктів?
Так, але продукти потребують більше, ніж просто пошук за схожістю: асистент має фільтрувати за структурованими полями, такими як ціна, розмір або наявність, а потім використовувати RAG для описів і посібників з покупок.