Галюцинація ШІ (галюцинація LLM)

Мовна модель генерує найбільш ймовірне продовження тексту; вона не має вбудованого уявлення про те, чи є речення правдивим. Коли правильна інформація відсутня в її навчальних даних або в переданих їй фрагментах, вона все ще виробляє щось, що виглядає як відповідь. Дослідження 2025 року (Калай та колеги) стверджує, що навчання та оцінка погіршують цю ситуацію, винагороджуючи впевнений здогад замість чесного «Я не знаю».

Література розрізняє два види. Внутрішні галюцинації суперечать джерелу, яке модель отримала — вона неправильно розуміє вашу політику повернення. Зовнішні галюцинації додають твердження, які не підтримуються жодним джерелом — вона вигадує 60-денну гарантію, яку ви ніколи не пропонували.

Галюцинація в чаті підтримки — це не абстрактна помилка. Клієнт, якому сказали, що повернення безкоштовні, що продукт водонепроникний або що посилка приїде завтра, буде діяти відповідно до цього і може вимагати від бізнесу виконання. Судові органи та споживчі інстанції зазвичай вважають, що чат-бот компанії говорить від імені компанії.

Ризик найвищий у випадках зобов'язань: ціни, наявність, дати доставки, гарантії, повернення, юридична або медична інформація. Це саме ті питання, які клієнти запитують найчастіше.

Жоден метод не усуває їх повністю, але кілька значно зменшують їх. Основуйте відповіді на власному контенті з використанням генерації з підкріпленням (RAG) і підтримуйте цей контент актуальним. Використовуйте інструменти для читання живих даних — акцій, замовлень — замість того, щоб дозволяти моделі їх згадувати. Наказуйте моделі говорити, коли джерела не містять відповіді, і зробіть це прийнятним результатом. Вимагайте доказів перед будь-яким зобов'язанням. Передавайте розмову людині, коли питання є чутливим або агент не впевнений.

Потім вимірюйте: переглядайте розмови, особливо ті, що містять негативний відгук, і додавайте відсутню інформацію до бази знань, а не латайте запит для кожного випадку.

Асистенти AI SmartTalk відповідають на основі індексованого контенту та каталогу бізнесу, а також читають продукти та замовлення через інструменти, а не з пам'яті моделі. Їх вбудовані правила вимагають отриманих доказів перед тим, як заявити про зобов'язання, такі як гарантії, доставка, повернення або наявність, і забороняють стверджувати, що передача або квиток відбулися, якщо інструмент насправді не досяг успіху. Відгуки з негативною оцінкою та питання, на які асистент не зміг відповісти, передаються команді, щоб база знань могла бути доповнена.