Велика мовна модель (LLM)
Швидке визначення
Велика мовна модель (LLM) — це нейронна мережа, навчена на дуже великих обсягах тексту, щоб передбачити наступне слово, що дозволяє їй розуміти та генерувати природну мову. Це двигун міркування сучасних чат-ботів та AI-агентів.
На цій сторінці
Як працює LLM
LLM читає текст як токени — частини слів — і для кожної позиції обчислює ймовірність кожного можливого наступного токена. Генерація відповіді означає повторення цього передбачення токен за токеном. Практично всі сучасні LLM використовують архітектуру Transformer, представлену Васвані та колегами у 2017 році, механізм уваги якого дозволяє моделі зважувати кожну частину вхідних даних при виробництві кожного слова.
Навчання відбувається поетапно. Попереднє навчання на величезному текстовому корпусі навчає мови та загальних знань. Налаштування інструкцій та зворотний зв'язок від людей потім навчають модель слідувати запитам, підтримувати діалог і відмовлятися від деяких завдань. У 2020 році стаття GPT-3 показала, що достатньо велика модель може виконувати нові завдання з кількох прикладів у запиті, без повторного навчання.
Що LLM не знає
Знання LLM заморожене на момент завершення її навчальних даних, і вона ніколи не бачила приватну інформацію вашого бізнесу: ціни, запаси, політику повернення, замовлення клієнтів. Запитуючи про них, вона часто генерує правдоподібну здогадку — галюцинацію. Вона також має обмежене вікно контексту, кількість тексту, яку вона може враховувати одночасно.
Ось чому корисні бізнес-асистенти рідко покладаються лише на модель. Генерація з підкріпленням (RAG) надає їй відповідні уривки з вашого контенту, а інструменти дозволяють їй запитувати живі системи, такі як каталог або базу даних замовлень.
Вибір моделі
Моделі відрізняються за якістю міркування, швидкістю, ціною за токен, мовами, які вони добре обробляють, розміром контексту та місцем їх розміщення. Для обслуговування клієнтів швидка, середня модель часто достатня для рутинних запитань, тоді як складніші випадки — довгі політики, багатоступеневі запити — виграють від більш потужної моделі. Місце розташування даних також має значення: європейський бізнес може віддати перевагу моделі, розміщеній в ЄС.
Модель — це лише одна частина результату. Інструкції, дані для підкріплення, інструменти та оцінка на основі реальних розмов зазвичай важливіші, ніж перехід з однієї провідної моделі на іншу.
LLM в AI SmartTalk
Асистенти AI SmartTalk побудовані навколо LLM і за замовчуванням використовують моделі, розміщені в ЄС; клієнт може вибрати використання моделей інших постачальників. Відповіді асистента ґрунтуються на індексованому контенті та каталозі бізнесу, і він використовує інструменти для пошуку живих даних, а не просить модель запам'ятати їх.
Поширені запитання
Чи є ChatGPT LLM?
ChatGPT — це застосунок, побудований на основі LLM, створених OpenAI. Модель генерує текст; застосунок додає інтерфейс чату, пам'ять про розмови, інструменти, такі як веб-пошук, та правила безпеки.
Що означає “великий” у великій мовній моделі?
Це стосується кількості параметрів — внутрішніх ваг, які навчаються під час тренування, від мільярдів до сотень мільярдів — та розміру навчального корпусу. Точного порогу немає.
Чи може LLM навчитися на даних моєї компанії?
Існує два підходи. Додаткове навчання перенавчає модель на ваших прикладах, що є витратним і не встигає за змінами фактів. Генерація з підкріпленням залишає модель незмінною і надає їй правильні уривки під час запитання, що краще підходить для цін, запасів та політик.
Чи безпечно використовувати LLM з даними клієнтів?
Це залежить від умов постачальника, де розміщена модель і як застосунок обробляє особисті дані. Перевірте, чи постачальник використовує ваші дані для навчання, де вони обробляються, і чи доступна угода про обробку даних.