Голям езиков модел (LLM)
Бързо определение
Голям езиков модел (LLM) е невронна мрежа, обучена на много големи количества текст, за да предвиди следващата дума, което му позволява да разбира и генерира естествен език. Той е двигателят на разсъжденията зад съвременните чатботове и AI агенти.
На тази страница
Как работи LLM
LLM чете текста като токени — части от думи — и за всяка позиция изчислява вероятността на всеки възможен следващ токен. Генерирането на отговор означава повторение на тази прогноза токен след токен. Почти всички настоящи LLM използват архитектурата Transformer, представена от Васвани и колегите му през 2017 г., чийто механизъм на внимание позволява на модела да претегля всяка част от входа при производството на всяка дума.
Обучението се извършва на етапи. Предварителното обучение на огромен текстов корпус учи език и общи знания. Настройването на инструкции и обратната връзка от хората след това учат модела да следва заявки, да води диалог и да отказва някои задачи. През 2020 г. статията за GPT-3 показа, че достатъчно голям модел може да изпълнява нови задачи от няколко примера в подсказката, без повторно обучение.
Какво не знае LLM
Знанията на LLM са замразени в края на обучителните му данни и той никога не е виждал частна информация за вашия бизнес: цени, наличности, политика за връщане, поръчки на клиенти. Когато бъде попитан за тях, той често ще произведе правдоподобна догадка — халюцинация. Той също така има ограничен контекстуален прозорец, количеството текст, което може да вземе предвид наведнъж.
Затова полезните бизнес асистенти рядко разчитат само на модела. Генерацията, обогатена с извличане (RAG), му предоставя съответните пасажи от вашето съдържание, а инструментите му позволяват да запитва живи системи, като каталог или база данни за поръчки.
Избор на модел
Моделите се различават по качество на разсъжденията, скорост, цена на токен, езици, които обработват добре, размер на контекста и къде са хоствани. За обслужване на клиенти, бърз, средно голям модел често е достатъчен за рутинни въпроси, докато по-трудните случаи — дълги политики, многостепенни заявки — печелят от по-силен модел. Местоположението на данните също е важно: европейски бизнес може да предпочете модел, хостван в ЕС.
Моделът е само една част от резултата. Инструкции, основни данни, инструменти и оценка на реални разговори обикновено имат по-голямо значение от смяната на един водещ модел с друг.
LLM в AI SmartTalk
Асистентите на AI SmartTalk са изградени около LLM и по подразбиране използват модели, хоствани в ЕС; клиентът може да избере да използва модели на други доставчици вместо това. Отговорите на асистента са основани на индексираното съдържание и каталог на бизнеса, и той използва инструменти, за да търси живи данни, вместо да иска от модела да ги запомни.
Често задавани въпроси
ЧатGPT ли е LLM?
ЧатGPT е приложение, изградена върху LLM, създадени от OpenAI. Моделът генерира текст; приложението добавя интерфейс за чат, памет за разговори, инструменти като уеб търсене и правила за безопасност.
Какво означава „голямо“ в голям езиков модел?
Това се отнася до броя на параметрите — вътрешните тегла, научени по време на обучението, от милиарди до стотици милиарди — и до размера на обучителния корпус. Няма точно прагово значение.
Може ли LLM да се учи от данните на моята компания?
Съществуват два подхода. Фино настройване повторно обучава модела на вашите примери, което е скъпо и не следи променящите се факти. Генерацията, обогатена с извличане, оставя модела непроменен и му дава правилните пасажи в момента на задаване на въпроса, което е по-подходящо за цени, наличности и политики.
Безопасни ли са LLM за използване с данни на клиенти?
Зависи от условията на доставчика, къде е хостван моделът и как приложението обработва лични данни. Проверете дали доставчикът използва вашите данни за обучение, къде се обработват и дали е налично споразумение за обработка на данни.