Duży model językowy (LLM)
Szybka definicja
Duży model językowy (LLM) to sieć neuronowa wytrenowana na bardzo dużych ilościach tekstu, aby przewidywać następne słowo, co pozwala jej rozumieć i generować naturalny język. To silnik rozumowania stojący za nowoczesnymi chatbotami i agentami AI.
Na tej stronie
Jak działa LLM
LLM odczytuje tekst jako tokeny — fragmenty słów — i dla każdej pozycji oblicza prawdopodobieństwo każdego możliwego następnego tokenu. Generowanie odpowiedzi oznacza powtarzanie tej prognozy token po tokenie. Prawie wszystkie obecne LLM-y korzystają z architektury Transformer wprowadzonej przez Vaswaniego i współpracowników w 2017 roku, której mechanizm uwagi pozwala modelowi ważyć każdą część wejścia podczas produkcji każdego słowa.
Szkolenie odbywa się w etapach. Wstępne szkolenie na ogromnym korpusie tekstu uczy języka i ogólnej wiedzy. Następne dostosowanie instrukcji i feedback od ludzi uczą modelu, jak spełniać prośby, prowadzić dialog i odmawiać niektórym zadaniom. W 2020 roku artykuł GPT-3 pokazał, że wystarczająco duży model może wykonywać nowe zadania na podstawie kilku przykładów w podpowiedzi, bez ponownego szkolenia.
Czego LLM nie wie
Wiedza LLM jest zamrożona na końcu jego danych szkoleniowych i nigdy nie widział prywatnych informacji twojej firmy: ceny, stan magazynowy, polityka zwrotów, zamówienia klientów. Zapytany o nie, często wygeneruje wiarygodne przypuszczenie — halucynację. Ma również ograniczone okno kontekstowe, czyli ilość tekstu, którą może uwzględnić jednocześnie.
Dlatego przydatni asystenci biznesowi rzadko polegają tylko na modelu. Generacja wspomagana wyszukiwaniem (RAG) dostarcza mu odpowiednie fragmenty z twojej treści, a narzędzia pozwalają mu zapytywać o dane na żywo, takie jak katalog czy baza zamówień.
Wybór modelu
Modele różnią się jakością rozumowania, szybkością, ceną za token, językami, które dobrze obsługują, rozmiarem kontekstu i miejscem, w którym są hostowane. W przypadku obsługi klienta szybki, średniej wielkości model często wystarcza do rutynowych pytań, podczas gdy trudniejsze przypadki — długie polityki, wieloetapowe prośby — korzystają z mocniejszego modelu. Lokalizacja danych ma również znaczenie: europejska firma może preferować model hostowany w UE.
Model to tylko jedna część wyniku. Instrukcje, dane podstawowe, narzędzia i ocena na podstawie rzeczywistych rozmów zazwyczaj mają większe znaczenie niż przełączanie się z jednego wiodącego modelu na inny.
LLM-y w AI SmartTalk
Asystenci AI SmartTalk są zbudowani wokół LLM-ów i domyślnie korzystają z modeli hostowanych w UE; klient może wybrać użycie modeli innych dostawców. Odpowiedzi asystenta są oparte na zindeksowanej treści i katalogu firmy, a on używa narzędzi do wyszukiwania danych na żywo, zamiast prosić model o zapamiętanie ich.
Najczęściej zadawane pytania
Czy ChatGPT to LLM?
ChatGPT to aplikacja zbudowana na bazie LLM-ów stworzonych przez OpenAI. Model generuje tekst; aplikacja dodaje interfejs czatu, pamięć rozmowy, narzędzia takie jak wyszukiwanie w sieci oraz zasady bezpieczeństwa.
Co oznacza „duży” w dużym modelu językowym?
Odnosi się to do liczby parametrów — wewnętrznych wag nauczonych podczas szkolenia, od miliardów do setek miliardów — oraz do rozmiaru korpusu szkoleniowego. Nie ma dokładnego progu.
Czy LLM może uczyć się z danych mojej firmy?
Istnieją dwa podejścia. Dostosowanie modelu ponownie szkoli model na twoich przykładach, co jest kosztowne i nie nadąża za zmieniającymi się faktami. Generacja wspomagana wyszukiwaniem pozostawia model niezmienionym i dostarcza mu odpowiednie fragmenty w momencie zadawania pytań, co lepiej pasuje do cen, stanów magazynowych i polityk.
Czy LLM-y są bezpieczne w użyciu z danymi klientów?
To zależy od warunków dostawcy, miejsca, w którym model jest hostowany, oraz sposobu, w jaki aplikacja obsługuje dane osobowe. Sprawdź, czy dostawca używa twoich danych do szkolenia, gdzie są przetwarzane i czy dostępna jest umowa o przetwarzaniu danych.