Velký jazykový model (LLM)
Rychlá definice
Velký jazykový model (LLM) je neuronová síť trénovaná na velmi velkém množství textu, aby předpověděla další slovo, což mu umožňuje rozumět a generovat přirozený jazyk. Je to rozumový motor moderních chatbotů a AI agentů.
Na této stránce
Jak LLM funguje
LLM čte text jako tokeny — kousky slov — a pro každou pozici počítá pravděpodobnost každého možného následujícího tokenu. Generování odpovědi znamená opakování této předpovědi token po tokenu. Téměř všechny současné LLM používají architekturu Transformer, kterou v roce 2017 zavedli Vaswani a jeho kolegové, jejíž mechanismus pozornosti umožňuje modelu vážit každou část vstupu při produkci každého slova.
Trénink probíhá ve fázích. Předtrénování na obrovském textovém korpusu učí jazyk a obecné znalosti. Ladění instrukcí a zpětná vazba od lidí pak učí model, jak následovat požadavky, vést dialog a odmítat některé úkoly. V roce 2020 ukázal dokument GPT-3, že dostatečně velký model může vykonávat nové úkoly na základě několika příkladů v promptu, aniž by bylo potřeba přeškolení.
Co LLM neví
Znalosti LLM jsou zmrazené na konci jeho tréninkových dat a nikdy neviděl soukromé informace vaší firmy: ceny, zásoby, zásady vracení zboží, zákaznické objednávky. Když se na ně zeptáte, často vytvoří věrohodný odhad — halucinaci. Má také omezené okno kontextu, množství textu, které může vzít v úvahu najednou.
Proto užiteční obchodní asistenti zřídka spoléhají pouze na model. Generování obohacené vyhledáváním (RAG) mu poskytuje relevantní pasáže z vašeho obsahu a nástroje mu umožňují dotazovat se na živé systémy, jako je katalog nebo databáze objednávek.
Výběr modelu
Modely se liší v kvalitě uvažování, rychlosti, ceně za token, jazycích, které dobře zvládají, velikosti kontextu a místě, kde jsou hostovány. Pro zákaznický servis je často dostatečný rychlý, středně velký model pro rutinní otázky, zatímco složitější případy — dlouhé politiky, vícestupňové požadavky — těží z silnějšího modelu. Místo uložení dat je také důležité: evropská firma může preferovat model hostovaný v EU.
Model je pouze jednou částí výsledku. Instrukce, základní data, nástroje a hodnocení na skutečných konverzacích obvykle hrají větší roli než přepínání z jednoho vedoucího modelu na jiný.
LLM v AI SmartTalk
Asistenti AI SmartTalk jsou postaveni kolem LLM a ve výchozím nastavení používají modely hostované v EU; zákazník si může zvolit použití modelů jiných poskytovatelů. Odpovědi asistenta jsou založeny na indexovaném obsahu a katalogu firmy a používá nástroje k vyhledávání živých dat namísto toho, aby žádal model, aby si je pamatoval.
Často kladené otázky
Je ChatGPT LLM?
ChatGPT je aplikace postavená na vrcholu LLM vyvinutých společností OpenAI. Model generuje text; aplikace přidává chatovací rozhraní, paměť konverzace, nástroje jako webové vyhledávání a pravidla bezpečnosti.
Co znamená „velký“ ve velkém jazykovém modelu?
Odkazuje to na počet parametrů — interních vah naučených během trénování, od miliard po stovky miliard — a na velikost tréninkového korpusu. Neexistuje přesný práh.
Může se LLM učit z dat mé společnosti?
Existují dva přístupy. Jemné ladění přeškoluje model na vašich příkladech, což je nákladné a nedrží krok se změnami faktů. Generování obohacené vyhledáváním nechává model beze změny a poskytuje mu správné pasáže v době dotazu, což lépe vyhovuje cenám, zásobám a politikám.
Jsou LLM bezpečné pro použití se zákaznickými daty?
Záleží na podmínkách poskytovatele, kde je model hostován a jak aplikace zachází s osobními údaji. Zkontrolujte, zda poskytovatel používá vaše data pro trénink, kde jsou zpracovávána a zda je k dispozici dohoda o zpracování dat.