Veľký jazykový model (LLM)
Rýchla definícia
Veľký jazykový model (LLM) je neurónová sieť trénovaná na veľmi veľkých množstvách textu na predpovedanie nasledujúceho slova, čo mu umožňuje rozumieť a generovať prirodzený jazyk. Je to rozumový motor moderných chatbotov a AI agentov.
Na tejto stránke
Ako funguje LLM
LLM číta text ako tokeny — časti slov — a pre každú pozíciu vypočítava pravdepodobnosť každého možného nasledujúceho tokenu. Generovanie odpovede znamená opakovať túto predpoveď token po token. Takmer všetky súčasné LLM používajú architektúru Transformer, ktorú predstavili Vaswani a jeho kolegovia v roku 2017, ktorej mechanizmus pozornosti umožňuje modelu vážiť každú časť vstupu pri produkcii každého slova.
Tréning prebieha v etapách. Predtréning na obrovskom texte učí jazyk a všeobecné znalosti. Úprava inštrukcií a spätná väzba od ľudí potom učia model dodržiavať požiadavky, viesť dialóg a odmietať niektoré úlohy. V roku 2020 ukázal dokument GPT-3, že dostatočne veľký model môže vykonávať nové úlohy na základe niekoľkých príkladov v pokyne, bez potreby opätovného trénovania.
Čo LLM nevie
Znalosti LLM sú zamrznuté na konci jeho tréningových dát a nikdy nevidel súkromné informácie vašej firmy: ceny, zásoby, politiku vrátenia, zákaznícke objednávky. Ak sa na neho opýtate, často vyprodukuje presvedčivý odhad — halucináciu. Má tiež obmedzené okno kontextu, množstvo textu, ktoré môže zohľadniť naraz.
Preto užitoční obchodní asistenti zriedka spoliehajú len na model. Generovanie obohatené o vyhľadávanie (RAG) mu poskytuje relevantné pasáže z vášho obsahu a nástroje mu umožňujú dotazovať sa na živé systémy, ako je katalóg alebo databáza objednávok.
Výber modelu
Modely sa líšia v kvalite uvažovania, rýchlosti, cene za token, jazykoch, ktoré dobre zvládajú, veľkosti kontextu a mieste, kde sú hostené. Pre zákaznícky servis je často dostatočný rýchly, stredne veľký model na rutinné otázky, zatiaľ čo ťažšie prípady — dlhé politiky, viacstupňové požiadavky — ťažia z silnejšieho modelu. Dôležitá je aj lokalizácia dát: európska firma môže uprednostniť model hostený v EÚ.
Model je len jednou časťou výsledku. Inštrukcie, základné dáta, nástroje a hodnotenie na základe skutočných rozhovorov zvyčajne zohrávajú väčšiu úlohu ako prechod z jedného vedúceho modelu na iný.
LLM v AI SmartTalk
Asistenti AI SmartTalk sú postavení na LLM a predvolene používajú modely hostené v EÚ; zákazník si môže zvoliť použitie modelov iných poskytovateľov. Odpovede asistenta sú zakotvené v indexovanom obsahu a katalógu firmy a používajú nástroje na vyhľadávanie živých údajov namiesto toho, aby žiadali model, aby si ich zapamätal.
Často kladené otázky
Je ChatGPT LLM?
ChatGPT je aplikácia postavená na LLM vyvinutých spoločnosťou OpenAI. Model generuje text; aplikácia pridáva chatovú rozhranie, pamäť konverzácie, nástroje ako webové vyhľadávanie a pravidlá bezpečnosti.
Čo znamená „veľký“ v pojme veľký jazykový model?
Odkazuje na počet parametrov — interné váhy naučené počas tréningu, od miliárd po stovky miliárd — a na veľkosť tréningového korpusu. Neexistuje presný prah.
Môže sa LLM učiť z dát mojej spoločnosti?
Existujú dva prístupy. Doladenie opätovne trénuje model na vašich príkladoch, čo je nákladné a nedokáže udržať krok so zmenou faktov. Generovanie obohatené o vyhľadávanie necháva model nezmenený a poskytuje mu správne pasáže v čase otázky, čo sa lepšie hodí na ceny, zásoby a politiky.
Sú LLM bezpečné na používanie so zákazníckymi dátami?
Závisí to od podmienok poskytovateľa, kde je model hostený a ako aplikácia zaobchádza s osobnými údajmi. Skontrolujte, či poskytovateľ používa vaše dáta na tréning, kde sú spracovávané a či je k dispozícii dohoda o spracovaní dát.