Embeddings
Rychlá definice
Embedding je seznam čísel (vektor), který představuje význam textu, obrázku nebo jiného prvku, takže podobné prvky mají blízké vektory. Embeddings umožňují vyhledávání podle významu.
Na této stránce
Jak embeddings fungují
Model embedding čte text a produkuje vektor pevné délky, obvykle několik stovek až několik tisíc čísel. Model je trénován tak, aby texty se souvisejícími významy skončily blízko sebe v tomto prostoru: "politika vracení peněz" a "jak dostanu své peníze zpět?" sdílejí téměř žádná slova, ale produkují blízké vektory.
Myšlenka se vrací k vektorům slov, jako je word2vec (Mikolov a kolegové, 2013), které se naučily, že slova se objevující v podobných kontextech mají podobné významy. Modely na úrovni vět, jako je Sentence-BERT (2019), to rozšířily na celé věty a pasáže, což je to, co vyhledávání a odpovídání na otázky potřebují.
K čemu se používají
Embeddings posilují sémantické vyhledávání: porovnávají vektor otázky s vektory uložených pasáží a vrací nejbližší. Jsou krokem vyhledávání v generaci obohacené vyhledáváním (RAG). Také slouží k seskupování podobných konverzací, detekci duplicit, doporučování podobných produktů a směrování zprávy k správnému tématu.
Vícejazyčné embedding modely umisťují otázku ve francouzštině a pasáž v angličtině blízko sebe, když znamenají to samé, což umožňuje jedné znalostní bázi sloužit zákazníkům v mnoha jazycích.
Praktické body
Vektory z různých modelů nejsou srovnatelné: pokud změníte embedding model, každá uložená pasáž musí být znovu vložena. Embeddings zachycují význam, nikoli přesné hodnoty, takže jsou slabé na přesné filtry, jako je cenový rozsah nebo reference produktu — ty potřebují strukturovaná pole nebo vyhledávání podle klíčových slov. A dlouhé dokumenty musí být před vložením rozděleny na pasáže, protože jeden vektor pro celý manuál rozmazává jeho obsah.
Embedding modely se také liší v pokrytí jazyků, dimenzi (a tedy nákladech na úložiště) a místě, kde jsou hostovány.
Embeddings v AI SmartTalk
Každý asistent AI SmartTalk používá jeden embedding model pro všechny své znalosti. Noví asistenti používají jako výchozí EU-hostovaný vícejazyčný model a embedding modely OpenAI jsou také k dispozici. Vektory jsou uloženy v PostgreSQL s pgvector a kombinovány s vyhledáváním podle klíčových slov a trigramů, takže reference produktů a přesné termíny jsou nalezeny stejně spolehlivě jako parafrázované otázky.
Často kladené otázky
Jaký je rozdíl mezi embeddingem a tokenem?
Token je kus textu, zhruba fragment slova, který model čte. Embedding je vektor čísel, který představuje význam — tokenu, věty nebo celé pasáže.
Jsou embeddings to samé jako vektorová databáze?
Ne. Embeddings jsou vektory; vektorová databáze nebo index je ukládá a rychle nachází nejbližší.
Mohu později změnit embedding modely?
Ano, ale každá uložená položka musí být znovu vložena s novým modelem, protože vektory z různých modelů žijí v různých prostorech a nelze je porovnávat.