Embeddings
Schnelldefinitioun
Eng Embedding ass eng Lëscht vun Zuelen (e Vektor) déi d'Bedeitung vun engem Text, Bild oder anert Element representéiert, sou datt ähnlech Elementer no bei Vektoren kommen. Embeddings sinn wat d'Sich no Bedeitung méiglech mécht.
Auf dëser Säit
Wéi Embeddings funktionnéieren
Eng Embedding Modell liesst e Text an gëtt e fix-längt Vektor aus, typesch e puer honnert bis e puer Tausend Zuelen. D'Modell ass trainéiert sou datt Texter mat verwandter Bedeitung noeneen an dësem Raum landen: “Réckzuchspolitik” an “wéi kréien ech mengem Suen zréck?” deelen bal keng Wierder awer produzéieren no Vektoren.
D'Iddi geet zréck op Wierder Vektoren wéi word2vec (Mikolov an Kollegen, 2013), déi geléiert hunn, datt Wierder déi an ähnlechen Kontext apparéieren, ähnlech Bedeitungen hunn. Saz-niveau Modeller wéi Sentence-BERT (2019) hunn et op ganz Sätz an Passagen erweidert, wat d'Sich an d'Fro-Antworten brauchen.
Fir wat si benotzt ginn
Embeddings maachen semantesch Sich méiglech: vergläich den Vektor vun enger Fro mat de Vektoren vun de gespäicherten Passagen an zréckginn déi noeste. Si sinn de Recuperatiounsschritt vun der recuperéierter augmentéierter Generatioun (RAG). Si déngen och fir ähnlech Gespréicher ze gruppéieren, Duplikater ze detektéieren, ähnlech Produkter ze recommandéieren an eng Noriicht zum richtege Thema ze leeden.
Multilingual Embedding Modeller plazéieren eng Fro op Franséisch an eng Passage op Englesch no beienee wann si déiselwecht Bedeitung hunn, wat et erlaabt, eng Wëssenbasis fir Clienten an vill Sproochen ze déngen.
Praktesch Punkten
Vektoren aus verschiddene Modeller sinn net vergläichbar: wanns de de Embedding Modell änners, muss all gespäicherten Passage nei embedded ginn. Embeddings erfassen d'Bedeitung, net genau Wäerter, sou si sinn schlecht fir präzis Filteren wéi eng Präisgrenz oder eng Produktreferenz — déi brauchen strukturell Felder oder Schlüsselwuert-Sich. A laang Dokumenter mussen an Passagen opgedeelt ginn ier se embedded ginn, well een Vektor fir eng ganz Manuell verschwommen d'Inhalt ass.
Embedding Modeller ënnerscheedene sech och an der Sproochabdeckung, Dimensioun (an dofir Lagerkäschten) an wou si gehost sinn.
Embeddings an AI SmartTalk
All AI SmartTalk Assistent benotzt een Embedding Modell fir all seng Wëssen. Nei Assistenten benotzen standardméisseg e EU-gehoste multilingual Modell, an OpenAI Embedding Modeller sinn och verfügbar. D'Vektoren sinn an PostgreSQL mat pgvector gespäichert an kombinéiert mat Schlüsselwuert- an Trigram-Sich, sou datt Produktreferenzen an genau Begrëffer sou zouverlässeg wéi paraphraséiert Froen fonnt ginn.
Froën déi oft gestallt ginn
Wat ass den Ënnerscheed tëscht engem Embedding an engem Token?
E Token ass e Stéck Text, ongeféier e Wuertfragment, dat e Modell liesen. E Embedding ass e Vektor vun Zuelen, deen d'Bedeitung representéiert — vun engem Token, engem Saz oder enger ganzer Passage.
Si sinn Embeddings déi selwecht wéi eng Vektor-Datenbank?
Nee. Embeddings sinn d'Vektoren; eng Vektor-Datenbank oder Index späichert se an fënnt déi noeste séier.
Kann ech d'Embedding Modeller méi spéit änneren?
Jo, awer all gespäicherten Element muss mat dem neie Modell nei embedded ginn, well Vektoren aus verschiddene Modeller an verschiddene Plazen liewen an net vergläichbar sinn.