Embedding
Përkufizim i shpejtë
Një embedding është një listë numrash (një vektor) që përfaqëson kuptimin e një teksti, imazhi ose artikulli tjetër, në mënyrë që artikujt e ngjashëm të marrin vektorë të afërt. Embedding janë ato që e bëjnë kërkimin sipas kuptimit të mundshëm.
Në këtë faqe
Si funksionojnë embedding
Një model embedding lexon një tekst dhe nxjerr një vektor me gjatësi fikse, zakonisht disa qindra deri në disa mijëra numra. Modeli është trajnuar në mënyrë që tekstet me kuptime të lidhura të përfundojnë afër njëri-tjetrit në atë hapësirë: "politika e rimbursimit" dhe "si mund ta marr paratë e mia mbrapsht?" ndajnë pothuajse asnjë fjalë, por prodhojnë vektorë të afërt.
Ideja kthehet pas në vektorët e fjalëve si word2vec (Mikolov dhe kolegët, 2013), të cilët mësuan se fjalët që shfaqen në kontekste të ngjashme kanë kuptime të ngjashme. Modelet në nivelin e fjalive si Sentence-BERT (2019) e zgjatën atë në të gjithë fjalitë dhe pasazhet, që është ajo që kërkimi dhe përgjigjja e pyetjeve kanë nevojë.
Për çfarë përdoren
Embeddings fuqizojnë kërkimin semantik: krahaso vektorin e një pyetjeje me vektorët e kalimeve të ruajtura dhe ktheji më të afërtit. Ato janë hapi i rikuperimit të gjeneratës së përmirësuar me rikuperim (RAG). Ato gjithashtu shërbejnë për grumbullimin e bisedave të ngjashme, zbulimin e kopjeve, rekomandimin e produkteve të ngjashme dhe dërgimin e një mesazhi në temën e duhur.
Modelet e embedding-ut shumëgjuhësh vendosin një pyetje në frëngjisht dhe një kalim në anglisht afër njëri-tjetrit kur ato kanë të njëjtin kuptim, që lejon një bazë njohurish të shërbejë klientët në shumë gjuhë.
Pikat praktike
Vektorët nga modele të ndryshme nuk janë të krahasueshëm: nëse ndryshoni modelin e embedding-ut, çdo kalim i ruajtur duhet të ri-embedded. Embeddings kapin kuptimin, jo vlerat e sakta, kështu që ato janë të dobëta në filtrat e saktë si një gamë çmimesh ose një referencë produkti - ato kanë nevojë për fusha të strukturuara ose kërkimin me fjalë kyçe përveç. Dhe dokumentet e gjata duhet të ndahen në kalime para se të bëhen embedding, sepse një vektor për një manual të tërë zbeh përmbajtjen e tij.
Modelet e embedding-ut gjithashtu ndryshojnë në mbulimin gjuhësor, dimensionin (dhe për këtë arsye koston e ruajtjes) dhe vendin ku janë hostuar.
Embeddings në AI SmartTalk
Çdo asistent i AI SmartTalk përdor një model embedding për të gjithë njohuritë e tij. Asistentët e rinj përdorin një model shumëgjuhësh të hostuar në BE si parazgjedhje, dhe modelet e embedding-ut të OpenAI janë gjithashtu të disponueshme. Vektorët ruhen në PostgreSQL me pgvector dhe kombinohen me kërkimin me fjalë kyçe dhe trigram, në mënyrë që referencat e produkteve dhe termat e saktë të gjenden me besueshmëri të njëjtë si pyetjet e parafrazuara.
Pyetjet më të shpeshta
Cila është diferenca midis një embedding dhe një token?
Një token është një pjesë teksti, përafërsisht një fragment fjale, që një model lexon. Një embedding është një vektor numrash që përfaqëson kuptimin - e një tokeni, një fjali ose një kalimi të tërë.
A janë embeddings të njëjta me një bazë të dhënash vektorësh?
Jo. Embeddings janë vektorët; një bazë të dhënash vektorësh ose indeks i ruan ato dhe gjen më të afërmit shpejt.
Mund të kaloj në modele embedding më vonë?
Po, por çdo artikull i ruajtur duhet të ri-embedded me modelin e ri, sepse vektorët nga modele të ndryshme jetojnë në hapësira të ndryshme dhe nuk mund të krahasohen.