Embeddings
Gajeriyar ma'ana
Embedding jerin lambobi ne (vector) wanda ke wakiltar ma'anar rubutu, hoto ko wani abu, don haka abubuwa masu kama suna samun vectors kusa. Embeddings suna sa bincike ta hanyar ma'ana ya yiwu.
A wannan shafin
Yadda embeddings ke aiki
Samfurin embedding yana karanta rubutu kuma yana fitar da vector mai tsawo, yawanci daga ɗari da ɗaya zuwa ɗaruruwa da yawa na lambobi. An horar da samfurin don haka rubutun da ke da alaƙa suna sauka kusa da juna a cikin wannan sararin: "dokar dawo da kudi" da "ta yaya zan dawo da kudina?" suna raba kusan kalmomi ba amma suna samar da vectors masu kusa.
Ra'ayin ya koma ga vectors na kalmomi kamar word2vec (Mikolov da abokan aiki, 2013), wanda ya koyi cewa kalmomin da ke bayyana a cikin yanayi masu kama suna da ma'anoni masu kama. Samfuran matakin jumla kamar Sentence-BERT (2019) sun faɗaɗa shi zuwa dukkan jumloli da fassarar, wanda shine abin da bincike da amsa tambayoyi ke buƙata.
Menene amfaninsu
Embeddings suna karfafa binciken ma'ana: kwatanta vector na tambaya tare da vectors na passages da aka adana kuma dawo da mafi kusa. Su ne mataki na dawo da bayanai na ƙara ƙarin bayani (RAG). Hakanan suna aiki don rarraba tattaunawa masu kama, gano kwafi, ba da shawarar kayayyaki masu kama da juna da kuma jagorantar saƙo zuwa batun da ya dace.
Samfuran embedding na harsuna da yawa suna sanya tambaya a Faransanci da passage a Turanci kusa da juna lokacin da suke nufin abu ɗaya, wanda ke ba da damar tushen ilimi guda ya yi hidima ga abokan ciniki a cikin harsuna da yawa.
Muhimman abubuwa
Vectors daga samfuran daban ba za a iya kwatanta su ba: idan ka canza samfuran embedding, kowanne passage da aka adana dole ne a sake embedding. Embeddings suna kama ma'ana, ba daidai ba, don haka suna da rauni a kan tace-tace masu daidaito kamar farashi ko alamar samfur — waɗannan suna buƙatar filayen tsari ko binciken kalmomi a tare. Kuma takardun dogon dole ne a raba su zuwa passages kafin embedding, saboda vector guda ɗaya don duk wani manual yana blur abun ciki.
Samfuran embedding suma suna bambanta a cikin yawan harsuna, girma (da kuma farashin ajiya) da inda aka adana su.
Embeddings a cikin AI SmartTalk
Kowane mai taimako na AI SmartTalk yana amfani da samfuri guda na embedding don duk iliminsa. Sabbin masu taimako suna amfani da samfurin harshe da yawa wanda aka adana a EU ta tsohuwa, kuma samfuran embedding na OpenAI suma suna samuwa. Vectors suna adana a cikin PostgreSQL tare da pgvector kuma an haɗa su da binciken kalmomi da trigram, don haka ana samun alamomin samfur da kalmomin da suka dace da tambayoyin da aka sake fasalta.
Tambayoyi da aka yawan yi
Menene bambanci tsakanin embedding da token?
Token wani yanki ne na rubutu, kusan yanki na kalma, wanda samfurin ke karantawa. Embedding vector ne na lambobi wanda ke wakiltar ma'ana — na token, jumla ko duk passage.
Shin embeddings suna daidai da bayanan vector?
A'a. Embeddings sune vectors; bayanan vector ko index suna adana su kuma suna nemo mafi kusa da su cikin sauri.
Shin zan iya canza samfuran embedding daga baya?
I, amma kowanne abu da aka adana dole ne a sake embedding tare da sabon samfur, saboda vectors daga samfuran daban suna rayuwa a cikin wurare daban-daban kuma ba za a iya kwatanta su ba.