Embeddings
Ufafanuzi wa haraka
Embedding ni orodha ya nambari (vector) inayowakilisha maana ya maandiko, picha au kipengee kingine, ili vitu vinavyofanana vipate vector za karibu. Embeddings ndizo zinazofanya utafutaji kwa maana uwezekane.
Katika ukurasa huu
Jinsi embeddings zinavyofanya kazi
Mfano wa embedding unasoma maandiko na kutoa vector yenye urefu wa kudumu, kwa kawaida nambari kadhaa mia hadi elfu kadhaa. Mfano umefunzwa ili maandiko yenye maana zinazohusiana yapate karibu katika nafasi hiyo: "sera ya marejesho" na "ninaweza vipi kupata pesa zangu nyuma?" hazina maneno mengi lakini zinatoa vector za karibu.
Wazo hili linarejea kwenye vector za maneno kama word2vec (Mikolov na wenzake, 2013), ambayo ilijifunza kwamba maneno yanayoonekana katika muktadha sawa yana maana zinazofanana. Mifano ya kiwango cha sentensi kama Sentence-BERT (2019) ilipanua hadi sentensi nzima na vipande, ambavyo ndivyo utafutaji na kujibu maswali vinavyohitaji.
Zinatumika kwa ajili ya
Embedding zina nguvu katika utafutaji wa maana: ikilinganishwa vector ya swali na vectors za maandiko yaliyohifadhiwa na kurudisha ile iliyo karibu zaidi. Ndio hatua ya utafutaji katika kizazi kilichoongezwa na utafutaji (RAG). Pia zinatumika kwa kuunganisha mazungumzo yanayofanana, kugundua nakala, kupendekeza bidhaa zinazofanana na kuelekeza ujumbe kwenye mada sahihi.
Mifano ya embedding ya lugha nyingi inaweka swali kwa Kifaransa na kifungu kwa Kiingereza karibu pamoja wanapomaanisha kitu kimoja, ambayo inaruhusu msingi mmoja wa maarifa kuhudumia wateja katika lugha nyingi.
Mambo ya vitendo
Vectors kutoka mifano tofauti hazifai kulinganishwa: ukibadilisha mfano wa embedding, kila kifungu kilichohifadhiwa kinahitaji kuingizwa upya. Embeddings zinashika maana, si thamani halisi, hivyo hazifai kwa filters sahihi kama vile kiwango cha bei au rejeleo la bidhaa - hizo zinahitaji maeneo yaliyo na muundo au utafutaji wa maneno muhimu pamoja. Na hati ndefu zinapaswa kugawanywa katika vifungu kabla ya kuingizwa, kwa sababu vector moja kwa mwongozo mzima inachafua maudhui yake.
Mifano ya embedding pia inatofautiana katika ufunikaji wa lugha, dimension (na kwa hivyo gharama ya uhifadhi) na mahali zilipo.
Embeddings katika AI SmartTalk
Kila msaidizi wa AI SmartTalk hutumia mfano mmoja wa embedding kwa maarifa yake yote. Wasaidizi wapya hutumia mfano wa lugha nyingi ulioshikiliwa na EU kama chaguo la msingi, na mifano ya embedding ya OpenAI pia inapatikana. Vectors zinahifadhiwa katika PostgreSQL na pgvector na kuunganishwa na utafutaji wa maneno muhimu na trigram, ili rejeleo la bidhaa na maneno halisi yapatikane kwa uaminifu kama maswali yaliyofasiriwa.
Maswali yanayoulizwa mara kwa mara
Je, tofauti kati ya embedding na token ni ipi?
Token ni kipande cha maandiko, takriban kipande cha neno, ambacho mfano unasoma. Embedding ni vector ya nambari inayowakilisha maana - ya token, sentensi au kifungu kizima.
Je, embeddings ni sawa na hifadhidata ya vector?
Hapana. Embeddings ndizo vectors; hifadhidata ya vector au index inazihifadhi na kuzitafuta kwa haraka.
Je, naweza kubadilisha mifano ya embedding baadaye?
Ndio, lakini kila kipengee kilichohifadhiwa kinapaswa kuingizwa upya na mfano mpya, kwa sababu vectors kutoka mifano tofauti zinaishi katika nafasi tofauti na haiwezi kulinganishwa.