ኢምቤዲንግ (Embeddings)
አጭር ትርጉም
Embedding የጽሑፍን፣ የምስልን ወይም የሌላ ነገርን ትርጉም የሚወክል የቁጥሮች ዝርዝር (ቬክተር) ነው፤ ተመሳሳይ ነገሮች የተቀራረቡ ቬክተሮችን ያገኛሉ። በትርጉም መፈለግን የሚያስችሉት embeddings ናቸው።
በዚህ ገጽ
Embeddings እንዴት ይሠራሉ
የembedding ሞዴል ጽሑፍን ያነብና ቋሚ ርዝመት ያለው ቬክተር ያወጣል፤ ብዙውን ጊዜ ከብዙ መቶ እስከ ጥቂት ሺህ ቁጥሮች። ሞዴሉ የሚሰለጥነው ተዛማጅ ትርጉም ያላቸው ጽሑፎች በዚያ ቦታ ውስጥ እርስ በርስ እንዲቀራረቡ ነው፦ “የተመላሽ ፖሊሲ” እና “ብሬን እንዴት መልሼ አገኛለሁ?” አንድም ቃል አይጋሩም ማለት ይቻላል፣ ግን የተቀራረቡ ቬክተሮችን ይፈጥራሉ።
ሐሳቡ እንደ word2vec (Mikolov እና ባልደረቦቹ፣ 2013) ወዳሉ የቃል ቬክተሮች ይመለሳል፤ እነዚህም በተመሳሳይ አውድ የሚታዩ ቃላት ተመሳሳይ ትርጉም እንዳላቸው ተምረዋል። እንደ Sentence-BERT (2019) ያሉ የዓረፍተ ነገር ደረጃ ሞዴሎች ይህን ወደ ሙሉ ዓረፍተ ነገሮችና አንቀጾች አስፋፉት፤ ፍለጋና ጥያቄ መመለስ የሚፈልጉትም ይህንኑ ነው።
ለምን እንደሚጠቀሙባቸው
ኤምበዲንግስ ሰማንቲክ ፍለጋን ይሞሉ፡ የጥያቄ ቬክተርን ከተደላው ጋር እንዲነጋገር ያደርጋሉ እና በቅርብ የሚገኝ ይመለሳል። እነሱ የማስመልሳል አስተዳደር የማስመልሳል ማምረጥ (RAG) ደረጃ ናቸው። እንዲሁም ተመሳሳይ ውይይቶችን ለመደምሰስ፣ ድግግሞሽ ለመቆጣጠር፣ ተመሳሳይ ምርቶችን ለመጠቆም እና መልእክትን ወደ ትክክለኛው ርዕስ ለመምረጥ ይገለጣሉ።
በብዙ ቋንቋ የተሰራ ኤምበዲንግ ሞዴሎች በፈረንሳይኛ የተጠየቀ ጥያቄ እና በእንግሊዝኛ የተጻፈ ጽሑፍ በተመሳሳይ ማለት በቅርብ እንዲሆኑ ያደርጋሉ፣ ይህም አንድ የእውቀት መሠረት በብዙ ቋንቋ ደንበኞችን እንዲያገለግል ያደርጋል።
ተግባራዊ ነጥቦች
ከተለያዩ ሞዴሎች የተገኙ ቬክተሮች አይነጋገሩም፡ እንዲሁም ኤምበዲንግ ሞዴልን በማለው ሁሉም የተደላ ጽሑፎች እንደገና ማስገባት ያስፈልጋል። ኤምበዲንግስ ትርጉምን ይይዛሉ፣ ትክክለኛ እንደሆነ እንደ ዋጋ ክልል ወይም የምርት ማጣሪያ እንደሆነ አይሆኑም፣ እነዚህ የተዋቀሩ መስኮች ወይም ቁልፍ ቃላት ፍለጋ ከጋር አስፈላጊ ናቸው። እና ረጅም ሰነዶች በኤምበዲንግ በፊት ወደ ጽሑፎች ማካፈል ያስፈልጋል፣ ምክንያቱም ለሙሉ መመሪያ አንድ ቬክተር ይዘቱን ያሰብራል።
የኤምበዲንግ ሞዴሎች በቋንቋ ክልል፣ በምንጠን (እና ስለዚህ የማከማቻ ወጪ) እና የተደላ ቦታ ይለያያሉ።
ኤምበዲንግስ በAI SmartTalk
እያንዳንዱ የAI SmartTalk ረዳት ለሁሉም እውቀቱ አንድ የኢምቤዲንግ ሞዴል ይጠቀማል። አዳዲስ ረዳቶች በነባሪ በEU ውስጥ የሚስተናገድ ባለብዙ ቋንቋ ሞዴል ይጠቀማሉ፣ የOpenAI ኢምቤዲንግ ሞዴሎችም ይገኛሉ። ቬክተሮቹ በPostgreSQL ውስጥ ከpgvector ጋር ይቀመጣሉ እና ከቁልፍ ቃል እና ከtrigram ፍለጋ ጋር ይጣመራሉ፣ ስለዚህ የምርት ማጣቀሻዎች እና ትክክለኛ ቃላት ልክ በሌላ አገላለጽ እንደተጠየቁ ጥያቄዎች በአስተማማኝ ሁኔታ ይገኛሉ።
የተደገፉ ጥያቄዎች
ኤምበዲንግ እና ቶክን መካከል ምን ያህል ልዩነት አለ?
ቶክን የጽሑፍ ክፍል ነው፣ በግምት የቃል ክፍል፣ ሞዴል የሚያነበብ። ኤምበዲንግ የትርጉም ቁጥሮች ቬክተር ነው — የቶክን፣ የሐረግ ወይም የሙሉ ጽሑፍ።
ኤምበዲንግስ እንደ ቬክተር ዳታቤዝ አንደኛ ናቸው?
አይደሉም። ኤምበዲንግስ ቬክተሮች ናቸው፤ በቬክተር ዳታቤዝ ወይም መለያ ይደላሉ እና በቅርብ የሚገኙትን በፍጥነት ያገኛሉ።
በኋላ የኢምቤዲንግ ሞዴሎችን መቀየር እችላለሁ?
አዎ, ነገር ግን በተለዋዋጭ ሞዴል የተቀመጡ ሁሉም ነገሮች እንደገና መተላለፍ አለባቸው, ምክንያቱም ከተለያዩ ሞዴሎች የሚሆኑ ቫክተሮች በተለያዩ ቦታዎች ውስጥ ይኖራሉ እና ማነጻጸር አይችሉም።