التضمينات
تعريف سريع
التضمين هو قائمة من الأرقام (متجه) تمثل معنى نص، صورة أو عنصر آخر، بحيث العناصر المتشابهة تحصل على متجهات قريبة. التضمينات هي اللي تخلي البحث بالمعنى ممكن.
في هذه الصفحة
كيفاش التضمينات تخدم
موديل التضمين يقرأ نص ويخرج متجه ثابت الطول، عادة عدة مئات إلى عدة آلاف من الأرقام. الموديل يتدرب بحيث النصوص ذات المعاني المرتبطة تكون قريبة من بعضها في ذلك الفضاء: “سياسة الاسترجاع” و“كيفاش نرجع فلوسي؟” ما تشاركش تقريباً أي كلمات لكن تنتج متجهات قريبة.
الفكرة ترجع لكلمات المتجهات كيما word2vec (Mikolov وزملاؤه، 2013)، اللي تعلمت أن الكلمات اللي تظهر في سياقات مشابهة عندها معاني مشابهة. موديلات الجمل كيما Sentence-BERT (2019) وسعت الفكرة للجمل الكاملة والمقاطع، وهذا هو اللي يحتاجه البحث والإجابة على الأسئلة.
شنوّة الاستعمالات متاعهم
الـ Embeddings تعطي قوة للبحث الدلالي: تقارن بين المتجه متاع سؤال مع المتجهات متاع المقاطع المخزنة وترجع الأقرب. همّا خطوة الاسترجاع في الجيل المعزز بالاسترجاع (RAG). يستعملوا زادة لتجميع المحادثات المتشابهة، اكتشاف النسخ المكررة، اقتراح منتجات مشابهة وتوجيه رسالة للموضوع الصحيح.
نماذج الـ embedding متعددة اللغات تحط سؤال باللغة الفرنسية ومقطع باللغة الإنجليزية قريبين من بعضهم كيما يكونوا نفس المعنى، وهذا يخلي قاعدة المعرفة تخدم الحرفاء بعدة لغات.
نقاط عملية
المتجهات من نماذج مختلفة ما تنجمش تتقارن: إذا بدلت نموذج الـ embedding، كل مقطع مخزن يلزم يتعاود إعادة تضمينه. الـ Embeddings تلتقط المعنى، موش القيم الدقيقة، لذلك هي ضعيفة في الفلاتر الدقيقة كيما نطاق الأسعار أو مرجع منتج — هاذم يلزمهم حقول منظمة أو بحث بالكلمات الرئيسية مع بعضهم. والمستندات الطويلة يلزم تتقسم لمقاطع قبل التضمين، خاطر متجه واحد لكل دليل يطمس محتواه.
نماذج الـ embedding تختلف زادة في تغطية اللغات، الأبعاد (وبالتالي تكلفة التخزين) وأين يتم استضافتها.
الـ Embeddings في AI SmartTalk
كل مساعد في AI SmartTalk يستعمل نموذج واحد للـ embedding لكل المعرفة متاعه. المساعدين الجدد يستعملوا نموذج متعدد اللغات مستضاف في الاتحاد الأوروبي بشكل افتراضي، ونماذج الـ embedding متاع OpenAI متاحة زادة. المتجهات مخزنة في PostgreSQL مع pgvector ومجمعة مع بحث بالكلمات الرئيسية وبحث ثلاثي، باش يتم العثور على مراجع المنتجات والمصطلحات الدقيقة بشكل موثوق كيما الأسئلة المعاد صياغتها.
أسئلة متكررة
شنوّة الفرق بين الـ embedding و token؟
الـ token هو قطعة نص، تقريباً جزء من كلمة، يقراها النموذج. الـ embedding هو متجه من الأرقام يمثل المعنى — متاع token، جملة أو مقطع كامل.
هل الـ embeddings هي نفس قاعدة بيانات المتجهات؟
لا. الـ embeddings هي المتجهات؛ قاعدة بيانات المتجهات أو الفهرس تخزنهم وتلقى الأقرب بسرعة.
هل يمكنني تبديل نماذج الـ embedding لاحقاً؟
نعم، لكن كل عنصر مخزن يلزم يتعاود إعادة تضمينه مع النموذج الجديد، خاطر المتجهات من نماذج مختلفة تعيش في فضاءات مختلفة وما تنجمش تتقارن.