التضمينات
تعريف سريع
التضمين هو لائحة من الأرقام (متجه) اللي كتمثل المعنى ديال نص، صورة أو عنصر آخر، بحيث العناصر المتشابهة كتحصل على متجهات قريبة. التضمينات هي اللي كتمكن البحث بالمعنى.
في هذه الصفحة
كيفاش كيتعمل التضمين
موديل التضمين كيقرا نص وكيخرج متجه بطول ثابت، غالباً عدة مئات إلى آلاف الأرقام. الموديل كيتدرب باش النصوص اللي عندها معاني مرتبطة كتوصل قريبة من بعضها في هاد الفضاء: “سياسة الاسترداد” و“كيفاش نقدر نرجع فلوسي؟” كيشتركو تقريبا في حتى كلمة ولكن كينتجو متجهات قريبة.
الفكرة كترجع للمتجهات الكلمات بحال word2vec (Mikolov وزملاؤه، 2013)، اللي تعلمو أن الكلمات اللي كيبانو في سياقات مشابهة عندهم معاني مشابهة. موديلات الجمل بحال Sentence-BERT (2019) وسعت الفكرة للجمل الكاملة والمقاطع، وهذا هو اللي كيتطلبو البحث والإجابة على الأسئلة.
شنو كيتستعملو
الـ Embeddings كتعطي القوة للبحث الدلالي: كيقارنوا المتجه ديال سؤال مع المتجهات ديال الفقرات المخزنة وكيعطيو الأقرب. هما الخطوة ديال الاسترجاع فـ retrieval-augmented generation (RAG). كيساعدو حتى فـ تجميع المحادثات المتشابهة، وكشف التكرارات، وتوصية بمنتجات مشابهة وتوجيه رسالة للموضوع الصحيح.
نماذج الـ embedding متعددة اللغات كتحط سؤال بالفرنسية و فقرة بالإنجليزية قريبة من بعضياتها ملي كيعني نفس الشي، وهذا كيسمح لقاعدة المعرفة أنها تخدم الزبناء بلغات متعددة.
نقاط عملية
المتجهات من نماذج مختلفة ماشي قابلة للمقارنة: إذا بدلت نموذج الـ embedding، خاص كل فقرة مخزنة تتعاود تعاد. الـ Embeddings كتحبس المعنى، ماشي القيم الدقيقة، لذلك ماشي مزيانة فـ الفلاتر الدقيقة بحال نطاق الأسعار أو مرجع المنتج — هادشي خاصو حقول منظمة أو بحث بالكلمات الرئيسية بجانب. و الوثائق الطويلة خاصها تتقسم لفقرات قبل ما تتعمد، حيت متجه واحد لكتاب كامل كيمسح المحتوى ديالو.
نماذج الـ embedding كتميز فـ تغطية اللغة، الأبعاد (وبالتالي تكلفة التخزين) و فين كيتخزنو.
الـ Embeddings فـ AI SmartTalk
كل مساعد فـ AI SmartTalk كيعتمد على نموذج واحد للـ embedding لكل المعرفة ديالو. المساعدين الجدد كيتستعملو نموذج متعدد اللغات مستضاف فـ الاتحاد الأوروبي بشكل افتراضي، ونماذج الـ embedding ديال OpenAI متاحة كذلك. المتجهات كيتخزنو فـ PostgreSQL مع pgvector وكيتجمعو مع البحث بالكلمات الرئيسية و trigram، باش يتم العثور على مراجع المنتجات والمصطلحات الدقيقة بشكل موثوق بحال الأسئلة المعاد صياغتها.
أسئلة متكررة
شنو الفرق بين الـ embedding و token؟
الـ token هو قطعة نص، تقريبا جزء من كلمة، كيقراها النموذج. الـ embedding هو متجه من الأرقام كيمثل المعنى — ديال token، جملة أو فقرة كاملة.
واش الـ embeddings هي نفس الشي كقاعدة بيانات المتجهات؟
لا. الـ Embeddings هي المتجهات؛ قاعدة بيانات المتجهات أو الفهرس كتحفظهم وكتلقى الأقرب بسرعة.
واش يمكنني نبدل نماذج الـ embedding من بعد؟
نعم، ولكن خاص كل عنصر مخزن يتعاود يتعمد بالنموذج الجديد، حيت المتجهات من نماذج مختلفة كتعاش فـ فضاءات مختلفة ومايمكنش نقارنوهم.