التضمينات

يقرأ نموذج التضمين نصًا ويخرج متجهًا ثابت الطول، عادةً ما يتراوح بين عدة مئات إلى بضع آلاف من الأرقام. يتم تدريب النموذج بحيث تهبط النصوص ذات المعاني ذات الصلة بالقرب من بعضها في تلك المساحة: "سياسة الاسترداد" و"كيف يمكنني استرداد أموالي؟" لا تشترك في كلمات تقريبًا ولكن تنتج متجهات قريبة.

تعود الفكرة إلى متجهات الكلمات مثل word2vec (ميكولوف وزملاؤه، 2013)، التي تعلمت أن الكلمات التي تظهر في سياقات مشابهة لها معاني مشابهة. نماذج مستوى الجملة مثل Sentence-BERT (2019) وسعت الفكرة إلى الجمل والقطع الكاملة، وهو ما تحتاجه عمليات البحث والإجابة على الأسئلة.

تعمل التضمينات على تعزيز البحث الدلالي: تقارن بين متجه سؤال مع متجهات المقاطع المخزنة وتعيد الأقرب. إنها خطوة الاسترجاع في الجيل المعزز بالاسترجاع (RAG). كما أنها تخدم لتجميع المحادثات المماثلة، واكتشاف التكرارات، وتوصية المنتجات المماثلة، وتوجيه الرسالة إلى الموضوع الصحيح.

تضع نماذج التضمين متعددة اللغات سؤالًا باللغة الفرنسية ومقطعًا باللغة الإنجليزية بالقرب من بعضهما عندما تعني نفس الشيء، مما يسمح لقاعدة المعرفة الواحدة بخدمة العملاء بعدة لغات.

لا يمكن مقارنة المتجهات من نماذج مختلفة: إذا قمت بتغيير نموذج التضمين، يجب إعادة تضمين كل مقطع مخزن. تلتقط التضمينات المعنى، وليس القيم الدقيقة، لذا فهي ضعيفة في الفلاتر الدقيقة مثل نطاق السعر أو مرجع المنتج - تحتاج تلك إلى حقول منظمة أو بحث عن الكلمات الرئيسية بجانبها. ويجب تقسيم الوثائق الطويلة إلى مقاطع قبل التضمين، لأن استخدام متجه واحد لكتيب كامل يطمس محتواه.

تختلف نماذج التضمين أيضًا في تغطية اللغة، والأبعاد (وبالتالي تكلفة التخزين) وأين يتم استضافتها.

يستخدم كل مساعد AI SmartTalk نموذج تضمين واحد لجميع معرفته. تستخدم المساعدات الجديدة نموذجًا متعدد اللغات مستضافًا في الاتحاد الأوروبي بشكل افتراضي، ونماذج تضمين OpenAI متاحة أيضًا. يتم تخزين المتجهات في PostgreSQL مع pgvector ومزجها مع بحث الكلمات الرئيسية وثلاثيات الحروف، بحيث يتم العثور على مراجع المنتجات والمصطلحات الدقيقة بشكل موثوق مثل الأسئلة المعاد صياغتها.