التضمينات

نموذج التضمين يقرأ نصًا ويخرج متجهًا ثابت الطول، عادةً عدة مئات إلى عدة آلاف من الأرقام. يتم تدريب النموذج بحيث تهبط النصوص ذات المعاني ذات الصلة بالقرب من بعضها في تلك المساحة: “سياسة الاسترداد” و “كيف أستعيد أموالي؟” تشترك في كلمات قليلة جدًا ولكن تنتج متجهات قريبة.

تعود الفكرة إلى متجهات الكلمات مثل word2vec (ميكولوف وزملاؤه، 2013)، التي تعلمت أن الكلمات التي تظهر في سياقات مشابهة لها معاني مشابهة. نماذج مستوى الجملة مثل Sentence-BERT (2019) وسعت ذلك إلى الجمل والقطع الكاملة، وهو ما يحتاجه البحث والإجابة على الأسئلة.

التضمينات تعطي قوة للبحث الدلالي: تقارن بين متجه السؤال مع المتجهات للمرجع المخزن وترجع الأقرب. هم خطوة الاسترجاع في الجيل المعزز بالاسترجاع (RAG). كما أنهم يخدموا في تجميع المحادثات المشابهة، اكتشاف النسخ المكررة، التوصية بمنتجات مشابهة وتوجيه الرسالة للموضوع الصحيح.

نماذج التضمين متعددة اللغات تضع سؤال بالفرنسية ومرجع بالإنجليزية قريبين من بعض لما يكونوا بنفس المعنى، مما يسمح لقاعدة المعرفة بخدمة الزبائن بعدة لغات.

المتجهات من نماذج مختلفة مش قابلة للمقارنة: إذا غيرت نموذج التضمين، كل مرجع مخزن لازم يتعاد تضمينه. التضمينات تلتقط المعنى، مش القيم الدقيقة، لذلك هم ضعيفين في الفلاتر الدقيقة مثل نطاق السعر أو مرجع المنتج — هذول يحتاجوا حقول منظمة أو بحث بالكلمات الرئيسية بجانبهم. والمستندات الطويلة لازم تتقسم إلى مراجع قبل التضمين، لأن متجه واحد لدليل كامل يطمس محتواه.

نماذج التضمين تختلف أيضا في تغطية اللغة، الأبعاد (وبالتالي تكلفة التخزين) وأين يتم استضافتها.

كل مساعد في AI SmartTalk يستخدم نموذج تضمين واحد لكل معرفته. المساعدين الجدد يستخدموا نموذج متعدد اللغات مستضاف في الاتحاد الأوروبي بشكل افتراضي، ونماذج تضمين OpenAI متاحة أيضا. المتجهات مخزنة في PostgreSQL مع pgvector ومجمعة مع بحث الكلمات الرئيسية و trigram، بحيث يتم العثور على مراجع المنتجات والمصطلحات الدقيقة بشكل موثوق مثل الأسئلة المعاد صياغتها.