بحث المتجهات (البحث الدلالي)

يتم تحويل كل وثيقة، مقطع أو منتج إلى تضمين وتخزينه في فهرس. في وقت الاستعلام، يتم تضمين السؤال بنفس النموذج، ويعيد الفهرس أقرب المتجهات، عادة ما يتم قياسها بواسطة تشابه جيب التمام. يمكن لعميل يسأل "شيء دافئ للتزلج" أن يجد سترة موصوفة بأنها "عازلة، مقاومة للماء" على الرغم من عدم تطابق أي كلمة.

مقارنة استعلام مع ملايين المتجهات واحدًا تلو الآخر ستكون بطيئة، لذا تستخدم الفهارس خوارزميات الجوار الأقرب التقريبية. HNSW، وهو رسم بياني متعدد الطبقات وصفه مالكوف ويشونين في عام 2016، هو واحد من الأكثر استخدامًا؛ يتاجر بفقدان دقة ضئيلة من أجل بحث سريع جدًا. تجلب الإضافات مفتوحة المصدر مثل pgvector هذه الفهارس إلى PostgreSQL.

البحث بالكلمات الرئيسية (BM25، نص كامل، مطابقة ثلاثيات الحروف) دقيق في المصطلحات الدقيقة: مرجع منتج، علامة تجارية، رمز خطأ. يفشل في المرادفات وإعادة الصياغة. بحث المتجهات هو العكس: قوي في المعنى، ضعيف في السلاسل الدقيقة والمعرفات النادرة.

لهذا السبب تستخدم معظم أنظمة الإنتاج البحث الهجين: تشغيل كلاهما، ثم دمج أو إعادة ترتيب النتائج. أظهرت أبحاث الاسترجاع الكثيف مثل عمل كاربوكين وزملائه في عام 2020 حول الإجابة على الأسئلة مدى تحسين الاسترجاع الدلالي للاسترجاع، وقد تعلم الممارسون منذ ذلك الحين مدى استفادته من شريك الكلمات الرئيسية.

البحث المتجه دائماً يعود بشيء، حتى عندما لا يوجد شيء ذو صلة، لذا يحتاج النظام إلى عتبة ملاءمة أو فحص قبل استخدام النتائج. إنه لا يفهم الأرقام أو القيود: "أقل من 50 يورو، متوفر في المخزون، مقاس M" يحتاج إلى مرشحات حقيقية على البيانات المنظمة. وتعتمد الجودة على كيفية تقسيم المحتوى: المقاطع الطويلة جداً تشوش المعنى، والمقاطع القصيرة جداً تفقد السياق.

تخزن AI SmartTalk التضمينات في PostgreSQL مع pgvector، مع فهرس HNSW على مستندات المنتجات، وتجمع بين تشابه المتجهات والبحث الثلاثي النصوص والبحث النصي الكامل. بالنسبة للمنتجات، تضيف أداة البحث الخاصة بالمساعد مرشحات منظمة على السعر، والمخزون، والعلامة التجارية، والفئة وخصائص المتغيرات، بحيث يمكن الإجابة على سؤال دلالي وقيود دقيقة معاً.