بحث المتجهات (البحث الدلالي)

كل مستند، مرجع أو منتج يتحول إلى تضمين ويخزن في فهرس. عند وقت الاستعلام، السؤال يتضمن بنفس النموذج، والفهرس يرجع أقرب المتجهات، عادة تقاس بواسطة تشابه الكوساين. زبون يسأل “شيء دافئ للتزلج” يمكنه العثور على سترة موصوفة بأنها “عازلة، مقاومة للماء شل شتوي” حتى لو ما فيش كلمة تطابق.

مقارنة استعلام مع ملايين المتجهات واحد بواحد راح تكون بطيئة، لذلك الفهارس تستخدم خوارزميات الجوار الأقرب التقريبية. HNSW، رسم بياني متعدد الطبقات وصفه مالكوف ويشونين في 2016، هو واحد من الأكثر استخداماً؛ يتاجر بفقدان دقيق في الدقة مقابل بحث سريع جداً. الإضافات مفتوحة المصدر مثل pgvector تجلب هذه الفهارس إلى PostgreSQL.

البحث بالكلمات الرئيسية (BM25، نص كامل، مطابقة trigram) دقيق في المصطلحات الدقيقة: مرجع منتج، علامة تجارية، رمز خطأ. يفشل في المرادفات وإعادة الصياغة. بحث المتجهات هو العكس: قوي في المعنى، ضعيف في السلاسل الدقيقة والمعرفات النادرة.

لهذا السبب معظم أنظمة الإنتاج تستخدم البحث الهجين: تشغيل كلاهما، ثم دمج أو إعادة ترتيب النتائج. أبحاث الاسترجاع الكثيف مثل عمل كاربوكين وزملائه في 2020 حول الإجابة على الأسئلة أظهرت كم أن الاسترجاع الدلالي يحسن الاستدعاء، والممارسين تعلموا منذ ذلك الحين كم أنه لا يزال يستفيد من شريك الكلمات الرئيسية.

البحث المتجه دائمًا يُرجع شيئًا، حتى عندما لا توجد أشياء ذات صلة، لذا يحتاج النظام إلى عتبة ملاءمة أو تحقق قبل استخدام النتائج. لا يفهم الأرقام أو القيود: "أقل من 50 يورو، في المخزون، الحجم M" يحتاج إلى فلاتر حقيقية على البيانات المهيكلة. وتعتمد الجودة على كيفية تقسيم المحتوى: المقاطع الطويلة جدًا تشوش المعنى، والمقاطع القصيرة جدًا تفقد السياق.

تخزن AI SmartTalk التضمينات في PostgreSQL مع pgvector، مع فهرس HNSW على مستندات المنتجات، وتجمع بين تشابه المتجهات والبحث الثلاثي والنص الكامل. بالنسبة للمنتجات، تضيف أداة البحث الخاصة بالمساعد فلاتر مهيكلة على السعر، والمخزون، والعلامة التجارية، والفئة وسمات المتغيرات، بحيث يمكن الإجابة على سؤال دلالي وقيود دقيقة معًا.