بحث المتجهات (البحث الدلالي)

كل مستند، مقطع أو منتج يتحول لمتجه ويخزن في فهرس. في وقت الاستعلام، السؤال يتضمن بنفس النموذج، والفهرس يرجع أقرب المتجهات، عادةً تقاس بالتشابه الكوني. حرفي يسأل “حاجة دافئة للتزلج” ينجم يلقى جاكيت موصوف كـ “عازل، مقاوم للماء، غلاف شتوي” حتى وإن ما كانش ثمّة كلمة تطابق.

مقارنة استعلام مع ملايين المتجهات واحد بواحد تكون بطيئة، لذلك الفهارس تستعمل خوارزميات الجوار الأقرب التقريبية. HNSW، رسم بياني متعدد الطبقات وصفه مالكوف ويشونين في 2016، هو من الأكثر استعمالاً؛ يتنازل عن خسارة صغيرة في الدقة مقابل بحث سريع جداً. الإضافات مفتوحة المصدر كيما pgvector تجيب هالفهارس لـ PostgreSQL.

البحث بالكلمات الرئيسية (BM25، نص كامل، مطابقة ثلاثية) دقيق في المصطلحات الدقيقة: مرجع منتج، علامة تجارية، رمز خطأ. يفشل في المرادفات وإعادة الصياغة. بحث المتجهات هو العكس: قوي في المعنى، ضعيف في السلاسل الدقيقة والمعرفات النادرة.

لهذا السبب معظم أنظمة الإنتاج تستعمل البحث الهجين: تشغل الاثنين، ثم تدمج أو تعيد ترتيب النتائج. أبحاث الاسترجاع الكثيف كيما عمل كاربوكين وزملائه في 2020 حول الإجابة على الأسئلة أظهرت قداش الاسترجاع الدلالي يحسن الاسترجاع، والممارسين تعلموا من وقتها قداش زادة يستفيد من شريك الكلمات الرئيسية.

البحث بالمتجهات يرجع دائماً شيئاً، حتى عندما لا يوجد شيء ذو صلة، لذا يحتاج النظام إلى عتبة صلة أو تحقق قبل استخدام النتائج. لا يفهم الأرقام أو القيود: "أقل من 50 يورو، متوفر، الحجم M" يحتاج إلى فلاتر حقيقية على البيانات المنظمة. وتعتمد الجودة على كيفية تقسيم المحتوى: المقاطع الطويلة جداً تblur المعنى، والمقاطع القصيرة جداً تفقد السياق.

AI SmartTalk تخزن التضمينات في PostgreSQL مع pgvector، مع فهرس HNSW على مستندات المنتجات، وتجمع بين تشابه المتجهات والبحث الثلاثي والبحث النصي الكامل. بالنسبة للمنتجات، أداة البحث الخاصة بالمساعد تضيف فلاتر منظمة على السعر، المخزون، العلامة التجارية، الفئة وخصائص المتغيرات، بحيث يمكن الإجابة على سؤال دلالي وقيود دقيقة معاً.