بحث المتجهات (البحث الدلالي)

كل وثيقة، فقرة أو منتج كيتحول لـ embedding وكيتخزن فـ فهرس. فـ وقت الاستفسار، السؤال كيتعمد بنفس النموذج، والفهرس كيرجع أقرب المتجهات، وعادة كيتقاسو حسب تشابه الكوزين. زبون كيسول “شي حاجة دافئة للتزلج” يمكن يلقى جاكيت موصوف كـ “عازل، مضاد للماء، غلاف شتوي” حتى لو ماكانش كاين كلمة مطابقة.

مقارنة استفسار مع ملايين المتجهات واحد بواحد غادي تكون بطيئة، لذلك الفهارس كتعتمد على خوارزميات الجوار الأقرب التقريبية. HNSW، رسم بياني متعدد الطبقات وصفه مالكوف ويشونين فـ 2016، هو واحد من الأكثر استخداما؛ كيتبادل خسارة صغيرة فـ الدقة مقابل بحث سريع جدا. الإضافات مفتوحة المصدر بحال pgvector كتحضر هاد الفهارس لـ PostgreSQL.

البحث بالكلمات الرئيسية (BM25، نص كامل، مطابقة trigram) دقيق فـ المصطلحات الدقيقة: مرجع منتج، علامة تجارية، رمز خطأ. كيفشل فـ المرادفات وإعادة الصياغة. بحث المتجهات هو العكس: قوي فـ المعنى، ضعيف فـ السلاسل الدقيقة والمعرفات النادرة.

هادشي علاش معظم أنظمة الإنتاج كتعتمد على البحث الهجين: كتشغل جوج، ومن بعد كتمزج أو تعيد ترتيب النتائج. أبحاث الاسترجاع الكثيفة بحال عمل كاربوكين وزملاؤه فـ 2020 على الإجابة على الأسئلة بينات شحال الاسترجاع الدلالي كيزيد فـ الاسترجاع، والممارسين تعلمو من بعد شحال كيبقى يستافد من شريك الكلمات الرئيسية.

البحث بالفيكتور كيرجع دايمًا شي، حتى منين ما كاينش شي حاجة مهمة، لذلك خاص النظام يكون عندو عتبة للملاءمة أو شي فحص قبل ما يستعمل النتائج. ما كيفهمش الأرقام أو القيود: “أقل من 50 يورو، متوفر، الحجم M” خاصها فلاتر حقيقية على البيانات المنظمة. والجودة كتعتمد على كيفاش تم تقسيم المحتوى: الفقرات اللي طويلة بزاف كتغشي المعنى، والفقرات اللي قصيرة بزاف كتفقد السياق.

AI SmartTalk كتحفظ الإيمبدينغز في PostgreSQL مع pgvector، مع فهرس HNSW على وثائق المنتجات، وكتمزج بين تشابه الفيكتور والبحث الثلاثي والكلمات الكاملة. بالنسبة للمنتجات، أداة البحث ديال المساعد كاتضيف فلاتر منظمة على الثمن، المخزون، الماركة، الفئة وخصائص المتغيرات، باش يمكن الإجابة على سؤال دلالي وقيود دقيقة معًا.