التوليد المعزز بالاسترجاع (RAG)

نموذج اللغة كيتعلم من لقطة ثابتة من النص. ماعندوش علم بسياسة الإرجاع ديالك، الأسعار الحالية أو المنتج اللي ضفتو هاد الصباح، ومنين كيتسول على أي حاجة، ممكن يخرج جواب معقول ولكن خاطئ. إعادة تدريب النموذج كل مرة كيتبدل فيها المحتوى ديالك غادي تكون بطيئة ومكلفة.

RAG كتحل هاد المشكلة عن طريق الاحتفاظ بالمعرفة خارج النموذج. المحتوى ديالك كيبقى في مخزن قابل للبحث اللي تقدر تحدثو في أي وقت؛ النموذج كيتطلب غير يقرا الفقرات المناسبة ويصيغ جواب. هاد المقاربة تم وصفها من طرف لويس وزملاؤه في Facebook AI Research في 2020.

أولاً، كيتوجد المحتوى: الوثائق، صفحات الويب أو سجلات المنتجات كيتقسمو لفقرات، وكل فقرة كيتحول لتمثيل — لائحة من الأرقام اللي كتعكس المعنى ديالها. هاد التمثيلات كيتخزنو في فهرس متجه، غالباً مع فهرس الكلمات الرئيسية التقليدي.

منين كتوصل سؤال، كيتحول بنفس الطريقة وأقرب الفقرات كيتسحبو، أحياناً مع البحث بالكلمات الرئيسية أو الفلاتر بحال اللغة أو الفئة. أفضل الفقرات كيتضافو للطلب ديال النموذج مع تعليمات باش يجاوب منهم. بزاف من الأنظمة كترجع المصادر، باش القارئ يقدر يتأكد من فين جا الجواب.

RAG غادي يكون مزيان غير بقدر ما يسترجع. إذا كانت الفقرة المناسبة ناقصة، قديمة أو مقسمة بشكل سيء، النموذج غادي يجاوب من الاقتباس الخاطئ أو يرجع لذاكرته. الأسئلة المنظمة — "أرخص سترة متوفرة في الحجم M" — ما كتخدمش مزيان بالبحث عن التشابه بوحدو وكتحتاج فلاتر على البيانات الحقيقية. والنموذج ممكن مايفهمش فقرة بشكل صحيح، لذلك الأجوبة على المواضيع الحساسة خاصها تتأكد أو تتصعد.

هادشي علاش الأنظمة الإنتاجية كتمزج RAG مع البحث المنظم، قواعد التحديث اللي كتعيد مزامنة المحتوى منين كيتبدل، وتعليمات واضحة باش تقولي ملي المصادر ما كتحملش الجواب.

بالنسبة لمساعد الدعم أو التجارة الإلكترونية، RAG هو اللي كيسمح للوكيل يجاوب من الأسئلة المتكررة، السياسات والكتالوج ديالك بلغة الزبون، ويشير للصفحة اللي استعملها. في AI SmartTalk، المعرفة اللي كيجاوب منها المساعد — صفحات الويب، الوثائق، مدخلات الأسئلة المتكررة والمنتجات المتزامنة — كيتفهرس بهاد الطريقة، والأسئلة المتعلقة بالمنتجات كتعتمد أيضاً على الفلاتر على السعر، الخيارات والمخزون.