التوليد المعزّز بالاسترجاع (RAG)

نموذج اللغة يتعلّم من لقطة ثابتة من النص. ما يعرفش سياسة الإرجاع متاعك، الأسعار الحالية متاعك ولا المنتج اللي ضفتو اليوم الصباح، ولما يُسأل على كل حال يمكن يخرج جواب معقول لكن غالط. إعادة تدريب نموذج كل مرة يتبدل فيها المحتوى متاعك تكون بطيئة ومكلفة.

RAG يحلّ المشكلة هاذي عن طريق الاحتفاظ بالمعرفة خارج النموذج. المحتوى متاعك يبقى في مخزن قابل للبحث يمكن تحديثه في أي وقت؛ النموذج يُطلب منه برك يقرأ الفقرات ذات الصلة ويعبّر على جواب. الطريقة هاذي تم وصفها من قبل لويس وزملاؤه في Facebook AI Research في 2020.

أول حاجة، المحتوى يتم تحضيره: الوثائق، صفحات الويب أو سجلات المنتجات تتقسم إلى فقرات، وكل فقرة تتحوّل إلى تمثيل — قائمة من الأرقام اللي تلتقط معناها. التمثيلات هاذي تتخزن في فهرس متجه، غالبًا مع فهرس كلمات رئيسية كلاسيكي.

كي تجي سؤال، يتم تحويله بنفس الطريقة وأقرب الفقرات يتم استرجاعها، أحيانًا مع بحث بالكلمات الرئيسية أو فلاتر كيما اللغة أو الفئة. أفضل الفقرات يتم إدراجها في تعليمات النموذج مع توجيه للإجابة منها. برشة أنظمة ترجع المصادر، باش القارئ يقدر يتأكد من وين جاوب الجواب.

RAG يكون قدّ ما يسترجع. إذا كانت الفقرة الصحيحة غائبة، قديمة أو مقسومة بطريقة سيئة، النموذج يجاوب من الاقتباس الغلط أو يرجع لذاكرته. الأسئلة المنظمة — "أرخص جاكيت متوفر في الحجم M" — تتخدم بشكل سيء من خلال البحث عن التشابه برك وتحتاج لفلاتر على البيانات الحقيقية. والنموذج يمكنه يقرأ فقرة بشكل خاطئ، لذا يجب التحقق من الأجوبة حول المواضيع الحساسة أو تصعيدها.

وهذا علاش أنظمة الإنتاج تجمع بين RAG والبحث المنظم، وقواعد التحديث اللي تعيد مزامنة المحتوى كي يتبدل، وتعليمات واضحة تقول متى المصادر ما تحتويش على الجواب.

بالنسبة لمساعد الدعم أو التجارة الإلكترونية، RAG هو اللي يخلي الوكيل يجاوب من الأسئلة المتكررة متاعك، السياسات متاعك وكتالوجك بلغة الزبون، ويشير إلى الصفحة اللي استخدمها. في AI SmartTalk، المعرفة اللي يجاوب منها المساعد — صفحات الويب، الوثائق، إدخالات الأسئلة المتكررة والمنتجات المتزامنة — يتم فهرستها بالطريقة هاذي، وأسئلة المنتجات أيضًا تستخدم فلاتر على السعر، الخيارات والمخزون.