Generare augmentată prin recuperare (RAG)
Definiție rapidă
Generarea augmentată prin recuperare (RAG) este o tehnică în care un sistem AI recuperează mai întâi pasaje relevante dintr-o sursă de încredere, cum ar fi o bază de cunoștințe sau un catalog de produse, apoi le oferă unui model de limbaj astfel încât răspunsul să se bazeze pe acele pasaje și nu doar pe memoria sa.
Pe această pagină
De ce există RAG
Un model de limbaj învață dintr-o instantanee fixă de text. Nu știe politica ta de returnare, prețurile tale actuale sau produsul pe care l-ai adăugat în această dimineață, iar atunci când este întrebat, poate produce un răspuns plauzibil, dar greșit. Reantrenarea unui model de fiecare dată când conținutul tău se schimbă ar fi lentă și costisitoare.
RAG rezolvă aceasta prin păstrarea cunoștințelor în afara modelului. Conținutul tău rămâne într-un magazin căutabil pe care îl poți actualiza în orice moment; modelul este solicitat doar să citească extrasele relevante și să formuleze un răspuns. Abordarea a fost descrisă de Lewis și colegii săi de la Facebook AI Research în 2020.
Cum funcționează, pas cu pas
În primul rând, conținutul este pregătit: documentele, paginile web sau înregistrările de produse sunt împărțite în pasaje, iar fiecare pasaj este transformat într-o încorporare — o listă de numere care captează semnificația sa. Aceste încorporări sunt stocate într-un index vectorial, adesea alături de un index clasic de cuvinte cheie.
Când sosește o întrebare, aceasta este convertită în același mod și pasajele cele mai apropiate sunt recuperate, uneori combinate cu căutarea după cuvinte cheie sau filtre precum limbă sau categorie. Cele mai bune pasaje sunt inserate în promptul modelului cu o instrucțiune de a răspunde din ele. Multe sisteme returnează de asemenea sursele, astfel încât cititorul să poată verifica de unde provine răspunsul.
Limite de știut
RAG este la fel de bun ca ceea ce recuperează. Dacă pasajul corect lipsește, este depășit sau împărțit prost, modelul răspunde din extrasul greșit sau revine la memoria sa. Întrebările structurate — "cea mai ieftină jachetă în stoc în mărimea M" — sunt prost deservite doar de căutarea prin similaritate și necesită filtre pe date reale. Și modelul poate citi greșit un pasaj, astfel încât răspunsurile pe subiecte sensibile ar trebui verificate sau escaladate.
De aceea, sistemele de producție combină RAG cu căutarea structurată, reguli de actualizare care re-sincronizează conținutul atunci când se schimbă și instrucțiuni clare pentru a spune când sursele nu conțin răspunsul.
RAG în serviciul clienților
Pentru un asistent de suport sau de comerț electronic, RAG este ceea ce permite agentului să răspundă din FAQ-ul tău, politicile tale și catalogul tău în limba clientului și să indice pagina pe care a folosit-o. În AI SmartTalk, cunoștințele din care răspunde un asistent — pagini web, documente, intrări FAQ și produse sincronizate — sunt indexate în acest mod, iar întrebările despre produse folosesc de asemenea filtre pe preț, opțiuni și stoc.
Întrebări frecvente
Este RAG același lucru cu fine-tuning?
Nu. Fine-tuning-ul schimbă greutățile modelului prin antrenarea acestuia pe exemple; RAG lasă modelul neschimbat și îi oferă informațiile corecte la momentul întrebării. RAG este de obicei alegerea mai bună pentru faptele care se schimbă, cum ar fi prețurile, stocul sau politicile.
Reduce RAG halucinațiile AI?
Le reduce semnificativ, deoarece modelul răspunde din pasaje reale, dar nu le elimină complet. O bună recuperare, o instrucțiune de a admite când sursele sunt tăcute și o predare către o persoană pentru cazuri sensibile sunt încă necesare.
Ce este o bază de date vectorială?
Un magazin care indexează încorporările astfel încât pasajele cele mai apropiate ca semnificație de o întrebare să poată fi găsite rapid. Este stratul de recuperare obișnuit al unui sistem RAG, adesea asociat cu căutarea după cuvinte cheie.
Poate RAG funcționa cu un catalog de produse?
Da, dar produsele necesită mai mult decât căutarea prin similaritate: un asistent ar trebui să filtreze pe câmpuri structurate precum preț, mărime sau stoc, apoi să folosească RAG pentru descrieri și ghiduri de cumpărare.