Gjenerimi i përmirësuar nga rikuperimi (RAG)
Përkufizim i shpejtë
Gjenerimi i përmirësuar nga rikuperimi (RAG) është një teknikë në të cilën një sistem AI së pari rikuperon pasazhe përkatëse nga një burim të besueshëm, si një bazë njohurish ose një katalog produktesh, pastaj ua jep ato një modeli gjuhësor në mënyrë që përgjigja e tij të mbështetet në ato pasazhe dhe jo vetëm në memorjen e tij.
Në këtë faqe
Pse ekziston RAG
Një model gjuhësor mëson nga një snapshot i fiksuar i tekstit. Ai nuk e di politikën tuaj të kthimit, çmimet tuaja aktuale ose produktin që keni shtuar këtë mëngjes, dhe kur pyetet gjithsesi mund të prodhojë një përgjigje të besueshme por të gabuar. Ritraining një model çdo herë që përmbajtja juaj ndryshon do të ishte e ngadaltë dhe e shtrenjtë.
RAG e zgjidh këtë duke mbajtur njohuritë jashtë modelit. Përmbajtja juaj qëndron në një dyqan të kërkueshëm që mund ta përditësoni në çdo kohë; modeli kërkohet vetëm të lexojë ekstraktet përkatëse dhe të formulojë një përgjigje. Qasja u përshkrua nga Lewis dhe kolegët e tij në Facebook AI Research në vitin 2020.
Si funksionon, hap pas hapi
Së pari, përmbajtja përgatitet: dokumentet, faqet e internetit ose regjistrat e produkteve ndahen në pasazhe, dhe çdo pasazh shndërrohet në një embedding — një listë numrash që kap kuptimin e tij. Këto embeddings ruhen në një indeks vektorial, shpesh së bashku me një indeks klasik të fjalëve kyçe.
Kur mb arrives një pyetje, ajo konvertohet në të njëjtën mënyrë dhe pasazhet më të afërta rikuperohen, ndonjëherë të kombinuara me kërkimin e fjalëve kyçe ose filtrat si gjuha ose kategoria. Pasazhet më të mira futen në nxitjen e modelit me një udhëzim për të përgjigjur nga ato. Shumë sisteme gjithashtu kthejnë burimet, kështu që lexuesi mund të kontrollojë nga erdhi përgjigja.
Kufijtë për t'u njohur
RAG është vetëm aq i mirë sa ajo që rikuperon. Nëse pasazhi i duhur mungon, është i vjetruar ose është ndarë keq, modeli përgjigjet nga ekstrakti i gabuar ose kthehet në memorjen e tij. Pyetjet e strukturuara — "jaketa më e lirë në stok në madhësinë M" — shërbehen keq vetëm nga kërkimi i ngjashmërisë dhe kanë nevojë për filtra mbi të dhënat reale. Dhe modeli mund të keqkuptojë akoma një pasazh, kështu që përgjigjet mbi tema të ndjeshme duhet të kontrollohen ose të ngrihen.
Kjo është arsyeja pse sistemet e prodhimit kombinojnë RAG me kërkimin e strukturuar, rregullat e freskisë që rishikojnë përmbajtjen kur ajo ndryshon, dhe udhëzime të qarta për të thënë kur burimet nuk përmbajnë përgjigjen.
RAG në shërbimin ndaj klientit
Për një asistent mbështetjeje ose e-commerce, RAG është ajo që i lejon agjentit të përgjigjet nga FAQ-ja juaj, politikat tuaja dhe katalogu juaj në gjuhën e klientit, dhe të tregojë për faqen që përdori. Në AI SmartTalk, njohuritë nga të cilat përgjigjet një asistent — faqet e internetit, dokumentet, hyrjet e FAQ dhe produktet e sinkronizuara — indeksohen në këtë mënyrë, dhe pyetjet mbi produktet gjithashtu përdorin filtra mbi çmimin, opsionet dhe stokun.
Pyetjet më të shpeshta
A është RAG e njëjtë me fine-tuning?
Jo. Fine-tuning ndryshon peshat e modelit duke e trajnuar atë mbi shembuj; RAG e lë modelin të pandryshuar dhe i jep informacionin e duhur në kohën e pyetjes. RAG zakonisht është zgjedhja më e mirë për faktet që ndryshojnë, siç janë çmimet, stoku ose politikat.
A ndalon RAG iluzionet e AI?
E redukton shumë, sepse modeli përgjigjet nga pasazhe reale, por nuk i heq ato. Rikuperimi i mirë, një udhëzim për të pranuar kur burimet janë të heshtura, dhe një dorëzim te një person për raste të ndjeshme janë akoma të nevojshme.
Çfarë është një bazë të dhënash vektoriale?
Një dyqan që indekson embeddings në mënyrë që pasazhet më të afërta në kuptim me një pyetje të mund të gjenden shpejt. Është shtresa e zakonshme e rikuperimit të një sistemi RAG, shpesh e lidhur me kërkimin e fjalëve kyçe.
A mund të funksionojë RAG me një katalog produktesh?
Po, por produktet kanë nevojë për më shumë se kërkimin e ngjashmërisë: një asistent duhet të filtrojë në fusha të strukturuara si çmimi, madhësia ose stoku, pastaj të përdorë RAG për përshkrime dhe udhëzues blerjeje.