მონაცემების მოძიებით გაძლიერებული გენერაცია (RAG)
სწრაფი განსაზღვრა
მონაცემების მოძიებით გაძლიერებული გენერაცია (RAG) არის ტექნიკა, რომლის დროსაც AI სისტემა პირველ რიგში მოიძიებს შესაბამის მონაკვეთებს სანდო წყაროდან, როგორიცაა ცოდნის ბაზა ან პროდუქტის კატალოგი, შემდეგ კი გადასცემს მათ ენის მოდელს, რათა მისი პასუხი იმ მონაკვეთებზე იყოს დაფუძნებული, არა მხოლოდ მის მეხსიერებაზე.
ამ გვერდზე
რატომ არსებობს RAG
ენის მოდელი სწავლობს ტექსტის ფიქსირებულ სურათზე. მას არ აქვს ინფორმაცია თქვენი დაბრუნების პოლიტიკის, მიმდინარე ფასების ან იმ პროდუქტის შესახებ, რომელიც თქვენ დღეს დილით დაამატეთ, და როდესაც მაინც ეკითხებიან, შესაძლოა წარმოადგინოს დამაჯერებელი, მაგრამ არასწორი პასუხი. მოდელის ხელახლა გაწვრთნა ყოველ ჯერზე, როდესაც თქვენი შინაარსი იცვლება, იქნება ნელი და ძვირი.
RAG ამას აგვარებს, ცოდნის მოდელიდან გარეთ შენახვით. თქვენი შინაარსი რჩება საძიებო მაღაზიაში, რომელსაც ნებისმიერ დროს შეგიძლიათ განაახლოთ; მოდელს მხოლოდ შესაბამისი ამონაწერების წაკითხვა და პასუხის ფორმულირება სთხოვენ. ეს მიდგომა აღწერილი იყო ლუისისა და კოლეგების მიერ Facebook AI Research-ში 2020 წელს.
როგორ მუშაობს, ნაბიჯ-ნაბიჯ
პირველ რიგში, შინაარსი მზადდება: დოკუმენტები, ვებსაიტები ან პროდუქტის ჩანაწერები იყოფა მონაკვეთებად, და თითოეული მონაკვეთი გადაიქცევა ემბედინგად — რიცხვების სიაში, რომელიც მისი მნიშვნელობის აღქმას ასახავს. ეს ემბედინგები ინახება ვექტორულ ინდექსში, ხშირად კლასიკური საკვანძო ინდექსის გვერდით.
როდესაც კითხვა მოდის, ის იმავე გზით გადაიქცევა და ახლოს მყოფი მონაკვეთი მოიძიება, ზოგჯერ საკვანძო ძიებასთან ან ფილტრებთან, როგორიცაა ენა ან კატეგორია, გაწვდილი. საუკეთესო მონაკვეთი მოდელის პრომპტში შედის ინსტრუქციით, რომ მათგან უპასუხოს. მრავალი სისტემა ასევე აბრუნებს წყაროებს, რათა მკითხველმა შეამოწმოს, საიდან მოვიდა პასუხი.
შეზღუდვები, რომლებიც უნდა იცოდეთ
RAG მხოლოდ იმდენად კარგია, რამდენადაც ის მოიძიებს. თუ სწორი მონაკვეთი აკლია, მოძველებულია ან ცუდად არის გაწვდილი, მოდელი პასუხობს არასწორი ამონაწერით ან თავის მეხსიერებაზე გადადის. სტრუქტურირებული კითხვები — "ყველაზე იაფი ჟაკეტი, რომელიც ხელთ არის M ზომაში" — ცუდად ემსახურება მხოლოდ მსგავსების ძიებას და საჭიროებს ფილტრებს რეალურ მონაცემებზე. და მოდელი მაინც შეიძლება არასწორად წაიკითხოს მონაკვეთი, ამიტომ მგრძნობიარე თემებზე პასუხები უნდა შეამოწმოს ან გაამწვავოს.
ამიტომ წარმოების სისტემები აერთიანებენ RAG-ს სტრუქტურირებულ ძიებასთან, სისუფთავის წესებს, რომლებიც ხელახლა სინქრონიზებენ შინაარსს, როდესაც ის იცვლება, და ნათელ ინსტრუქციებს, რომ თქვან, როდესაც წყაროები პასუხს არ შეიცავს.
RAG მომხმარებლის მომსახურებაში
მხარდაჭერის ან ელექტრონული კომერციის ასისტენტისთვის, RAG არის ის, რაც საშუალებას აძლევს აგენტს უპასუხოს თქვენს FAQ-დან, თქვენს პოლიტიკებზე და თქვენს კატალოგზე მომხმარებლის ენაზე და მიუთითოს გვერდზე, რომელიც გამოიყენა. AI SmartTalk-ში, ცოდნა, რომლის საფუძველზეაც ასისტენტი პასუხობს — ვებსაიტების გვერდები, დოკუმენტები, FAQ ჩანაწერები და სინქრონიზებული პროდუქტები — ამ გზით არის ინდექსირებული, და პროდუქტის კითხვებიც იყენებენ ფილტრებს ფასზე, ვარიანტებზე და მარაგზე.
ხშირად დასმული კითხვები
არის თუ არა RAG იგივე რაც ფაინ-ტუნინგი?
არა. ფაინ-ტუნინგი ცვლის მოდელის წონებს მაგალითებზე გაწვრთნით; RAG ტოვებს მოდელს უცვლელად და აწვდავს მას სწორი ინფორმაციას კითხვების დროს. RAG ჩვეულებრივ უკეთესი არჩევანია ფაქტებისთვის, რომლებიც იცვლება, როგორიცაა ფასები, მარაგი ან პოლიტიკა.
შეაჩერებს RAG AI ჰალუცინაციებს?
ეს ბევრად ამცირებს მათ, რადგან მოდელი პასუხობს რეალურ მონაკვეთებზე, მაგრამ არ აშორებს მათ. კარგი მოძიება, ინსტრუქცია, რომ აღიაროს, როდესაც წყაროები სიჩუმეში არიან, და მგრძნობიარე შემთხვევებისთვის ადამიანზე გადაცემის საჭიროება კვლავაც საჭიროა.
რა არის ვექტორული მონაცემთა ბაზა?
მაღაზია, რომელიც ინდექსირებს ემბედინგებს, რათა სწრაფად მოიძიოს კითხვასთან ყველაზე ახლოს მყოფი მონაკვეთი. ეს არის RAG სისტემის ჩვეულებრივი მოძიების ფენა, ხშირად საკვანძო ძიებასთან ერთად.
შეგიძლიათ RAG გამოიყენოთ პროდუქტის კატალოგთან?
დიახ, მაგრამ პროდუქტებს სჭირდებათ მეტი, ვიდრე მსგავსების ძიება: ასისტენტმა უნდა ფილტრავს სტრუქტურირებულ ველებზე, როგორიცაა ფასი, ზომა ან მარაგი, შემდეგ კი გამოიყენოს RAG აღწერების და შესყიდვის სახელმძღვანელოებისათვის.