ემბედინგები

ემბედინგის მოდელი კითხულობს ტექსტს და გამოყოფს ფიქსირებული სიგრძის ვექტორს, ჩვეულებრივ რამდენიმე ასეულიდან რამდენიმე ათასამდე ციფრამდე. მოდელი გაწვდილია ისე, რომ დაკავშირებული მნიშვნელობების ტექსტები ახლოს აღმოჩნდეს იმ სივრცეში: “დაბრუნების პოლიტიკა” და “როგორ უნდა მივიღო ჩემი თანხა?” თითქმის არ იზიარებენ სიტყვებს, მაგრამ ახლო ვექტორებს წარმოადგენენ.

იდეა უკან მიდის სიტყვების ვექტორების მსგავსად, როგორიცაა word2vec (Mikolov და კოლეგები, 2013), რომელმაც ისწავლა, რომ სიტყვები, რომლებიც მსგავს კონტექსტებში ჩნდება, მსგავსი მნიშვნელობები აქვთ. წინადადების დონეზე მოდელები, როგორიცაა Sentence-BERT (2019), გააფართოებენ მას მთელ წინადადებებსა და პასაჟებზე, რაც საჭიროებს ძიებას და კითხვების პასუხებს.

ემბედინგები ძალას აძლევს სემანტიკურ ძიებას: შედარება კითხვების ვექტორების და შენახული პასაჟების ვექტორების, და დააბრუნებს ყველაზე ახლოს. ისინი არიან აღდგენის ეტაპი აღდგენის გაძლიერებული გენერაციის (RAG). ისინი ასევე ემსახურებიან მსგავსი საუბრების კლასტერიზაციას, დუბლიკატების აღმოჩენას, მსგავსი პროდუქტების რეკომენდაციას და შეტყობინების სწორ თემაზე გადამისამართებას.

მულტილინგვური ემბედინგ მოდელები კითხვას ფრანგულ ენაზე და პასაჟს ინგლისურ ენაზე ახლოს აყენებენ, როდესაც ისინი ერთსა და იმავე რამეს გულისხმობენ, რაც საშუალებას აძლევს ერთ ცოდნის ბაზას ემსახუროს მომხმარებლებს მრავალ ენაზე.

სხვადასხვა მოდელების ვექტორები არ არის შედარებადი: თუ ემბედინგ მოდელს შეცვლით, თითოეული შენახული პასაჟი უნდა იყოს ხელახლა ემბედირებული. ემბედინგები ასახავენ მნიშვნელობას, არა ზუსტ მნიშვნელობებს, ამიტომ ისინი ცუდად მუშაობენ ზუსტ ფილტრებზე, როგორიცაა ფასების დიაპაზონი ან პროდუქტის რეფერენცია - ამისთვის საჭიროა სტრუქტურირებული ველები ან საკვანძო ძიება. და გრძელი დოკუმენტები უნდა გაიყოს პასაჟებად ემბედირების წინ, რადგან ერთი ვექტორი მთელი სახელმძღვანელოსთვის მის შინაარსს ბუნდოვანს ხდის.

ემბედინგ მოდელები ასევე განსხვავდებიან ენის დაფარვით, განზომილებით (და შესაბამისად შენახვის ხარჯით) და იმ ადგილით, სადაც ისინი განთავსებულია.

ყოველი AI SmartTalk ასისტენტი იყენებს ერთ ემბედინგ მოდელს თავისი ცოდნისთვის. ახალი ასისტენტები ავტომატურად იყენებენ ევროკავშირში განთავსებულ მულტილინგვურ მოდელს, და OpenAI-ის ემბედინგ მოდელებიც ხელმისაწვდომია. ვექტორები შენახულია PostgreSQL-ში pgvector-ით და გაწვდილი საკვანძო და ტრიგრამური ძიების კომბინაციით, რათა პროდუქტის რეფერენციები და ზუსტი ტერმინები იპოვოს ისე, როგორც პარაფრაზირებული კითხვები.