ვექტორის ძიება (სემანტიკური ძიება)
სწრაფი განსაზღვრა
ვექტორის ძიება არის აღდგენის მეთოდი, რომელიც აბრუნებს იმ ნივთებს, რომელთა ემბედინგები ყველაზე ახლოს არის კითხვასთან, ასე რომ შედეგები ემთხვევა მნიშვნელობით, არა საერთო საკვანძო სიტყვებით. ეს არის სემანტიკური ძიების ჩვეულებრივი ძრავა.
ამ გვერდზე
როგორ მუშაობს ვექტორის ძიება
ყოველი დოკუმენტი, პასაჟი ან პროდუქტი გადაიქცევა ემბედინგად და ინახება ინდექსში. კითხვების დროს კითხვა ემბედირდება იმავე მოდელით, და ინდექსი აბრუნებს უახლოეს ვექტორებს, ჩვეულებრივ, კოსინუსის მსგავსებით გაზომილი. მომხმარებელი, რომელიც ეკითხება “მოსახერხებელი რამ სათხილამუროდ” შეიძლება იპოვოს ჟაკეტი, რომელიც აღწერილია როგორც “იზოლირებული, წყალგაუმტარი ზამთრის შელფი”, მიუხედავად იმისა, რომ სიტყვები არ ემთხვევა.
კითხვა მილიონობით ვექტორთან შედარება ერთდროულად ნელი იქნებოდა, ამიტომ ინდექსები იყენებენ დაახლოებით უახლოესი მეზობლების ალგორითმებს. HNSW, ფენური გრაფი, რომელსაც აღწერს მალკოვი და იაშუნინი 2016 წელს, ერთ-ერთი ყველაზე ფართოდ გამოყენებულია; ის პატარა ზუსტობის დაკარგვას ცვლის ძალიან სწრაფი ძიებისთვის. ღია წყაროს გაფართოებები, როგორიცაა pgvector, ამ ინდექსებს PostgreSQL-ში მოაქვს.
სემანტიკური ძიება vs საკვანძო ძიება
საკვანძო ძიება (BM25, სრული ტექსტი, ტრიგრამის შეხამება) ზუსტია ზუსტ ტერმინებზე: პროდუქტის რეფერენცია, ბრენდი, შეცდომის კოდი. ის ვერ მუშაობს სინონიმებზე და პარაფრაზებზე. ვექტორის ძიება არის საწინააღმდეგო: ძლიერი მნიშვნელობაზე, სუსტი ზუსტ სტრინგებზე და იშვიათ იდენტიფიკატორებზე.
ამიტომ უმეტეს წარმოების სისტემებში იყენებენ ჰიბრიდულ ძიებას: ორივე მუშაობს, შემდეგ კი შედეგები შეერთდება ან ხელახლა რეიტინგდება. სქელი აღდგენის კვლევა, როგორიცაა კარპუხინის და კოლეგების 2020 წლის სამუშაო კითხვების პასუხებზე, აჩვენებს, თუ რამდენად აუმჯობესებს სემანტიკური აღდგენა გახსენებას, და პრაქტიკოსებმა მას შემდეგ ისწავლეს, რამდენადაც ის კვლავ სარგებლობს საკვანძო პარტნიორისგან.
ბედისწერები
ვექტორული ძიება ყოველთვის აბრუნებს რაღაცას, თუნდაც relevant არაფერი არსებობდეს, ამიტომ სისტემას სჭირდება შესაბამისობის ზღვარი ან შემოწმება შედეგების გამოყენებამდე. ის არ ესმის რიცხვებს ან შეზღუდვებს: “50 ევროზე ნაკლები, მარაგში, ზომა M” საჭიროებს რეალურ ფილტრებს სტრუქტურირებულ მონაცემებზე. და ხარისხი დამოკიდებულია იმაზე, თუ როგორ იყო შინაარსი გაწვდილი: ძალიან გრძელი მონაკვეთი ბუნდოვანებას ქმნის, ძალიან მოკლე მონაკვეთი კონტექსტს კარგავს.
ვექტორული ძიება AI SmartTalk-ში
AI SmartTalk ინახავს ემბედინგებს PostgreSQL-ში pgvector-ის გამოყენებით, პროდუქტის დოკუმენტებზე HNSW ინდექსით, და აერთიანებს ვექტორების მსგავსებას ტრიგრამ და სრული ტექსტური ძიების მეშვეობით. პროდუქტებისთვის, ასისტენტის ძიების ინსტრუმენტი დამატებს სტრუქტურირებულ ფილტრებს ფასზე, მარაგზე, ბრენდზე, კატეგორიასა და ვარიანტის ატრიბუტებზე, რათა სემანტიკური კითხვა და ზუსტი შეზღუდვა ერთად იყოს პასუხგაცემული.
ხშირად დასმული კითხვები
არის თუ არა სემანტიკური ძიება ვექტორული ძიების მსგავსი?
სემანტიკური ძიება მიზანია - შედეგების მოძიება მნიშვნელობით. ვექტორული ძიება ემბედინგებზე არის ყველაზე გავრცელებული გზა მისი მიღწევის, ხშირად კომბინირებული საკვანძო ძიებასთან.
მჭირდება თუ არა სპეციალური ვექტორული მონაცემთა ბაზა?
არასავალდებულოა. გაფართოებები, როგორიცაა pgvector, დამატებენ ვექტორულ ინდექსებს PostgreSQL-ში, რაც საკმარისია მრავალი აპლიკაციისთვის და ინარჩუნებს ვექტორებს დანარჩენი მონაცემების გვერდით.
რა არის ჰიბრიდული ძიება?
ძიება, რომელიც ერთად ატარებს ვექტორულ ძიებას და საკვანძო ძიებას და აერთიანებს შედეგებს, რათა მოემსახუროს როგორც პარაფრაზირებულ კითხვებს, ისე ზუსტ ტერმინებს, როგორიცაა პროდუქტის მითითებები.