Vektör araması (anlamsal arama)
Hızlı tanım
Vektör araması, sorgunun gömülü temsiline en yakın olan öğeleri döndüren bir geri alma yöntemidir, böylece sonuçlar anlam açısından eşleşir, paylaşılan anahtar kelimeler yerine. Bu, anlamsal aramanın olağan motorudur.
Bu sayfada
Vektör araması nasıl çalışır
Her belge, pasaj veya ürün bir gömülü temsile dönüştürülür ve bir dizinde saklanır. Sorgu zamanı, soru aynı modelle gömülür ve dizin en yakın vektörleri döndürür, genellikle kosinüs benzerliği ile ölçülür. “Kayak için sıcak bir şey” diyen bir müşteri, “yalıtımlı, su geçirmez kış kabuğu” olarak tanımlanan bir ceket bulabilir, oysa hiçbir kelime eşleşmez.
Bir sorguyu milyonlarca vektörle birer birer karşılaştırmak yavaş olacağından, dizinler yaklaşık en yakın komşu algoritmaları kullanır. 2016'da Malkov ve Yashunin tarafından tanımlanan katmanlı bir grafik olan HNSW, en yaygın kullanılanlardan biridir; çok hızlı arama için küçük bir doğruluk kaybı ile takas yapar. pgvector gibi açık kaynaklı uzantılar bu dizinleri PostgreSQL'e getirir.
Anlamsal arama vs anahtar kelime araması
Anahtar kelime araması (BM25, tam metin, trigram eşleşmesi) kesin terimlerde doğrudur: bir ürün referansı, bir marka, bir hata kodu. Eş anlamlılar ve yeniden ifadeler üzerinde başarısız olur. Vektör araması bunun tersidir: anlamda güçlü, tam dizelerde ve nadir tanımlayıcılarda zayıf.
Bu nedenle çoğu üretim sistemi hibrit arama kullanır: her ikisini de çalıştırır, ardından sonuçları birleştirir veya yeniden sıralar. Karpukhin ve meslektaşlarının 2020'deki soru yanıtlama üzerine yaptığı yoğun geri alma araştırması, anlamsal geri almanın hatırlamayı ne kadar artırdığını gösterdi ve uygulayıcılar o zamandan beri bunun hala bir anahtar kelime ortağından ne kadar faydalandığını öğrendi.
Tuzağa Düşme
Vektör arama her zaman bir şey döndürür, ilgili hiçbir şey mevcut olmadığında bile, bu nedenle bir sistemin sonuçları kullanmadan önce bir alaka eşiği veya kontrolü olması gerekir. Sayıları veya kısıtlamaları anlamaz: “50 eurodan az, stokta, beden M” gerçek filtreler gerektirir. Ve kalite, içeriğin nasıl bölündüğüne bağlıdır: çok uzun pasajlar anlamı bulanıklaştırır, çok kısa pasajlar bağlamı kaybettirir.
AI SmartTalk'ta Vektör Arama
AI SmartTalk, ürün belgelerinde HNSW indeksi ile pgvector kullanarak PostgreSQL'de gömme verilerini depolar ve vektör benzerliğini trigram ve tam metin arama ile birleştirir. Ürünler için, asistanın arama aracı fiyat, stok, marka, kategori ve varyant özellikleri üzerinde yapılandırılmış filtreler ekler, böylece bir anlamsal soru ve kesin bir kısıtlama birlikte yanıtlanabilir.
Sıkça sorulan sorular
Anlamsal arama, vektör arama ile aynı mı?
Anlamsal arama hedefidir — anlamla sonuç bulmak. Gömme verileri üzerindeki vektör arama, bunu başarmanın en yaygın yoludur ve genellikle anahtar kelime araması ile birleştirilir.
Özel bir vektör veritabanına ihtiyacım var mı?
Gerekli değil. pgvector gibi uzantılar, PostgreSQL'e vektör indeksleri ekler, bu da birçok uygulama için yeterlidir ve vektörleri diğer verilerin yanında tutar.
Hibrit arama nedir?
Vektör arama ve anahtar kelime aramasını birlikte çalıştıran ve sonuçları birleştiren bir arama, böylece hem yeniden ifade edilmiş soruları hem de ürün referansları gibi kesin terimleri ele alır.