Carian vektor (carian semantik)
Definisi ringkas
Carian vektor adalah kaedah pengambilan yang mengembalikan item yang embeddingsnya paling dekat dengan embedding soalan, jadi hasilnya sepadan berdasarkan makna dan bukannya berdasarkan kata kunci yang dikongsi. Ia adalah enjin biasa carian semantik.
Pada halaman ini
Bagaimana carian vektor berfungsi
Setiap dokumen, petikan atau produk ditukar menjadi embedding dan disimpan dalam indeks. Pada masa pertanyaan, soalan di-embed dengan model yang sama, dan indeks mengembalikan vektor terdekat, biasanya diukur dengan kesamaan kosinus. Seorang pelanggan yang bertanya “sesuatu yang hangat untuk bermain ski” boleh menemui jaket yang diterangkan sebagai “shell musim sejuk kalis air dan berinsulasi” walaupun tiada perkataan yang sepadan.
Membandingkan satu pertanyaan dengan berjuta-juta vektor satu demi satu akan menjadi perlahan, jadi indeks menggunakan algoritma jiran terdekat yang hampir. HNSW, graf berlapis yang diterangkan oleh Malkov dan Yashunin pada tahun 2016, adalah salah satu yang paling banyak digunakan; ia mengorbankan sedikit kehilangan ketepatan untuk carian yang sangat cepat. Sambungan sumber terbuka seperti pgvector membawa indeks ini kepada PostgreSQL.
Carian semantik vs carian kata kunci
Carian kata kunci (BM25, teks penuh, pemadanan trigram) adalah tepat pada istilah tepat: rujukan produk, jenama, kod ralat. Ia gagal pada sinonim dan parafrasa. Carian vektor adalah sebaliknya: kuat pada makna, lemah pada rentetan tepat dan pengenalan jarang.
Itulah sebabnya kebanyakan sistem pengeluaran menggunakan carian hibrid: jalankan kedua-duanya, kemudian gabungkan atau susun semula hasilnya. Penyelidikan pengambilan padat seperti kerja Karpukhin dan rakan-rakan pada tahun 2020 mengenai jawapan soalan menunjukkan betapa banyak pengambilan semantik meningkatkan ingatan, dan pengamal sejak itu telah belajar betapa banyak ia masih mendapat manfaat daripada rakan kongsi kata kunci.
Kecacatan
Carian vektor sentiasa mengembalikan sesuatu, walaupun tiada yang relevan wujud, jadi sistem perlu mempunyai ambang relevansi atau semakan sebelum menggunakan hasil. Ia tidak memahami nombor atau sekatan: “di bawah 50 euro, dalam stok, saiz M” memerlukan penapis sebenar pada data terstruktur. Dan kualiti bergantung kepada bagaimana kandungan dibahagikan: petikan yang terlalu panjang mengaburkan makna, petikan yang terlalu pendek kehilangan konteks.
Carian vektor dalam AI SmartTalk
AI SmartTalk menyimpan embedding dalam PostgreSQL dengan pgvector, dengan indeks HNSW pada dokumen produk, dan menggabungkan kesamaan vektor dengan carian trigram dan teks penuh. Untuk produk, alat carian pembantu menambah penapis terstruktur pada harga, stok, jenama, kategori dan atribut varian, supaya soalan semantik dan sekatan tepat dapat dijawab bersama.
Soalan lazim
Adakah carian semantik sama dengan carian vektor?
Carian semantik adalah matlamat — mencari hasil berdasarkan makna. Carian vektor ke atas embedding adalah cara yang paling biasa untuk mencapainya, sering digabungkan dengan carian kata kunci.
Adakah saya memerlukan pangkalan data vektor yang khusus?
Tidak semestinya. Sambungan seperti pgvector menambah indeks vektor kepada PostgreSQL, yang cukup untuk banyak aplikasi dan menyimpan vektor bersebelahan dengan data yang lain.
Apakah carian hibrid?
Carian yang menjalankan carian vektor dan carian kata kunci bersama dan menggabungkan hasil, supaya ia dapat menangani kedua-dua soalan parafrasa dan istilah tepat seperti rujukan produk.