Векторний пошук (семантичний пошук)
Швидке визначення
Векторний пошук — це метод отримання, який повертає елементи, вектори яких найближчі до вектора запиту, тому результати відповідають за значенням, а не за спільними ключовими словами. Це звичайний механізм семантичного пошуку.
На цій сторінці
Як працює векторний пошук
Кожен документ, фрагмент або продукт перетворюється на векторне уявлення та зберігається в індексі. У момент запиту запитання векторизується тією ж моделлю, а індекс повертає найближчі вектори, зазвичай вимірювані за косинусною подібністю. Клієнт, який запитує "щось тепле для катання на лижах", може знайти куртку, описану як "ізоляційна, водонепроникна зимова оболонка", навіть якщо жодне слово не збігається.
Порівняння запиту з мільйонами векторів один за одним було б повільним, тому індекси використовують алгоритми наближеного найближчого сусіда. HNSW, багаторівневий граф, описаний Малковим і Яшуніним у 2016 році, є одним з найвикористовуваніших; він жертвує незначною втратою точності заради дуже швидкого пошуку. Розширення з відкритим кодом, такі як pgvector, приносять ці індекси до PostgreSQL.
Семантичний пошук проти пошуку за ключовими словами
Пошук за ключовими словами (BM25, повнотекстовий, триграмне співпадіння) є точним щодо точних термінів: посилання на продукт, бренд, код помилки. Він не справляється з синонімами та перефразуваннями. Векторний пошук є протилежним: сильний у значенні, слабкий у точних рядках і рідкісних ідентифікаторах.
Ось чому більшість виробничих систем використовують гібридний пошук: виконують обидва, а потім об'єднують або повторно ранжують результати. Дослідження щільного отримання, такі як робота Карпухіна та колег 2020 року з питань відповідей, показали, наскільки семантичне отримання покращує згадування, і практики з тих пір дізналися, наскільки воно все ще виграє від партнера за ключовими словами.
Підводні камені
Векторний пошук завжди повертає щось, навіть коли немає жодного релевантного результату, тому система потребує порогу релевантності або перевірки перед використанням результатів. Він не розуміє чисел або обмежень: "менше 50 євро, в наявності, розмір M" потребує реальних фільтрів на структурованих даних. А якість залежить від того, як контент був розділений: занадто довгі фрагменти розмивають значення, занадто короткі втрачають контекст.
Векторний пошук в AI SmartTalk
AI SmartTalk зберігає векторні вектори в PostgreSQL з pgvector, з індексом HNSW на документах продуктів, і поєднує векторну схожість з триграмним і повнотекстовим пошуком. Для продуктів інструмент пошуку асистента додає структуровані фільтри за ціною, наявністю, брендом, категорією та атрибутами варіантів, щоб семантичне питання та точне обмеження могли бути відповідані разом.
Поширені запитання
Чи є семантичний пошук тим самим, що й векторний пошук?
Семантичний пошук — це мета — знаходити результати за значенням. Векторний пошук за векторними векторами є найпоширенішим способом досягнення цього, часто в поєднанні з пошуком за ключовими словами.
Чи потрібна мені спеціалізована векторна база даних?
Не обов'язково. Розширення, такі як pgvector, додають векторні індекси до PostgreSQL, що достатньо для багатьох застосувань і зберігає вектори поруч з іншими даними.
Що таке гібридний пошук?
Пошук, який виконує векторний пошук і пошук за ключовими словами разом і об'єднує результати, щоб обробляти як перефразовані питання, так і точні терміни, такі як посилання на продукти.