Векторска претрага (семантичка претрага)
Брза дефиниција
Векторската претрага е метод на повлекување што враќа предмети чиј вгнездувања се најблиски до вгнездувањето на прашањето, така што резултатите се совпаѓаат по смисла наместо по споделени клучни зборови. Тоа е вообичаениот мотор на семантичката претрага.
На оваа страница
Како функционира векторската претрага
Секој документ, пасус или производ се претвора во вгнездување и се зачувува во индекс. Во времето на пребарување, прашањето се вгнездува со истиот модел, а индексот враќа најблиските вектори, обично мерени по косинусна сличност. Клиентот што прашува "нешто топло за скијање" може да најде јакна опишана како "изолирана, водоотпорна зимска обвивка" иако ниту една збор не се совпаѓа.
Споредувањето на прашањето со милиони вектори е бавно, па индексите користат приближни алгоритми за најблиски соседи. HNSW, слоен граф опишан од Малов и Јашунин во 2016, е еден од најшироко користените; тој тргува со малку губење на точноста за многу брза претрага. Отворените проширувања како pgvector ги донесуваат овие индекси во PostgreSQL.
Семантичка претрага vs претрага по клучни зборови
Претрагата по клучни зборови (BM25, целосен текст, триграмско совпаѓање) е прецизна на точните термини: референца на производ, бренд, код на грешка. Таа не успева на синоними и парафрази. Векторската претрага е обратно: силна на смисла, слаба на точни низи и ретки идентификатори.
Тоа е причината зошто повеќето производствени системи користат хибридна претрага: извршуваат двете, а потоа ги спојуваат или повторно рангираат резултатите. Истражувањето на густо повлекување, како што е работата на Карпухин и колеги од 2020 година за одговарање на прашања, покажа колку многу семантичкото повлекување го подобрува повратот, а практичарите од тогаш научија колку многу сè уште користи од партнер по клучни зборови.
Замки
Векторското пребарување секогаш враќа нешто, дури и кога не постои ништо релевантно, па системот треба да има праг на релевантност или проверка пред да ги користи резултатите. Тоа не разбира броеви или ограничувања: “под 50 евра, на залиха, големина М” бара вистински филтри на структурирани податоци. И квалитетот зависи од тоа како е поделено содржината: пасуси кои се премногу долги замаглуваат значењето, пасуси кои се премногу кратки го губат контекстот.
Векторско пребарување во AI SmartTalk
AI SmartTalk чува векторски вметнувања во PostgreSQL со pgvector, со HNSW индекс на документите за производи, и комбинира векторска сличност со триграм и полнотекстуално пребарување. За производите, алатката за пребарување на асистентот додава структурирани филтри за цена, залиха, бренд, категорија и атрибути на варијанти, така што семантичкото прашање и прецизното ограничување можат да се одговорат заедно.
Често поставувани прашања
Дали семантичкото пребарување е исто како векторското пребарување?
Семантичкото пребарување е целта — наоѓање резултати по значење. Векторското пребарување преку вметнувања е најчест начин за постигнување на тоа, често комбинирано со пребарување по клучни зборови.
Дали ми е потребна посебна векторска база на податоци?
Не неопходно. Проширувања како pgvector додаваат векторски индекси на PostgreSQL, што е доволно за многу апликации и ги чува векторите покрај остатокот од податоците.
Што е хибридно пребарување?
Пребарување кое спроведува векторско пребарување и пребарување по клучни зборови заедно и ги спојува резултатите, така што се справува и со парафразирани прашања и со точни термини како референци на производи.