Vektor leita (merkingaleit)
Hraðskilgreining
Vektor leita er aðferð við að sækja upplýsingar sem skilar hlutunum sem embeddingar þeirra eru næst embeddingi fyrirspurnarinnar, svo að niðurstöður passa eftir merkingu frekar en deildum leitarorðum. Það er venjulegur drifkraftur merkingaleitar.
Á þessari síðu
Hvernig vektor leita virkar
Hvert skjal, texti eða vara er breytt í embedding og geymt í skrá. Við fyrirspurnartímann er spurningin embeddinguð með sama módel, og skráin skilar næstu vektorunum, venjulega mældum með cosine líkindi. Viðskiptavinur sem spyr „eitthvað heitt fyrir skíði“ getur fundið jakka sem er lýst sem „einangraður, vatnsheldur vetrar skel“ jafnvel þó að ekkert orð passi.
Að bera saman fyrirspurn við milljónir vektora einn og einn væri hægt, svo skráin notar nálægt nágranna reiknirit. HNSW, lagaskiptingar graf sem Malkov og Yashunin lýstu árið 2016, er eitt af þeim mest notuðu; það skiptir um örlítið tap á nákvæmni fyrir mjög hraða leit. Opinn hugbúnaðartengingar eins og pgvector færa þessar skráir í PostgreSQL.
Merkingaleit vs leitarorðaleit
Leitarorðaleit (BM25, fullur texti, trigram samræmi) er nákvæm á nákvæmum hugtökum: vöruvísun, vörumerki, villukóði. Það bregst við samheitum og endurorðunum. Vektor leita er öfugt: sterk á merkingu, veik á nákvæmum strengjum og sjaldgæfum auðkennum.
Þess vegna nota flestar framleiðslukerfi blandaða leitar: keyra bæði, síðan sameina eða endur-röðunar niðurstöðurnar. Þétt sækja rannsóknir eins og Karpukhin og félaga 2020 verk um spurningasvar sýndu hversu mikið merkingaleit bætir endurheimt, og framkvæmdaraðilar hafa síðan lært hversu mikið það nýtist enn frá leitarorðafélaga.
Fellur
Vektorleit skilar alltaf einhverju, jafnvel þegar ekkert viðeigandi er til, svo kerfi þarf að hafa viðeigandi þröskuld eða athugun áður en niðurstöðurnar eru notaðar. Það skilur ekki tölur eða takmarkanir: „undir 50 evrum, á lager, stærð M“ þarfnast raunverulegra síu á uppbyggðum gögnum. Og gæði fer eftir því hvernig efni var skipt: of langar kaflar óskýra merkinguna, of stuttir kaflar missa samhengi.
Vektorleit í AI SmartTalk
AI SmartTalk geymir innfellingar í PostgreSQL með pgvector, með HNSW vísitölu á vöruskjölum, og sameinar vektorsamræmi við trigram og fulltext leit. Fyrir vörur bætir leitarverkfæri aðstoðarmannsins við uppbyggðar síur á verði, lager, vörumerki, flokk og afbrigði, þannig að merkingarspurning og nákvæm takmörkun geta verið svörð saman.
Algengar spurningar
Er merkingarleit það sama og vektorleit?
Merkingarleit er markmiðið — að finna niðurstöður eftir merkingu. Vektorleit yfir innfellingum er algengasta leiðin til að ná því, oft sameinuð við lyklaleit.
Þarf ég sérstakan vektor gagnagrunn?
Ekki endilega. Viðbætur eins og pgvector bæta vektorvísitölum við PostgreSQL, sem er nóg fyrir mörg forrit og heldur vektorum við hliðina á restinni af gögnunum.
Hvað er blönduð leit?
Leit sem keyrir vektorleit og lyklaleit saman og sameinar niðurstöðurnar, þannig að hún getur unnið bæði með endurorðuðum spurningum og nákvæmum hugtökum eins og vörurefnum.