Vdelave
Hitro definicija
Vdelava je seznam številk (vektor), ki predstavlja pomen besedila, slike ali drugega predmeta, tako da podobni predmeti dobijo bližnje vektorje. Vdelave omogočajo iskanje po pomenu.
Na tej strani
Kako delujejo vdelave
Model vdelave prebere besedilo in izda vektor fiksne dolžine, običajno več sto do nekaj tisoč številk. Model je usposobljen tako, da besedila s sorodnimi pomeni pristanejo blizu drug drugega v tem prostoru: "politika vračila" in "kako dobim svoj denar nazaj?" delita skoraj nobenih besed, a proizvajata bližnje vektorje.
Ideja sega nazaj do besednih vektorjev, kot je word2vec (Mikolov in sodelavci, 2013), ki so se naučili, da imajo besede, ki se pojavljajo v podobnih kontekstih, podobne pomene. Modeli na ravni stavkov, kot je Sentence-BERT (2019), so to razširili na cele stavke in odstavke, kar je tisto, kar iskanje in odgovarjanje na vprašanja potrebuje.
Za kaj se uporabljajo
Vektorski prikazi omogočajo semantično iskanje: primerjajo vektor vprašanja z vektorji shranjenih odlomkov in vrnejo najbližjega. So korak pridobivanja v generaciji, obogateno z iskanjem (RAG). Prav tako služijo za grupiranje podobnih pogovorov, odkrivanje podvojenih vsebin, priporočanje podobnih izdelkov in usmerjanje sporočila na pravo temo.
Večjezični modeli vektorskih prikazov postavijo vprašanje v francoščini in odlomke v angleščini blizu skupaj, ko pomenita isto, kar omogoča, da ena baza znanja služi strankam v več jezikih.
Praktične točke
Vektorji iz različnih modelov niso primerljivi: če spremenite model vektorskih prikazov, je treba vsak shranjen odlomček ponovno obdelati. Vektorski prikazi zajemajo pomen, ne natančnih vrednosti, zato so slabi pri natančnih filtrih, kot so cenovni razpon ali referenca na izdelek — ti potrebujejo strukturirana polja ali iskanje po ključnih besedah. Dolgi dokumenti morajo biti razdeljeni na odlomke pred obdelavo, ker en vektor za celoten priročnik zamegli njegovo vsebino.
Modeli vektorskih prikazov se prav tako razlikujejo po jezikovni pokritosti, dimenziji (in zato stroških shranjevanja) ter kjer so gostovani.
Vektorski prikazi v AI SmartTalk
Vsak asistent AI SmartTalk uporablja en model vektorskih prikazov za vse svoje znanje. Novi asistenti privzeto uporabljajo večjezični model, gostovan v EU, modeli vektorskih prikazov OpenAI pa so prav tako na voljo. Vektorji so shranjeni v PostgreSQL z pgvector in kombinirani z iskanjem po ključnih besedah in trigramih, tako da so reference na izdelke in natančni izrazi najdeni tako zanesljivo kot parafrazirana vprašanja.
Pogosto zastavljena vprašanja
Kakšna je razlika med vektorskim prikazom in tokenom?
Token je del besedila, približno fragment besede, ki ga model prebere. Vektorski prikaz je vektor števil, ki predstavlja pomen — tokena, stavka ali celotnega odlomka.
So vektorski prikazi enaki vektorski bazi podatkov?
Ne. Vektorski prikazi so vektorji; vektorska baza podatkov ali indeks jih shranjuje in hitro najde najbližje.
Ali lahko kasneje spremenim modele vektorskih prikazov?
Da, vendar je treba vsak shranjen predmet ponovno obdelati z novim modelom, ker vektorji iz različnih modelov živijo v različnih prostorih in jih ni mogoče primerjati.