Innebygginger
Rask definisjon
En innebygging er en liste med tall (en vektor) som representerer betydningen av en tekst, bilde eller annet element, slik at lignende elementer får nærliggende vektorer. Innebygginger er det som gjør søk etter mening mulig.
På denne siden
Hvordan innebygginger fungerer
En innebyggingsmodell leser en tekst og gir ut en vektor med fast lengde, typisk flere hundre til noen tusen tall. Modellen er trent slik at tekster med relaterte betydninger havner nær hverandre i det rommet: "refusjonspolitikk" og "hvordan får jeg pengene mine tilbake?" deler nesten ingen ord, men produserer nærliggende vektorer.
Ideen går tilbake til ordvektorer som word2vec (Mikolov og kolleger, 2013), som lærte at ord som vises i lignende kontekster har lignende betydninger. Setningsnivåmodeller som Sentence-BERT (2019) utvidet det til hele setninger og avsnitt, som er det søk og spørsmål-svar trenger.
Hva de brukes til
Innebygginger gir kraft til semantisk søk: sammenlign vektoren til et spørsmål med vektorene til lagrede passasjer og returner den nærmeste. De er hentetrinnet i retrieval-augmented generation (RAG). De brukes også til å gruppere lignende samtaler, oppdage duplikater, anbefale lignende produkter og rute en melding til riktig emne.
Flerspråklige innebyggingsmodeller plasserer et spørsmål på fransk og en passasje på engelsk nært hverandre når de betyr det samme, noe som lar en kunnskapsbase betjene kunder på mange språk.
Praktiske punkter
Vektorer fra forskjellige modeller er ikke sammenlignbare: hvis du endrer innebyggingsmodellen, må hver lagret passasje re-innebygges. Innebygginger fanger mening, ikke nøyaktige verdier, så de er dårlige på presise filtre som et prisspenn eller en produktreferanse — de trenger strukturerte felt eller søk med nøkkelord i tillegg. Og lange dokumenter må deles opp i passasjer før innebygging, fordi én vektor for en hel manual uklargjør innholdet.
Innebyggingsmodeller varierer også i språkkapasitet, dimensjon (og dermed lagringskostnad) og hvor de er vert.
Innebygginger i AI SmartTalk
Hver AI SmartTalk-assistent bruker én innebyggingsmodell for all sin kunnskap. Nye assistenter bruker som standard en EU-vert flerspråklig modell, og OpenAI innebyggingsmodeller er også tilgjengelige. Vektorene lagres i PostgreSQL med pgvector og kombineres med søk med nøkkelord og trigram, slik at produktreferanser og nøyaktige termer finnes like pålitelig som parafraserte spørsmål.
Ofte stilte spørsmål
Hva er forskjellen mellom en innebygging og et token?
Et token er et tekststykke, omtrent et ordfragment, som en modell leser. En innebygging er en vektor av tall som representerer mening — av et token, en setning eller en hel passasje.
Er innebygginger det samme som en vektor database?
Nei. Innebygginger er vektorene; en vektor database eller indeks lagrer dem og finner de nærmeste raskt.
Kan jeg bytte innebyggingsmodeller senere?
Ja, men hvert lagret element må re-innebygges med den nye modellen, fordi vektorer fra forskjellige modeller lever i forskjellige rom og ikke kan sammenlignes.