Iekļaušana

Iekļaušanas modelis lasa tekstu un izvada fiksēta garuma vektoru, parasti vairākus simtus līdz dažus tūkstošus skaitļu. Modelis ir apmācīts tā, lai teksti ar saistītām nozīmēm nonāktu tuvu viens otram šajā telpā: “atmaksas politika” un “kā es varu atgūt savu naudu?” praktiski nesatur kopīgas vārdus, bet rada tuvus vektorus.

Ideja nāk no vārdu vektoriem, piemēram, word2vec (Mikolov un kolēģi, 2013), kuri iemācījās, ka vārdi, kas parādās līdzīgās kontekstā, ir līdzīgām nozīmēm. Teikumu līmeņa modeļi, piemēram, Sentence-BERT (2019), paplašināja to uz veseliem teikumiem un fragmentiem, kas ir tas, ko meklēšana un jautājumu atbildēšana prasa.

Iegultās struktūras nodrošina semantisko meklēšanu: salīdzina jautājuma vektoru ar uzglabāto fragmentu vektoriem un atgriež tuvāko. Tās ir iegūšanas solis iegūšanas pastiprinātajā ģenerēšanā (RAG). Tās arī kalpo līdzīgu sarunu grupēšanai, dublikātu noteikšanai, līdzīgu produktu ieteikšanai un ziņojuma novirzīšanai uz pareizo tēmu.

Multivalodu iegulšanas modeļi novieto jautājumu franču valodā un fragmentu angļu valodā tuvu kopā, kad tie nozīmē to pašu, kas ļauj vienai zināšanu bāzei apkalpot klientus daudzās valodās.

Vektori no dažādiem modeļiem nav salīdzināmi: ja maināt iegulšanas modeli, katrs uzglabātais fragments ir jāiegulda atkārtoti. Iegultās struktūras uztver nozīmi, nevis precīzas vērtības, tāpēc tās ir neefektīvas precīziem filtriem, piemēram, cenu diapazonam vai produkta atsaucēm — tiem nepieciešami strukturēti lauki vai atslēgvārdu meklēšana. Un gari dokumenti ir jāizdala fragmentos pirms iegulšanas, jo viens vektors visam rokasgrāmatai izpludina tās saturu.

Iegulšanas modeļi arī atšķiras valodas pārklājuma, dimensijas (un tādējādi uzglabāšanas izmaksu) un vietas, kur tie tiek mitināti.

Katrs AI SmartTalk asistents izmanto vienu iegulšanas modeli visai savai zināšanai. Jauni asistenti pēc noklusējuma izmanto ES mitinātu multivalodu modeli, un OpenAI iegulšanas modeļi ir pieejami arī. Vektori tiek uzglabāti PostgreSQL ar pgvector un apvienoti ar atslēgvārdu un trigramu meklēšanu, lai produkta atsauces un precīzi termini tiktu atrasti tikpat uzticami kā parafrāzēti jautājumi.