Gömme
Hızlı tanım
Bir gömme, bir metnin, resmin veya diğer bir nesnenin anlamını temsil eden bir sayı listesi (vektör)dir, böylece benzer nesneler yakın vektörlere sahip olur. Gömme, anlamına göre arama yapmayı mümkün kılan şeydir.
Bu sayfada
Gömme nasıl çalışır
Bir gömme modeli, bir metni okur ve sabit uzunlukta bir vektör çıktısı verir, genellikle birkaç yüz ila birkaç bin sayı. Model, ilişkili anlamlara sahip metinlerin o alanda birbirine yakın yer almasını sağlayacak şekilde eğitilmiştir: "geri ödeme politikası" ve "paramı nasıl geri alırım?" neredeyse hiç kelime paylaşmaz ama yakın vektörler üretir.
Bu fikir, benzer bağlamlarda ortaya çıkan kelimelerin benzer anlamlara sahip olduğunu öğrenen kelime vektörlerine, örneğin word2vec'e (Mikolov ve arkadaşları, 2013) kadar uzanır. Cümle düzeyindeki modeller, örneğin Sentence-BERT (2019), bunu tüm cümleler ve pasajlar için genişletti; bu, arama ve soru yanıtlama için gereklidir.
Ne için kullanılırlar
Gömülü temsiller, anlamsal aramayı güçlendirir: bir sorunun vektörünü, saklanan pasajların vektörleriyle karşılaştırır ve en yakın olanı döndürür. Bunlar, geri alma artırılmış üretim (RAG) adımının geri alma kısmıdır. Ayrıca benzer konuşmaları kümelendirir, kopyaları tespit eder, benzer ürünleri önerir ve bir mesajı doğru konuya yönlendirir.
Çok dilli gömülü modeler, aynı anlama geldiğinde bir soruyu Fransızca ve bir pasajı İngilizce olarak yakın konumlandırır, bu da bir bilgi tabanının birçok dilde müşterilere hizmet etmesini sağlar.
Pratik noktalar
Farklı modellerden gelen vektörler karşılaştırılamaz: gömülü modeli değiştirirseniz, her saklanan pasaj yeniden gömülmelidir. Gömülü temsiller anlamı yakalar, tam değerleri değil, bu nedenle fiyat aralığı veya ürün referansı gibi kesin filtrelerde zayıftırlar — bunlar yapılandırılmış alanlar veya anahtar kelime araması gerektirir. Ve uzun belgeler gömülmeden önce pasajlara bölünmelidir, çünkü bir el kitabı için tek bir vektör içeriğini bulanıklaştırır.
Gömülü modeller ayrıca dil kapsamı, boyut (ve dolayısıyla depolama maliyeti) ve nerede barındırıldıkları açısından farklılık gösterir.
AI SmartTalk'taki gömülü temsiller
Her AI SmartTalk asistanı, tüm bilgileri için bir gömülü model kullanır. Yeni asistanlar varsayılan olarak AB merkezli çok dilli bir modeli kullanır ve OpenAI gömülü modelleri de mevcuttur. Vektörler, pgvector ile PostgreSQL'de saklanır ve anahtar kelime ve trigram aramasıyla birleştirilir, böylece ürün referansları ve tam terimler, yeniden ifade edilmiş sorular kadar güvenilir bir şekilde bulunur.
Sıkça sorulan sorular
Gömülü temsil ile bir token arasındaki fark nedir?
Bir token, bir modelin okuduğu, kabaca bir kelime parçası olan bir metin parçasıdır. Gömülü temsil, anlamı temsil eden bir sayı vektörüdür — bir token, bir cümle veya bir bütün pasaj için.
Gömülü temsiller bir vektör veritabanıyla aynı mıdır?
Hayır. Gömülü temsiller vektörlerdir; bir vektör veritabanı veya dizin bunları saklar ve en yakın olanları hızlı bir şekilde bulur.
Sonradan gömülü modelleri değiştirebilir miyim?
Evet, ancak her saklanan öğe yeni modelle yeniden gömülmelidir, çünkü farklı modellerden gelen vektörler farklı alanlarda yaşar ve karşılaştırılamaz.