Model bahasa besar (LLM)
Definisi ringkas
Model bahasa besar (LLM) adalah rangkaian neural yang dilatih dengan jumlah teks yang sangat besar untuk meramalkan perkataan seterusnya, yang membolehkannya memahami dan menghasilkan bahasa semula jadi. Ia adalah enjin pemikiran di sebalik chatbot moden dan agen AI.
Pada halaman ini
Bagaimana LLM berfungsi
LLM membaca teks sebagai token — kepingan perkataan — dan, untuk setiap posisi, mengira kebarangkalian setiap token seterusnya yang mungkin. Menghasilkan jawapan bermakna mengulangi ramalan itu token demi token. Hampir semua LLM semasa menggunakan seni bina Transformer yang diperkenalkan oleh Vaswani dan rakan-rakan pada tahun 2017, yang mekanisme perhatiannya membolehkan model menimbang setiap bahagian input semasa menghasilkan setiap perkataan.
Latihan berlaku dalam peringkat. Latihan awal pada korpus teks yang besar mengajarkan bahasa dan pengetahuan umum. Penalaan arahan dan maklum balas daripada orang kemudian mengajarkan model untuk mengikuti permintaan, mengadakan dialog dan menolak beberapa tugas. Pada tahun 2020, kertas kerja GPT-3 menunjukkan bahawa model yang cukup besar boleh melaksanakan tugas baru daripada beberapa contoh dalam arahan, tanpa latihan semula.
Apa yang tidak diketahui oleh LLM
Pengetahuan LLM dibekukan pada akhir data latihannya, dan ia tidak pernah melihat maklumat peribadi perniagaan anda: harga, stok, polisi pemulangan, pesanan pelanggan. Ditanya tentangnya, ia sering menghasilkan tekaan yang masuk akal — satu halusinasi. Ia juga mempunyai tetingkap konteks yang terhad, jumlah teks yang boleh diambil kira pada satu masa.
Itulah sebabnya pembantu perniagaan yang berguna jarang bergantung hanya pada model. Penjanaan yang diperkaya dengan pengambilan (RAG) memberi maklumat yang relevan daripada kandungan anda, dan alat membolehkannya menyoal sistem langsung seperti katalog atau pangkalan data pesanan.
Memilih model
Model berbeza dalam kualiti pemikiran, kelajuan, harga setiap token, bahasa yang mereka tangani dengan baik, saiz konteks, dan di mana mereka dihoskan. Untuk perkhidmatan pelanggan, model sederhana yang cepat sering kali mencukupi untuk soalan rutin, sementara kes yang lebih sukar — polisi panjang, permintaan berbilang langkah — mendapat manfaat daripada model yang lebih kuat. Lokasi data juga penting: perniagaan Eropah mungkin lebih suka model yang dihoskan di EU.
Model hanyalah satu bahagian daripada hasil. Arahan, data asas, alat dan penilaian pada perbualan sebenar biasanya lebih penting daripada beralih dari satu model terkemuka ke model yang lain.
LLM dalam AI SmartTalk
Pembantu AI SmartTalk dibina di sekitar LLM dan menggunakan model yang dihoskan di EU secara lalai; pelanggan boleh memilih untuk menggunakan model penyedia lain sebagai ganti. Jawapan pembantu berasaskan kandungan yang diindeks oleh perniagaan dan katalog, dan ia menggunakan alat untuk mencari data langsung daripada meminta model untuk mengingatinya.
Soalan lazim
Adakah ChatGPT satu LLM?
ChatGPT adalah aplikasi yang dibina di atas LLM yang dibuat oleh OpenAI. Model ini menghasilkan teks; aplikasi ini menambah antara muka sembang, memori perbualan, alat seperti carian web, dan peraturan keselamatan.
Apa maksud “besar” dalam model bahasa besar?
Ia merujuk kepada bilangan parameter — berat dalaman yang dipelajari dalam latihan, dari bilion hingga ratusan bilion — dan kepada saiz korpus latihan. Tiada ambang yang tepat.
Bolehkah LLM belajar daripada data syarikat saya?
Terdapat dua pendekatan. Penalaan halus melatih semula model dengan contoh anda, yang mahal dan tidak mengikuti fakta yang berubah. Penjanaan yang diperkaya dengan pengambilan membiarkan model tidak berubah dan memberikannya petikan yang betul pada masa soalan, yang lebih sesuai untuk harga, stok dan polisi.
Adakah LLM selamat digunakan dengan data pelanggan?
Ia bergantung kepada terma penyedia, di mana model dihoskan dan bagaimana aplikasi mengendalikan data peribadi. Semak sama ada penyedia menggunakan data anda untuk latihan, di mana ia diproses, dan sama ada perjanjian pemprosesan data tersedia.