Mô hình ngôn ngữ lớn (LLM)

Một LLM đọc văn bản dưới dạng token — các phần của từ — và, cho mỗi vị trí, tính toán xác suất của mọi token tiếp theo có thể. Việc tạo ra một câu trả lời có nghĩa là lặp lại dự đoán token sau token. Hầu hết các LLM hiện tại đều sử dụng kiến trúc Transformer được giới thiệu bởi Vaswani và các đồng nghiệp vào năm 2017, cơ chế chú ý của nó cho phép mô hình cân nhắc mọi phần của đầu vào khi tạo ra mỗi từ.

Việc đào tạo diễn ra theo từng giai đoạn. Đào tạo trước trên một tập hợp văn bản khổng lồ dạy ngôn ngữ và kiến thức chung. Tinh chỉnh hướng dẫn và phản hồi từ con người sau đó dạy mô hình cách thực hiện yêu cầu, giữ cuộc đối thoại và từ chối một số nhiệm vụ. Vào năm 2020, tài liệu GPT-3 cho thấy rằng một mô hình đủ lớn có thể thực hiện các nhiệm vụ mới từ một vài ví dụ trong lời nhắc, mà không cần đào tạo lại.

Kiến thức của một LLM bị đóng băng vào cuối dữ liệu đào tạo của nó, và nó chưa bao giờ thấy thông tin riêng tư của doanh nghiệp bạn: giá cả, hàng tồn kho, chính sách hoàn trả, đơn hàng của khách hàng. Khi được hỏi về chúng, nó thường đưa ra một dự đoán hợp lý — một ảo giác. Nó cũng có một cửa sổ ngữ cảnh hạn chế, lượng văn bản mà nó có thể xem xét cùng một lúc.

Đó là lý do tại sao các trợ lý kinh doanh hữu ích hiếm khi chỉ dựa vào mô hình. Tạo ra thông tin bổ sung (RAG) cung cấp cho nó các đoạn văn liên quan từ nội dung của bạn, và các công cụ cho phép nó truy vấn các hệ thống trực tiếp như danh mục hoặc cơ sở dữ liệu đơn hàng.

Các mô hình khác nhau về chất lượng lý luận, tốc độ, giá mỗi token, các ngôn ngữ mà chúng xử lý tốt, kích thước ngữ cảnh và nơi chúng được lưu trữ. Đối với dịch vụ khách hàng, một mô hình vừa và nhanh thường đủ cho các câu hỏi thông thường, trong khi các trường hợp khó hơn — chính sách dài, yêu cầu nhiều bước — sẽ hưởng lợi từ một mô hình mạnh hơn. Vị trí dữ liệu cũng quan trọng: một doanh nghiệp châu Âu có thể thích một mô hình được lưu trữ trong EU.

Mô hình chỉ là một phần của kết quả. Hướng dẫn, dữ liệu nền tảng, công cụ và đánh giá trên các cuộc trò chuyện thực tế thường quan trọng hơn việc chuyển từ một mô hình hàng đầu này sang mô hình khác.

Các trợ lý AI SmartTalk được xây dựng xung quanh LLM và sử dụng các mô hình được lưu trữ tại EU theo mặc định; một khách hàng có thể chọn sử dụng mô hình của các nhà cung cấp khác. Các câu trả lời của trợ lý được dựa trên nội dung đã được lập chỉ mục và danh mục của doanh nghiệp, và nó sử dụng các công cụ để tra cứu dữ liệu trực tiếp thay vì yêu cầu mô hình nhớ nó.