Tạo sinh tăng cường truy xuất (RAG)
Định nghĩa nhanh
Tạo sinh tăng cường truy xuất (RAG) là một kỹ thuật trong đó một hệ thống AI trước tiên truy xuất các đoạn văn liên quan từ một nguồn đáng tin cậy, chẳng hạn như cơ sở tri thức hoặc danh mục sản phẩm, sau đó đưa chúng cho một mô hình ngôn ngữ để câu trả lời của nó dựa trên những đoạn văn đó thay vì chỉ dựa vào bộ nhớ của nó.
Trên trang này
Tại sao RAG tồn tại
Một mô hình ngôn ngữ học từ một bức ảnh tĩnh của văn bản. Nó không biết chính sách hoàn trả của bạn, giá cả hiện tại của bạn hoặc sản phẩm bạn đã thêm sáng nay, và khi được hỏi, nó có thể đưa ra một câu trả lời hợp lý nhưng sai. Việc huấn luyện lại một mô hình mỗi khi nội dung của bạn thay đổi sẽ chậm và tốn kém.
RAG giải quyết điều này bằng cách giữ kiến thức bên ngoài mô hình. Nội dung của bạn được lưu trữ trong một kho có thể tìm kiếm mà bạn có thể cập nhật bất kỳ lúc nào; mô hình chỉ được yêu cầu đọc các đoạn trích liên quan và diễn đạt một câu trả lời. Cách tiếp cận này đã được Lewis và các đồng nghiệp tại Facebook AI Research mô tả vào năm 2020.
Cách nó hoạt động, từng bước
Đầu tiên, nội dung được chuẩn bị: tài liệu, trang web hoặc hồ sơ sản phẩm được chia thành các đoạn, và mỗi đoạn được chuyển đổi thành một embedding — một danh sách số liệu nắm bắt ý nghĩa của nó. Những embedding này được lưu trữ trong một chỉ mục vector, thường đi kèm với một chỉ mục từ khóa cổ điển.
Khi một câu hỏi đến, nó được chuyển đổi theo cách tương tự và các đoạn gần nhất được truy xuất, đôi khi kết hợp với tìm kiếm từ khóa hoặc bộ lọc như ngôn ngữ hoặc danh mục. Các đoạn tốt nhất được chèn vào lời nhắc của mô hình với một hướng dẫn để trả lời từ chúng. Nhiều hệ thống cũng trả lại các nguồn, để người đọc có thể kiểm tra nơi câu trả lời đến từ đâu.
Giới hạn cần biết
RAG chỉ tốt như những gì nó truy xuất. Nếu đoạn văn phù hợp bị thiếu, lỗi thời hoặc bị chia nhỏ không đúng cách, mô hình sẽ trả lời từ đoạn trích sai hoặc dựa vào bộ nhớ của nó. Các câu hỏi có cấu trúc — "chiếc áo khoác rẻ nhất còn hàng kích thước M" — sẽ không được phục vụ tốt chỉ bằng tìm kiếm tương tự và cần bộ lọc trên dữ liệu thực. Và mô hình vẫn có thể đọc sai một đoạn, vì vậy các câu trả lời về các chủ đề nhạy cảm nên được kiểm tra hoặc nâng cao.
Đó là lý do tại sao các hệ thống sản xuất kết hợp RAG với tìm kiếm có cấu trúc, các quy tắc làm mới đồng bộ lại nội dung khi nó thay đổi, và các hướng dẫn rõ ràng để nói khi các nguồn không chứa câu trả lời.
RAG trong dịch vụ khách hàng
Đối với một trợ lý hỗ trợ hoặc thương mại điện tử, RAG là điều cho phép nhân viên trả lời từ FAQ của bạn, chính sách của bạn và danh mục của bạn bằng ngôn ngữ của khách hàng, và chỉ ra trang mà nó đã sử dụng. Trong AI SmartTalk, kiến thức mà một trợ lý trả lời từ — các trang web, tài liệu, mục FAQ và sản phẩm đồng bộ — được lập chỉ mục theo cách này, và các câu hỏi về sản phẩm cũng sử dụng bộ lọc về giá cả, tùy chọn và hàng tồn kho.
Câu hỏi thường gặp
RAG có giống như tinh chỉnh không?
Không. Tinh chỉnh thay đổi trọng số của mô hình bằng cách huấn luyện nó trên các ví dụ; RAG giữ nguyên mô hình và cung cấp cho nó thông tin đúng vào thời điểm câu hỏi. RAG thường là lựa chọn tốt hơn cho các sự thật thay đổi, chẳng hạn như giá cả, hàng tồn kho hoặc chính sách.
RAG có ngăn chặn ảo giác AI không?
Nó giảm thiểu rất nhiều, vì mô hình trả lời từ các đoạn văn thực, nhưng nó không loại bỏ hoàn toàn. Việc truy xuất tốt, một hướng dẫn để thừa nhận khi các nguồn im lặng, và một chuyển giao cho một người cho các trường hợp nhạy cảm vẫn cần thiết.
Cơ sở dữ liệu vector là gì?
Một kho lưu trữ lập chỉ mục các embedding để các đoạn gần nhất về mặt ý nghĩa với một câu hỏi có thể được tìm thấy nhanh chóng. Đây là lớp truy xuất thông thường của một hệ thống RAG, thường được kết hợp với tìm kiếm từ khóa.
RAG có thể hoạt động với danh mục sản phẩm không?
Có, nhưng sản phẩm cần nhiều hơn chỉ tìm kiếm tương tự: một trợ lý nên lọc trên các trường có cấu trúc như giá cả, kích thước hoặc hàng tồn kho, sau đó sử dụng RAG cho mô tả và hướng dẫn mua hàng.