AI guardrails
Định nghĩa nhanh
AI guardrails là các kiểm soát kỹ thuật và chính sách giữ cho một hệ thống AI trong các giới hạn mà các nhà vận hành của nó dự định. Chúng xác định những gì nó bao phủ, dữ liệu mà nó thấy, các hành động mà nó có thể thực hiện và những gì nó phải từ chối.
Trên trang này
Tại sao cần có hàng rào bảo vệ
Một mô hình ngôn ngữ sẽ cố gắng trả lời bất cứ điều gì, bằng bất kỳ giọng điệu nào, cho bất kỳ ai. Đối với một trợ lý doanh nghiệp, điều đó là một rủi ro: nó có thể lạc đề, hứa hẹn hoàn tiền mà nó không có quyền hạn để thực hiện, tiết lộ dữ liệu của khách hàng khác, làm theo các hướng dẫn được cài đặt trên một trang web, hoặc sản xuất nội dung gây xúc phạm khi bị khiêu khích.
Danh sách 10 rủi ro hàng đầu của OWASP cho các ứng dụng LLM liệt kê các rủi ro chính, bao gồm tiêm lệnh, tiết lộ thông tin nhạy cảm, quyền hạn quá mức (một tác nhân được phép làm nhiều hơn những gì nó nên làm) và thông tin sai lệch. Hồ sơ AI Tạo sinh của NIST (AI 600-1) khung lại các vấn đề tương tự từ góc độ quản lý rủi ro.
Các loại hàng rào bảo vệ chính
Các kiểm soát đầu vào lọc những gì đến với mô hình: kiểm duyệt các tin nhắn lạm dụng, giới hạn spam, phát hiện dữ liệu nhạy cảm. Các kiểm soát cấp độ hướng dẫn xác định phạm vi và hành vi: vai trò của trợ lý, các chủ đề cần từ chối, các cam kết mà nó không thể thực hiện mà không có bằng chứng. Các kiểm soát cấp độ công cụ giới hạn những gì tác nhân có thể làm: quyền truy cập chỉ đọc, các hành động bị hạn chế đối với hồ sơ của khách hàng đã đăng nhập, xác nhận trước bất kỳ điều gì không thể đảo ngược. Các kiểm soát đầu ra kiểm tra câu trả lời trước khi nó được gửi đi.
Các hàng rào bảo vệ mạnh mẽ nhất được thực thi trong mã, không phải trong lệnh. “Chỉ hiển thị cho khách hàng các đơn hàng của chính họ” là đáng tin cậy khi công cụ đơn hàng tự lọc theo khách hàng đã xác minh; nó trở nên mong manh khi chỉ là một câu trong các hướng dẫn.
Các hàng rào bảo vệ thất bại một cách âm thầm
Hai chế độ thất bại là phổ biến. Chặn quá mức: một trợ lý bị hạn chế đến mức từ chối các câu hỏi hợp lý, điều này khiến khách hàng rời bỏ cũng chắc chắn như một câu trả lời sai. Quy tắc chỉ dựa trên lệnh: các giới hạn được viết trong lệnh hệ thống mà một người dùng quyết tâm có thể thuyết phục mô hình từ bỏ.
Các hàng rào bảo vệ cũng cần được giám sát. Nhật ký kiểm duyệt, các yêu cầu bị từ chối và các trường hợp leo thang cho thấy liệu các giới hạn có ở đúng vị trí hay không.
Các hàng rào bảo vệ trong AI SmartTalk
AI SmartTalk kết hợp nhiều lớp. Các chính sách tích hợp giữ cho trợ lý ở đúng vai trò của nó, từ chối các yêu cầu lạc đề và quyền hạn đã tuyên bố, coi văn bản thu được là dữ liệu chứ không phải là hướng dẫn, và yêu cầu bằng chứng trước khi cam kết. Các công cụ đơn hàng chỉ trả lại các đơn hàng của khách hàng đã đăng nhập, sau khi có mã xác minh qua email. Kiểm duyệt tùy chọn với các cài đặt nhẹ nhàng, vừa phải hoặc nghiêm ngặt lọc các tin nhắn lạm dụng và giữ một nhật ký kiểm toán, và các giới hạn và lệnh cấm spam bảo vệ các kênh. Khi trợ lý nên dừng lại, nó sẽ chuyển cuộc trò chuyện cho đội ngũ.
Câu hỏi thường gặp
Các hàng rào bảo vệ có giống như kiểm duyệt nội dung không?
Kiểm duyệt là một hàng rào bảo vệ trong số những hàng rào khác. Nó lọc nội dung có hại; các hàng rào bảo vệ cũng bao gồm phạm vi, quyền truy cập dữ liệu, các hành động được phép và sự leo thang.
Các hàng rào bảo vệ có thể ngăn chặn tiêm lệnh không?
Chúng giảm thiểu tác động của nó thay vì ngăn chặn mọi nỗ lực. Việc tách hướng dẫn khỏi dữ liệu, giới hạn quyền truy cập công cụ và xác minh các hành động trong mã có nghĩa là một tiêm lệnh thành công có thể gây ít thiệt hại.
Các hàng rào bảo vệ có làm cho trợ lý AI kém hữu ích hơn không?
Các hàng rào bảo vệ được điều chỉnh kém thì có. Các hàng rào bảo vệ tốt thì hẹp: chúng chặn những gì thực sự rủi ro và để trợ lý tự do giúp đỡ trong mọi thứ khác.