Захисні механізми AI
Швидке визначення
Захисні механізми AI — це технічні та політичні контролі, які тримають AI систему в межах меж, які її оператори мають на увазі. Вони визначають, що вона охоплює, які дані вона бачить, які дії вона може виконувати і що вона повинна відмовити.
На цій сторінці
Чому потрібні захисні бар'єри
Модель мови намагатиметься відповісти на будь-що, в будь-якому тоні, для будь-кого. Для бізнес-асистента це є ризиком: вона може відхилитися від теми, обіцяти повернення коштів, на яке не має повноважень, розкривати дані інших клієнтів, виконувати інструкції, закладені на веб-сторінці, або виробляти образливий контент, якщо її спровокувати.
OWASP Top 10 для застосувань LLM перераховує основні ризики, включаючи ін'єкцію запитів, розкриття чутливої інформації, надмірну агенцію (агент, якому дозволено робити більше, ніж слід) та дезінформацію. Генеративний профіль AI NIST (AI 600-1) формулює ті ж питання з точки зору управління ризиками.
Основні типи захисних бар'єрів
Контроль введення фільтрує те, що потрапляє до моделі: модерація образливих повідомлень, обмеження спаму, виявлення чутливих даних. Контроль на рівні інструкцій визначає обсяг і поведінку: роль асистента, теми, які потрібно відхиляти, зобов'язання, які він не може взяти на себе без доказів. Контроль на рівні інструментів обмежує те, що агент може робити: доступ лише для читання, дії, обмежені записами, що належать підписаному клієнту, підтвердження перед будь-якими незворотними діями. Контроль виходу перевіряє відповідь перед її відправкою.
Найсильніші захисні бар'єри реалізуються в коді, а не в запиті. "Показувати клієнту лише його власні замовлення" є надійним, коли інструмент замовлення сам фільтрує за перевіреним клієнтом; він є крихким, коли це лише речення в інструкціях.
Захисні бар'єри, які тихо зазнають невдачі
Два поширені режими невдач. Надмірне блокування: асистент настільки обмежений, що відмовляється від розумних запитань, що відштовхує клієнтів так само, як і неправильна відповідь. Правила лише для запитів: обмеження, написані в системному запиті, з яких рішучий користувач може вивести модель.
Захисні бар'єри також потребують моніторингу. Журнали модерації, відмовлені запити та ескалації показують, чи знаходяться обмеження на правильному місці.
Захисні бар'єри в AI SmartTalk
AI SmartTalk поєднує кілька рівнів. Вбудовані політики обмежують асистента його роллю, відмовляються від запитів, що виходять за межі теми, і заявленої влади, розглядають отриманий текст як дані, а не інструкції, і вимагають доказів перед зобов'язаннями. Інструменти замовлення повертають лише власні замовлення підписаного клієнта, після коду підтвердження електронної пошти. Додаткова модерація з розслабленими, помірними або суворими налаштуваннями фільтрує образливі повідомлення та веде журнал аудиту, а обмеження спаму та заборони захищають канали. Коли асистент має зупинитися, він передає розмову команді.
Поширені запитання
Чи є захисні бар'єри тим самим, що й модерація контенту?
Модерація є одним із захисних бар'єрів серед інших. Вона фільтрує шкідливий контент; захисні бар'єри також охоплюють обсяг, доступ до даних, дозволені дії та ескалацію.
Чи можуть захисні бар'єри зупинити ін'єкцію запитів?
Вони зменшують її вплив, а не запобігають кожній спробі. Розділення інструкцій від даних, обмеження дозволів інструментів та перевірка дій у коді означають, що успішна ін'єкція може завдати малої шкоди.
Чи роблять захисні бар'єри AI асистента менш корисним?
Погано налаштовані - так. Хороші захисні бар'єри є вузькими: вони блокують те, що дійсно ризиковано, і залишають асистента вільним допомагати в усьому іншому.