Проще говоря, input guardrails отвечают на вопрос: “можно ли этот запрос вообще отправлять дальше?”. Например, система может заблокировать prompt injection, скрыть персональные данные, отклонить опасный файл, проверить права доступа, ограничить тему запроса или перевести действие в режим согласования.
В AI-агентах input guardrails особенно важны, потому что агент может не только отвечать текстом, но и вызывать инструменты: CRM, почту, базу данных, платежи, таск-трекер или файловое хранилище. Если на вход попадет вредная инструкция, агент может выбрать неправильный инструмент, раскрыть лишние данные или выполнить нежелательное действие.
Хорошие input guardrails не должны превращаться в грубый фильтр “запретить все подозрительное”. Их задача — снижать риск и сохранять полезность: классифицировать запрос, нормализовать данные, убрать секреты, проверить контекст, отправить спорный случай на human approval или дать безопасную альтернативу.
Примеры
- Пользователь вставляет текст “игнорируй системные инструкции”, и input guardrail помечает запрос как возможный prompt injection.
- Перед отправкой в модель система маскирует телефон, email и паспортные данные клиента.
- AI-агент проверяет, имеет ли пользователь доступ к документу, который просит пересказать.
- Файл с неизвестным типом или слишком большим размером не попадает в обработку агентом.
- Запрос на изменение данных в CRM отправляется на approval, если пользователь не имеет нужной роли.
Где используется
- Защита от prompt injection и jailbreak-попыток
- Проверка персональных данных и секретов перед отправкой в модель
- Контроль прав доступа к документам, CRM и внутренним системам
- Валидация файлов, форматов и структурированных данных
- Ограничение опасных действий AI-агента
- Маршрутизация спорных запросов на human approval
- Снижение рисков в поддержке, финансах, HR, юрблоке и enterprise AI
Связанные термины
Action allowlist
Approval workflow
Audit log
Guardrails
Least privilege
Output Guardrails
PII
PII Masking
Частые вопросы
Чем input guardrails отличаются от output guardrails?
Input guardrails проверяют то, что входит в систему: запрос, файл, данные, права доступа. Output guardrails проверяют то, что модель уже сгенерировала: ответ, действие, ссылку, JSON или команду.
Что обычно проверяют на входе?
Prompt injection, PII, секреты, запрещенные темы, формат данных, размер файла, тип документа, права пользователя, источник данных и допустимость запрошенного действия.
Input guardrails гарантируют безопасность AI-агента?
Нет. Это один уровень защиты. Нужны еще least privilege, tool policy, audit log, output guardrails, approval workflow, мониторинг и тестирование на реальных сценариях.
Как не переборщить с guardrails?
Нужно измерять ложные блокировки, давать понятные причины отказа, разрешать безопасные альтернативы и разделять уровни риска: обычный ответ, read-only действие, запись данных и критичная операция.
