Проще говоря, агент должен делать ровно то, что нужно для задачи, а не “решать как получится”. Если агент поддержки может не только отвечать клиенту, но и менять тарифы, удалять записи, отправлять письма, выдавать скидки и запускать платежи без approval, это пример excessive agency.
Чем больше у агента полномочий, тем выше последствия ошибки: prompt injection, неверный tool call, дубли, утечка данных, неправильная запись в CRM, отправка сообщения не тому человеку или действие, которое сложно откатить. Поэтому автономию нужно увеличивать постепенно и только там, где есть контроль.
Защита от excessive agency строится на least privilege, read-only режиме, tool allowlist, human approval, idempotency, audit log, policy gates, sandbox и явных ограничениях. Агенту лучше дать узкие инструменты под конкретную задачу, чем один универсальный доступ ко всему backend.
Примеры
- AI-агенту поддержки дали доступ удалять клиентов из CRM, хотя ему нужно только читать историю обращений.
- Агент сам отправляет коммерческое предложение с ценой без human approval.
- Браузерный агент получил доступ к личной почте и выполняет инструкции с недоверенной веб-страницы.
- Workflow позволяет модели запускать любые HTTP-запросы, а не только заранее разрешенные API.
- Агент после ошибки делает повторные write-действия без idempotency key и создает дубли.
Где используется
- Оценка рисков перед запуском AI-агента в production
- Ограничение tool calling и write-доступа
- Настройка least privilege, read-only и approval workflow
- Безопасность CRM, почты, платежей, документов и внутренних API
- Аудит агентских фреймворков, workflow и no-code автоматизаций
- Red teaming и тестирование prompt injection
- Go/no-go проверка автономных AI-сценариев
Связанные термины
Action allowlist
AI governance
Approval workflow
Audit log
Blocked action
Human approval
Idempotency
Idempotency key
Частые вопросы
Как понять, что у агента excessive agency?
Если агент может выполнять действия, которые не нужны для его задачи, имеет broad-доступ, пишет во внешние системы без approval или может нанести заметный ущерб одной ошибкой, автономии слишком много.
Чем excessive agency отличается от обычной автономности?
Автономность полезна, когда агент сам выполняет безопасные шаги в рамках задачи. Excessive agency начинается, когда права и свобода действий шире, чем нужно, а контроль слабый.
Как снизить риск excessive agency?
Дать минимальные права, включить read-only по умолчанию, использовать allowlist инструментов, approval для write-действий, audit log, idempotency, guardrails и лимиты на действия.
Можно ли давать агенту write-доступ?
Можно, но постепенно: сначала read-only, потом ограниченные write-действия, затем approval, лимиты, тесты, evals, мониторинг и возможность отката.
