Tool policy особенно важна, когда инструменты имеют side effects: отправляют письма, меняют CRM, создают платежи, выдают доступы, обновляют документы или вызывают внешние API. В таких сценариях нельзя полагаться только на системный промпт: правило должно проверяться на backend до фактического выполнения действия.
Хорошая policy учитывает роль пользователя, канал, тип агента, risk level инструмента, окружение, лимиты, рабочее время, владельца процесса и текущий контекст. Например, агент может искать информацию в базе знаний без approval, создавать черновик письма с логированием, но отправлять письмо только после подтверждения человека.
Tool policy связана с tool registry, action allowlist, ACL, guardrails и audit log. Registry говорит, какие tools существуют, schema описывает аргументы, а policy решает, можно ли вызвать конкретный tool прямо сейчас.
Примеры
- Агент поддержки может вызвать search_knowledge_base всегда, create_ticket после классификации обращения, а refund_order только после approval менеджера.
- Tool policy запрещает send_email ночью для массовых рассылок, но разрешает create_email_draft без отправки.
- Для CRM-агента update_deal_stage разрешен только владельцу сделки и только в рамках допустимых переходов воронки.
- Если пользователь просит удалить данные, policy требует проверить роль, основание и создать audit log перед вызовом delete_customer_data.
- Агент может вызвать API доставки для чтения статуса заказа, но не может менять адрес доставки без подтверждения оператора.
Где используется
- Ограничить инструменты AI-агента по ролям, каналам и задачам.
- Разделить read-only tools, черновики и действия с реальными последствиями.
- Настроить human approval для high-risk действий.
- Блокировать tool calls с опасными или неполными аргументами.
- Связать tool calling с ACL, audit log и guardrails.
- Ввести лимиты: частота вызовов, сумма операции, рабочее время, окружение.
- Проверять policy в backend, а не только в промпте модели.
Связанные термины
Частые вопросы
Что такое tool policy простыми словами?
Это правила, которые говорят агенту и backend, какие инструменты можно вызывать и при каких условиях. Например: можно искать данные, но нельзя отправлять письмо без подтверждения.
Чем tool policy отличается от tool registry?
Tool registry хранит каталог инструментов и их описания. Tool policy решает, можно ли вызвать конкретный инструмент в конкретной ситуации.
Почему tool policy нельзя держать только в системном промпте?
Промпт может быть проигнорирован, неправильно понят или атакован через prompt injection. Критичные правила должны проверяться backend policy gate перед выполнением tool call.
Какие действия требуют human approval?
Обычно это отправка сообщений клиентам, платежи, возвраты, выдача доступов, удаление данных, изменение юридических документов и любые действия с высоким бизнес-риском.
Что хранить в tool policy?
Роли, разрешенные tools, условия вызова, risk level, лимиты, обязательные проверки, правила approval, ошибки блокировки и требования к audit log.
