Такие guardrails особенно важны для write tools: отправка писем, изменение CRM, создание платежей, выдача доступов, удаление данных, публикация контента. Ошибка здесь может привести не к плохому ответу, а к реальному изменению во внешней системе.
Tool guardrails обычно работают в несколько этапов. До вызова они проверяют tool registry, policy, ACL, schema и risk level. Во время вызова контролируют лимиты, idempotency, окружение и права. После вызова очищают tool result, скрывают секреты, логируют trace и решают, можно ли продолжать автоматически или нужен handoff.
Важно: tool guardrails нельзя держать только в промпте. Модель может ошибиться или столкнуться с prompt injection/tool poisoning. Критичные проверки должны выполняться кодом на backend перед фактическим вызовом инструмента.
Примеры
- Агент может создать черновик письма, но tool guardrail блокирует фактическую отправку без approval менеджера.
- Перед вызовом refund_order backend проверяет роль пользователя, сумму, статус заказа и наличие audit log.
- Tool guardrail запрещает модели передавать произвольный action в API, если такого действия нет в action allowlist.
- После ответа CRM API guardrail удаляет внутренние комментарии и токены из tool result перед передачей модели.
- Если агент пытается вызвать delete_customer_data из-за prompt injection, policy gate блокирует действие и отправляет кейс человеку.
Где используется
- Ограничить вызовы tools по ролям, задачам и risk level.
- Защитить write tools от случайных или вредных действий.
- Проверять аргументы tool call до выполнения на backend.
- Настроить human approval для опасных действий.
- Очищать tool result от секретов и лишних данных.
- Логировать tool calls в trace и audit log.
- Тестировать prompt injection и tool poisoning сценарии перед запуском.
Связанные термины
Частые вопросы
Что такое tool guardrails простыми словами?
Это правила безопасности для инструментов агента: какие tools можно вызвать, с какими данными, кому это разрешено и когда нужно подтверждение человека.
Чем tool guardrails отличаются от обычных guardrails?
Обычные guardrails часто проверяют вход и ответ модели. Tool guardrails проверяют действия: выбор инструмента, аргументы, права, side effects и результат вызова.
Почему tool guardrails особенно важны для write tools?
Write tools меняют внешние системы: CRM, письма, платежи, доступы, документы. Ошибка агента здесь может сразу повлиять на клиента, деньги или данные.
Можно ли реализовать tool guardrails только промптом?
Нет. Промпт полезен, но критичные ограничения должны проверяться backend-кодом: ACL, policy, schema validation, allowlist, лимиты и approval.
Что входит в минимальный набор tool guardrails?
Tool registry, строгая schema, action allowlist, проверка прав, risk level, лимиты, human approval для опасных действий, очистка tool result и audit log.
