Безопасность, оценка и контроль Открытый код; инфраструктура и услуги подключенных сервисов отдельно

Microsoft Agent Governance Toolkit

Microsoft Agent Governance Toolkit проверяет действия агента по заданным политикам и фиксирует решения. Это слой контроля приложения, а не модель или конструктор агента.

Что это

Microsoft Agent Governance Toolkit нужен разработчику, который хочет ограничить действия AI-агента правилами приложения. Например, перед вызовом инструмента проверить, разрешена ли операция, и записать решение для разбора. Правило задается отдельно от просьбы в промпте.

Набор включает компоненты политик, контроля исполнения и аудита. Он находится в public preview: интерфейсы и пакеты могут меняться. Установка библиотеки не делает все действия защищенными: ваше приложение должно передавать их на проверку и выполнять только разрешенные.

Проект открыт под MIT. Начинайте с учебного действия, которое ничего не изменяет. Реальные права сервиса, изоляция окружения и проверка самого набора правил остаются необходимыми: toolkit не является гарантией безопасности или соответствия требованиям.

Ключевые параметры

  • Категория: Безопасность и guardrails
  • Сложность: Для разработчика
  • Запуск: Один рабочий день
  • Open-source: Да
  • Данные: Не известно
  • Чувствительные данные: Только с настройками
API Python Agent Control Specification Политики Rego LangChain Аудит решений Self-hosted Сервер Локальный desktop

Сильные стороны

  • Политики проверяются в коде приложения, а не только формулируются в инструкции модели.
  • HostSession позволяет оценить предполагаемый вызов до запуска самого инструмента.
  • Результат проверки содержит вердикт и причину, полезные при разборе отказов.
  • Открытый код и отдельные компоненты позволяют начать с контроля вызовов, затем расширить интеграцию.

Ограничения

  • Public preview предполагает возможные несовместимые изменения до стабильного выпуска.
  • Незащищенные пути вызова остаются доступными, если приложение обходит проверку политики.
  • Ошибочное или слишком широкое правило может разрешить опасное действие.
  • Контроль вызовов не заменяет минимальные права, изоляцию, обработку отказов и тесты приложения.

Как использовать

1. Подготовка. Создайте учебное окружение Python 3.11+ без доступа к рабочим файлам. Запишите два проверяемых действия: чтение учебного отчета должно быть разрешено, удаление запрещено. Это требования к вашей политике, а не обещание любого шаблона.
2. Настройка. Установите agent-governance-toolkit[full]: базовый пакет содержит CLI, а полный вариант включает компоненты. По официальному quickstart сгенерируйте шаблон strict командой python -m agent_os.cli.cmd_policy_gen --template strict --output policies/ и проверьте agt lint-policy policies/manifest.yaml. Просмотрите и адаптируйте правила к двум действиям.
3. Первый результат. Загрузите manifest через AgentControl.from_path и создайте HostSession. Вызовите только pre_tool_call с tool_name="delete_file" и args={"path":"report.txt"}. Выведите verdict и reason_code: это проверка кандидата, не удаление файла.
4. Проверка. Убедитесь, что удаление запрещено, а согласованное чтение разрешено. Если нет, исправьте политику и повторите тест. Код запуска инструмента должен отдельно проверять verdict.decision.permits; отказ или ошибка проверки не должны запускать действие. Сохраните тесты и проверьте, что другие пути вызова не обходят этот контроль.

Доступ и оплата

  • Модель оплаты: Open-source
  • Бесплатный тариф: Да
  • Работа в РФ: Нужно проверять
  • VPN: Не известно
  • Русский интерфейс: Не известно
  • Русский язык: Не известно

Проект бесплатен под MIT и находится в public preview. Закрепляйте версии и используйте актуальный quickstart: старые примеры конфигурации могут быть несовместимы. Плата за модель, сервер и другие подключенные услуги остается отдельной.

Когда не подходит

  • Заменить права сервисного аккаунта одним промптом
  • Защитить вызовы, проходящие мимо проверки
  • Получить сертификат безопасности установкой пакета

Альтернативы

nemo-guardrails guardrails-ai microsoft-purview

NeMo Guardrails больше ориентирован на правила поведения LLM-приложения. Guardrails AI полезен для проверки формата и содержания результатов. Microsoft Purview решает задачи управления корпоративными данными; это не взаимозаменяемые способы защиты каждого вызова агента.

Параметры для подборок

open-source API ai-agents security monitoring Для разработчиков Бизнес open-source-ai-tools ai-agent-platforms

FAQ

Toolkit создает AI-агента?

Нет. Он добавляет контроль к существующему приложению. Модель, задачи и инструменты агента разрабатываются отдельно.

Почему недостаточно запретить удаление в промпте?

Инструкция модели не является проверкой прав. Приложение должно оценить действие по политике и не выполнять его при отказе.

pre_tool_call удалит указанный файл?

Нет. Этот вызов оценивает предполагаемое действие и возвращает решение. Реальный инструмент должен запускаться только отдельным кодом после разрешения.

Шаблон strict уже подходит любому проекту?

Нет. Проверьте его правила и адаптируйте их к названиям инструментов и данным вашего приложения. Нужны тесты как разрешенных, так и запрещенных случаев.

Можно считать приложение полностью защищенным?

Нет. Нужны минимальные права, изоляция и контроль всех путей вызова. Ошибки политик и обход проверки остаются рисками; статус public preview также требует осторожности.

Лучше всего подходит

Типовые задачи

Проверять вызовы инструментов до выполнения Разделить политики доступа и инструкции модели Получить журнал разрешенных и запрещенных действий

Упоминания

Статьи, где встречается Microsoft Agent Governance Toolkit