В практическом смысле AI governance описывает, какие задачи можно отдавать ИИ, какие данные запрещено загружать, кто согласует новые сценарии, какие модели разрешены, как проверяется качество ответов, где хранятся traces и logs, кто отвечает за инциденты и когда обязательно нужен человек.
Для AI-агентов governance особенно важен, потому что агент может не только писать текст, но и вызывать tools: читать CRM, отправлять письма, менять задачи, работать с документами или запускать API. Поэтому нужны action allowlist, human-in-the-loop для рискованных действий, лимиты, audit log, guardrails, evals и понятный rollback.
Хороший AI governance не должен блокировать все подряд. Его задача - сделать безопасный коридор: сотрудники понимают, где ИИ можно использовать свободно, где нужен контроль, а где запрещено. Тогда внедрение идет быстрее, потому что правила ясны заранее.
На старте AI governance можно оформить простым документом: допустимые сценарии, запретные данные, список одобренных инструментов, роли владельцев, требования к тестам, правила публикации, порядок разбора ошибок. По мере роста проекта это превращается в полноценный процесс с реестром AI-систем, оценкой рисков, мониторингом и регулярными аудитами.
Примеры
- Компания разрешает сотрудникам использовать ИИ для черновиков писем, но запрещает загружать персональные данные клиентов в неутвержденные сервисы.
- AI-агент поддержки может читать базу знаний и статусы заказов, но отправка компенсации или изменение договора требует approval руководителя.
- Перед запуском агента команда заводит карточку: владелец, цель, данные, tools, риски, тесты, метрики качества, план отключения.
- HR-ассистент может помогать формулировать вакансии, но не должен автоматически отсеивать кандидатов без понятных правил и человеческой проверки.
- Финансовый агент готовит отчет и список аномалий, но не проводит платежи и не меняет бухгалтерские документы самостоятельно.
- После инцидента команда открывает trace, понимает причину ошибки, добавляет кейс в eval dataset и обновляет guardrails.
Где используется
- безопасное внедрение ИИ в компании
- политика использования ChatGPT, LLM и AI-агентов
- реестр AI-систем, моделей, prompts и владельцев
- оценка рисков перед запуском нового агента
- контроль персональных данных и коммерческой тайны
- approval для опасных actions и внешних сообщений
- audit log, traces и разбор инцидентов
- evals и регулярная проверка качества ответов
- управление доступами к tools, CRM, 1С и документам
- подготовка внутренних правил для юристов, ИБ, бизнеса и разработки
Связанные термины
Частые вопросы
AI governance - это только для больших компаний?
Нет. В маленькой компании governance может быть коротким набором правил: какие инструменты разрешены, какие данные нельзя загружать, кто согласует агента и что делать при ошибке. Чем больше сценариев и данных, тем формальнее нужен процесс.
Чем AI governance отличается от AI safety?
AI safety больше про безопасное поведение системы: guardrails, фильтры, тесты, ограничения. AI governance шире: роли, ответственность, политики, реестр систем, доступы, аудит, юридические требования и процессы принятия решений.
Что должно быть в минимальной AI policy?
Минимум: разрешенные и запрещенные сценарии, правила работы с данными, список одобренных инструментов, ответственные роли, требования к тестированию, правила approval, хранение logs/traces и порядок разбора инцидентов.
Как AI governance связан с AI-агентами?
AI-агенты могут выполнять действия через tools, поэтому governance задает границы: какие tools доступны, какие действия только read-only, где нужен человек, как логировать решения, как ограничивать стоимость и как быстро отключить проблемный сценарий.
Кто должен отвечать за AI governance?
Обычно нужен владелец со стороны бизнеса и участие ИБ, юристов, разработки и владельцев данных. Для каждого AI-сценария должен быть конкретный ответственный, а не абстрактное "это делает ИИ".
Как понять, что governance мешает внедрению?
Если любое использование ИИ требует долгого согласования, сотрудники начнут обходить процесс. Хороший governance разделяет уровни риска: простые задачи разрешает быстро, а чувствительные сценарии отправляет на проверку.
