Проще говоря, threat model - это карта рисков. Для AI-агента она отвечает на вопросы: какие данные агент видит, какие действия может выполнять, кто может отправить ему инструкции, какие инструменты он вызывает, что будет при prompt injection, как ограничены права и где человек должен подтверждать опасные операции.
В обычном веб-приложении threat model часто строят вокруг API, авторизации, данных и инфраструктуры. В AI-сценариях добавляются новые риски: prompt injection, утечка контекста, tool poisoning, небезопасные tool calls, подмена источников в RAG, раскрытие системного промпта, выполнение действий не от того пользователя и слепое доверие к сгенерированному ответу.
Хорошая модель угроз начинается с границ системы. Например: пользователь пишет в чат, агент получает историю диалога, ищет документы в базе знаний, вызывает CRM и может создать задачу. Для каждого шага нужно понять: кто может повлиять на вход, какие данные доступны, какие действия разрешены, что логируется и что произойдет при ошибке.
Threat model не обязан быть огромным документом. Для первой версии AI-агента достаточно таблицы: актив, угроза, сценарий атаки, вероятность, ущерб, защита, владелец, статус. Главное - чтобы по ней можно было принять инженерные решения: где добавить ACL, где нужен approval, где включить audit log, где ограничить tools, а где запретить запись и оставить read-only режим.
В production threat model стоит обновлять при каждом расширении прав агента. Если агент только отвечает по базе знаний, риски одни. Если он начинает менять CRM, отправлять письма, создавать счета, запускать webhooks или работать с персональными данными, модель угроз должна быть пересмотрена.
Примеры
- AI-агент поддержки читает базу знаний и создает тикеты. Threat model фиксирует риск prompt injection через сообщение клиента и ограничивает инструменты только безопасными действиями.
- Агент подключен к CRM. В модели угроз описывают, что изменение статуса сделки требует approval, а чтение карточки доступно только пользователям с нужным ACL.
- RAG-агент индексирует документы из общего хранилища. Threat model учитывает риск утечки закрытых документов через неправильные права доступа.
- Пользователь просит агента выполнить refund. Модель угроз требует лимит суммы, проверку роли, audit log и ручное подтверждение.
- Внешний сайт попадает в источник данных. Threat model помечает его как недоверенный и запрещает выполнять инструкции из найденного текста.
Где используется
- запуск AI-агента в production
- оценка рисков prompt injection и tool poisoning
- проектирование guardrails и tool policy
- настройка ACL, ролей и approval workflow
- безопасное подключение CRM, ERP, почты и webhooks
- аудит доступа к базе знаний и RAG-источникам
- подготовка security review перед релизом
- разбор инцидентов и обновление защитных мер
- документирование рисков для бизнеса и compliance
Связанные термины
ACL
Action allowlist
Agent trace
AI governance
API credentials
API-ключ
Approval queue
Approval workflow
Частые вопросы
Что такое threat model простыми словами?
Это список и схема возможных угроз: кто может атаковать систему, через какие входы, какие данные или действия под риском и какие защиты нужны.
Зачем threat model нужен AI-агенту?
AI-агент может читать данные, вызывать инструменты и выполнять действия. Threat model помогает заранее ограничить опасные сценарии: prompt injection, утечки, неправильные tool calls и действия без подтверждения.
Что включить в threat model для AI?
Нужно описать данные, пользователей, роли, tools, внешние источники, RAG, системный промпт, возможные атаки, последствия, guardrails, approval, audit log и владельцев рисков.
Threat model делают один раз?
Нет. Ее нужно обновлять, когда агент получает новые данные, новые инструменты, право записи, интеграции с CRM, почтой, платежами или другими критичными системами.
Чем threat model отличается от security checklist?
Threat model объясняет, какие угрозы возможны и почему они важны. Security checklist помогает проверить конкретные меры защиты. Лучше использовать их вместе.
