Проще говоря, model management отвечает на вопросы: какие модели мы используем, где именно, почему выбрали их, сколько они стоят, как проверяем качество, что делаем при сбое и как безопасно обновляем модель без поломки продукта.
В маленьком проекте это может быть таблица с моделями, промптами и результатами тестов. В production-системе это уже процесс: model registry, evals, traces, cost monitoring, rate limits, rollout, rollback, fallback и правила, кто может менять модель в рабочем сценарии.
Model management тесно связан с model routing. Management описывает и контролирует доступные модели, а routing выбирает, какую модель использовать для конкретного запроса. Без нормального управления routing быстро превращается в хаос: непонятно, какая модель где работает и почему выросла стоимость.
Главный риск - незаметная деградация. Провайдер обновил модель, команда поменяла model name, выросла latency, JSON стал чаще ломаться, а пользователи видят хуже ответы. Поэтому модель нужно версионировать, тестировать на evals и отслеживать как любую другую production-зависимость.
Примеры
- Команда ведет таблицу моделей: provider, model name, сценарии, цена за токены, контекстное окно, качество evals, fallback и дата последней проверки.
- Перед обновлением модели в поддержке запускают evals на 200 реальных вопросах и сравнивают точность, hallucination rate, latency и стоимость.
- Для анализа договоров используется сильная модель, для классификации входящих писем - дешевая, а для приватных данных - локальная или корпоративная модель.
- После роста ошибок JSON команда откатывает модель на предыдущую версию и фиксирует причину в changelog.
- Cost monitoring показывает, что новый routing отправляет слишком много простых задач в дорогую модель, и правило маршрутизации пересматривают.
Где используется
- каталог моделей в AI-продукте
- контроль стоимости LLM-запросов
- обновление модели без регрессий
- сравнение качества моделей через evals
- fallback при сбоях провайдера
- версионирование промптов и моделей
- мониторинг latency и rate limits
- выбор модели для production-сценария
- rollback после деградации качества
- управление доступом к моделям и данным
Связанные термины
Частые вопросы
Зачем нужен model management?
Чтобы понимать, какие модели используются в продукте, где они стоят, сколько стоят, какое качество дают и как безопасно менять их без поломки сценариев.
Чем model management отличается от model routing?
Model management управляет каталогом, версиями, качеством, стоимостью и правилами использования моделей. Model routing выбирает конкретную модель для запроса на основе этих правил и данных.
Что хранить в model registry?
Provider, model name, версию, сценарии использования, владельца, стоимость, контекстное окно, latency, лимиты, поддержку tools и JSON, результаты evals, fallback, дату последней проверки и статус.
Как безопасно обновлять модель?
Сначала запустить evals на контрольном наборе, сравнить качество, стоимость и latency, включить rollout на небольшой доле трафика, отслеживать ошибки и иметь план rollback.
Какие метрики важны для управления моделями?
Качество ответов, pass rate evals, hallucination rate, JSON error rate, latency, стоимость, token usage, rate limit errors, fallback rate, жалобы пользователей и доля ручных эскалаций.
