В LLM-приложениях расходы складываются из входных и выходных токенов, модели, embeddings, RAG-поиска, tool calls, retries, хранения данных, фоновых задач и иногда ручной проверки. Если все это не логировать, общий счет приходит уже после того, как проблема стала дорогой.
Для ИИ-агентов cost monitoring особенно важен. Один пользовательский запрос может запускать цепочку: классификация, RAG, несколько tools, summary, проверка guardrails, повтор при ошибке и финальный ответ. Каждый шаг должен попадать в trace вместе с моделью, токенами, длительностью и стоимостью.
Хорошая система мониторинга показывает стоимость в разрезах: по модели, endpoint, пользователю, клиенту, workspace, типу задачи, версии промпта, инструменту, RAG-коллекции и ошибкам. Так можно найти не общий "AI дорогой", а конкретную причину.
Cost monitoring работает в паре с cost control. Monitoring обнаруживает аномалии и объясняет расходы, а control вводит лимиты, budget cap, rate limit, дешевые модели, кеширование, context compression и остановку runaway-агента.
Примеры
- Дашборд показывает, что 60% расходов приходится на один сценарий анализа документов из-за слишком длинного контекста.
- Алерт срабатывает, когда cost per task вырос в два раза после новой версии промпта.
- Trace показывает, что агент поддержки трижды вызывает один и тот же tool call из-за ошибки API.
- По клиентам видно, что один workspace расходует бюджет быстрее нормы и требует отдельного лимита.
- Метрика output tokens растет после обновления system prompt, потому что модель стала писать слишком длинные ответы.
- В Grafana сравнивают стоимость дорогой модели и дешевой модели на одинаковых сценариях вместе с quality score.
Где используется
- дашборд расходов на LLM API
- мониторинг токенов по моделям и сценариям
- поиск дорогих agent workflow
- алерты при резком росте расходов
- сравнение стоимости версий промпта
- учет расходов по клиентам и workspace
- анализ retries и лишних tool calls
- контроль стоимости RAG и embeddings
- планирование бюджета AI-продукта
- поиск runaway-агентов и циклов
Связанные термины
Частые вопросы
Чем cost monitoring отличается от cost control?
Cost monitoring наблюдает и объясняет расходы: где, когда и почему они возникли. Cost control вводит ограничения и правила: лимиты, бюджеты, rate limit и остановку дорогих сценариев.
Какие метрики нужно отслеживать в первую очередь?
Input tokens, output tokens, model name, cost per request, cost per task, latency, retries, tool calls, embeddings cost, storage cost и стоимость по пользователям или клиентам.
Почему общий счет за API недостаточен?
Он показывает итог, но не причину. Без разрезов по модели, сценарию, клиенту и trace невозможно понять, что именно стало дорогим и как это исправить.
Как мониторить стоимость ИИ-агента?
Каждый шаг агента нужно логировать: model call, tokens, tool call, retry, RAG-запрос, длительность, ошибку, run_id и примерную стоимость шага.
Какие алерты полезны для cost monitoring?
Рост дневного бюджета, скачок cost per task, слишком много retries, аномальное число tool calls, рост output tokens и превышение бюджета клиента или workspace.
Что делать, если стоимость резко выросла?
Сначала найти разрез: модель, сценарий, клиент, prompt version или tool. Затем проверить traces, retries, размер контекста и изменения в коде или настройках.
