В ИИ-агентах расходы сложнее контролировать, чем в обычном чат-боте. Агент может сделать несколько шагов: прочитать контекст, вызвать инструмент, повторить запрос после ошибки, сходить в базу знаний, написать summary и отправить результат на проверку. Каждый шаг стоит денег и должен попадать в trace.
Хороший cost control начинается с учета: сколько стоит один запрос, один сценарий, один пользователь, один клиент и один тип задачи. Без такой детализации видно только общий счет, но непонятно, что именно его раздувает.
Практические меры: лимиты на токены и шаги агента, budget cap на пользователя или проект, выбор более дешевой модели для простых задач, кеширование одинаковых запросов, context compression, reranking только когда нужен, отключение лишних tools и алерты при аномальном росте расходов.
Важно контролировать не только деньги, но и качество. Самая дешевая модель может давать больше ошибок, retries и ручных проверок. Поэтому cost control должен смотреть на цену вместе с latency, accuracy, conversion, fallback rate и количеством обращений к человеку.
Примеры
- Для бесплатных пользователей ставят лимит 20 сообщений в день и более дешевую модель для простых вопросов.
- Если агент сделал больше пяти tool calls за задачу, workflow останавливается и отправляет trace на проверку.
- RAG-система кеширует embeddings документов, чтобы не пересчитывать их при каждом запросе.
- В Grafana виден рост стоимости на сценарии "анализ договора", и команда снижает размер контекста через compression.
- Для классификации тикетов используют дешевую модель, а дорогую подключают только для сложных ответов клиенту.
- Алерт срабатывает, когда один клиент за час потратил в 3 раза больше обычного бюджета.
Где используется
- контроль расходов на OpenAI, Claude и Gemini API
- лимиты токенов для запросов и пользователей
- бюджеты по клиентам, проектам и командам
- мониторинг стоимости agent workflow
- выбор модели по цене и качеству
- поиск дорогих сценариев в traces
- алерты при аномальном расходе
- кеширование повторяющихся запросов
- снижение стоимости RAG и embeddings
- защита от runaway-агента и бесконечных циклов
Связанные термины
Частые вопросы
Что чаще всего раздувает стоимость LLM-приложения?
Большой контекст, длинные ответы, дорогая модель для простых задач, повторные retries, лишние tool calls, плохой RAG и отсутствие лимитов на пользователя или сценарий.
Как считать стоимость ИИ-агента?
Нужно считать весь workflow: model calls, input/output tokens, tools, embeddings, RAG, retries, хранение, latency и ручные проверки, а не только один финальный ответ.
Можно ли просто поставить дешевую модель?
Можно, но это не всегда экономия. Если модель чаще ошибается, делает больше retries или отправляет задачи человеку, итоговая стоимость процесса может вырасти.
Какие лимиты нужны в первую очередь?
Лимит токенов, число шагов агента, число tool calls, дневной бюджет пользователя, rate limit, максимальная стоимость сценария и stop-условие при ошибках.
Как cost control связан с observability?
Без traces и метрик невозможно понять, какой шаг стоит дорого. Observability показывает стоимость по модели, запросу, пользователю, tool call и сценарию.
Что такое runaway-агент?
Это агент, который зациклился или начал делать слишком много шагов: повторяет запросы, вызывает инструменты и тратит бюджет без полезного результата.
