Проще говоря, token usage - это счетчик топлива для LLM. В него входят системный промпт, сообщение пользователя, история диалога, найденные документы из RAG, описания tools, результаты tool calling, промежуточные шаги агента и финальный ответ. Если агент делает несколько вызовов модели внутри одного сценария, расход нужно считать по всем шагам, а не только по последнему ответу.
Token usage важен по трем причинам. Первая - стоимость: многие модели тарифицируются по входным и выходным токенам. Вторая - скорость: большой контекст дольше обрабатывается. Третья - надежность: если контекст разрастается, модель может получить лишний шум, забыть важное или упереться в context window.
Для AI-агента token usage лучше логировать отдельно по категориям: input tokens, output tokens, cached tokens, reasoning tokens, tokens на RAG-контекст, tokens на tool schema и tokens на историю диалога. Тогда видно, что именно раздувает стоимость: длинный системный промпт, слишком много документов, бесконечная память или лишние агентские шаги.
Token usage тесно связан с context budget. Перед запуском агента полезно определить бюджет: сколько токенов можно потратить на системные правила, сколько на историю, сколько на документы, сколько оставить под ответ. Если бюджет не задан, агент часто начинает тащить в запрос все подряд.
Для production нужны лимиты и мониторинг: максимальный расход на один запуск, дневной бюджет на пользователя или workspace, алерты на резкий рост, отчеты по дорогим сценариям и fallback, если модель не помещается в окно контекста. Хорошая оптимизация начинается не с урезания качества, а с понимания, где именно тратятся токены.
Типичные способы снизить token usage: сокращать историю диалога, сжимать контекст, выбирать top-k документов аккуратнее, хранить краткую память вместо полного лога, убирать лишние инструкции из prompt, не передавать огромные tool results обратно в модель и использовать более дешевую модель для простых шагов.
Примеры
- Пользователь задал короткий вопрос, но агент добавил 20 страниц RAG-контекста. Ответ получился дорогим не из-за пользователя, а из-за слишком широкого поиска.
- AI-агент поддержки делает три внутренних шага: классификация, поиск в базе знаний и финальный ответ. Token usage нужно суммировать по всем трем вызовам модели.
- После релиза стоимость выросла вдвое. По логам видно, что в prompt добавили большой список правил и он отправляется в каждом запросе.
- В аналитическом агенте SQL-result содержит 500 строк. Вместо полного результата в модель передают агрегированную таблицу и расход токенов падает.
- Для длинного диалога агент сохраняет summary памяти, а не отправляет всю историю целиком. Так он остается в context budget.
Где используется
- контроль стоимости AI-агента
- мониторинг расхода токенов по пользователям и workspace
- поиск дорогих prompt и сценариев
- оптимизация RAG-контекста и истории диалога
- настройка лимитов на один запуск агента
- сравнение моделей по цене и эффективности
- расчет unit economics для AI-функции
- алерты на аномальный рост расходов
- подготовка отчетов по использованию LLM
Связанные термины
Agent trace
Context compression
Conversation context
Cost control
Cost monitoring
Evals
RAG
Tool call log
Частые вопросы
Что такое token usage простыми словами?
Это расход токенов модели: сколько текста отправили в модель, сколько она сгенерировала и сколько потратили все промежуточные шаги агента.
Почему token usage влияет на стоимость?
Большинство LLM тарифицируются по входным и выходным токенам. Чем больше контекст, документы, история и ответ, тем выше стоимость запроса или запуска агента.
Что входит в token usage AI-агента?
Системный промпт, сообщения пользователя, история, память, RAG-фрагменты, tool schema, результаты инструментов, промежуточные вызовы модели и финальный ответ.
Как уменьшить расход токенов без потери качества?
Нужно убрать лишний контекст, сжимать историю, аккуратнее выбирать top-k документов, сокращать tool results, вынести повторяющиеся правила в компактный prompt и использовать разные модели для разных шагов.
Что логировать для контроля token usage?
Стоит логировать input tokens, output tokens, model, user или workspace, trace id, сценарий, стоимость, latency, количество шагов агента и долю токенов на RAG, память и инструменты.
