Проще говоря, token budget - это план расхода токенов. Например: 1 500 токенов на системные правила, 2 000 на историю, 4 000 на документы из базы знаний, 1 000 на tool results и 1 500 оставить под ответ. Такой план не обязан быть точным до токена, но он задает границы.
Token budget нужен не только из-за стоимости. Большой контекст может ухудшить качество: модель получает слишком много шума, важные детали теряются, ответ становится длинным и расплывчатым. Хороший бюджет заставляет выбирать самое полезное: свежие факты, релевантные документы, короткую память и только нужные результаты инструментов.
В AI-агентах бюджет лучше считать на весь запуск, а не на один финальный ответ. Агент может сначала классифицировать запрос, потом вызвать поиск, потом проверить результат, потом сформировать ответ. Все эти шаги тратят токены. Если лимит задан только на последнюю генерацию, стоимость легко выходит из-под контроля.
Token budget тесно связан с context budget. Context budget отвечает за распределение места внутри окна контекста, а token budget часто шире: он учитывает еще стоимость, количество шагов, лимит на пользователя, workspace или сценарий. В простых проектах эти термины могут использоваться почти как синонимы, но для production их полезно разделять.
Практическая настройка начинается с лимитов: максимум токенов на один запрос, максимум на один запуск агента, максимум на день для пользователя или клиента, отдельные лимиты для дорогих моделей и fallback на дешевую модель или короткий ответ. Дальше token usage логируют и смотрят, где реально уходит бюджет.
Хороший token budget не должен просто обрезать текст наугад. Лучше использовать приоритеты: системные правила и безопасность всегда остаются, история сжимается, RAG берет top-k только самых релевантных документов, большие tool results превращаются в summary, а если данных слишком много - агент честно просит уточнить запрос.
Примеры
- RAG-агенту выделили 6 000 токенов на документы. Если поиск нашел 30 фрагментов, в контекст попадут только самые релевантные, а не весь список.
- В поддержке один запуск агента ограничен 8 000 токенов. Если история диалога длинная, агент сначала делает summary, а потом отвечает.
- Для дорогой модели задан лимит 2 000 output tokens. Если пользователь просит большой отчет, агент предлагает краткий вывод и файл с деталями отдельно.
- После подключения tool calling бюджет вырос из-за длинных tool results. Команда стала передавать в модель только summary результата, а полный JSON хранить в логе.
- Если дневной token budget клиента исчерпан, система переключает часть простых задач на более дешевую модель и показывает администратору предупреждение.
Где используется
- контроль стоимости AI-агента
- ограничение расхода токенов на один запуск
- распределение места между prompt, памятью, RAG и ответом
- настройка лимитов для пользователей и workspace
- оптимизация длинных диалогов
- управление RAG-контекстом и top-k
- fallback на короткий ответ или дешевую модель
- алерты на перерасход бюджета
- планирование unit economics AI-функции
Связанные термины
Agent trace
Context compression
Conversation context
Cost control
Cost monitoring
RAG
Token usage
Tool call log
Частые вопросы
Что такое token budget простыми словами?
Это лимит токенов, который можно потратить на запрос, диалог или запуск агента. Он помогает заранее решить, сколько места отдать промпту, истории, документам, инструментам и ответу.
Чем token budget отличается от token usage?
Token budget - это план или лимит. Token usage - фактический расход. Сначала задают бюджет, потом смотрят usage и понимают, где его нужно увеличить, сократить или перераспределить.
Чем token budget отличается от context budget?
Context budget обычно про распределение места внутри окна контекста. Token budget шире: он может включать стоимость, лимиты на запуск, пользователя, день, модель и количество шагов агента.
Как выбрать token budget для AI-агента?
Нужно посмотреть типовой сценарий: сколько занимает системный промпт, история, документы, tool schema, результаты инструментов и ответ. Затем задать лимит с запасом и проверять реальные логи.
Что делать, если агент не помещается в token budget?
Сжимать историю, уменьшать top-k, сокращать документы, резюмировать tool results, разбивать задачу на этапы, просить уточнение или переключаться на модель с большим context window.
