Проще говоря, это как чемодан перед поездкой. Можно попытаться сложить туда все подряд, но тогда не останется места для действительно нужных вещей. В AI-системе такими "вещами" становятся system prompt, правила безопасности, последние сообщения, найденные фрагменты документов, JSON-схемы, результаты API и резерв под ответ модели.
Для AI-агента контекстный бюджет особенно важен, потому что агент делает несколько шагов. На каждом шаге он может добавлять в контекст новые tool results, планы, ошибки, citations, состояние задачи и память. Если это не контролировать, контекст раздувается, ответы дорожают, модель начинает терять важные детали или получает слишком много шума.
Контекстный бюджет отличается от контекстного окна. Context window - это технический максимум модели. Контекстный бюджет - это практическое распределение этого максимума под конкретную задачу. Он также отличается от cost control: cost control следит за деньгами, а context budget управляет тем, какие данные попадают в prompt и сколько места они занимают.
Хорошая практика - резервировать место под ответ, не отправлять всю историю диалога целиком, ограничивать число RAG-фрагментов, сжимать длинные tool outputs и хранить правила в коротком системном промпте. Большое контекстное окно помогает, но не заменяет отбор данных: если в модель отправить много мусора, она будет дороже и часто хуже отвечать.
Примеры
- В RAG-боте на 32k токенов команда резервирует 4k под ответ, 3k под системные правила, 6k под историю и не больше 16k под найденные chunks.
- AI-агент поддержки не передает модели весь лог клиента за год, а берет последние сообщения, summary обращения, номер заказа и 3 релевантных фрагмента базы знаний.
- После вызова API агент получает большой JSON. Вместо отправки всего результата в модель backend оставляет только поля status, amount, deadline, risk_flags и source_id.
- При выборе модели команда сравнивает не только качество, но и реальный token usage на задачу: короткая модель с RAG может быть дешевле огромного контекстного окна.
Где используется
- выбор модели для AI-агента
- RAG по документам и базе знаний
- длинные диалоги с пользователем
- агенты с несколькими tool calls
- мониторинг стоимости LLM-запросов
- сжатие истории и context compression
- production-оптимизация latency и token usage
Связанные термины
Частые вопросы
Контекстный бюджет и контекстное окно - это одно и то же?
Нет. Контекстное окно - это максимум токенов, который модель может принять. Контекстный бюджет - это правило, как распределить этот максимум между инструкциями, данными, историей, RAG и ответом.
Зачем нужен контекстный бюджет, если у модели большое окно?
Большое окно не гарантирует хороший ответ. Чем больше лишних данных попадает в prompt, тем выше стоимость, latency и риск, что модель упустит важное. Бюджет помогает отправлять только нужное.
Что обычно съедает больше всего токенов?
Чаще всего контекст раздувают длинная история диалога, большие документы, сырые результаты tools, повторяющиеся инструкции, длинные JSON и слишком много RAG-фрагментов.
Как уменьшить расход контекста?
Сжимайте историю в summary, ограничивайте top-k chunks, режьте tool outputs до нужных полей, используйте короткие системные правила и храните большие данные вне prompt.
Нужно ли логировать контекстный бюджет?
Да. В production полезно смотреть input tokens, output tokens, долю RAG, размер истории, retries, стоимость успешной задачи и случаи, когда контекст был обрезан.
