Термин
Token budget
План распределения лимита токенов между инструкциями, историей, документами, tools и ответом.
Token budget помогает не переполнить контекстное окно и контролировать стоимость. В него закладывают место для system prompt, user request, RAG chunks, memory, tool results и output.