Проще говоря, input tokens — это “что модель прочитала перед ответом”. Чем больше текста, документов и истории вы отправляете модели, тем больше входных токенов она обрабатывает. Это влияет на стоимость, скорость и лимит контекстного окна.
В AI-приложениях входные токены часто растут незаметно. Пользователь видит короткий вопрос, но backend может добавить длинный системный промпт, последние сообщения диалога, выдержки из базы знаний, список инструментов, схему JSON и служебные инструкции. В итоге модель читает намного больше, чем кажется.
Управление input tokens важно для экономики и качества. Если отправлять слишком мало контекста, модель может не понять задачу. Если отправлять слишком много, растет цена, latency и риск, что важная информация потеряется среди лишнего текста. Поэтому команды сокращают промпты, сжимают историю, фильтруют RAG-чанки, используют metadata filtering и считают token usage.
Примеры
- Пользователь пишет один вопрос, но система добавляет системный промпт, историю чата и три фрагмента базы знаний — все это input tokens.
- После сокращения инструкции AI-агента стоимость одного запроса снизилась, потому что входных токенов стало меньше.
- RAG-поиск вернул слишком много длинных чанков, и модель потратила контекст на лишний текст.
- В tool calling схема инструмента тоже попадает во входной контекст и увеличивает input tokens.
- Команда видит в мониторинге, что p95 latency выросла из-за слишком большого контекста.
Где используется
- Расчет стоимости LLM-запросов и AI-агентов
- Оптимизация системного промпта и истории диалога
- Контроль размера RAG-контекста и knowledge chunks
- Сравнение моделей по цене, скорости и контекстному окну
- Мониторинг token usage в продакшене
- Снижение latency за счет сокращения лишнего контекста
- Настройка лимитов, бюджетов и guardrails для AI-продукта
Связанные термины
Частые вопросы
Input tokens и output tokens — в чем разница?
Input tokens — это то, что модель получает на вход и читает перед ответом. Output tokens — это то, что модель генерирует в ответ. Обычно в стоимости API учитываются оба типа токенов.
Что входит в input tokens?
Системный промпт, пользовательский запрос, история переписки, контекст из документов, схемы инструментов, примеры, инструкции разработчика и любые данные, которые backend отправляет модели.
Почему input tokens могут быть дорогими?
Потому что модель должна обработать весь входной контекст. Если каждый запрос содержит длинную историю, большие документы и много служебных инструкций, стоимость и задержка быстро растут.
Как уменьшить количество input tokens?
Сократить системный промпт, удалять лишнюю историю, использовать summary диалога, точнее фильтровать RAG-чанки, ограничивать количество документов и не передавать инструменты, которые не нужны в текущем сценарии.
