Проще говоря, токены - это внутренняя разметка текста для LLM. Например, короткое слово может быть одним токеном, длинное слово может разделиться на несколько токенов, а код, таблицы и JSON часто съедают больше токенов, чем обычный текст.
Токены важны по трем причинам. Первая - лимит контекста: модель может увидеть только ограниченное количество токенов за один запрос. В этот лимит входят system prompt, история диалога, документы, найденные chunks RAG, инструкции инструментов и будущий ответ.
Вторая причина - стоимость. В API обычно отдельно считают input tokens, то есть все, что отправили модели, и output tokens, то есть все, что модель сгенерировала. Чем длиннее документы, история чата и ответ, тем дороже и медленнее запрос.
Третья причина - качество. Если в запрос положить слишком много лишнего текста, модель может хуже увидеть важное. Большое контекстное окно не означает, что нужно отправлять “все подряд”. Для AI-агентов часто важнее выбрать правильный контекст, сжать историю и передать только нужные фрагменты.
Токены отличаются от слов. В русском, английском, коде и смешанном тексте разбиение будет разным. Нельзя надежно сказать “100 слов = 100 токенов”. Для точного подсчета нужен tokenizer конкретной модели или инструмент провайдера.
Токены также не стоит путать с API token, Telegram token или access token. В LLM-контексте токен - это единица текста. В безопасности и интеграциях token - это секретный ключ доступа. Слова похожи, смысл разный.
Практический вывод простой: если агент работает с длинными документами, таблицами, перепиской или RAG, нужно следить за token usage, ограничивать длину ответа, резюмировать историю, чистить лишний HTML и не отправлять в модель данные, которые не нужны для задачи.
Примеры
- Пользователь отправил промпт, историю диалога и три фрагмента из базы знаний. Все это считается input tokens, даже если ответ модели будет коротким.
- AI-агент делает summary большого документа. Если отправить весь PDF целиком, запрос может выйти за лимит контекстного окна или стать слишком дорогим.
- JSON с большим количеством скобок, ключей и повторяющихся полей может занимать много токенов. Поэтому structured output лучше делать компактным.
- В Telegram-агенте bot token - это секрет доступа к Telegram API, а LLM tokens - это фрагменты текста, которые оплачиваются при вызове модели. Это разные вещи.
Где используется
- расчет стоимости LLM API
- ограничение длины ответа
- выбор модели по контекстному окну
- сжатие истории диалога
- RAG и подбор chunks
- оптимизация системного промпта
- контроль бюджета AI-агента
- обработка длинных документов
- проверка, почему запрос не помещается в модель
Связанные термины
Частые вопросы
Токен - это одно слово?
Не всегда. Токен может быть словом, частью слова, знаком, числом, пробелом или куском кода. Разбиение зависит от tokenizer конкретной модели.
Чем input tokens отличаются от output tokens?
Input tokens - это то, что вы отправляете модели: промпт, история, документы, инструкции. Output tokens - это ответ, который модель сгенерировала. В API они часто считаются и оплачиваются отдельно.
Почему токены влияют на стоимость?
Провайдеры LLM обычно считают стоимость по количеству обработанных и сгенерированных токенов. Длинный контекст, большие документы и подробные ответы увеличивают расход.
Что делать, если запрос не помещается в лимит контекста?
Сократить промпт, убрать лишнюю историю, сделать summary, выбрать только релевантные chunks через RAG, очистить HTML/таблицы или использовать модель с большим контекстным окном.
Токены LLM и API-токен - это одно и то же?
Нет. Токены LLM - это фрагменты текста. API-токен или access token - это секретный ключ доступа к сервису. Их нельзя смешивать: API-токены нельзя отправлять в prompt или логи.
