Проще говоря, latency отвечает на вопрос: “как быстро пользователь увидит результат?”. Для обычного чат-бота важна задержка до первого токена и полное время ответа. Для голосового агента задержка критична: если пауза слишком длинная, разговор ощущается неестественным. Для AI-агента latency может складываться из нескольких шагов: LLM-вызов, tool calling, RAG-поиск, запись в CRM и финальный ответ.
Latency не равна только скорости модели. На нее влияют размер промпта, контекстное окно, количество выходных токенов, выбранная модель, сеть, очередь запросов, ретраи, база знаний, векторный поиск, сторонние API и качество инфраструктуры.
Чтобы управлять задержкой, команды измеряют time to first token, total response time, p95/p99 latency, время каждого tool call и стоимость ответа. Затем оптимизируют: сокращают промпт, кешируют, стримят ответ, выбирают более быструю модель, уменьшают контекст, параллелят шаги и выносят долгие действия в фон.
Примеры
- Чат-бот начинает печатать через 0,8 секунды, но полный ответ готов через 7 секунд.
- AI-агент поддержки долго отвечает, потому что сначала ищет документы в RAG, затем обращается к CRM.
- Голосовой агент кажется “тормозным”, если после реплики клиента молчит 3–4 секунды.
- После сокращения системного промпта latency снизилась, потому что модель обрабатывает меньше токенов.
- Команда видит, что p95 latency выросла после подключения нового внешнего API.
Где используется
- Мониторинг скорости AI-чата и AI-агента
- Оптимизация RAG-пайплайна и поиска по базе знаний
- Измерение time to first token и полного времени ответа
- Сравнение моделей по скорости, качеству и стоимости
- Контроль задержки голосовых агентов и realtime-интерфейсов
- Поиск узких мест в tool calling, API и интеграциях
- SLA для AI-сервиса, поддержки и внутренних ассистентов
Связанные термины
Частые вопросы
Latency и response time — это одно и то же?
Часто их используют почти как синонимы. Но в AI полезно разделять задержку до первого токена, время генерации и полное время ответа со всеми инструментами и интеграциями.
Почему AI-ответ может быть медленным?
Причины: большая модель, длинный контекст, много выходных токенов, медленный RAG, внешние API, ретраи, очередь запросов, плохая сеть или последовательные tool calls.
Как снизить latency?
Сократить промпт, уменьшить контекст, выбрать более быструю модель, включить streaming, кешировать частые ответы, параллелить независимые шаги и вынести долгие операции в фон.
Какая latency считается нормальной?
Зависит от сценария. Для текстового чата важен быстрый первый токен. Для голосового агента задержка должна быть очень небольшой. Для сложного аналитического агента пользователь готов ждать дольше, если видит прогресс.