Термин Observability, evals и отладка агентов Средний

Trace

Одна запись выполнения AI-запроса или агентного запуска со всеми вложенными шагами, событиями, временем и результатами.

Другие названия (8)
agent trace execution trace LLM trace run trace трейс трасса выполнения запись запуска след выполнения агента

Trace — это конкретная запись одного запуска AI-системы. Если пользователь отправил вопрос, агент сходил в RAG, вызвал CRM API, проверил guardrails и вернул ответ, весь этот путь можно сохранить как один trace.

Внутри trace обычно есть вложенные шаги: входное сообщение, системные инструкции, вызовы модели, retrieved chunks, tool calls, ответы инструментов, ошибки, retry, latency, token usage, стоимость и финальный ответ. Поэтому trace полезнее обычной строки лога: он показывает причинно-следственную цепочку.

Trace помогает отвечать на вопросы “почему агент так сделал?”. Почему выбрал этот документ? Почему вызвал этот tool? Почему ответил медленно? Почему выросла стоимость? Почему guardrail заблокировал ответ? Без trace такие проблемы приходится угадывать по разрозненным логам.

Важно различать trace и tracing. Trace — это одна сохраненная запись выполнения. Tracing — практика и инфраструктура, которая собирает такие записи, хранит их, связывает с пользователями, сессиями, версиями промптов и результатами evals.

Примеры

  • Trace одного обращения показывает: пользователь спросил про возврат, RAG нашел два документа, агент выбрал старый chunk и поэтому дал неверный срок.
  • В trace видно, что tool call в CRM упал с ошибкой 403, после чего агент сделал handoff оператору.
  • Trace показывает, что финальный ответ был заблокирован output guardrail из-за персональных данных.
  • После релиза новой модели trace помогает сравнить, почему тот же запрос стал стоить в два раза дороже.
  • В multi-agent сценарии trace фиксирует, какой агент передал задачу другому и на каком шаге потерялся контекст.

Где используется

  • Разбирать конкретный неправильный ответ AI-агента.
  • Проверять цепочку RAG: какие chunks были найдены и использованы.
  • Отлаживать tool calls, ошибки API, retry и handoff.
  • Считать latency, токены и стоимость одного запуска.
  • Понимать, какие guardrails сработали и почему.
  • Сравнивать поведение разных версий промпта, модели или workflow.
  • Сохранять примеры для evals, regression tests и расследования инцидентов.

Частые вопросы

Что такое trace простыми словами?

Это сохраненная история одного AI-запроса: что пришло на вход, какие шаги сделал агент, какие инструменты вызвал, где были ошибки и какой ответ получился.

Чем trace отличается от tracing?

Trace — это одна конкретная запись выполнения. Tracing — это процесс и система, которая собирает, хранит и показывает такие записи для многих запросов.

Что должно быть внутри хорошего trace?

Минимум: вход пользователя, версия промпта, вызовы модели, найденные документы, tool calls, ответы инструментов, ошибки, latency, токены, стоимость и финальный ответ.

Можно ли хранить в trace пользовательские данные?

Можно только с ограничениями. Нужны masking/redaction, права доступа, срок хранения и запрет на запись секретов, API-ключей, паролей и лишних персональных данных.

Когда trace особенно нужен?

Когда агент работает с RAG, tools, деньгами, CRM, юридическими документами, персональными данными или несколькими шагами. Чем больше автономности, тем важнее trace.

Где читать дальше

Статьи по теме

Инструменты

Связанные инструменты

AWS usage-based pricing Amazon Bedrock Agents

AWS-сервис для enterprise AI-агентов: foundation models, action groups, Knowledge Bases, IAM, Guardrails и интеграция с облачной инфраструктурой.

Open-source и платная платформа Arize Phoenix

Open-source инструмент для LLM observability: traces, spans, RAG diagnostics, evals, embeddings и анализ качества AI-приложений.

Библиотека бесплатна; модели и облачные сервисы оплачиваются отдельно LangChain

LangChain помогает из кода связать языковую модель, инструменты и данные; готовые интеграции сокращают работу над агентом.

Бесплатный облачный лимит; платные планы; собственное размещение Langfuse

Langfuse показывает шаги LLM-приложения, помогает разбирать ошибки, сравнивать промпты и оценивать ответы на тестовых данных.

Библиотека бесплатна; модели и облачные сервисы оплачиваются отдельно LangGraph

LangGraph позволяет задать шаги агента, ветвления, состояние и паузы для подтверждения человеком в виде графа выполнения.

Бесплатный базовый лимит; платное использование и командные планы LangSmith

LangSmith помогает увидеть выполнение LLM-приложения, сравнить ответы на тестовом наборе и найти причины ошибок агента.