Для AI-агентов tracing особенно важен, потому что агент редко делает один простой вызов модели. Он может думать шагами, обращаться к базе знаний, вызывать API, проверять guardrails, делать retry и передавать задачу человеку. Без trace трудно понять, почему агент выбрал неверный инструмент или дал странный ответ.
Хороший trace похож на журнал выполнения, который можно открыть после проблемного диалога. В нем видно вход пользователя, системные и developer-инструкции, промежуточные решения, retrieved chunks, tool call arguments, ответы инструментов, итоговый ответ, latency, tokens, стоимость и статус каждого шага.
Tracing не заменяет evals и мониторинг, но связывает их между собой. Evals показывают, что качество упало, мониторинг показывает рост ошибок или стоимости, а trace помогает найти конкретную причину: плохой chunk, лишний tool call, сломанный prompt, неверный handoff или слишком дорогую модель.
Примеры
- Агент поддержки дал неверный ответ. В trace видно, что RAG нашел устаревшую инструкцию, а source citation указывала на старую версию документа.
- AI-агент вызвал CRM API два раза. Tracing показывает, на каком шаге произошел retry и почему выросла стоимость запроса.
- В многоагентной системе trace показывает, какой агент принял решение, кому он передал задачу и где потерялся контекст.
- После обновления системного промпта latency выросла. Trace показывает, что агент стал делать лишний tool call перед каждым ответом.
- Guardrails заблокировали ответ. В trace видно, какое правило сработало и какой текст был отправлен на ручную проверку.
Где используется
- Отлаживать странные или неверные ответы AI-агента.
- Проверять, какие документы и chunks попали в RAG-контекст.
- Контролировать tool calls, аргументы API и ошибки интеграций.
- Искать причины роста latency, token usage и стоимости.
- Разбирать срабатывания guardrails и handoff к человеку.
- Сравнивать поведение агента до и после изменения промпта, модели или tools.
- Собирать данные для evals, регрессионных тестов и отчета по инцидентам.
Связанные термины
Частые вопросы
Что такое tracing простыми словами?
Это подробный журнал выполнения AI-запроса. Он показывает, какие шаги сделал агент до финального ответа: какие промпты отправил, что нашел, какие инструменты вызвал и где возникли ошибки.
Чем tracing отличается от обычных логов?
Обычные логи часто фиксируют событие или ошибку. Tracing связывает все шаги одного запроса в цепочку: модель, RAG, tools, guardrails, задержки, токены и результат.
Зачем tracing нужен AI-агенту?
Без tracing сложно понять, почему агент ошибся. Trace помогает увидеть конкретную причину: плохой контекст, неверный tool call, сбой API, лишний retry или неудачный системный промпт.
Что нельзя хранить в trace?
Не стоит без защиты хранить пароли, API-ключи, персональные данные, банковские данные и внутренние секреты. Для tracing нужны redaction, ограничения доступа и политика хранения.
Какие инструменты используют для LLM tracing?
Часто используют LangSmith, Langfuse, Arize Phoenix, Weights & Biases, OpenAI Agents SDK tracing и собственные observability-решения вокруг приложения.
