В model call обычно фиксируют provider, model name, prompt version, system/developer/user messages, параметры генерации, input tokens, output tokens, latency, cost, finish reason, ошибку, retry, trace_id и run_id. Эти данные нужны, чтобы понимать качество, стоимость и поведение AI-системы.
Model call отличается от prompt. Prompt - это текст или набор сообщений, которые отправляют модели. Model call - событие выполнения: конкретный prompt, конкретная модель, конкретные параметры, конкретный ответ и технические метрики.
Model call также отличается от tool call. Tool call - это вызов инструмента моделью или агентом: API, поиск, база данных, CRM, калькулятор. Model call - вызов самой LLM. В trace они часто идут рядом: сначала model call решает вызвать tool, затем tool call возвращает результат, затем новый model call формирует ответ.
Без логирования model calls сложно управлять production AI. Нельзя понять, почему вырос счет, где ломается JSON, какая модель стала медленнее, какой prompt дает плохие ответы и на каком шаге агент ушел не туда.
Примеры
- Пользователь задает вопрос в чате, приложение отправляет messages в Claude и получает ответ. Это один model call.
- AI-агент сначала делает model call для классификации документа, затем второй model call для извлечения рисков, а после approval - третий для финального summary.
- n8n workflow отправляет текст входящего договора в Claude Fable 5 и получает JSON с summary, risks и recommended_task.
- Система логирует model call с model = claude-fable-5, input_tokens = 12000, output_tokens = 900, latency = 8.4s, cost = 0.12.
- Если модель вернула сломанный JSON, в model call фиксируют error_type или validation_failed, чтобы потом найти проблемный prompt version.
Где используется
- мониторинг AI-агентов
- подсчет стоимости LLM-запросов
- анализ latency
- debug сломанных ответов
- контроль token usage
- поиск ошибок structured output
- сравнение моделей и prompt versions
- трассировка agent workflow
- fallback и retry логика
- audit log для production AI
Связанные термины
Частые вопросы
Что входит в model call?
Обычно provider, model name, prompt version, messages, параметры, input/output tokens, latency, cost, finish reason, error, retry count, trace_id, run_id и сам ответ или ссылка на него.
Чем model call отличается от prompt?
Prompt - это содержимое запроса. Model call - факт выполнения этого запроса конкретной моделью с конкретными параметрами, ответом и техническими метриками.
Чем model call отличается от tool call?
Model call обращается к языковой модели. Tool call обращается к внешнему инструменту: API, базе данных, поиску, CRM или другому сервису. В агентном trace они часто чередуются.
Нужно ли хранить полный текст prompt и ответа?
Зависит от данных и политики безопасности. Для отладки полезно хранить текст или redacted-версию, но чувствительные данные, PII и коммерческую тайну лучше маскировать или хранить по строгим правилам.
Какие метрики model call важны?
Latency, input tokens, output tokens, total cost, error rate, JSON validation errors, finish reason, retry count, fallback_used, model name, prompt version и связь с trace/run.
