В LLM-проектах baseline часто состоит из версии промпта, модели, dataset, набора evals, стоимости, latency, доли успешных ответов, количества ошибок tool calling и ручной оценки качества. После изменения систему прогоняют по тем же сценариям и сравнивают результат.
Без baseline легко попасть в ловушку красивого демо. Новая модель может лучше отвечать на один пример, но хуже проходить edge cases, стоить дороже, чаще галлюцинировать или медленнее вызывать tools. Baseline помогает увидеть trade-off, а не впечатление.
Baseline может быть техническим и бизнесовым. Технический baseline: accuracy, pass rate evals, latency, cost, error rate. Бизнесовый baseline: время обработки заявки, конверсия, CSAT, число ручных операций, количество ошибок операторов.
Хорошая практика - фиксировать baseline перед каждым крупным изменением и хранить его вместе с датой, версией модели, prompt version, dataset version, настройками RAG и ссылками на traces. Тогда можно объяснить, почему система стала лучше или почему откат нужен прямо сейчас.
Примеры
- Перед заменой модели команда фиксирует baseline: 82% pass rate на eval dataset, средняя latency 1,8 секунды и стоимость 0,04 доллара за диалог.
- Старый ручной процесс обработки заявок занимал 12 минут. Это бизнесовый baseline для сравнения с AI-агентом.
- Prompt v3 является baseline, а prompt v4 проверяют на тех же 200 тест-кейсах перед релизом.
- RAG-agent до обновления индекса находил правильный источник в 76% случаев. После изменения chunking сравнивают retrieval quality с этим baseline.
- В рекламе baseline - средний CPA за прошлые 30 дней, с которым сравнивают новую кампанию или AI-рекомендации.
- Если новая версия агента улучшила качество, но удвоила стоимость, baseline помогает увидеть, что решение не обязательно выгодное.
Где используется
- сравнение версий LLM-модели, prompt и agent workflow
- запуск evals перед релизом AI-агента
- оценка качества RAG после изменения индекса или chunking
- контроль стоимости, latency и error rate
- A/B-тестирование prompts и инструментов
- решение о rollback после регрессии
- сравнение AI-автоматизации с ручным процессом
- мониторинг качества production-системы
- подготовка отчетов по LLMOps и product metrics
- проверка, что улучшение не ухудшило безопасность
Связанные термины
Частые вопросы
Baseline - это всегда старая версия модели?
Нет. Baseline может быть старой моделью, старым prompt, ручным процессом, текущей метрикой бизнеса, контрольным dataset или предыдущей версией агента.
Зачем baseline нужен для evals?
Evals показывают качество новой версии только в сравнении. Если нет baseline, непонятно, улучшение это или деградация. С baseline можно увидеть, какие тесты стали лучше, какие хуже и стоит ли выпускать релиз.
Какие метрики включать в baseline AI-агента?
Обычно фиксируют pass rate, accuracy, hallucination rate, tool success rate, retrieval quality, latency, cost, escalation rate, user feedback и количество safety-нарушений.
Как часто обновлять baseline?
После стабильного улучшения baseline можно обновить, чтобы новая хорошая версия стала точкой сравнения. Но старые baseline тоже полезно хранить, особенно перед крупными изменениями модели или архитектуры.
Можно ли иметь несколько baseline?
Да. Например, baseline для качества ответов, baseline для стоимости, baseline для RAG, baseline для ручного процесса и baseline для конкретного сегмента пользователей.
Что делать, если новая версия лучше по качеству, но хуже по стоимости?
Это нормальный trade-off. Baseline помогает увидеть разницу явно. Решение зависит от задачи: иногда качество важнее, иногда нужна маршрутизация моделей или ограничение дорогой версии только для сложных запросов.
