Если новая модель не лучше baseline, ее сложность не оправдана. Она может выглядеть умно, но давать такую же или худшую точность, стоить дороже, быть менее объяснимой и сложнее поддерживаться. Baseline forecast защищает команду от красивой, но бесполезной автоматизации.
В прогнозе спроса baseline часто строят по SKU, категории, магазину, региону или каналу продаж. Например, для товара берут продажи за последние 28 дней, считают среднее и получают базовый прогноз на следующую неделю. Для сезонных товаров baseline может учитывать тот же период прошлого года.
AI-агент может помочь собрать данные, построить несколько baseline-вариантов, посчитать ошибки MAE, MAPE или WAPE, найти товары с нестабильным спросом и объяснить, где сложная модель действительно нужна, а где простого правила достаточно.
Важно не сравнивать прогнозы "на глаз". Нужно отложить исторический период, построить прогноз так, как будто будущих данных еще нет, и сравнить predicted vs actual. Иначе можно случайно подглядеть в будущее и получить слишком красивый результат.
Примеры
- Naive forecast: завтра будет столько же продаж, сколько было вчера.
- Moving average: прогноз на следующую неделю равен средним продажам за последние 4 недели.
- Seasonal baseline: прогноз на понедельник равен средним продажам за последние 8 понедельников.
- Для маркетплейса baseline по SKU показывает, что сложная модель улучшает прогноз только для товаров с регулярными продажами.
- В call center baseline нагрузки равен среднему числу обращений за тот же час и день недели за последние 6 недель.
- AI-агент сравнил ML-прогноз с baseline и показал, что ошибка MAPE снизилась с 28% до 21%, но только в категории с высокой сезонностью.
Где используется
- прогноз спроса по товарам, SKU и категориям
- сравнение ML-модели с простым правилом
- планирование закупок, склада и производства
- прогноз продаж, выручки и лидов
- расчет нагрузки поддержки, call center или доставки
- проверка качества AI-агента для forecasting
- оценка MAE, MAPE, WAPE и bias прогноза
- поиск сегментов, где сложная модель не нужна
- объяснение прогноза руководителю простыми словами
- контроль drift и ухудшения модели во времени
Связанные термины
Частые вопросы
Почему нельзя сразу использовать сложную модель прогноза?
Можно, но без baseline вы не узнаете, стала ли она лучше простого правила. Иногда moving average или seasonal naive forecast работает почти так же хорошо, но дешевле и понятнее.
Какие простые baseline forecast бывают?
Частые варианты: последнее значение, среднее за период, moving average, тот же день прошлой недели, тот же период прошлого года, seasonal naive forecast и прогноз по плану продаж.
Какими метриками сравнивать прогноз с baseline?
Обычно используют MAE, MAPE, WAPE, RMSE и bias. Для бизнеса часто важнее WAPE и bias, потому что они показывают масштаб ошибки и систематическое завышение или занижение прогноза.
Что делать, если новая модель лучше baseline только на части товаров?
Это нормальная ситуация. Можно использовать сложную модель только для сегментов, где она дает прирост, а для редких или нестабильных товаров оставить простое правило или ручной контроль.
Может ли ИИ-агент сам строить baseline forecast?
Да. Агент может взять исторические данные, построить несколько простых правил, посчитать ошибки и подготовить отчет. Но формулы, период теста и бизнес-исключения лучше согласовать с аналитиком или владельцем процесса.
Какая частая ошибка при baseline forecast?
Подглядывать в будущие данные или сравнивать прогнозы на разных периодах. Baseline и новая модель должны тестироваться на одном и том же отложенном периоде с одинаковыми правилами.
