Критерии оценки точности предсказаний в разных практиках

В современном мире точность прогноза — это не просто цифра в отчёте, а ключевой фактор, на который завязаны деньги, здоровье, безопасность и даже человеческие жизни. В зависимости от предметной области одни и те же модели оцениваются разными метриками. Ниже — систематизированное руководство по тому, какие критерии применяют в самых востребованных практиках и почему «хорошо» для одной задачи может оказаться «катастрофой» для другой.

Содержание

1. Здравоохранение: когда ошибка стоит жизни
2. Ритейл и прогноз спроса: баланс точности и стоимости
3. Финансовые рынки: куда важнее MAE и MSE
4. Кибербезопасность: почему Recall важнее Precision
5. Временные ряды: MAPE, SMAPE и «трамплины» выбросов
6. ML-соревнования: F1-мера и ROC-AUC как универсальный язык

Здравоохранение: когда ошибка стоит жизни

В задачах медицинской диагностики речь идёт о двоичной классификации (болен / здоров). Здесь ложноотрицательный результат (False Negative) гораздо опаснее ложноположительного (False Positive): пациент с раком груди, которого модель «пропустила», не получит лечение.

Ключевые метрики

• Recall (полнота, TPR) — доля найденных больных среди всех реально больных.
  Recall = TP / (TP + FN)
  Целевое значение: ≥ 0,98 (как в примере с recall = 0,9811 из Habr).
• Precision (точность) — доля верных положительных предсказаний.
  Precision = TP / (TP + FP)
  Желательно ≥ 0,90, но приоритет ниже, чем у Recall.
• F1-мера — гармоническое среднее Precision и Recall, используется, когда важен баланс.

ROC-AUC применяется для сравнения моделей, но клиницисты чаще смотрят на confusion matrix и Recall, потому что именно эти цифры напрямую влияют на количество спасённых жизней.

Ритейл и прогноз спроса: баланс точности и стоимости

В прогнозировании продаж ошибка снизу (недооценка) приводит к out-of-stock и упущенной прибыли, ошибка сверху (переизбыток) — к маркдауну и списанию. Поэтому метрики должны учитывать асимметричную стоимость ошибок.

Что используют

• MAE (Mean Absolute Error) — среднее абсолютное отклонение в единицах продукции. Легко интерпретируется: «±5 единиц в день».
• MAPE (Mean Absolute Percentage Error) — ошибка в процентах.
  MAPE = 100 % × Σ|факт — прогноз| / Σфакт
  Если MAPE ≤ 5 %, считается, что точность прогноза 95 %.
• WAPE — взвешенный аналог MAPE, полезен при неравномерных продажах.

На практике аналитики агрегируют прогнозы с большим горизонтом (неделя → месяц), снижая волатильность и тем самым повышая точность.

Финансовые рынки: куда важнее MAE и MSE

Высокие цены на большие отклонения заставляют использовать чувствительные к выбросам метрики.

Топ-метрик

1. MSE (Mean Squared Error) — среднеквадратическая ошибка.
   Накладывает квадратичный штраф на большие ошибки, поэтому «жёстко» наказывает выбросы.
2. RMSE — корень из MSE, возвращает шкалу в исходные единицы.
3. MAE — менее чувствительна к выбросам, но и меньше штрафует за них.

Если цель — алгоритмическая торговля, то добавляют Directional Accuracy (как часто модель правильно предсказывает направление движения цены).

Кибербезопасность: почему Recall важнее Precision

Обнаружение вторжений сродни медицинскому скринингу: пропустить атаку (FN) критично, зато лишние тревоги (FP) можно отфильтровать аналитиками.

Balance-методика

• Выставляют низкий порог классификатора, добиваясь Recall ≥ 0,99.
• Precision падает, но это приемлемо.

Временные ряды: MAPE, SMAPE и «трамплины» выбросов

MAPE неустойчива к нулевым значениям, поэтому в логистике и энергетике применяют SMAPE (симметричный MAPE) или MASE (Mean Absolute Scaled Error).

ML-соревнования: F1-мера и ROC-AUC как универсальный язык

На Kaggle и Codenrock победителя определяет единая метрика. Чаще всего это:

• F1-мера (для несбалансированных классов).
• ROC-AUC (когда важны ранжирование и пороги).
• Logarithmic Loss (когда нужна калибровка вероятностей).

Участники подбирают оптимальный порог, минимизирующий ошибку на публичной выборке, затем валидация на приватной части показывает, не переучилась ли модель.

Чек-лист выбора метрики

1. Определить тип задачи (классификация / регрессия).
2. Оценить асимметрию последствий ошибок.
3. Выбрать одну опорную метрику и 1-2 вспомогательные.
4. Проверить устойчивость к выбросам.
5. Документировать выбор для стейкхолдеров.