Машинное обучение, это направление в области искусственного интеллекта, которое занимается созданием алгоритмов, способных обучаться самостоятельно или при помощи человека. Как мы видим из современных тенденций, эти технологии проникают в самые разные сферы: от обработки огромных потоков данных в банковских приложениях до оценки качества сжатых изображений и видео исследователями ВМК МГУ. Использование моделей машинного обучения позволяет добиваться более высокой точности, но возникает закономерный вопрос: в чем же выражается и как измеряется точность предсказания модели?
Что такое точность предсказания?
В машинном обучении точность (accuracy) — это одна из базовых метрик, которая показывает долю правильных предсказаний алгоритма от общего числа сделанных предсказаний. Однако в узком профессиональном смысле под «точностью» (precision) часто понимают совершенно иную метрику — долю объектов, названных моделью положительными, которые действительно являются таковыми. Поэтому измерение точности предсказания сильно зависит от типа задачи, которую решает алгоритм.
Измерение в задачах классификации
Когда модель должна выбрать категорию из нескольких вариантов (например, определить, уйдет ли клиент к конкуренту или останется), используются следующие метрики, в которых выражается точность:
- Accuracy (Доля верных ответов) — выражается в процентах или долях единицы (от 0 до 1). Рассчитывается как отношение числа верных предсказаний к общему числу попыток.
- Precision (Точность) — показывает, сколько из выбранных моделью элементов действительно релевантны. Измеряется в долях от 0 до 1.
- Recall (Полнота) — демонстрирует, сколько релевантных элементов было найдено моделью из всех возможных.
- F1-мера, гармоническое среднее между точностью и полнотой. Выражается числом от 0 до 1, где 1 — идеальная точность предсказания.
Матрица ошибок (Confusion Matrix)
Для более глубокого понимания точности предсказания строится матрица ошибок. Она показывает не только правильные ответы, но и типы ошибок:
- True Positives (TP) — истинно-положительные;
- True Negatives (TN) — истинно-отрицательные;
- False Positives (FP) — ложно-положительные (ошибка первого рода);
- False Negatives (FN) — ложно-отрицательные (ошибка второго рода).
Именно на основе этих четырех значений и вычисляются Accuracy, Precision и Recall.
Измерение в задачах регрессии
Если модель предсказывает непрерывное число (например, выручку отеля в следующем квартале, что актуально для продуктов вроде Data.Forecast, созданного учеными России для отелей Северо-Запада), подход к измерению точности меняется. Здесь точность выражается в величине ошибки:
- MAE (Mean Absolute Error) — средняя абсолютная ошибка. Измеряется в тех же единицах, что и целевая переменная (например, в рублях или градусах).
- MSE (Mean Squared Error) — среднеквадратичная ошибка. Измеряется в квадратах единиц целевой переменной, что сильно «штрафует» модель за крупные ошибки.
- RMSE (Root Mean Squared Error) — корень из среднеквадратичной ошибки. Возвращается к исходным единицам измерения, что делает интерпретацию более понятной.
- R² (Коэффициент детерминации) — выражается числом от 0 до 1 (иногда может быть отрицательным). Показывает, какую долю дисперсии целевой переменной модель смогла объяснить.
Метрики для специфических задач
Современные исследования требуют новых подходов к оценке качества. Например:
Оценка качества перевода и текстов
Исследователи Яндекса разработали новый метод оценки качества машинного перевода (о чем компания сообщила в декабре 2025 года). В таких задачах точность часто выражается через метрики BLEU или ROUGE, которые измеряют долю совпадения слов и фраз с эталонным переводом.
Астрономия и поиски планет
Исследователи из Университета Берна и NCCR PlanetS создали модель машинного обучения для поиска экзопланет. В задачах классификации редких событий (где положительных примеров крайне мало) стандартная Accuracy не работает. Там точность выражается через AUC-ROC (площадь под кривой ошибок) — метрику от 0 до 1, оценивающую способность модели разделять классы при разных порогах уверенности.
Почему точности недостаточно?
В бизнес-среде, где применение машинного обучения меняет подходы компаний к работе, высокая формальная точность модели не всегда равна бизнес-эффективности. Например, в банковской сфере при оценке риска мошенничества модель с точностью 99% может оказаться бесполезной, если она пропускает даже 1% мошенников (ошибка второго рода), потому что этот 1% принесет колоссальные убытки.
Резюме
Точность предсказания модели выражается и измеряется по-разному в зависимости от контекста:
- В классификации — в долях верных ответов (Accuracy), точности (Precision) и полноте (Recall), выраженных от 0 до 1 или в процентах.
- В регрессии — в величине отклонения (MAE, RMSE) в единицах измеряемого показателя или в доле объясненной дисперсии (R²).
- В специфических задачах — в лингвистических метриках (BLEU) или вероятностных кривых (AUC-ROC).
Самое главное при работе с моделями машинного обучения — выбирать ту метрику точности, которая напрямую отражает цели проекта, будь то предсказание доходов отелей или поиск новых миров в далеком космосе.