Предсказания отметки

Краткое содержание: в статье рассматриваются теоретические основы и практические аспекты построения предиктивных моделей, позволяющих прогнозировать академические оценки студентов. Описываются источники данных, методы машинного обучения (регрессия, классификация, факторизационные модели, нейронные сети), критерии оценки качества моделей, а также их интеграция в систему индивидуального образовательного траектория.

Почему предсказание отметки стало актуальной задачей?

• Персонализация обучения. Прогнозируя будущие оценки, преподаватели могут своевременно корректировать траектории студентов, предлагая дополнительные ресурсы.
• Оптимизация образовательных платформ. Онлайн‑курсы (Coursera, Stepik, Skillbox) используют предсказания для рекомендаций контента.
• Аналитика успеваемости. Университеты (ИТМО, НИУ ВШЭ) используют модели для планирования ресурсов и управления академическим процессом.

Источники данных для построения модели

Для качественного предсказания отметки необходима совокупность структурированных и неструктурированных данных:

1. Академические: оценки за текущие задания, посещаемость, результаты тестов, количество попыток.
2. Демографические и профили: пол, возраст, образование, трудовой стаж, 16 параметров пользовательского профиля (как упомянуто в исследованиях КиберЛенин).
3. Поведенческие: время, проведённое в LMS, количество просмотренных видеоматериалов, активность в форумах.
4. Текстовые: эссе, комментарии к заданиям, ответы на открытые вопросы (можно преобразовать в векторы с помощью NLP‑моделей).

Предобработка и инженерия признаков

Ключевые шаги:

• Заполнение пропусков (mean, median, модели k‑NN).
• Нормализация и стандартизация числовых признаков.
• Кодирование категориальных переменных (One‑Hot, Target Encoding).
• Создание новых признаков:
  • «Средний балл за последние N заданий»;
  • «Темп выполнения заданий» (задание/день);
  • «Индикатор активности в социальных компонентах курса».

Выбор модели

4.1 Классические модели

4.2 Факторизационные модели

Как показано в статье «Факторизационные модели эффективно работают с сильно разряженными матрицами», матрицу оценок V можно разложить на произведение двух матриц:

V ≈ W × H, где W – латентные характеристики студентов (включая демографию), а H – латентные свойства предметов. Такой подход особенно полезен в системах с большим числом студентов и небольшим покрытием оценок (разреженные матрицы).

4.3 Нейронные сети

• MLP (многослойный перцептрон) – хорош для небольших наборов признаков.
• RNN/LSTM – учитывают последовательность оценок (временной аспект).
• Гибридные модели (нейронные сети + факторизация) позволяют объединить преимущества обоих подходов.

Оценка качества предиктивных моделей

Для регрессионных задач используют:

• MAE (Mean Absolute Error) – средняя абсолютная ошибка;
• RMSE (Root Mean Squared Error) – корень из средней квадратичной ошибки;
• R² – коэффициент детерминации.

Для классификации (например, «отлично / хорошо / удовлетворительно») применяют:

• Accuracy, Precision, Recall, F1‑score;
• ROC‑AUC (для бинарных задач).

Важно проводить кросс‑валидацию (stratified k‑fold) и проверять устойчивость модели к временным сдвигам (тест‑на‑будущее).

Практический пример: ИТМО и индивидуальные траектории обучения

В лаборатории машинного обучения ИТМО реализована система, которая:

1. Собирает данные о посещаемости, результатах тестов и активности в LMS.
2. Строит факторизационную модель V ≈ W×H для предсказания будущих оценок.
3. С помощью градиентного бустинга уточняет предсказания, учитывая демографические параметры (пол, возраст, трудовой стаж).
4. Выдаёт каждому студенту «рекомендованный набор задач», который повышает вероятность получения высокой отметки.

Эффективность системы оценивалась по метрике RMSE = 0.68, что позволило снизить количество «неудовлетворительных» итогов на 12 % за один семестр.

Интеграция с моделью Киркпатрика

Для полной оценки эффективности обучения рекомендуется сочетать предсказание отметки с моделью Киркпатрика (4 уровня):

• Уровень 1 – реакция. Опросы удовлетворённости (оценка 1‑5).
• Уровень 2 – обучение. Сравнение предсказанной и фактической отметки.
• Уровень 3 – поведение. Анализ изменения активности в LMS после получения оценки.
• Уровень 4 – результаты. Влияние оценок на дальнейшую академическую и профессиональную успеваемость.

Такой комплексный подход позволяет не только предсказывать баллы, но и измерять реальное влияние обучения на студентов.

Этические и правовые аспекты

• Конфиденциальность. Необходимо соблюдать закон ФЗ‑152 «О персональных данных», а также внутренние политики ВУЗов.
• Справедливость. Модели должны быть проверены на наличие предвзятости (пол, социально‑экономический статус).
• Прозрачность. Студентам следует предоставить объяснение, почему предсказана та или иная оценка (интерпретируемые модели – SHAP, LIME).

Шаги внедрения предиктивной системы в учебное заведение

1. Определить цель. Например, снижение количества отчислений.
2. Собрать и подготовить данные. Включить как академические, так и демографические признаки.
3. Выбрать базовую модель. Начать с Gradient Boosting, затем протестировать факторизационные и нейронные сети.
4. Оценить и откалибровать. Использовать кросс‑валидацию и метрики из раздела 5.
5. Интегрировать в LMS. Реализовать API‑вызовы, выдающие предсказания в реальном времени.
6. Контролировать и улучшать. Собирать обратную связь и периодически переобучать модели.

Предсказание отметки – это мощный инструмент, который, будучи правильно построенным и этично использованным, позволяет создать индивидуальные образовательные траектории, повысить успеваемость и снизить риск отчислений. Современные методы машинного обучения (градиентный бустинг, факторизационные модели, нейронные сети) в сочетании с аналитикой уровня Киркпатрика открывают новые возможности для персонализированного и эффективного обучения.

Ключевые слова: предсказание отметки, образовательный траектор, факторизационные модели, машинное обучение в образовании, модель Киркпатрика, образовательный анализ данных.