Определения (кратко)
- Переобучение (overfitting): модель хорошо объясняет $X_{train}$ и плохо обобщает на новых данных: ${\text{err}}_{train}\ll {\text{err}}_{val}$.
- Недообучение (underfitting): модель плохо на тренировке и на валидации: ${\text{err}}_{train}\approx {\text{err}}_{val}$ и оба велики.
Короткая теоретическая формула (ошибка = смещение + дисперсия + шум):
- $\mathbb{E}[(y-\hat{f}(x){)}^2]={\text{Bias}}^2+\text{Var}+\text{Noise}$.
Причины переобучения и как выявить
1. Слишком сложная модель (слишком большая мощность/глубина).
- Выявление: большая разница между ошибками train и val; большие колебания в результатах CV.
2. Маленький объем или нерепрезентативные данные.
- Выявление: низкий результат на валидации при хорошей тренировочной метрике; нестабильность при разных разбиениях.
3. Избыточные/шумные признаки (в т.ч. коррелированные).
- Выявление: важность признаков, корреляционные матрицы, модель чувствительна к удалению признаков.
4. Утечка данных (data leakage) / неправильное разбиение (например, информация о будущем в train).
- Выявление: подозрительно высокий train-score; попробуйте временную валидацию или удалите потенциально «подсмотренные» признаки.
5. Слишком маленький регуляризатор/без регуляризации.
- Выявление: модель со штрафом (регуляризацией) повышает качество на валидации.
Конкретные способы проверки (sklearn-инструменты и признаки)
- Сравнить метрики: вычислите ${\text{metric}}_{train}$ и ${\text{metric}}_{val}$ (например, MSE: $\text{MSE}=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$).
- Построить learning curve: использует sklearn.model_selection.learning_curve — если при увеличении объема train ошибка валид. снижается — помогает переобучению.
- Validation curve (sklearn.model_selection.validation_curve) по параметру мощности модели (например, max_depth, C, alpha).
- k-fold CV: высокая вариативность оценок по фолдам → нестабильность (варианс).
- Проверка утечки: пересечение индексов train/test, временные зависимости, одинаковые id, статистическое сравнение распределений.
Методы борьбы с переобучением (конкретно)
- Упростить модель:
- Для деревьев: уменьшить $\text{max\_depth}$, увеличить $\text{min\_samples\_leaf}$ или $\text{min\_samples\_split}$, ограничить $\text{max\_features}$.
- Для линейных/логистических: усилить регуляризацию (уменьшить $C$ в LogisticRegression или увеличить $\alpha$ в Ridge/Lasso).
- Регуляризация: Ridge, Lasso, ElasticNet; для NN — dropout, weight decay.
- Больше данных / аугментация данных (если возможно).
- Уменьшить количество признаков: отбор (SelectKBest, L1), PCA.
- Ансамблирование с бутстрэпом (bagging) снижает дисперсию (RandomForest вместо отдельного глубокого дерева).
- Ранняя остановка (early stopping) для градиентных методов/NN (sklearn-градиентные boosting-классы и MLP имеют соответствующие опции).
- Cross-validation / GridSearchCV / RandomizedSearchCV для настройки гиперпараметров.
- Устранить утечку и очистить целевую переменную (убрать признаки, прямо связаные с целью).
Причины недообучения и как выявить
1. Модель слишком простая (малой мощности).
- Выявление: и на train, и на val метрики плохи; validation-curve показывает улучшение при увеличении сложности.
2. Слишком сильная регуляризация.
- Выявление: уменьшение регуляризации улучшает обе метрики.
3. Недостаточный/плохо подобранный набор признаков (нет сигналов).
- Выявление: добавление полезных признаков/полиномиальных признаков улучшает качество.
4. Неадекватный preprocessing (нормализация/кодирование).
- Выявление: привести признаки к одному масштабу, проверить влияние стандартизации.
5. Слишком мало итераций/обучение не сходится (для NN/SGD).
- Выявление: learning curve показывает падение ошибки с эпохами; увеличение epochs/итераций помогает.
Методы борьбы с недообучением (конкретно)
- Увеличить сложность модели: увеличить степень полинома (PolynomialFeatures), depth для деревьев, количество нейронов/слоев.
- Уменьшить регуляризацию (увеличить $C$ в LogisticRegression или уменьшить $\alpha$ в Ridge/Lasso).
- Добавить/создать признаки: полиномиальные взаимодействия, таргет-энкодинг для категорий, признаки времени.
- Улучшить preprocessing: масштабирование (StandardScaler), кодирование категорий (OneHot / Ordinal / TargetEnc).
- Больше итераций/поменять optimizer/learning rate для NN/градиентных оптимизаторов.
- Использовать более мощные модели или ансамбли (GBM, RandomForest, XGBoost).
Практические шаги-проверки (рекомендуемая последовательность)
1. Считайте метрики: ${\text{metric}}_{train}$, ${\text{metric}}_{val}$ (и CV).
2. Постройте learning_curve и validation_curve по ключевым гиперпараметрам.
3. Проверьте данные на leakage и расхождение распределений train/val/test.
4. Если переобучение: пробуйте регуляризацию, упрощение, больше данных, отбор признаков, ансамбли.
5. Если недообучение: увеличьте сложность/признаки/итерации, уменьшите регуляризацию.
6. Автоматизируйте поиск гиперпараметров через GridSearchCV / RandomizedSearchCV с CV.
Короткие советы по sklearn-параметрам (примеры)
- LogisticRegression: регулировать $C$.
- Ridge/Lasso: регулировать $\alpha$.
- DecisionTree: регулировать $\text{max\_depth},\text{min\_samples\_leaf},\text{max\_features}$.
- RandomForest: увеличить число деревьев для стабильности; уменьшать глубину для борьбы с переобучением.
- GradientBoosting / XGBoost / LightGBM: использовать early_stopping, регулировать learning_rate и n_estimators.
- Для проверки: sklearn.model_selection.learning_curve, validation_curve, cross_val_score, GridSearchCV.
Если нужно — могу предложить конкретный диагностический план и список гиперпараметров/скриптов для вашей конкретной модели и набора данных (пришлите краткое описание модели и метрики).