Ошибка: вы масштабируете данные до разбиения — т.е. вызываете `scaler.fit_transform(X)` на всем наборе. Это приводит к утечке данных (data leakage): параметры стандартизатора (среднее $\mu$ и стандартное отклонение $\sigma$) вычислены с учётом тестовой части.
Почему это плохо и как влияет на оценку:
- StandardScaler стандартизует по формуле $z=\frac{x-\mu }{\sigma }$. Если $\mu$ и $\sigma$ посчитаны на всём наборе, информация о тесте попадает в тренировку.
- Оценка модели на тесте будет оптимистичной (смещение в сторону занижения реальной ошибки), т.к. модель "видела" статистику теста при подготовке признаков.
- Это особенно критично при небольшой выборке или при наличии выбросов/различий в распределениях между train/test.
Правильная последовательность (с обоснованием):
1. Разбить данные на тренировочную и тестовую части:
- пример: `train_test_split(X, y, test_size=$0.2$, random_state=$42$)`.
- обоснование: тестовые данные должны быть полностью невидимы на этапе подготовки и обучения.
2. Подогнать стандартизатор только на тренировочных данных:
- `scaler.fit(X_train)` — вычисляем $\mu$ и $\sigma$ на тренировке.
3. Применить трансформацию к обеим частям, используя те же параметры:
- `X_train_scaled = scaler.transform(X_train)`
- `X_test_scaled = scaler.transform(X_test)`
- обоснование: тест переводится в ту же шкалу, но без доступа к его статистике при обучении.
Рекомендуемая реализация (коротко):
- Явно:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=$0.2$, random_state=$42$)
scaler = StandardScaler().fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)
- Или безопаснее — использовать Pipeline (обеспечивает отсутствие утечки при CV):
from sklearn.pipeline import Pipeline
pipeline = Pipeline([('scaler', StandardScaler()), ('clf', Classifier())])
pipeline.fit(X_train, y_train)
pipeline.score(X_test, y_test)
Кратко: сначала split, затем fit на train и transform на train и test (или использовать Pipeline для кросс-валидации).