Коротко — перечислю возможные причины (от явных к тонким), как диагностировать и типично исправлять.
1) Явные ошибки в цикле обучения
- Нет обнуления градиентов: нужно вызывать optimizer.zero_grad() перед backward. Иначе градиенты накапливаются. Правильно:
for epoch in range($100$):
optimizer.zero_grad()
out = model(x)
loss = loss_fn(out, y)
loss.backward()
optimizer.step()
- Использование .detach(), .item() или torch.no_grad() вокруг прямого прохода — тогда градиенты не считаются. Диагностика: проверьте, что forward не возвращает тензор с requires_grad==False.
- Optimizer не связан с параметрами (пустой список): optimizer = optim.SGD(model.parameters(), lr=$0.1$) — но если параметры не зарегистрированы как nn.Parameter или вы перезаписали model, optimizer.param_groups может быть пустым. Диагностика: print(len(list(model.parameters())), optimizer.param_groups).
2) Несоответствие модели и функции потерь / типы и формы
- Неправильная комбинация выхода и loss:
- Для многоклассовой классификации используйте CrossEntropyLoss и передавайте логиты (не softmax), целевые метки типа torch.long с класс-индексами: loss_fn = nn.CrossEntropyLoss().
- Для бинарной классификации используйте BCEWithLogitsLoss с логитами или Sigmoid + BCELoss с float-мишенями.
- Неправильные формы/типы целей (one-hot vs indices, float vs long). Диагностика: print(model(x).shape, y.shape, y.dtype).
3) Градиенты нулевые / бесконечные / очень маленькие (vanishing / exploding)
- Градиенты равны нулю: проверьте p.grad для параметров:
for p in model.parameters(): print(p.requires_grad, p.grad is None, p.grad.abs().mean().item() if p.grad is not None else None)
- Градиенты nan/inf: аналогично — смотрите .grad.isnan().any().
- Причины: слишком большой lr → градиенты «взрываются», слишком маленький → практически не обновляются; плохая инициализация; глубокая сеть с сигмоидой/тангентой (vanishing).
- Исправления: уменьшить $lr$ (например, пробовать $1e-2,1e-3,1e-4$), использовать нормальную инициализацию (kaiming/xavier), заменить сигмоиды на ReLU, использовать градиентный клиппинг.
4) Данные и предобработка
- Нормализация входов: для нейросетей часто нужно центрирование/масштабирование. Диагностика: посмотреть mean/std входов.
- Неверные или 100% одинаковые метки, утечка целей в входы, или слишком малый/слишком большой batch size. Попробуйте обучиться на небольшом подмножестве данных (например, 10 примеров) — если не переобучается, проблема в модели/оптимизации.
- Неперемешанные данные или порядок, который мешает обучению.
5) Параметры модели «заморожены» или не зарегистрированы
- Параметры имеют requires_grad=False или вы используете обычные тензоры вместо nn.Parameter → параметры не обновляются.
- Вы хранили веса в Python-списке, а не в nn.Module/nn.Parameter → optimizer их не видит.
- Диагностика: for p in model.parameters(): print(p.shape, p.requires_grad).
6) Устройство и режим (device / train vs eval)
- Вы забыли перевести данные и модель на один device (cpu vs cuda) — обычно вызывает ошибку, но проверьте.
- Вы находитесь в model.eval() (или используете torch.no_grad()) — тогда не обучается.
- BatchNorm/Dropout в eval режиме могут влиять: убедитесь в model.train().
7) Неправильная реализация forward / возвращается константа
- Forward может по ошибке возвращать константу или вход, не зависящий от параметров (например, возвращаете x.detach() или тензор, вычисленный из внешней переменной). Диагностика: сравнить параметры до и после optimizer.step(): проверить изменение весов:
for name, p in model.named_parameters(): print(name, p.data.sum()) до и после шага.
8) Числовые проблемы (NaN / inf)
- Если loss становится NaN/inf — проверьте входы в лог/эксп/деление, используйте torch.nan_to_num или уменьшьте $lr$, используйте стабильные loss (BCEWithLogitsLoss вместо Sigmoid+BCELoss).
9) Мелкие, но частые ошибки
- Использование wrong reduction в loss (например, sum вместо mean) меняет масштаб градиента.
- Создание новых параметров внутри forward (они не сохраняются между вызовами) — нужно регистрировать через nn.Parameter.
- Оптимизатор создан до изменения параметров модели (замена слоя) — надо пересоздать optimizer.
Диагностика — чеклист команд
- Проверить градиенты:
for p in model.parameters(): print(p.grad is None, p.grad.abs().mean().item() if p.grad is not None else None)
- Проверить изменение параметров:
before = [p.clone() for p in model.parameters()]
loss.backward(); optimizer.step()
after = [p for p in model.parameters()]
for b,a in zip(before, after): print((a-b).abs().sum().item())
- Проверить форму/тип:
print(model(x).shape, y.shape, y.dtype)
- Проверить lr:
print(optimizer.param_groups[0]['lr'])
- Попробовать «схлопнуть» задачу: обучить на очень малом наборе (например, $10$ примерах) — если не умеет переобучиться, проблема в оптимизации/модели.
Типичные быстрые исправления
- Добавить optimizer.zero_grad() перед backward.
- Убедиться в правильном loss (CrossEntropy vs BCEWithLogits).
- Привести y к правильному dtype/shape (например, y.long() для CrossEntropy).
- Уменьшить $lr$ (например, пробовать $1e-2,1e-3$).
- Проверить requires_grad, наличие параметров в optimizer, правильность forward.
- Инициализировать веса: nn.init.kaiming_normal_(...).
- Установить модель в train().
Если нужно — пришлите маленький воспроизводимый фрагмент (определение Net, loss_fn, пример x, y), и я укажу точную причину и исправление.