Для чего нужно разбивать данные на обучающую и тестовую выборку?
Для чего нужно разбивать данные на обучающую и тестовую выборку?
1)Для постепенного обучения алгоритма: наилучшее качество обычно достигается при обучении алгоритма на среднем объеме данных, можно начать с небольшой обучающей выборки, и если ошибка алгоритма будет большой, то добавить объекты из тестовой выборки
2)Для сокращения времени обучения алгоритма: чем меньше обучающих данных, тем быстрее происходит обучение алгоритма
3)Для контроля качества: если алгоритм часто ошибается на тестовой выборке м практически не ошибается на обучающей выборке, это означает, что он просто *запомнил” ответы на обучающей выборке, не найдя зависимостей в данных, такой алгоритм нужно доработать

Предыдущий
вопрос Следующий
вопрос

Разбиение данных на обучающую и тестовую выборку является важной частью процесса разработки моделей машинного обучения. Давайте рассмотрим основные причины, по которым это делается:

Контроль качества: Это, пожалуй, самая важная причина. Разделение данных позволяет оценить, как хорошо модель будет работать на новых, невидимых данных. Если модель выдаёт хорошие результаты на обучающей выборке, но плохо справляется с тестовой, это может означать, что она переобучена (сильно "запомнила" обучающие данные, не усвоив общие закономерности). В такой ситуации модель требует доработки, например, путем применения методов регуляризации или увеличения объема обучающей выборки.

Объективная оценка производительности: Тестовая выборка служит для оценки качества модели на независимых данных. Это позволяет избежать чрезмерного оптимизма, который может возникнуть при оценке только на обучающей выборке и помогает выбрать лучшую модель из нескольких, основываясь на её реальной производительности.

Дополнительные этапы валидации: Часто данные разбивают не только на две выборки (обучающую и тестовую), но и на три (обучающую, валидационную и тестовую). Валидационная выборка используется для подбора гиперпараметров модели, а тестовая выборка — для окончательной оценки её качества.

Касательно пунктов, приведенных вами:

Пункт 1: Хотя возможно начинать с меньшей обучающей выборки и добавлять данные, основная цель при разделении — контроль качества и предотвращение переобучения.

Пункт 2: Да, меньший объем данных может ускорить процесс обучения, но это не основная цель разбиения на выборки. Забота о качестве модели важнее обучения на меньших объемах данных.

Пункт 3: Полностью согласен. Контроль качества является ключевым аспектом, и ваша интерпретация полностью верна.

В целом, основной целью разбивки на обучающую и тестовую выборки является оценка способности модели обобщать на новых данных.