Кратко — с отличиями, плюс пример задачи и почему PBT лучше.
Что такое example-based (примерные) юнит-тесты
- Описывают множество конкретных входов и ожидаемых выходов: "для входа A ожидается B".
- Хороши как документация, для регрессий и простых случаев.
- Ограничение: покрывают только перечисленные примеры; легко пропустить пограничные случаи.
Что такое property-based тестирование (PBT)
- Вместо отдельных примеров задают инварианты/свойства, которые должны выполняться для всех входов из некоторого пространства, и случайно (или системно) генерируют множество входов.
- Типичный вид: "для всех $x$ верно свойство $P(x)$". При провале фреймворк обычно минимизирует (shrinks) вход до простого контрпримера.
- Преимущества: лучше находит крайние случаи, ловит неожиданные сочетания входов, сокращает набор ручных примеров.
Ключевые различия
- Область покрытия: примеры — дискретный набор; PBT — класс входов (статистическое/символьное покрытие).
- Подход к ошибкам: примеры проверяют ожидаемое поведение для конкретных данных; PBT проверяет общие свойства (алгебраические законы, инварианты).
- Диагностика: PBT обычно предоставляет минимальный контрпример (shrinking), что облегчает отладку.
- Сложность настройки: PBT требует продумать генераторы и корректные свойства; примерные тесты проще писать и читать.
Пример задачи, где PBT явно выигрывает
Задача: тестировать функцию сортировки массива.
Подход PBT: задать свойства
- Отсортированность: для любого списка $l$, пусть $s=sort(l)$. Тогда
$$\forall i\in \{0,\dots ,|s|-2\}:s_i\le s_{i+1}.$$ - Сохранение мультимножества (перестановка): мультимножество элементов не меняется:
$$multiset(s)=multiset(l).$$
Почему это лучше, чем примеры
- Примерные тесты легко покрывают только несколько случаев (пустой список, уже отсортированный, один элемент). Они могут не поймать ошибки с дубликатами, отрицательными числами, большим количеством элементов или специфическими паттернами (например, уже частично отсортированные, повторяющиеся блоки).
- PBT автоматически генерирует много разных списков, включая длинные и с повторениями, и быстро найдёт контрпример, если алгоритм нарушает перестановку или неправильно обрабатывает равные элементы.
- При провале PBT обычно вернёт минимальный проблемный вход (например, короткий список с дубликатами), что ускоряет локализацию бага.
Когда всё-таки примерные тесты достаточно или предпочтительны
- Для простых ожидаемых результатов, документации API, и когда поведение должно быть строго конкретным для заданного входа (например, специфический формат вывода).
- Когда генераторы сложны или свойства трудно формализовать.
Итого: example-based тесты — для конкретных сценариев и документации; property-based — для проверки общих инвариантов и поиска неожиданных краёв пространства входов. Для задач вроде сортировки, сериализации/десериализации (round-trip), математических алгоритмов и компиляторов PBT даёт явное преимущество.