Сравните property-based testing и example-based testing на примере функции, парсящей датy: какие свойства следует задать, как генерировать полезные тестовые случаи и как интерпретировать обнаруженные контрпримеры

7 Мая в 20:51
37 +2
0
Ответы
1
Коротко: example-based testing (EBT) проверяет конкретные примеры — хорош для документирования ожидаемого поведения и известных краёв; property-based testing (PBT) формулирует универсальные свойства и генерирует много случаев автоматически — хорош для находения неожиданных краёв и классов ошибок. Для функции, парсящей дату, используйте оба подхода: EBT для наглядных, критичных примеров, PBT для общих инвариантов и границ.
Какие свойства задать (формулы в KaTeX):
- Корректность компонент:
- месяц: m∈[1,12]\;m \in [1,12]m∈[1,12].
- день: d∈[1,daysInMonth(y,m)]\;d \in [1,\mathrm{daysInMonth}(y,m)]d∈[1,daysInMonth(y,m)].
- год: ограничение по спецификации, например y∈[1970,2038]\;y \in [1970,2038]y∈[1970,2038] или произвольный целый.
- Правило високосного года:
leap(y) = ((y mod 4=0∧y mod 100≠0)∨(y mod 400=0)). \mathrm{leap}(y)\;=\;((y \bmod 4 = 0 \land y \bmod 100 \ne 0)\lor (y \bmod 400 = 0)).
leap(y)=((ymod4=0∧ymod100=0)∨(ymod400=0)).
Тогда daysInMonth(y,2)=29\mathrm{daysInMonth}(y,2)=29daysInMonth(y,2)=29 если leap(y)\mathrm{leap}(y)leap(y), иначе 282828.
- Round-trip (если есть форматтер):
∀d: parse(format(d))=d. \forall d:\ \mathrm{parse}(\mathrm{format}(d)) = d.
∀d: parse(format(d))=d.
(Или, если формат нормализует: parse(format(d))=normalize(d)\mathrm{parse}(\mathrm{format}(d)) = \mathrm{normalize}(d)parse(format(d))=normalize(d).)
- Idempotence парсера при форматировании-парсинге:
∀s: isValid(s)⇒format(parse(s)) соответствует спецификации формата. \forall s:\ \mathrm{isValid}(s) \Rightarrow \mathrm{format}(\mathrm{parse}(s)) \text{ соответствует спецификации формата}.
∀s: isValid(s)⇒format(parse(s)) соответствует спецификации формата.

- Отказ на явно некорректных входах:
∀s: malformed(s)⇒parse(s)=error. \forall s:\ \mathrm{malformed}(s) \Rightarrow \mathrm{parse}(s)=\mathrm{error}.
∀s: malformed(s)⇒parse(s)=error.

- Сохранение порядка (опционально, если важно): для двух дат a,ba,ba,b,
a<b⇒parse(format(a))<parse(format(b)). a < b \Rightarrow \mathrm{parse}(\mathrm{format}(a)) < \mathrm{parse}(\mathrm{format}(b)).
a<b⇒parse(format(a))<parse(format(b)).

Как генерировать полезные тестовые случаи:
- Разделяйте генераторы на категории:
1. Валидные даты (правильные компоненты): генерируйте случайные тройки (y,m,d)(y,m,d)(y,m,d) с гарантией d≤daysInMonth(y,m)d \le \mathrm{daysInMonth}(y,m)d≤daysInMonth(y,m).
- диапазоны годов: тестируйте несколько режимов, напр. [1970,2038][1970,2038][1970,2038], [−10000,10000][-10000,10000][−10000,10000], и узкие современные [2000,2025][2000,2025][2000,2025]: y∈[1970,2038]\;y \in [1970,2038]y∈[1970,2038], y∈[−10000,10000]\;y \in [-10000,10000]y∈[−10000,10000].
2. Пограничные случаи: первые/последние дни месяцев, 29 февраля в високосный/невисокосный год, переходы веков (y=1900,2000y=1900,2000y=1900,2000).
Примеры: "2000−02−29","1900−02−29""2000-02-29", "1900-02-29""2000−02−29","1900−02−29".
3. Нвалидные по значениям: месяц m=0m=0m=0 или m=13m=13m=13, день d=0d=0d=0 или d>daysInMonth(y,m)d>\mathrm{daysInMonth}(y,m)d>daysInMonth(y,m).
4. Неправильный синтаксис: пустая строка, лишние/отсутствующие разделители, смешанные разделители, ведущие/хвостовые пробелы, Unicode-цифры, табы, BOM.
5. Амбигуити: строки вроде "01/02/03""01/02/03""01/02/03" — генерируйте варианты с разными формами, чтобы проверить однозначность.
6. Мутации валидных строк (fuzzing): случайно удаляйте/заменяйте/вставляйте символы, меняйте порядок компонент.
7. Сравнение с эталоном: генерируйте валидные даты и сравнивайте результат парсера с библиотечным парсером (oracle).
- Стратегии генерации:
- Combinatorial: кросс-продукт годов × месяцев × дней, но с фильтром d≤daysInMonth(y,m)d \le \mathrm{daysInMonth}(y,m)d≤daysInMonth(y,m).
- Bias towards edges: повышенная частота генерации годов/дней на границах (начало/конец месяца, века).
- Shrinking: используйте PBT-фреймворк, который минимизирует контрпример (уменьшает числа, упрощает строку).
Как интерпретировать найденные контрпримеры и что делать:
1. Воспроизведите и классифицируйте:
- Контрпример — валидная дата, парсер отвергает → баг в парсере/валидации.
- Контрпример — синтаксически неверная строка, парсер принимает и возвращает нормализованную дату → баг (слишком либеральный парсинг) или спецификация допускает lenient parsing.
- Парсер корректно парсит, но форматтер не возвращает ожидаемый нормализованный вид → баг в форматер/недостаточно точная спецификация нормализации.
- Строка амбигуозна (несколько интерпретаций): это не баг, а недоопределённость спецификации — требуется явное правило (например, ISO-8601 обязателен, или локаль задаётся).
2. Используйте shrinked counterexample (PBT обычно минимизирует): минимальная строка часто показывает корень проблемы (напр., пропущенный ведущий ноль или неверный разделитель).
3. Действия:
- Если баг — исправляйте код и добавляйте targeted example-based тест с этим контрпримером.
- Если спецификация неясна — уточните её и добавьте свойства/ограничения (например, запретить двацифровые года или требовать ISO-8601).
- Если парсер слишком либерален, решите, принимать ли lenient parsing или отклонять — и зафиксируйте в тестах.
Наглядный набор EBT-примеров (минимально полезный):
- "2000−02−29""2000-02-29""2000−02−29" — високосный год, валидно.
- "1900−02−29""1900-02-29""1900−02−29" — невисокосный, должно быть invalid.
- "2020−04−30""2020-04-30""2020−04−30", "2020−04−31""2020-04-31""2020−04−31" — конец месяца/некорректный день.
- "01/02/2003""01/02/2003""01/02/2003" и "2003−02−01""2003-02-01""2003−02−01" — проверить форматы и амбигуити.
- Пустая строка, пробелы, "2020−01−01"" 2020-01-01 ""2020−01−01".
- Неправильный месяц "2020−13−01""2020-13-01""2020−13−01", день 0 "2020−01−00""2020-01-00""2020−01−00".
- Unicode-цифры, разные разделители, и пара мутированных строк от валидной даты.
Итог: формулируйте свойства (валидность компонентов, round-trip, отказ на malformed), генерируйте и комбинируйте валидные/invalid/пограничные/амбигуитные случаи с bias на границы, и по каждому контрпримеру решайте: баг реализации, недостаточная спецификация или нежелательная либеральность — затем фиксируйте тестом.
7 Мая в 21:02
Не можешь разобраться в этой теме?
Обратись за помощью к экспертам
Гарантированные бесплатные доработки в течение 1 года
Быстрое выполнение от 2 часов
Проверка работы на плагиат
Поможем написать учебную работу
Прямой эфир