Ни контекста — поэтому дам краткую инструкцию, как формулировать и интерпретировать ожидаемые результаты (что указать, как оценивать статистически), с примером. Что указать: - Цель/гипотеза (чётко). - Измеряемая метрика и базовая величина (baseline). - Ожидаемое изменение (абсолютное и относительное) и срок. - Неопределённость: доверительный интервал, критерий значимости, мощность теста. - Критерии успеха и альтернативные сценарии. Как количественно описывать: - Абсолютное изменение: Δ=mnew−mbase\Delta = m_{\text{new}} - m_{\text{base}}Δ=mnew−mbase. - Относительное изменение: Δmbase\displaystyle \frac{\Delta}{m_{\text{base}}}mbaseΔ. - Доверительный интервал для разницы (пример): Δ^±z1−α/2⋅SE(Δ^)\hat\Delta \pm z_{1-\alpha/2}\cdot \text{SE}(\hat\Delta)Δ^±z1−α/2⋅SE(Δ^). - Решение по тесту: сравнить p-value с уровнем α\alphaα или смотреть CI. Оценка требуемого объёма выборки: - Для разницы средних: n=((z1−α/2+z1−β)σΔ)2\displaystyle n=\left(\frac{(z_{1-\alpha/2}+z_{1-\beta})\sigma}{\Delta}\right)^2n=(Δ(z1−α/2+z1−β)σ)2. - Для разницы долей (приблизительно): n≈(z1−α/22pˉ(1−pˉ)+z1−βp1(1−p1)+p2(1−p2))2(p1−p2)2\displaystyle n\approx\frac{\bigl(z_{1-\alpha/2}\sqrt{2\bar p(1-\bar p)}+z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\bigr)^2}{(p_1-p_2)^2}n≈(p1−p2)2(z1−α/22pˉ(1−pˉ)+z1−βp1(1−p1)+p2(1−p2))2, где pˉ=(p1+p2)/2\bar p=(p_1+p_2)/2pˉ=(p1+p2)/2. Пример (A/B, конверсия из 2%2\%2% в 3%3\%3%): - p1=0.02, p2=0.03, Δ=0.01, Δp1=0.5p_1=0.02,\ p_2=0.03,\ \Delta=0.01,\ \frac{\Delta}{p_1}=0.5p1=0.02,p2=0.03,Δ=0.01,p1Δ=0.5 (относительное +50%). - При α=0.05, мощность=0.8\alpha=0.05,\ \text{мощность}=0.8α=0.05,мощность=0.8 получаем приближённо n≈3800n\approx 3800n≈3800 на группу (по формуле для долей). Как отчёты интерпретировать: - Если CI для Δ\DeltaΔ не включает 0 и p<α\alphaα — эффект статистически значим. - Оцените практическую значимость: даже значимый статистически эффект может быть слишком мал для внедрения. - Приводите и точки, и интервалы, и оценку риска ошибок (тип I/II). Шаблон фразы для отчёта: "Ожидается, что метрика X вырастет с mbasem_{\text{base}}mbase до mnewm_{\text{new}}mnew (абсолютно Δ=…\Delta=\ldotsΔ=…, относительно …\ldots…) в течение T; для подтверждения требуется выборка N, при уровне значимости α\alphaα и мощности 1−β1-\beta1−β." Если нужно — применю это к вашему конкретному кейсу: укажите метрику, baseline, целевое изменение и желаемые α\alphaα и мощность.
Что указать:
- Цель/гипотеза (чётко).
- Измеряемая метрика и базовая величина (baseline).
- Ожидаемое изменение (абсолютное и относительное) и срок.
- Неопределённость: доверительный интервал, критерий значимости, мощность теста.
- Критерии успеха и альтернативные сценарии.
Как количественно описывать:
- Абсолютное изменение: Δ=mnew−mbase\Delta = m_{\text{new}} - m_{\text{base}}Δ=mnew −mbase .
- Относительное изменение: Δmbase\displaystyle \frac{\Delta}{m_{\text{base}}}mbase Δ .
- Доверительный интервал для разницы (пример): Δ^±z1−α/2⋅SE(Δ^)\hat\Delta \pm z_{1-\alpha/2}\cdot \text{SE}(\hat\Delta)Δ^±z1−α/2 ⋅SE(Δ^).
- Решение по тесту: сравнить p-value с уровнем α\alphaα или смотреть CI.
Оценка требуемого объёма выборки:
- Для разницы средних: n=((z1−α/2+z1−β)σΔ)2\displaystyle n=\left(\frac{(z_{1-\alpha/2}+z_{1-\beta})\sigma}{\Delta}\right)^2n=(Δ(z1−α/2 +z1−β )σ )2.
- Для разницы долей (приблизительно): n≈(z1−α/22pˉ(1−pˉ)+z1−βp1(1−p1)+p2(1−p2))2(p1−p2)2\displaystyle n\approx\frac{\bigl(z_{1-\alpha/2}\sqrt{2\bar p(1-\bar p)}+z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\bigr)^2}{(p_1-p_2)^2}n≈(p1 −p2 )2(z1−α/2 2pˉ (1−pˉ ) +z1−β p1 (1−p1 )+p2 (1−p2 ) )2 , где pˉ=(p1+p2)/2\bar p=(p_1+p_2)/2pˉ =(p1 +p2 )/2.
Пример (A/B, конверсия из 2%2\%2% в 3%3\%3%):
- p1=0.02, p2=0.03, Δ=0.01, Δp1=0.5p_1=0.02,\ p_2=0.03,\ \Delta=0.01,\ \frac{\Delta}{p_1}=0.5p1 =0.02, p2 =0.03, Δ=0.01, p1 Δ =0.5 (относительное +50%).
- При α=0.05, мощность=0.8\alpha=0.05,\ \text{мощность}=0.8α=0.05, мощность=0.8 получаем приближённо n≈3800n\approx 3800n≈3800 на группу (по формуле для долей).
Как отчёты интерпретировать:
- Если CI для Δ\DeltaΔ не включает 0 и p<α\alphaα — эффект статистически значим.
- Оцените практическую значимость: даже значимый статистически эффект может быть слишком мал для внедрения.
- Приводите и точки, и интервалы, и оценку риска ошибок (тип I/II).
Шаблон фразы для отчёта:
"Ожидается, что метрика X вырастет с mbasem_{\text{base}}mbase до mnewm_{\text{new}}mnew (абсолютно Δ=…\Delta=\ldotsΔ=…, относительно …\ldots…) в течение T; для подтверждения требуется выборка N, при уровне значимости α\alphaα и мощности 1−β1-\beta1−β."
Если нужно — применю это к вашему конкретному кейсу: укажите метрику, baseline, целевое изменение и желаемые α\alphaα и мощность.