Господа, в чем моя ошибка? Нужно сравнить вероятности успеха в двух биномиальных распределениях, имея некоторую выборку испытаний для обоих вариантов. Назовем вариант у которого больше выборочное среднее вариантом А, второй вариантом Б.
Pa — вероятность успеха в варианте А., Pb в варианте B. Pa>Pb обозначим как A>B.
Строим доверительные интервалы для обоих вариантов. Подбираем альфу (доверительную вероятность) так, чтобы нижняя граница доверительного интервала варианта А была строго больше верхней границы варианта Б. Получаем два независимых события с вероятность альфа. Если они оба наступают, то вероятность того, что А>Б 100%. Следовательно, вероятность А>Б не меньше альфы в квадрате.
Когда выборочные средние не равны и число успехов больше нуля в обоих случаях, то мы получаем что альфа ненулевое. Т.е. вероятность строго больше нуля.
Однако, мы не знаем как распределяется вероятность успеха среди вариантов. И мы можем подобрать такое распределение, что вероятность А>Б равна нулю. Например, вероятность успеха всегда равна 0.5. Тогда мы получаем, что вероятность того, А > B = 0. Хотя до этого мы ее оценили, как строго большую нуля.
В чем моя ошибка?
— update: Изложу на примере.
Нам нужно потестировать форму регистрации на сайте. Какой из этих вариантов лучше в плане вероятности того, что пользователь ее заполнит. Мы создаем два варианта и направляем на них трафик случайным образом. Через месяц мы смотрим что на варианте А зарегистрировалось 105 пользователей. На варианте Б 99 пользователей. На оба варианта зашло по 1000 пользователей. И считаем доверительный интервал. Подбираем параметр альфа так чтобы интервалы не пересекались. Нас конкретные значения мало интересуют главное чтобы минимум интервала А был больше максимума Б, а альфа не равна нулю.
Вариант А лежит в своем диапазоне с вероятностью альфа. Вариант Б тоже в своем диапазоне с вероятностью альфа.
Вероятность того, что что оба варианта лежат в своих диапозонах одновременно равна альфа в квадрате. Если они лежат в своих диапазонах, то вариант А 100% лучше. Т.е. вероятность что вариант А действительно лучше больше альфы в квадрате.
Допустим альфа у нас получилась 0.5. В итоге мы получаем, что вероятность того что А лучше Б как минимум 0.25.
Мы возвращаемся на сайт чтобы прекратить эксперимент и оказывается, что мы допустили глупую ошибку в коде и пользователям вместо варианта Б показывался вариант А. Т.е. два одинаковых варианта. И А=B. Хотя до этого мы получили не нулевую вероятность того, что А строго больше Б.
В чем моя ошибка?
Господа, в чем моя ошибка? Нужно сравнить вероятности успеха в двух биномиальных распределениях, имея некоторую выборку испытаний для обоих вариантов. Назовем вариант у которого больше выборочное среднее вариантом А, второй вариантом Б.
Pa — вероятность успеха в варианте А., Pb в варианте B. Pa>Pb обозначим как A>B.
Строим доверительные интервалы для обоих вариантов. Подбираем альфу (доверительную вероятность) так, чтобы нижняя граница доверительного интервала варианта А была строго больше верхней границы варианта Б. Получаем два независимых события с вероятность альфа. Если они оба наступают, то вероятность того, что А>Б 100%. Следовательно, вероятность А>Б не меньше альфы в квадрате.
Когда выборочные средние не равны и число успехов больше нуля в обоих случаях, то мы получаем что альфа ненулевое. Т.е. вероятность строго больше нуля.
Однако, мы не знаем как распределяется вероятность успеха среди вариантов. И мы можем подобрать такое распределение, что вероятность А>Б равна нулю. Например, вероятность успеха всегда равна 0.5. Тогда мы получаем, что вероятность того, А > B = 0. Хотя до этого мы ее оценили, как строго большую нуля.
В чем моя ошибка?
— update: Изложу на примере.
Нам нужно потестировать форму регистрации на сайте. Какой из этих вариантов лучше в плане вероятности того, что пользователь ее заполнит. Мы создаем два варианта и направляем на них трафик случайным образом. Через месяц мы смотрим что на варианте А зарегистрировалось 105 пользователей. На варианте Б 99 пользователей. На оба варианта зашло по 1000 пользователей. И считаем доверительный интервал. Подбираем параметр альфа так чтобы интервалы не пересекались. Нас конкретные значения мало интересуют главное чтобы минимум интервала А был больше максимума Б, а альфа не равна нулю.
Вариант А лежит в своем диапазоне с вероятностью альфа. Вариант Б тоже в своем диапазоне с вероятностью альфа.
Вероятность того, что что оба варианта лежат в своих диапозонах одновременно равна альфа в квадрате. Если они лежат в своих диапазонах, то вариант А 100% лучше. Т.е. вероятность что вариант А действительно лучше больше альфы в квадрате.
Допустим альфа у нас получилась 0.5. В итоге мы получаем, что вероятность того что А лучше Б как минимум 0.25.
Мы возвращаемся на сайт чтобы прекратить эксперимент и оказывается, что мы допустили глупую ошибку в коде и пользователям вместо варианта Б показывался вариант А. Т.е. два одинаковых варианта. И А=B. Хотя до этого мы получили не нулевую вероятность того, что А строго больше Б.
В чем моя ошибка?
Pa — вероятность успеха в варианте А., Pb в варианте B. Pa>Pb обозначим как A>B.
Строим доверительные интервалы для обоих вариантов. Подбираем альфу (доверительную вероятность) так, чтобы нижняя граница доверительного интервала варианта А была строго больше верхней границы варианта Б. Получаем два независимых события с вероятность альфа. Если они оба наступают, то вероятность того, что А>Б 100%. Следовательно, вероятность А>Б не меньше альфы в квадрате.
Когда выборочные средние не равны и число успехов больше нуля в обоих случаях, то мы получаем что альфа ненулевое. Т.е. вероятность строго больше нуля.
Однако, мы не знаем как распределяется вероятность успеха среди вариантов. И мы можем подобрать такое распределение, что вероятность А>Б равна нулю. Например, вероятность успеха всегда равна 0.5. Тогда мы получаем, что вероятность того, А > B = 0. Хотя до этого мы ее оценили, как строго большую нуля.
В чем моя ошибка?
— update: Изложу на примере.
Нам нужно потестировать форму регистрации на сайте. Какой из этих вариантов лучше в плане вероятности того, что пользователь ее заполнит. Мы создаем два варианта и направляем на них трафик случайным образом. Через месяц мы смотрим что на варианте А зарегистрировалось 105 пользователей. На варианте Б 99 пользователей. На оба варианта зашло по 1000 пользователей. И считаем доверительный интервал. Подбираем параметр альфа так чтобы интервалы не пересекались. Нас конкретные значения мало интересуют главное чтобы минимум интервала А был больше максимума Б, а альфа не равна нулю.
Вариант А лежит в своем диапазоне с вероятностью альфа. Вариант Б тоже в своем диапазоне с вероятностью альфа.
Вероятность того, что что оба варианта лежат в своих диапозонах одновременно равна альфа в квадрате. Если они лежат в своих диапазонах, то вариант А 100% лучше. Т.е. вероятность что вариант А действительно лучше больше альфы в квадрате.
Допустим альфа у нас получилась 0.5. В итоге мы получаем, что вероятность того что А лучше Б как минимум 0.25.
Мы возвращаемся на сайт чтобы прекратить эксперимент и оказывается, что мы допустили глупую ошибку в коде и пользователям вместо варианта Б показывался вариант А. Т.е. два одинаковых варианта. И А=B. Хотя до этого мы получили не нулевую вероятность того, что А строго больше Б.
В чем моя ошибка?
Не можешь разобраться в этой теме?
Обратись за помощью к экспертам
Гарантированные бесплатные доработки
Быстрое выполнение от 2 часов
Проверка работы на плагиат
Интересные статьи из справочника
Поможем написать учебную работу
Отвечай на вопросы, зарабатывай баллы и трать их на призы.
Подробнее
Подробнее
Ваша ошибка заключается в том, что вы полагаете, что вероятность успеха варианта А больше, чем вероятность успеха варианта Б, основываясь только на выборочных данных и построенных доверительных интервалах. Однако, эти данные не позволяют однозначно сделать вывод о том, что вероятность успеха варианта А действительно больше вероятности успеха варианта Б.
Ваш метод анализа доверительных интервалов может дать вам практическую оценку различий между двумя вариантами, но он не является точным или достаточным для утверждения, что один вариант строго лучше другого. Для более надежного сравнения вероятностей успеха в двух биномиальных распределениях требуется более точные статистические методы или больше данных.
Также, не стоит забывать о том, что случай с ошибкой в коде, когда пользователям показывался один и тот же вариант, является критическим доводом против вашего предварительного вывода, основанного на доверительных интервалах и выборочных данных.