Калькулятор A/B-теста
Введите трафик и конверсии по каждому варианту — получите прирост, p-value по z-тесту двух долей и понятный вердикт о значимости.
Данные теста
Вариант A (контроль)
Вариант B (тест)
Результат
z-тест двух долей с объединённой стандартной ошибкой. Предполагается, что посетители независимы и распределены случайно, на посетителя одно конверсионное событие, а размер выборки зафиксирован заранее — подглядывание и остановка «когда позеленело» раздувает ложноположительные.
Байесовский взгляд
Байесовский блок использует апостериорные Beta(1,1) на каждой конверсии и нормальное приближение их разницы, поэтому не требует фиксированной выборки и читается по ходу теста. «P(B лучше A)» от 95% — частая планка для выката; «ожидаемые потери» — сколько конверсии вы в среднем потеряете, если выберете B, а B на самом деле хуже.
Минимальный размер выборки
На один вариант, для двусторонней проверки на выбранном выше уровне доверия. Относительный MDE 10% при базе 4% — это обнаружение сдвига до 4,4%.
На что на самом деле отвечает тест значимости
Когда вариант B в тесте конвертит лучше A, вопрос в том, реальный это эффект или просто шум. Калькулятор считает z-тест двух долей: объединяет две конверсии, вычисляет стандартную ошибку и превращает разрыв в z-оценку и p-value. p-value — это вероятность увидеть разницу не меньше наблюдаемой, если варианты на самом деле конвертят одинаково. Если она не больше вашей альфы — 5% при доверии 95% — результат вряд ли случаен, и инструмент называет его значимым.
Зафиксируйте размер выборки до старта
Это тест с фиксированным горизонтом. Решите, сколько трафика соберёте, до запуска — блок минимального размера выборки считает это из базовой конверсии, наименьшего значимого эффекта, уровня доверия и мощности. Многократная проверка результата и остановка «как только позеленело» сильно раздувает ложноположительные; тест, выглядящий значимым на 200 конверсиях, часто не значим на 2000. Инструмент также предполагает, что посетители распределены случайно и независимо и у каждого один бинарный исход — для выручки на посетителя или многошаговой воронки нужен другой тест.