Статистическая значимость — способ судить, достаточно ли велика разница, наблюдаемая в тесте — один лендинг конвертит лучше другого, один креатив обходит другой — относительно объёма данных и их изменчивости, чтобы она вряд ли была просто случайностью.
Определение
Статистическая значимость — способ судить, достаточно ли велика разница, наблюдаемая в тесте — один лендинг конвертит лучше другого, один креатив обходит другой — относительно объёма данных и их изменчивости, чтобы она вряд ли была просто случайностью. Обычно выражается через p-значение (вероятность увидеть разницу такого размера, если бы разницы на самом деле не было) или уровень доверия, с порогом, согласованным заранее (обычно 95%).
Значимость отвечает только на один узкий вопрос: вероятно ли реален эффект. Она не говорит, что эффект велик, важен или стабилен со временем, и она сильно зависит от размера выборки — при достаточном трафике тривиальная разница становится значимой, а при слишком малом трафике реальная разница остаётся необнаружимой.
Это заслон против действия по шуму, а не мера бизнес-ценности.
В контексте
Для iGaming-аффилиатов и операторов, ведущих сплит-тесты, дисциплина значимости — то, что останавливает команды от выпуска изменений на основе ранних, удачно выглядящих результатов. Частые ошибки: остановка теста в момент пересечения 95% (подглядывание раздувает ложные срабатывания), запуск многих вариантов сразу без корректировки порога и суждение по верхней метрике (доля регистраций), которая быстро достигает значимости, тогда как важная метрика (стоимость FTD, удержание) нуждается в намного большем объёме данных и времени, потому что депозиты приходят через дни после клика.
Практический подход — решить первичную метрику, минимальный эффект, достойный обнаружения, и требуемый размер выборки до начала; вести тест до этой выборки без подглядывания для решения; и затем смотреть, значим ли результат и достаточно ли велик, чтобы по нему действовать. В этом секторе задержка депозита означает, что многим тестам надо идти неделями, а страница, которая значимо выигрывает по регистрациям, всё равно может проигрывать по ценности игрока, поэтому значимость на правильной, нижней метрике — то, что считается.
Значимость также не постоянство — сезонность, сдвиги источников трафика и изменения аудитории могут развернуть результат — поэтому важные победы стоит перепроверять. Использованное правильно, тестирование значимости держит оптимизацию честной; использованное как зелёный свет схватить первое благоприятное p-значение, оно производит уверенные решения из случайности.
Разобранный пример
Аффилиат сплит-тестирует два прелендинга и видит, что новый достигает 96% значимости по доле регистраций через три дня. Вместо выпуска команда продолжает до заранее согласованной выборки и 14-дневного окна депозита; к тому времени новый прелендинг значим по регистрациям, но слегка хуже по стоимости FTD, поэтому не принимается.
Связанные термины
Частые вопросы
Смотрите полный глоссарий iGaming и арбитража — сотни терминов EN/RU с примерами.
← Назад к глоссарию