Холдаут-тест — контролируемый эксперимент, в котором случайно выбранная группа — холдаут или контроль — намеренно исключается из маркетинговой активности, чтобы её поведение можно было сравнить с эквивалентной подвергнутой группой. Разница в исходах между двумя, при случайном распределении и достаточном размере, — причинная оценка того, что активность на самом деле произвела.
Определение
Холдаут-тест — контролируемый эксперимент, в котором случайно выбранная группа — холдаут или контроль — намеренно исключается из маркетинговой активности, чтобы её поведение можно было сравнить с эквивалентной подвергнутой группой. Разница в исходах между двумя, при случайном распределении и достаточном размере, — причинная оценка того, что активность на самом деле произвела.
Холдауты — практический механизм за измерением инкрементальности.
Они бывают нескольких форм: аудиторные холдауты (доля пригодных пользователей никогда не получает ретаргетинг или CRM-кампанию), географические холдауты (сопоставленные регионы, где канал на паузе) и основанные на времени или ступенчатые выкатки (регионы или сегменты включаются последовательно). Ключевые требования — случайное или хорошо сопоставленное распределение, группа достаточного размера, чтобы обнаружить ожидаемый эффект, чистое окно измерения и дисциплина не загрязнять холдаут, достигая его через другой канал.
В контексте
iGaming-операторы используют холдауты, чтобы оценивать маркетинг правдиво. CRM-холдаут — случайная доля базы, которая не получает промо-письма, push или SMS за период — раскрывает, сколько дохода реактивации и удержания CRM-программа на деле движет против того, что игроки сделали бы всё равно, и он также служит этическим базовым уровнем, показывая, увеличивает ли промо-давление траты среди игроков в риске.
Аудиторный холдаут ретаргетинга показывает инкрементальную ценность погони за пользователями, которые уже посетили. Гео-холдаут на брендовом платном поиске показывает, сколько этого трафика органика захватила бы бесплатно.
Для аффилиатных решений холдаут можно запустить на уровне канала или партнёра: поставить конкретного аффилиата или группу похожих аффилиатов на паузу в сопоставленных регионах или удержать когорту от бонуса, на который опирается трафик конкретного партнёра, и измерить истинные инкрементальные регистрации и депозиты. Так оператор различает аффилиатов, которые приводят по-настоящему новых игроков, от тех, кто перехватывает существующий спрос, и это производит доказательства для пересмотра ставок в любую сторону.
Холдауты стоят некоторого определённого краткосрочного дохода за неопределённое долгосрочное понимание, поэтому используются выборочно на крупнейших вопросах расхода, а их результаты трактуются как решающий довод, когда модели атрибуции расходятся.
Разобранный пример
Оператор удерживает 10% своей активной базы от всех CRM-промо на шесть недель. Доход холдаута на 12% ниже, чем у группы с сообщениями — реальный инкрементальный эффект CRM — намного меньше, чем зачла last-touch отчётность.
Холдаут также не показывает роста флагов ответственной игры против группы с сообщениями, где был небольшой рост, что побуждает пересмотр частоты промо.
Связанные термины
Частые вопросы
Смотрите полный глоссарий iGaming и арбитража — сотни терминов EN/RU с примерами.
← Назад к глоссарию