Определение
Сплит-тестирование, обычно называемое A/B-тестом, — сравнение двух и более вариантов чего-либо (креатив, лендинг, заголовок, призыв к действию, тема письма, шаг воронки) путём показа каждого варианта случайно назначенной доле трафика и измерения того, какой даёт лучший результат по заданной метрике. Рандомизация — то, что делает это валидным: поскольку посетители назначаются вариантам случайно, различия в исходе можно отнести к варианту, а не к различиям в том, кто его видел.
Корректный тест меняет одну значимую вещь за раз, идёт, пока не наберёт достаточно конверсий на вариант, чтобы отличить реальную разницу от шума, и оценивается по нижней важной метрике — стоимости квалифицированного действия, а не только по CTR. Объявление победителя рано, на слишком малом числе конверсий, — самая частая ошибка, которая раз за разом фиксирует варианты, которые просто были впереди по случайности.
В контексте
В закупке трафика для iGaming сплит-тест — основной цикл: тест подач креативов друг против друга, тест прелендингов, тест раскладок лендинга и длины форм, тест формулировок CTA. Дисциплина — держать всё остальное постоянным, дать каждому варианту заранее решённый бюджет показов или конверсий и только затем сравнивать.
Поскольку конверсии iGaming (квалифицированные FTD) относительно редки на клик, тесты на нижних метриках требуют значительного трафика для статзначимости, поэтому байеры часто тестируют верхние прокси (CTR, клик-в-регистрацию) сначала и оставляют полные FTD-тесты для отобранных вариантов.
Частые ловушки стоит назвать: тест нескольких изменений сразу, когда победителя нельзя отнести ни к одному из них; остановка в момент, когда вариант выглядит впереди (ранние результаты дико качаются); игнорирование того, что победивший креатив сегодня выгорит через две недели; и оптимизация поверхностной метрики (страница, побеждающая по регистрациям, может проигрывать по депозитам). Хорошо поставленный тест также документирует результаты, поэтому команда строит библиотеку того, что сработало по ГЕО и офферу, а не заново тестирует те же идеи.
Разобранный пример
Байер A/B-тестирует два лендинга казино: один с формой регистрации из шести полей, один с тремя полями и прогрессивным профилированием. За 2000 регистраций на вариант страница из трёх полей конвертит клики в регистрации с долей 19% против 14%, но её отношение депозитов к регистрациям на 4 пункта ниже, поэтому по стоимости квалифицированного FTD два варианта в пределах шума.
Байер оставляет более короткую форму ради меньшей нагрузки на поддержку и идёт дальше.
Связанные термины
Частые вопросы
Смотрите полный глоссарий iGaming и арбитража — сотни терминов EN/RU с примерами.
← Назад к глоссарию