Что такое A/B-тест и как его провести
A/B-тест (Сплит-тест, A/B testing) — A/B-тест это эксперимент, в котором аудиторию случайно делят на две группы и показывают им разные версии объявления, страницы или письма, чтобы понять, какая работает лучше.
Версия A остаётся как есть, в версии B меняют один элемент: заголовок, оффер, картинку, кнопку, форму. Трафик делят поровну и сравнивают целевую метрику, обычно конверсию в заявку.
Пример с условными цифрами: лендинг с заголовком «Ремонт квартир в Москве» получил 2 000 визитов и 40 заявок, CR 2%. Версия с заголовком «Ремонт за 45 дней с фиксированной сметой» получила 2 000 визитов и 62 заявки, CR 3,1%. Разница достаточная, чтобы оставить вторую версию, но перед выводом её стоит проверить калькулятором статистической значимости.
Что тестируют
- В рекламе: заголовки, тексты, изображения, видео, офферы, аудитории.
- На сайте: первый экран, УТП, форма заявки, квиз против обычной формы, цены, порядок блоков.
- В рассылках и ботах: тему письма, первое сообщение, время отправки.
Инструменты
В Яндекс Директе есть эксперименты для сравнения кампаний и стратегий на разных сегментах аудитории. В VK Рекламе тестируют несколько объявлений внутри группы. Для сайтов используют Varioqub от Яндекса или делят трафик на уровне кода и смотрят результат в Метрике.
Правила честного теста
- Одна гипотеза и одно изменение за раз.
- Трафик делится случайно, версии работают одновременно.
- Размер выборки и срок определяют заранее и не останавливают тест при первой удачной цифре.
- Итог проверяют на статистическую значимость.
Частые ошибки
- Сравнивать версии по очереди: неделю одна, неделю другая. Сезонность и конкуренты искажают результат.
- Делать вывод по 100 визитам и трём заявкам.
- Менять пять элементов сразу. Непонятно, что сработало.
- Тестировать мелочи вроде цвета кнопки, когда не проверен оффер.
В ZITORI тесты строим от гипотез, которые могут заметно сдвинуть конверсию: оффер, первый экран, тип формы. Цвет кнопки оставляем на потом.