Что такое A/B-тест

A/B-тест — эксперимент, в котором посетителей случайно делят на две группы: одни видят вариант A (текущий), другие — вариант B (изменённый). Победителем считается вариант, который даёт больше целевых действий.

Что тестируют

• заголовок и первый экран посадочной страницы;
• текст и цвет кнопки, состав формы заявки;
• наличие цены, отзывов, гарантии;
• тексты объявлений в рекламе.

Менять за один тест лучше один элемент — иначе непонятно, что именно сработало.

Как провести

1. Сформулируйте гипотезу: «Если показать цену на первом экране, заявок станет больше».
2. Выберите метрику — обычно конверсию в заявку по целям Метрики.
3. Запустите оба варианта одновременно. В Метрике для этого есть инструмент экспериментов, в Директе — эксперименты для объявлений.
4. Дождитесь достаточного объёма данных и только потом делайте выводы.

Частые ошибки

• остановить тест через два дня, когда один вариант «вырвался вперёд», — на малых выборках разница часто случайна;
• показывать варианты в разные недели — результат исказит сезонность и день недели;
• судить по кликам, а не по заявкам;
• менять сразу несколько элементов.

A/B-тесты и SEO

Для поисковика важно, чтобы варианты не были клоакингом: роботу и людям нельзя систематически показывать разное содержимое. Тест должен идти недолго, а после него на странице остаётся один вариант.

Пример

Сервис доставки воды проверил две формы заказа: с пятью полями и с двумя (имя и телефон). Короткая форма за месяц дала больше заявок при том же трафике, и её оставили на всех страницах.

Частые вопросы

Сколько посетителей нужно для A/B-теста?

Зависит от текущей конверсии и ожидаемой разницы. Чем меньше трафик и разница между вариантами, тем дольше нужно ждать; при нескольких заявках в неделю тест может растянуться на месяцы.

Можно ли A/B-тестировать заголовки для поиска?

Title нельзя показывать в выдаче двумя вариантами одновременно. Можно сменить его и сравнить CTR до и после, но на результат повлияют позиции и сезонность, так что это менее точный эксперимент.