A/B-тестирование: как проверять гипотезы на сайте

Что такое A/B-тест и когда он нужен

A/B-тест — это эксперимент, в котором аудитория сайта случайным образом делится на группы. Одна группа видит текущую версию страницы (контроль, вариант A), другая — изменённую (вариант B). Через некоторое время сравнивается, в какой группе целевое действие совершалось чаще. Если разница достаточно велика и устойчива, изменение внедряется для всех.

Сила метода в том, что обе группы находятся в одинаковых условиях: одно и то же время, одна и та же реклама, одна и та же погода и новости. Отличается только проверяемый элемент. Поэтому разницу в результатах можно приписать именно ему.

A/B-тестирование особенно полезно, когда:

• у страницы стабильный и достаточно большой трафик;
• есть измеримая цель — заявка, покупка, регистрация, клик по кнопке;
• в команде нет единого мнения, какое решение лучше;
• изменение затрагивает ключевую страницу, и ошибка дорого обойдётся.

И наоборот, тест не нужен, если изменение очевидно исправляет ошибку. Не надо тестировать, починит ли сломанная кнопка конверсию — её надо просто починить.

С чего начинается тест: гипотеза

Плохой тест начинается со слов «давайте попробуем сделать кнопку зелёной». Хороший — с гипотезы, основанной на данных. Гипотеза связывает наблюдение, изменение и ожидаемый результат.

Удобный шаблон: «Мы заметили [наблюдение]. Если мы [изменение], то [метрика] изменится, потому что [обоснование]».

Пример: «Мы заметили по Вебвизору, что посетители долго прокручивают страницу услуги в поисках цены и уходят. Если мы добавим блок "от 15 000 ₽" на первый экран, конверсия в заявку вырастет, потому что снимется главный вопрос, мешающий обращению».

Откуда брать наблюдения:

• карты кликов и скроллинга, записи сессий в Яндекс Метрике;
• воронки целей и точки максимального отвала;
• обращения в поддержку и вопросы менеджерам продаж;
• результаты юзабилити-тестов и опросов;
• поисковые запросы внутри сайта.

Хорошая гипотеза проверяет одну идею. Можно изменить несколько элементов страницы, если все они служат одной цели, — например, переписать весь первый экран под новое ценностное предложение. Но тогда вы узнаете, сработала ли концепция, а не какой именно элемент дал эффект.

Метрики теста

До запуска нужно зафиксировать, по какой метрике будет приниматься решение. Это защищает от соблазна после теста выбрать ту цифру, которая выглядит выгоднее.

Основная метрика — та, ради которой затевается изменение: конверсия в заявку, в покупку, средний чек. Она должна быть одна.

Вспомогательные метрики помогают понять механику: глубина просмотра, клики по элементам, доля дошедших до корзины.

Защитные метрики следят, чтобы улучшение в одном месте не навредило в другом. Например, агрессивный поп-ап может увеличить число подписок, но снизить продажи. Или скидочный баннер поднимет конверсию, но уменьшит выручку на посетителя.

Совет: если на сайте есть деньги, итоговое решение принимайте по выручке на посетителя или прибыли, а не только по конверсии. Рост числа заказов при падении среднего чека может оказаться убытком.

Сколько нужно трафика и времени

Это самый недооценённый вопрос. Маленькие выборки дают случайные результаты, которые выглядят как значимые. Размер выборки зависит от трёх величин:

1. Базовая конверсия. Чем она ниже, тем больше нужно посетителей.
2. Минимальный эффект, который вы хотите обнаружить. Заметить рост конверсии на тридцать процентов гораздо проще, чем на пять.
3. Требуемая надёжность. Обычно используют уровень значимости пять процентов и мощность восемьдесят процентов.

Для ориентира: при базовой конверсии около трёх процентов и желании заметить относительный рост на двадцать процентов каждой группе потребуется порядка десяти-пятнадцати тысяч посетителей. Для эффекта в десять процентов — уже в несколько раз больше. Посчитайте объём заранее любым онлайн-калькулятором выборки.

Длительность теста определяется не только объёмом трафика. Важно захватить полные недельные циклы: поведение в будни и выходные заметно различается. Минимальная разумная длительность — одна-две полные недели, даже если нужный объём набрался раньше. Слишком долгий тест тоже плох: накапливаются внешние изменения, очищаются cookies, посетители попадают в обе группы.

Что делать, если трафика мало

Если страница получает несколько сотен посетителей в месяц, классический A/B-тест займёт годы. Варианты:

• тестировать на более частой микроконверсии (клик по кнопке, переход в корзину), помня, что она не всегда коррелирует с продажами;
• проверять только смелые изменения с большим ожидаемым эффектом;
• использовать качественные методы — юзабилити-тестирование, опросы, анализ записей сессий;
• внедрять изменения по принципу «до/после» с осторожной интерпретацией.

Как провести тест технически

Существует несколько способов реализации.

• Специализированные сервисы и Varioqub от Яндекса. Позволяют создавать варианты через визуальный редактор или флаги и сразу смотреть результаты по целям Метрики. Удобно для изменений интерфейса.
• Серверное разделение. Разработчик выдаёт разные версии на стороне сервера. Надёжнее: нет мигания контента, можно тестировать логику, цены, алгоритмы.
• Тесты в рекламе. Эксперименты в Яндекс Директе позволяют делить аудиторию и сравнивать стратегии, объявления, посадочные страницы.

При любом способе проверьте перед запуском:

1. Распределение действительно случайное и примерно поровну.
2. Один посетитель всё время видит один и тот же вариант.
3. Цели фиксируются одинаково в обоих вариантах.
4. Вариант B корректно отображается на всех устройствах и в основных браузерах.
5. Нет «мигания» — когда сначала показывается оригинал, а потом подменяется на вариант.

Полезно запустить A/A-тест — две одинаковые версии. Если он показывает «значимую» разницу, значит, с разделением или подсчётом что-то не так.

Анализ результатов

Когда тест набрал запланированную выборку и прошёл полные недельные циклы, наступает время выводов.

Статистическая значимость показывает, насколько вероятно, что наблюдаемая разница случайна. Значение p меньше пяти процентов принято считать значимым результатом. Но значимость не говорит о размере эффекта — поэтому смотрите и на доверительный интервал. Если интервал прироста от одного до тридцати процентов, эффект есть, но его величина неопределённа.

Сегменты. Посмотрите, как вариант работает на мобильных и десктопах, на новых и вернувшихся посетителях, на разных источниках трафика. Иногда изменение помогает на мобильных и вредит на компьютерах. Но не ищите «выигрышный сегмент» в каждом проигравшем тесте — чем больше разрезов, тем выше шанс найти случайное совпадение.

Интерпретация. Возможны три исхода:

• Вариант B значимо лучше — внедряем и фиксируем результат.
• Вариант B значимо хуже — это тоже знание: гипотеза неверна, причина проблемы в другом.
• Разницы нет — изменение не влияет на поведение, можно выбрать любой вариант по другим соображениям (проще поддерживать, лучше для бренда).

Типичные ошибки

1. Подглядывание и досрочная остановка. Самая частая ошибка. Если каждый день проверять результаты и остановить тест, как только появилась значимость, вероятность ложного вывода резко растёт. Заранее определите объём выборки и дождитесь его.
2. Тест без гипотезы. Перебор цветов и формулировок наугад редко даёт что-то, кроме шума.
3. Слишком много вариантов. A/B/C/D/E-тест требует в разы больше трафика и повышает шанс случайного «победителя».
4. Пересекающиеся тесты. Два эксперимента на одной странице одновременно могут влиять друг на друга.
5. Изменения во время теста. Запустили новую рекламную кампанию, поменяли цены, починили форму — результаты смешались.
6. Перенос результатов. То, что сработало на одном сайте или в одной статье «из интернета», не обязательно сработает у вас. Аудитории разные.
7. Неучёт эффекта новизны. Постоянные посетители могут реагировать на любое изменение просто потому, что оно новое. Через пару недель эффект затухает.

Как выстроить процесс тестирования

Единичный тест — лотерея. Системная работа даёт накопительный эффект. Мы в КомРА рекомендуем вести единый реестр гипотез, где для каждой указаны:

• источник наблюдения;
• формулировка гипотезы;
• оценка потенциального влияния, уверенности и трудозатрат;
• статус и результат;
• выводы и следующие шаги.

Приоритизировать гипотезы удобно по простой схеме: перемножить оценки влияния, уверенности и простоты по шкале от одного до десяти. Наверх списка поднимутся идеи, которые дают ощутимый эффект при небольших затратах.

Реестр со временем превращается в базу знаний о вашей аудитории. Даже проигравшие тесты рассказывают, что для клиентов не важно, и экономят ресурсы в будущем.

Итог

A/B-тестирование — инструмент принятия решений на основе поведения реальных клиентов, а не мнений внутри команды. Чтобы ему можно было доверять, тест должен начинаться с обоснованной гипотезы, иметь одну заранее выбранную основную метрику, рассчитанный объём выборки и длительность не меньше полных недельных циклов.

Не останавливайте тест досрочно, не меняйте условия по ходу и проверяйте результаты по сегментам без поиска «удобной» цифры. Ведите реестр гипотез и фиксируйте выводы. Тогда каждый эксперимент, независимо от исхода, будет приближать сайт к тому, что действительно нужно вашим клиентам.