A/B-тестирование звучит как конец догадок: половине посетителей показывают вариант A, половине — вариант B, и решают цифры. В загруженном магазине это работает. На сайте с несколькими тысячами посетителей в месяц цифры часто ничего не могут решить, а тест, остановленный на первом же заманчивом результате, даёт уверенный ответ, который на деле — просто шум. Прежде чем начинать, полезно знать, что определяет размер выборки A/B-теста, сколько он на самом деле должен идти и что делать, если трафика для теста не хватает.

Что определяет размер выборки A/B-теста

Число необходимых тесту посетителей определяют четыре параметра:

  • Базовая конверсия. Чем реже действие, тем больше посетителей нужно, чтобы заметить его изменение. Тесту с метрикой «добавление в корзину» нужно меньше посетителей, чем тесту с метрикой «завершённые покупки».
  • Минимально обнаруживаемый эффект. Наименьшее улучшение, которое вы хотите обнаружить. Этот параметр важнее всего: уменьшение минимально обнаруживаемого эффекта вдвое примерно вчетверо увеличивает нужную выборку.
  • Уровень значимости. Насколько вы готовы поддаться обману случайности. Обычное соглашение — 5 процентов ложноположительных результатов.
  • Статистическая мощность. Вероятность того, что тест обнаружит реальный эффект выбранного размера; обычное соглашение — 80 процентов.

Подставьте свои числа в калькулятор размера выборки до того, как что-либо создавать. Если ответ — больше посетителей, чем страница получает за два месяца, тест в таком виде проводить не стоит. В итоге важны конверсии на вариант, а не посетители: тест с тысячами посетителей, но лишь с горсткой покупок в каждой версии, почти ничего не говорит.

Как долго проводить A/B-тест

Проводите его, пока не будет достигнута запланированная выборка, и всегда целыми неделями. В понедельник утром посетители ведут себя иначе, чем в субботу вечером, поэтому тест, идущий со вторника по пятницу, измеряет лишь часть вашей аудитории. Один-два полных деловых цикла — разумный минимум даже на загруженных сайтах. У очень долгих тестов есть свои проблемы: люди чистят cookie и учитываются дважды, а сезонные изменения или новые кампании меняют состав посетителей.

Заранее запланируйте дату окончания и придерживайтесь её. Досрочная остановка теста из-за того, что панель показывает победителя, — самый частый способ получить ложный результат: если проверять каждый день и остановиться в первый раз, когда результат выглядит значимым, реальная вероятность ложноположительного результата намного выше заданного вами уровня. Некоторые инструменты тестирования используют последовательные методы, рассчитанные на повторные проверки; если ваш инструмент их не использует, сначала определите выборку и смотрите на вердикт один раз.

Что статистическая значимость означает и чего не означает

Статистическая значимость говорит о том, что если бы две версии на самом деле работали одинаково, разница такого размера, как наблюдаемая, редко появлялась бы случайно. Она не сообщает, насколько вероятно, что версия B лучше, и ничего не говорит о том, достаточно ли велика разница, чтобы иметь значение для бизнеса. Читайте её вместе с размером эффекта и его доверительным интервалом.

Проверьте несоответствие долей выборки

Если трафик должен делиться поровну, а одна версия получила заметно больше посетителей, чем другая, что-то сломано: редирект, не работающий в некоторых браузерах, бот, обращающийся к одному URL, отслеживание, срабатывающее только в одном варианте. Такое несоответствие долей выборки делает результат недействительным, как бы хорошо он ни выглядел. Многие инструменты тестирования сигнализируют об этом; в противном случае сравните число посетителей простым критерием хи-квадрат.

A/B-тестирование и SEO

Рекомендации Google по сведению к минимуму влияния тестирования сайта на поиск сводятся к нескольким правилам. Не показывайте Googlebot другую версию, чем получают посетители: это считается клоакингом. Если вариант находится на отдельном URL, укажите в его canonical-теге исходную страницу. Если тест перенаправляет посетителей, используйте временный редирект 302, а не постоянный 301. И завершайте тест, как только получили ответ, а затем обновите исходную страницу. При таком подходе A/B-тестирование и SEO прекрасно уживаются.

Инструменты после Google Optimize

Google Optimize был закрыт 30 сентября 2023 года, и многие небольшие сайты с тех пор не проводили тестов. Альтернативы Google Optimize делятся на три группы: специализированные платформы тестирования, такие как VWO или Optimizely, с визуальными редакторами и встроенной статистикой; сервисы управления функциями и экспериментов, которые используют команды разработчиков и которые переключают варианты в коде; и функции тестирования, встроенные в некоторые платформы электронной коммерции и посадочных страниц. Что бы вы ни выбрали, проверьте три вещи: не вызывает ли скрипт мерцание страницы и не замедляет ли её, учитывает ли он вашу настройку согласия на cookie и отправляет ли результаты в GA4, где их можно сверить с вашими заказами.

Что могут сделать сайты с малым трафиком

Для сайтов с малым трафиком формальное тестирование нередко оказывается самым медленным путём к ответу. Варианты получше:

  • Тестируйте более крупные изменения. Новое предложение, более короткая форма или другая структура страницы дают больший эффект, чем цвет кнопки, а большим эффектам нужны гораздо меньшие выборки.
  • Наблюдайте за реальными сеансами. Тепловые карты и записи показывают, где люди колеблются, а несколько модерируемых сеансов с реальными клиентами нередко выявляют основные проблемы.
  • Спросите продавцов. Вопросы, по которым люди звонят или пишут, — обычно вопросы, на которые страница не ответила.
  • Внимательно сравнивайте периоды. Вносите по одному изменению и сравнивайте равные периоды, отмечая кампании, праздники и всё остальное, что изменилось.

Каким бы ни был метод, начинайте каждое изменение с письменной гипотезы теста: «Поскольку мы увидели это в данных, мы считаем, что изменение этого для этих посетителей даст такой результат, и измерим его по этой метрике». Это предотвращает случайные редизайны и делает любой результат, победу или поражение, источником знаний. Наша услуга оптимизации конверсии работает так же на небольших сайтах: если трафика для надёжного теста мало, мы вносим по одному хорошо проработанному изменению и сравниваем периоды.

Часто задаваемые вопросы: размер выборки A/B-теста

Можно ли проводить несколько A/B-тестов одновременно?

На разных страницах или разных шагах воронки обычно да. Два теста на одной странице или с одной аудиторией могут мешать друг другу, поэтому либо сделайте их взаимоисключающими, либо объедините в один многовариантный тест.

Нужно ли тестировать мобильные устройства и компьютеры отдельно?

Смотрите оба сегмента, но решите, какие сегменты будете анализировать, до начала теста. Нарезать результаты после факта, пока один сегмент не «победит», — ещё один способ найти шум.

Что делать, если тест не показал разницы?

Это тоже результат. Он говорит, что изменение, если и помогает, то меньше вашего минимально обнаруживаемого эффекта. Оставьте ту версию, которую проще поддерживать, и протестируйте что-то более смелое.

Не уверены, хватит ли вашего трафика для тестирования? Наша услуга оптимизации конверсии и A/B-тестирования начинается с данных воронки и тепловых карт и рекомендует формальные тесты только там, где цифры способны их выдержать. Лучше всего она работает поверх точного отслеживания GA4. Пришлите нам адрес сайта и примерный месячный трафик, и мы посмотрим, с чего начать.