Wielkość próby i czas trwania testu A/B

Testy A/B brzmią jak koniec zgadywania: pokaż połowie odwiedzających wersję A, drugiej połowie wersję B i pozwól liczbom zdecydować. W ruchliwym sklepie to działa. Na stronie z kilkoma tysiącami odwiedzających miesięcznie liczby często nie mogą niczego rozstrzygnąć, a test zatrzymany przy pierwszym ekscytującym wyniku daje pewną siebie odpowiedź, która jest po prostu szumem. Zanim zaczniesz, warto wiedzieć, od czego zależy wielkość próby testu A/B, jak długo test naprawdę musi trwać i co robić, gdy ruch go nie udźwignie.

Od czego zależy wielkość próby testu A/B

O tym, ilu odwiedzających potrzebuje test, decydują cztery dane wejściowe:

• Bazowy współczynnik konwersji. Im rzadsze działanie, tym więcej odwiedzających potrzeba, by zobaczyć jego zmianę. Test mierzony na "dodaniu do koszyka" potrzebuje mniej odwiedzających niż mierzony na ukończonych zakupach.
• Minimalny wykrywalny efekt. Najmniejsza poprawa, którą chcesz wykryć. Ta wartość ma największe znaczenie: zmniejszenie minimalnego wykrywalnego efektu o połowę mniej więcej czterokrotnie zwiększa potrzebną próbę.
• Poziom istotności. Jak bardzo godzisz się dać oszukać przypadkowi. Powszechna konwencja to 5 procent fałszywych wyników pozytywnych.
• Moc statystyczna. Jak prawdopodobne jest, że test wykryje prawdziwy efekt wybranej wielkości; zwykle przyjmuje się 80 procent.

Wpisz własne liczby do kalkulatora wielkości próby, zanim cokolwiek zbudujesz. Jeśli wynik to więcej odwiedzających, niż strona dostaje w dwa miesiące, test w tej postaci nie jest wart prowadzenia. Ostatecznie liczą się konwersje na wariant, a nie odwiedzający: test z tysiącami odwiedzających, ale zaledwie garstką zakupów w każdej wersji, ma bardzo niewiele do powiedzenia.

Jak długo prowadzić test A/B

Prowadź go do osiągnięcia zaplanowanej próby i zawsze przez pełne tygodnie. Odwiedzający zachowują się inaczej w poniedziałek rano niż w sobotę wieczorem, więc test trwający od wtorku do piątku mierzy tylko wycinek odbiorców. Jeden lub dwa pełne cykle biznesowe to rozsądne minimum nawet na ruchliwych stronach. Bardzo długie testy mają własne problemy: ludzie czyszczą cookies i są liczeni dwa razy, a zmiany sezonowe lub nowe kampanie zmieniają skład odwiedzających.

Zaplanuj datę zakończenia z góry i się jej trzymaj. Zatrzymanie testu wcześniej, bo panel pokazuje zwycięzcę, to najczęstszy sposób na fałszywy wynik: jeśli sprawdzasz codziennie i kończysz przy pierwszym wyniku wyglądającym na istotny, prawdziwa szansa fałszywego wyniku pozytywnego jest znacznie wyższa niż ustawiony poziom. Niektóre narzędzia testowe używają metod sekwencyjnych zaprojektowanych do wielokrotnego podglądania; jeśli Twoje tego nie robi, ustal próbę najpierw i odczytaj werdykt raz.

Co istotność statystyczna oznacza, a czego nie

Istotność statystyczna mówi, że gdyby obie wersje naprawdę działały tak samo, różnica tak duża jak zaobserwowana rzadko pojawiłaby się przypadkiem. Nie mówi, jak prawdopodobne jest, że wersja B jest lepsza, i nie mówi nic o tym, czy różnica jest dość duża, by mieć znaczenie dla firmy. Czytaj ją razem z wielkością efektu i jego przedziałem ufności.

Sprawdź niezgodność proporcji próby

Jeśli ruch ma być dzielony równo, a jedna wersja dostała wyraźnie więcej odwiedzających niż druga, coś jest zepsute: przekierowanie, które zawodzi w niektórych przeglądarkach, bot odwiedzający jeden adres URL, śledzenie uruchamiane tylko w jednym wariancie. Taka niezgodność proporcji próby unieważnia wynik, bez względu na to, jak dobrze wygląda. Wiele narzędzi testowych ją sygnalizuje; w przeciwnym razie porównaj liczby odwiedzających prostym testem chi-kwadrat.

Testy A/B a SEO

Wskazówki Google o ograniczaniu wpływu testowania strony na wyniki wyszukiwania sprowadzają się do kilku zasad. Nie pokazuj Googlebotowi innej wersji niż ta, którą dostają odwiedzający, bo to cloaking. Jeśli wariant mieści się pod osobnym adresem URL, skieruj jego tag canonical na stronę oryginalną. Użyj tymczasowego przekierowania 302, a nie stałego 301, gdy test przekierowuje odwiedzających. I zakończ test, gdy masz odpowiedź, a potem zaktualizuj stronę oryginalną. Przy takim podejściu testy A/B i SEO świetnie się dogadują.

Narzędzia po Google Optimize

Google Optimize wyłączono 30 września 2023 r. i wiele małych stron od tamtej pory nie przeprowadziło żadnego testu. Alternatywy dla Google Optimize dzielą się na trzy grupy: dedykowane platformy testowe, takie jak VWO lub Optimizely, z edytorami wizualnymi i wbudowaną statystyką; usługi feature flag i eksperymentów używane przez zespoły programistyczne, które przełączają warianty w kodzie; oraz funkcje testowe wbudowane w niektóre platformy e-commerce i stron docelowych. Cokolwiek wybierzesz, sprawdź trzy rzeczy: czy skrypt powoduje migotanie lub spowolnienie strony, czy respektuje Twoją konfigurację zgód na cookies i czy wysyła wyniki do GA4, gdzie można je zestawić z zamówieniami.

Co mogą zrobić strony z małym ruchem

Dla stron z małym ruchem formalne testowanie jest często najwolniejszą drogą do odpowiedzi. Lepsze opcje:

• Testuj większe zmiany. Nowa oferta, krótszy formularz lub inna struktura strony dają większy efekt niż kolor przycisku, a większe efekty wymagają znacznie mniejszych prób.
• Oglądaj prawdziwe sesje. Mapy cieplne i nagrania pokazują, gdzie ludzie się wahają, a garść moderowanych sesji z prawdziwymi klientami często ujawnia główne problemy.
• Zapytaj sprzedawców. Pytania, o które ludzie dzwonią lub piszą, to zwykle pytania, na które strona nie odpowiedziała.
• Porównuj okresy ostrożnie. Wprowadzaj jedną zmianę naraz i porównuj równe okresy, odnotowując kampanie, święta i wszystko inne, co się zmieniło.

Niezależnie od metody, zaczynaj każdą zmianę od pisemnej hipotezy testu: "Ponieważ zobaczyliśmy to w danych, uważamy, że zmiana tego dla tych odwiedzających da ten rezultat, a zmierzymy go tą metryką." Chroni to przed przypadkowymi redesignami i sprawia, że każdy wynik, wygrana czy przegrana, jest czymś, z czego się uczysz. Nasza usługa optymalizacji konwersji działa tak samo na mniejszych stronach: przy zbyt małym ruchu na wiarygodny test wprowadzamy jedną dobrze przebadaną zmianę naraz i porównujemy okresy.

Najczęściej zadawane pytania: wielkość próby testu A/B

Czy mogę prowadzić kilka testów A/B jednocześnie?

Na różnych stronach lub różnych etapach ścieżki zwykle tak. Dwa testy na tej samej stronie lub tej samej grupie odbiorców mogą się zakłócać, więc albo uczyń je wzajemnie wykluczającymi, albo połącz w jeden test wielowariantowy.

Czy testować osobno urządzenia mobilne i komputery?

Patrz na oba segmenty, ale zdecyduj, które segmenty będziesz analizować, przed rozpoczęciem testu. Dzielenie wyników po fakcie, aż jakiś segment "wygra", to kolejny sposób na znalezienie szumu.

Co, jeśli test nie pokazuje różnicy?

To też wynik. Mówi, że zmiana, jeśli w ogóle pomaga, pomaga mniej niż Twój minimalny wykrywalny efekt. Zostaw tę wersję, którą łatwiej utrzymać, i przetestuj coś śmielszego.

Nie masz pewności, czy Twój ruch udźwignie testowanie? Nasza usługa optymalizacji konwersji i testów A/B zaczyna od danych o ścieżce i map cieplnych, a formalne testy zaleca tylko tam, gdzie liczby je unoszą. Najlepiej działa na bazie dokładnego śledzenia GA4. Napisz do nas, podając adres strony i przybliżony miesięczny ruch, a zobaczymy, od czego zacząć.