Test A/B to eksperyment, w którym ruch na stronie dzieli się losowo między dwie wersje (A i B) różniące się jednym elementem, by na danych sprawdzić, która lepiej realizuje cel.
Mechanika: połowa odwiedzających widzi wersję obecną, a połowa zmienioną (inny nagłówek, układ, cena wysyłki). Po zebraniu wystarczającej próby statystyka rozstrzyga, czy różnica w konwersji jest realna, czy przypadkowa.
Zasady poprawnego testu: jedna zmienna naraz (inaczej nie wiadomo, co zadziałało), z góry ustalony czas i próba (podglądanie wyników i kończenie „gdy wygrywa" to oszukiwanie samego siebie), pełne cykle tygodniowe (weekendy różnią się od dni roboczych).
Mówiąc wprost: przy małym ruchu testy A/B trwają miesiącami. Wtedy lepsze są testy użyteczności i wdrażanie sprawdzonych wzorców, a do A/B wrócisz, gdy ruch urośnie.