A/B testing (test podzielony, ang. split testing) to eksperyment, w którym dwie wersje tego samego elementu - strony, formularza, treści maila - pokazujesz losowo podzielonym grupom użytkowników i porównujesz wyniki na jednej, ustalonej z góry metryce.
Po co to analitykowi? Bo zamienia spór o opinie na dane. Zamiast godzinnej dyskusji „dyrektor uważa, że formularz powinien być krótszy, a prawnik, że musi zbierać wszystko od razu", stawiasz hipotezę i mierzysz. BA spotyka A/B testy przy pracy nad produktem cyfrowym: formułuje hipotezę, definiuje metrykę sukcesu i interpretuje wynik razem z zespołem.
Przykład z MediFlow (sieć 12 przychodni z rejestracją online): wersja A formularza wymaga numeru PESEL na pierwszym kroku, wersja B dopiero przy potwierdzaniu wizyty. Metryka: odsetek ukończonych rejestracji. Po dwóch tygodniach i 4 200 sesjach wersja B wygrywa o 9 punktów procentowych - PESEL na starcie odstraszał część pacjentów. Decyzja podjęta, dyskusja zamknięta.
Trzy częste błędy. Po pierwsze, testowanie kilku zmian naraz - gdy zmienisz jednocześnie nagłówek, kolor przycisku i układ pól, nie wiesz, co zadziałało. Po drugie, kończenie testu po dwóch dniach, bo „już widać trend"; bez istotności statystycznej i sensownej próby to rzut monetą. Po trzecie, mylenie A/B testu z testem użyteczności: A/B test mówi, która wersja działa lepiej, test użyteczności pokazuje dlaczego użytkownik się gubi.
Pojęcia powiązane: hipoteza, konwersja, metryka, test użyteczności.