Web přináší málo poptávek a chcete vyzkoušet nový nadpis, formulář nebo úvodní část stránky. A/B test se zdá být praktickým způsobem, jak vybrat lepší variantu. Při nízkém počtu návštěvníků však rozdíl jedné či dvou poptávek může v procentech vypadat přesvědčivě a přitom být jen náhodným výkyvem.
Před zahájením experimentu posuďte, zda dokáže přinést užitečnou odpověď v přijatelném čase. Pokud dat není dost, můžete web zlepšovat jinými metodami. Je ale potřeba rozumět tomu, jaké závěry z nich lze vyvodit.
V experimentu se uživatelé splňující podmínky náhodně rozdělí mezi stávající a upravenou verzi. Výsledek se hodnotí podle předem zvoleného ukazatele.
Zobrazovat jeden týden starý web a další týden nový je jiný typ porovnání. Výsledek může ovlivnit reklama, sezónnost, složení publika i práce obchodního týmu. Průvodce A/B testováním od GOV.UK popisuje náhodné rozdělení a nutnost naplánovat experiment před jeho spuštěním.
Dobrá hypotéza propojuje problém, změnu a očekávaný efekt: „Návštěvníci nerozumějí tomu, co se stane po odeslání poptávky. Doplníme popis dalšího kroku a ověříme podíl potvrzených poptávek.“
Formulace „uděláme to hezčí“ neurčuje, s jakým rozhodnutím má test pomoci.
Sledujte počet uživatelů, kteří změnu skutečně uvidí. Celková návštěvnost webu nepomůže, pokud test probíhá na málo navštěvované stránce.
Pro plánování potřebujete:
Podle těchto podmínek se vypočítá velikost vzorku pro konkrétní metodu analýzy. Univerzální pravidlo „stačí tisíc návštěvníků“ neexistuje. Malé zlepšení bývá obtížnější odhalit než velké; nízká četnost poptávek ověření také komplikuje.
Pokud získání potřebného vzorku trvá déle, než firma dokáže zachovat podmínky experimentu, test může být nepraktický. Snížení nároků na průkaznost kvůli rychlému výběru vítěze zvyšuje riziko, že náhodný rozdíl zaměníte za skutečný výsledek.
Představme si, že stránku navštívilo 200 vhodných uživatelů. Při rovnoměrném rozdělení vidělo každou variantu 100 lidí. První verze získala dvě poptávky, druhá tři.
Konverzní poměr je 2 % a 3 %. Relativní rozdíl činí 50 %, ale stojí pouze na jedné poptávce navíc. Samotná tato čísla neprokazují, že je druhá verze lepší.
Příklad je modelový a nestanovuje minimální velikost vzorku. Ukazuje, proč v přehledu potřebujete počet pozorování a poptávek, nikoli jen procento růstu.
Vyberte jednu hlavní metriku a doplňující omezení. Růst počtu odeslaných formulářů by například neměl doprovázet vyšší podíl spamu nebo nižší kvalita poptávek.
Ověřte měření událostí, náhodné rozdělení a zachování přidělené varianty pro uživatele. Stanovte, jak vyloučit zaměstnance a testovací poptávky, aniž po dokončení vyřazujete nepohodlné výsledky.
Předem určete délku a pravidla ukončení. U běžného testu s pevnou velikostí vzorku zvyšuje každodenní kontrola a ukončení při prvním příznivém výsledku riziko chyby. Pokud používáte sekvenční analýzu, pravidla ukončení musí odpovídat této metodě.
Neměňte současně nabídku, reklamní návštěvnost a postup zpracování poptávek bez zohlednění těchto změn. Pokud výsledek není průkazný, zaznamenejte nejistotu: neprokázaná výhoda neznamená, že jsou varianty stejné.
Požádejte zástupce cílové skupiny, aby našli potřebnou službu, porozuměli podmínkám a odeslali poptávku. Sledujte, kde váhají nebo chybují, a nenapovídejte další krok.
Tato kontrola pomáhá najít překážky, ale neměří procentuální růst budoucího konverzního poměru.
Zjistěte, jaké informace člověk hledal před nákupem, co porovnával a čeho se obával. Odpovědi pomohou formulovat smysluplnější hypotézy než přesouvání tlačítek podle vkusu týmu.
Porovnejte návštěvy, pokusy o vyplnění formuláře, úspěšná odeslání a kvalifikaci. Nejprve odstraňte závady: nefunkční tlačítko, chybu formuláře nebo nedoručenou poptávku. Oprava potvrzené závady nevyžaduje výběr vítěze v A/B testu.
Záznamy návštěv, pokud je jejich použití přípustné a je nastavena ochrana dat, pomáhají pozorovat chování na stránce. Nevysvětlují však automaticky důvody jednání; pozorování je třeba ověřovat.
Provádějte odůvodněné změny po menších krocích, zapisujte datum a sledujte poptávky. Zohledňujte změny návštěvnosti i nabídky. Takové sledování pomáhá při řízení webu, nelze je ale vydávat za důkaz efektu náhodně řízeného experimentu.
Při malé návštěvnosti může být dobrým začátkem audit webu: určit problémy, priority úprav a způsob vyhodnocení. Další příčiny ztracených poptávek rozebírá článek „Web má návštěvnost, ale nepřináší poptávky“.