Na malé databázi jedna koupě nebo odpověď znatelně mění procento výsledku. Když e-mail odešlete stovce kontaktů, rozdíl mezi variantami lze snadno zaměnit za trvalou výhodu, přestože jej mohlo vytvořit několik náhodných reakcí.
Malá databáze umožňuje ověřit funkčnost scénáře a získat užitečnou zpětnou vazbu. Pro závěr o vlivu e-mailu na prodeje je třeba zvlášť posoudit dostatek pozorování a srovnatelnost podmínek.
Před odesláním určete rozhodnutí
Zapište, co chcete zjistit: zda je předmět srozumitelný, funguje odkaz, nabídka odpovídá segmentu nebo která varianta přináší více potvrzených poptávek. Jde o různé úkoly.
Technická kontrola potvrzuje průchod scénářem. Odpovědi příjemců pomáhají pochopit formulace a námitky. Srovnání variant vyžaduje návrh experimentu a posouzení nejistoty; první dva úkoly samy nedokazují převahu jednoho e-mailu.
Vyberte jeden hlavní výsledek: objednávku, žádost o rozhovor nebo jinou akci s jasným potvrzením. Po odeslání neměňte kritérium jen proto, že jiný ukazatel vypadá lépe.
Ověřte způsob měření akce
Před testem ověřte, že poptávky dorazí do CRM, objednávka se započítá jednou a návštěvy souvisejí se správnou kampaní. Zvlášť vylučte kontroly týmu a známé automatické návštěvy, které váš nástroj dokáže rozpoznat.
Otevření není vhodným jediným kritériem čtení. Apple popisuje načítání vzdáleného obsahu na pozadí při Mail Privacy Protection nezávisle na interakci s e-mailem. Stažení obrázku proto nemusí znamenat, že člověk zprávu přečetl.
I kliknutí hodnoťte spolu s následnou akcí. Obsah reportu a omezení ukazatelů rozebírá článek o metrikách e-mail marketingu.
Nedělte databázi mezi příliš mnoho variant
Při malém počtu kontaktů nechá pět předmětů e-mailu příliš málo pozorování na každou variantu. Začněte technickou kontrolou a jednou obsahovou hypotézou.
Pro srovnání rozdělujte vhodné příjemce náhodně a zachovejte srovnatelný jazyk, segment, období a nabídku. V B2B se více kontaktů jedné firmy může navzájem ovlivnit: předem určete, zda rozdělujete lidi, nebo firmy.
Potřebná velikost vzorku závisí na výchozí četnosti výsledku, nejmenším efektu, který má smysl zachytit, a přijaté míře nejistoty. Univerzální počet odběratelů dostačující pro každý test neexistuje.
Uvádějte absolutní počty a omezení
Modelový příklad. Ve dvou skupinách po 100 příjemcích vzniklo pět a tři poptávky: 5 % a 3 %. Rozdíl činí dvě poptávky. Čísla popisují pozorování, ale bez posouzení nejistoty nepotvrzují, že první formulace je stabilně lepší.
Neukončujte srovnání hned po dosažení žádoucího výsledku. Předem určete období pozorování podle zpoždění odpovědí a nákupního cyklu i podmínky předčasného zastavení při technické chybě nebo problémech s odesíláním.
Postupné rozesílky v různých měsících nejsou rovnocenné náhodnému srovnání: může se změnit sezona, sortiment a složení databáze. Rozdílné podmínky zahrňte do závěru.
Malou databázi využijte ke zlepšení scénáře
Požádejte vhodné příjemce, aby vysvětlili, co pochopili a co jim chybělo pro další krok. Odpovědi odhalují problémy, neukazují však podíl všech zákazníků se stejným názorem.
Před hromadným odesláním prověřte nabídku se zaměstnanci a několika zástupci publika. Pak opravte zjevné chyby: nejasný odkaz, chybějící odpověď na důležitou otázku nebo nesjednocené podmínky.
Další postupy při malém počtu pozorování popisuje článek o A/B testech při nízké návštěvnosti. Nezvyšujte četnost e-mailů jen kvůli rychlejšímu získání dat.
Karta testu malé rozesílky
- Rozhodnutí a jedna ověřovaná hypotéza.
- Publikum, výjimky a jednotka rozdělení.
- Hlavní výsledek a způsob jeho potvrzení.
- Varianty, stejné podmínky a období pozorování.
- Očekávaný objem dat a metoda posouzení nejistoty.
- Technické chyby, odhlášení a podmínky zastavení.
- Pozorování, přípustný závěr a další krok.
Pro nastavení e-mail marketingu předejte velikost a složení databáze, historii výsledků a tuto kartu. Prvním užitečným krokem někdy bývá kontrola scénáře a dat; srovnávací experiment má smysl, když dokáže odpovědět na potřebnou otázku.