Poslední více než dva roky jsem pracoval ve společnosti Liberty Global, která vlastní po Evropě firmy známe pod značkami UPC, UnityMedia, KabelBW, pak kabelového operátora v Chile a Portoriku. Právě pro evropskou centrálu jsem pracoval od srpna 2010, poslední rok přímo v Amsterdamu. Zabýval jsem se mimo jiné tím, jak efektivně optimalizovat weby jednotlivých společností, tak aby více vydělávaly.
Za tuto dobu jsem si odnesl několik užitečných poznatků o tom, jak optimalizaci konverzního poměru dělat a jak nedělat. Udělali jsme množství chyb, ale to je zřejmě přirozené a díky nim jsme se mohli posunout dále.
Nedávno vyšel podobný článek od Neila Patela. Pavel Jašek mě pak vyzval, jestli bych se o své poznatky nechtěl také podělit, a já souhlasil.
1. Lidé jsou základ
Avinash Kaushik tvrdí, že ve webové analytice byste měli věnovat 90 % rozpočtu na lidské zdroje a 10 % na nástroje a má praxe mě utvrdila v tom, že to platí i v příbuzném oboru – optimalizaci konverzního poměru. Sofistikované technologie a nástroje jsou moc fajn, ale bez schopných lidí jste vyřízení a nástroje nevyužijete. V našem případě jsme měli na každém trhu implementovaný Adobe SiteCatalyst, ale ne vždy měl lokální tým kapacity na jeho optimální využití. Pokud plánujete optimalizovat váš online business, vždy začínejte u lidí.
2. Nepodceňujte úvodní čast analýzy a výzkumu
Jedním z nejtěžších úkolů bylo naučit lokální týmy netestovat nahodilé nápady, ale soustředit se nejdříve na analýzu a výzkum, který vede k odhalení slabých míst. Platilo to o všech trzích bez výjimky (takže i Západní Evropa). Týmy sklouzávaly k testování nápadů, které nebyly podloženy analýzou. Například jsme testovali přehled produktů v horizontálním uspořádání oproti vertikálnímu, ačkoliv nebyl zhotoven uživatelský průzkum, který by naznačoval, že uživatelé mají s vertikálním uspořádáním problém.
Pokud budete testovat, co vás napadne, je to jako kdybyste házeli hrách na stěnu a čekali, který se udrží. Důkladná analýza/výzkum sama nezaručí skvělé výsledky, ale mohu potvrdit, že v našem případě více testů přineslo ovoce, pokud nápad vzešel z pořádné analýzy.
3. Flexibilní IT a vývojáři
Když optimalizujete web, jedná se o soustavnou aktivitu a test by měl střídat test. Ideálně tak, aby na sebe testy navazovaly. To všechno vyžaduje flexibilní zásahy do webu: umísťování potřebného kódu, vytváření variant, odebírání kódů, nastavování vítězné varianty.
Máte-li problémy se svým IT/web developerem a každá změna trvá dlouho, dobře si své investice rozmyslete.
4. MVT není lepší než A/B test
Existují v zásadě dvě metody online testování. Jedná se o tzv. A/B testing a Multi-variete testing (MVT). Mnohokrát jsem se setkal (zejména u managementu) s názorem, že MVT je lepší a sofistikovanější než A/B testování. Ano, je trochu složitější, ale lepší? Obě metody se hodí na něco jiného a obě mají své místo v procesech optimalizace.
A/B testování je lepší na test dvou a více naprosto odlišných variant, kdy vezmete stránku A a testujete oproti stránce B, případně i C, D apod. Kdežto MVT je ideální na doladění vítězné varianty. V zásadě testujete stále stránku A, jen testujete různé kombinace jednotlivých variant prvků, které na stránce jsou. Vyberete si například nadpis, obrázek a tlačíko. Ke každému z těchto prvků máte připraveno několik variant (jiný obrázek, text, barva tlačítka..) a testujete, která kombinace je nejlepší.
Dejte si pozor, že MVT je mnohem náročnější na návštěvnost a konverze. Kvůli tomu jsme ho ve firmě bohužel mnohokrát nevyužili. Rozdíly mezi oběma metodami hezky ilustruje tento článek.
5. Při A/B testech se omezte na jednu změnu
Mnohokrát se nám stalo, že jsme měli problémy analyzovat výsledky A/B testu. A to proto, že se jednotlivé verze lišily ve více prvcích: jiné uspořádání prvků, texty, odlišný obsah pod přehybem stránky atd. Když tohle testujete pomocí A/B testování, nejste schopni určit, jestli varianta B vyhrála díky odlišenému textu, jinému uspořádání prvků nebo díky obsahu pod přehybem.
Pokud chcete v jednom testu vidět vliv jednotlivých testovaných prvků, použijte metodu MVT. Nebo rozdělte původní test na několik menších testů.
6. Buďte ve svých testech odvážní, malé změny téměř nikdy neuspějí
Ač mnohé případové studie pojednávají o tom, jak pouhá změna nadpisu přinesla 60% zvýšení konverze, v praxi jsem se s tím nesetkal. Možná jsme jen neměli štěstí, ale v našem případě malé změny nikdy nepřinesly velké výsledky. Je to pravděpodobně hodně závislé i na produktu a oboru.
Testování je tu od toho, abyste experimentovali. Nebojte se odvážných a kontroverzních nápadů, právě ty mají často větší šanci na úspěch. Vždy můžete nastavit, že alternativní verzi uvidí jen 10 % návštěvníků a minimalizujete tak případný negativní dopad.
7. Dbejte na správně zakončení testu a interpretaci výsledků
Ukončit test ve správnou dobu a dobře interpretovat výsledku je klíčové a ne vždy snadné. Nejdřív k správnému ukončení: Ne vždy jsme bohužel ukončili test ve správnou dobu. Několikrát předčasně: nedostatečný počet dní, nekonzistentní výsledky nebo velké rozpětí výsledků. Ano, výsledkem je vždy interval (zlepšení o 5 – 10 %), vy ale vidíte většinou jen jeho střední hodnotu (7 %). Několikrát jsme také nechali test běžet příliš dlouho a pak na něj silně působily externí vlivy typu sezónnost, kampaně a změna produktového portfolia.
Po ukončení testu pak musíte správně interpretovat jeho výsledky. Častou chybou byla generalizace výsledků. Uvedu příklad: Test ukázal, že tzv. social proof (více o social proof v této infografice) nezafungoval a nepřiměl více uživatelů ke koupi. Chybným závěrem bylo domnívat se, že koncept social proof nefunguje. Správným závěrem by bylo: “Tato konkrétní verze social proof na této konkrétní stránce nepřiměla více uživatelů ke koupi”. Je totiž možné, že autentičtější zpověď s lepším umístěním mohla přinést zcela jiné výsledky.
8. Mějte vždy jeden test, mohou se vzájemně ovlivnit
Ve snaze o co nejefektivnější optimalizaci můžete snadno sklouznout do situace, kdy budete mít spuštěné 2 a více testů zároveň. Není to problém, pokud se testy vzájemně neovlivňují. Např., když se první test týká nákupního košíku a druhý zákaznické sekce. Oba mají jiné konverzní cíle a potenciálně jinou cílovou skupinu. I tak je tu však vždy risk. Buďte, proto prosím opatrní s více testy v jeden okamžik. Lze pak velice těžko analyzovat, zda výsledek prvního testu nebyl ovlivněn druhým testem. Ano, tempo optimalizace bude pomalejší, ale výsledky budou spolehlivější. Co se nám osvědčilo, byly tzv. paralel testing lines, kdy jsme testovali dvě oblasti a v době testování oblasti 1 se připravoval test v oblasti 2 a po ukončení naopak.
9. To, co fungovalo v Rakousku, nemusí fungovat v Polsku, aneb neaplikujte poznatky bez ověření
Jako mezinárodní firma jsme hodně řešili, jak moc aplikovatelné jsou výsledky testů z jedné země v zemi druhé. Přesvědčili jsme se, že nemůžeme jen tak vzít výsledky a aplikovat bez ověření na další trhy. I když se jedná o stejnou značku a obor, trhy a cílové skupiny jsou tak specifické, že to nefungovalo.
Na druhou stranu nebylo možné vše testovat ve všech trzích, takže se úspěšné testy otestovaly ještě na několika trzích a pokud jsme viděli pozitivní dopad v těchto trzích, ostatním jsme doporučili implementaci změny. S tím, že je dobré změnu analyzovat alespoň post-implementaci.
10. Optimalizace konverzního poměru je dlouhodobá aktivita
Tenhle poznatek vás pravděpodobně nepřekvapí, ale bylo by hříchem ho tu nezmínit také. Podobně jako SEO, i CRO (Conversion Rate Optimization) je aktivitou, kde se výsledky dostaví až po určité době.
Bohužel se nám často stalo, že aktivity v oblasti optimalizace neměly takovou prioritou, jakou bych si sám přál. Po čase, kdy jeden test následoval druhý, dříve nebo později přišel důležitější projekt, který si vyžádal drtivou většinu času lokálních online týmů. Aktivity v oblasti CRO tak byly pozastaveny a návrat byl vždy pomalejší. To mě naučilo jedné věci, pokud má optimalizace fungovat, musí se provádět soustavně a mít alokované zdroje po celý rok.
11. Nepočítejte s konstantními 10+% zlepšeními
Osobně nemám příliš v lásce weby typu WhichTestWon.com nebo ABtests.com. Z několika důvodů. Jedním z nich je, že často publikují testy s velmi vysokým dopadem na obrat a konverze a tvoří tak falešná očekávání u laické veřejnosti. Opět jsme možná měli smůlu nebo jsme nedělali svou práci dobře, ale nesetkali jsme se s mnoha testy, které by přinesly dvojciferná zlepšení v rámci procent.
12. Využívejte segmenty
Pokud to váš nástroj na A/B (MVT) testování umožňuje, určitě využívejte segmentaci při analýze výsledků testu. Vyžaduje to samozřejmě vyšší traffic a konverze, aby jednotlivé segmenty měly smysl, ale pak je hezké vidět, jak se výkonnost vašich variant může měnit v závislosti na definovaných segmentech. Pak je rozhodnutí na vás, zdali je pro vás přínosné udržovat dvě (nebo více) verze stránky pro jednotlivé segmenty. Pamatuji si na příklad ze Švýcarska, kdy jsme zpozorovali, že testované varianty ukazovaly jinou výkonnost pro různé prohlížeče (každý prohlížeč pravděpodobně představoval trochu jinou cílovou skupinu). Nakonec však díky tomu, že ona stránka už měla sama o sobě čtyři jazykové verze, ke customizaci na základě prohlížeče nedošlo.
13. Problém viditelných výsledků po skončení testů
Na závěr jeden dost klíčový problém, s kterým jsme se občas setkali. Někdy se jednoduše pozitivní výsledky testu po jeho skončení nepromítly do výkonnosti webu. Jak je vidět ze zkušenosti Neila Petala, nebyli jsme sami, kdo tento problém mají. Souhlasím se zmíněným článkem, že v tom může hrát velkou roli odlišná návštěvnost a externí vlivy typu sezónnost, konkurence, trh atd. Věřím ale, že když budete dbát na správné ukončení testu a test bude konzistentně ukazovat určitý výsledek, šance, že výsledek bude vidět i po skončení testu, vzroste.
Jak optimalizujete svůj web vy? Které poznatky vám dávají smysl a které ne? Jaké jsou vaše zkušenosti z praxe? Podělte se s námi v diskusi pod článkem.
ČLÁNKY DO MAILU
