Proč dobrý konzultant odhalí 80 % toho, co uživatelské testování, jen už pak není zas tak dobrý

Vycházím z toho, co bylo zmíněno na Twitteru jako citace z jedné konference: „V prvních fázích CRO umí zkušený konzultant odhalit až 80 % chyb, co by odhalil uživatelský výzkum.“

Aby tvrzení mělo vůbec smysl, je pod uživatelským výzkumem chápat uživatelské testování. Tvrzení pak nabývá absurdní pravdivosti.

Skutečně je možné, že shoda bude dosahovat takto poměrně vysoké úrovně. Vezměme si web plný triviálních chyb v použitelnosti, které prakticky znemožní návštěvníkům jeho použití. Pak by konzultant měl mít dostatečně velkou shodu v objevených nedostatcích s uživatelským testováním. Testování totiž díky těmto triviálním chybám nedokáže odhalit ty netriviální (které zase nedokáže odhalit konzultant). Uživatelé prostě zakopávají o ty základní chyby a nikam dál se moc nedostanou. Oba způsoby tedy mají možnost odhalit tyto triviální chyby a dojde k nějaké shodě. V tomto ohledu by se tvrzení (80 %) dalo brát jako docela dobrý odhad.

Nicméně zkušený konzultant (o kterém tvrzení mluví), má znalosti o obou metodách a ví, kterou kdy použít. Zatím co expertní analýza má své místo právě u odhalování většinou triviálních chyb, které se dají praxí ověřit a naučit, případně pak vypozorovat, uživatelské testování má zcela jiné určení. Jeho smyslem je primárně odhalit takové chyby, které ani zkušený konzultant neodhalí (jsou závislé na cílové skupině, znalostech a neznalostech, …). Kdyby ano, proč by si pak zval uživatele, když to zvládne sám a rychleji, že. Pokud jsou tedy tyto metody použité vhodným způsobem, je zřejmé, že odhalené chyby budou odlišné (jejich množiny budou disjunktní). Navíc, obě metody se zpravidla používají v posloupnosti expertní analýza a po ní teprve podle potřeby uživatelské testování. Právě z důvodu, aby se odhalilo co nejvíc různých chyb, což je umožněno tím, že obě metody v této posloupnosti odhalí jiné chyby. Obě metody mají také jiné nároky na potřebné zdroje.

Absurdita spočívá v tom, že tvrzení by bylo pravdivé jen za předpokladu, že jsou obě metody použity nevhodným způsobem a zároveň zkušeným konzultantem.

No a pokud bychom nebrali uživatelský výzkum z citátu jako uživatelské testování, dostáváme se do ještě horší situace. Podívejme se, jak podle autora znělo celé tvrzení doslovně:

„Pro vyhledávání míst s potenciálem pro růst obchodní výkonnosti webu se používají tyto postupy: Heuristická analýza, datová analýza a uživatelský výzkum… Není vždy nutné použít najednou všechny tři způsoby získání informací. Například v prvních fázích procesu CRO je často z časových a finančních důvodů vypouštěn uživatelský výzkum. Což nemusí být vyloženě špatně, protože zkušený konzultant by měl dokázat v této úvodní fázi odhalit až 80 % toho, co by mu řeklo uživatelské testování.“

Autor si to v hlavě možná poskládá tak, aby věděl, co chtěl říci, bez ohledu na zmatenost pojmů. Posluchač už ale stěží. Zaměňují se zde právě výzkum a testování, což jsou dvě zcela odlišné věci. Pokud do citace dosadíme postupně jedno nebo druhé, obojí by tam mohlo být a obojí dává nějakou smysluplnost za určitých dodržených podmínek (u testování je to rozebrané výše). A teď tedy můžete hádat, co vlastně autor chtěl říci.

Na závěr bych si dovolil ještě říci, že z mé zkušenosti, byť za sebou nemám asi tolik desítek testování jako autor, se domnívám, že uživatelské testování je smysluplné pro použití odhalení chyb, nikoliv pro odhalení příležitostí pro zvýšení obchodního potenciálu. Proč? Uživatelé vám neřeknou, že kdybyste text v tlačítku (který je jinak zcela funkční) změnili na něco jiného, nakoupí s 5% pravděpodobností více. Co už vám ale řeknou je to (přesněji co vy vidíte), že tlačítko nepoužili a je v něm nějaký problém. Zpravidla je problém už dále zřejmý a stačí ho pak opravit. No a plýtvat na zřejmou chybu AB testování opravy je samozřejmě holý nesmysl. V tomto ohledu se tedy domnívám, že uživatelské testování je pro počáteční analýzu CRO ten nejméně efektivní způsob (rozuměj: házíte perly sviním), jak něco zjistit, a určitě bych ho doporučoval vůbec nevyužívat.

 

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *