Proč dobrý konzultant odhalí 80 % toho, co uživatelské testování, jen už pak není zas tak dobrý

Vycházím z toho, co bylo zmíněno na Twitteru jako citace z jedné konference: „V prvních fázích CRO umí zkušený konzultant odhalit až 80 % chyb, co by odhalil uživatelský výzkum.“

Aby tvrzení mělo vůbec smysl, je pod uživatelským výzkumem chápat uživatelské testování. Tvrzení pak nabývá absurdní pravdivosti.

Skutečně je možné, že shoda bude dosahovat takto poměrně vysoké úrovně. Vezměme si web plný triviálních chyb v použitelnosti, které prakticky znemožní návštěvníkům jeho použití. Pak by konzultant měl mít dostatečně velkou shodu v objevených nedostatcích s uživatelským testováním. Testování totiž díky těmto triviálním chybám nedokáže odhalit ty netriviální (které zase nedokáže odhalit konzultant). Uživatelé prostě zakopávají o ty základní chyby a nikam dál se moc nedostanou. Oba způsoby tedy mají možnost odhalit tyto triviální chyby a dojde k nějaké shodě. V tomto ohledu by se tvrzení (80 %) dalo brát jako docela dobrý odhad.

Nicméně zkušený konzultant (o kterém tvrzení mluví), má znalosti o obou metodách a ví, kterou kdy použít. Zatím co expertní analýza má své místo právě u odhalování většinou triviálních chyb, které se dají praxí ověřit a naučit, případně pak vypozorovat, uživatelské testování má zcela jiné určení. Jeho smyslem je primárně odhalit takové chyby, které ani zkušený konzultant neodhalí (jsou závislé na cílové skupině, znalostech a neznalostech, …). Kdyby ano, proč by si pak zval uživatele, když to zvládne sám a rychleji, že. Pokud jsou tedy tyto metody použité vhodným způsobem, je zřejmé, že odhalené chyby budou odlišné (jejich množiny budou disjunktní). Navíc, obě metody se zpravidla používají v posloupnosti expertní analýza a po ní teprve podle potřeby uživatelské testování. Právě z důvodu, aby se odhalilo co nejvíc různých chyb, což je umožněno tím, že obě metody v této posloupnosti odhalí jiné chyby. Obě metody mají také jiné nároky na potřebné zdroje.

Absurdita spočívá v tom, že tvrzení by bylo pravdivé jen za předpokladu, že jsou obě metody použity nevhodným způsobem a zároveň zkušeným konzultantem.

No a pokud bychom nebrali uživatelský výzkum z citátu jako uživatelské testování, dostáváme se do ještě horší situace. Podívejme se, jak podle autora znělo celé tvrzení doslovně:

„Pro vyhledávání míst s potenciálem pro růst obchodní výkonnosti webu se používají tyto postupy: Heuristická analýza, datová analýza a uživatelský výzkum… Není vždy nutné použít najednou všechny tři způsoby získání informací. Například v prvních fázích procesu CRO je často z časových a finančních důvodů vypouštěn uživatelský výzkum. Což nemusí být vyloženě špatně, protože zkušený konzultant by měl dokázat v této úvodní fázi odhalit až 80 % toho, co by mu řeklo uživatelské testování.“

Autor si to v hlavě možná poskládá tak, aby věděl, co chtěl říci, bez ohledu na zmatenost pojmů. Posluchač už ale stěží. Zaměňují se zde právě výzkum a testování, což jsou dvě zcela odlišné věci. Pokud do citace dosadíme postupně jedno nebo druhé, obojí by tam mohlo být a obojí dává nějakou smysluplnost za určitých dodržených podmínek (u testování je to rozebrané výše). A teď tedy můžete hádat, co vlastně autor chtěl říci.

Na závěr bych si dovolil ještě říci, že z mé zkušenosti, byť za sebou nemám asi tolik desítek testování jako autor, se domnívám, že uživatelské testování je smysluplné pro použití odhalení chyb, nikoliv pro odhalení příležitostí pro zvýšení obchodního potenciálu. Proč? Uživatelé vám neřeknou, že kdybyste text v tlačítku (který je jinak zcela funkční) změnili na něco jiného, nakoupí s 5% pravděpodobností více. Co už vám ale řeknou je to (přesněji co vy vidíte), že tlačítko nepoužili a je v něm nějaký problém. Zpravidla je problém už dále zřejmý a stačí ho pak opravit. No a plýtvat na zřejmou chybu AB testování opravy je samozřejmě holý nesmysl. V tomto ohledu se tedy domnívám, že uživatelské testování je pro počáteční analýzu CRO ten nejméně efektivní způsob (rozuměj: házíte perly sviním), jak něco zjistit, a určitě bych ho doporučoval vůbec nevyužívat.

 

Proč pořádám konferenci o UX

Konference ux z praxe

Překvapivě to není proto, že tu žádná konference zaměřená na ux designéry není. To mi pouze dává prostor, který mohu využít. Tím hlavním důvodem je umožnit sdílení znalostí mezi zkušenějšími ux designéry v rámci UX komunity v ČR.

Určitě se vám už stalo, že jste se od někoho dozvěděli o zajímavém postupu, nové metodě nebo vás prostě jen někdo v něčem inspiroval v hospodě u piva. Vytěžit co nejvíce znalostí tímto způsobem ale vyžaduje hodně kontaktů a času. A není zas tolik lidí, kteří mají přístup k těm nejlepším, kteří jsou nové znalosti schopni takto předávat. Vlastně v každé firmě, kde je delší dobu ux tým, je nějaká unikátní znalost. Stačí jedna, nemusí jich být hned hromada. Pro jednotlivce je pak nereálné si samostatně firmy/lidi obcházet a snažit se znalosti od nich získat. To samé platí i obráceně, i kdyby se  firmy chtěli podělit sebevíce. Navíc je tady problém, že lidé s těmito znalostmi žádné akce neobjíždějí a tak není možné znalosti na stávajících akcích získat. Je to logické, protože ti, co je objíždějí, už své znalosti do komunity dávno dostali a tak už nemají o co nového se podělit. A tak tady máme určitou vrstvu znalostí, které ale neznáme, když to zobecním (zná ji jen velmi malý omezený počet lidí). A tato vrstva je pro většinu jen těžko dosažitelná.

Právě formát konference je podle mne vhodný k tomu se do této vrstvy aspoň z části nabourat. Najít přesahující znalosti a přemluvit lidi, kteří je mají, podle mne dokáži a mohu tak ostatním nabídnout to, co je pro ně v rámci jejich kontaktů nedosažitelné. Deset takto zajímavých přednášek v jeden den pak umožní zájemcům udělat si na den čas a přijet odkudkoliv z ČR (což je jinak nevýhoda UX Monday/Tuesday, které jsou poslední dobou na vysoké úrovni). Přednášejícím pak zase umožní v rámci jedné přednášky své znalosti předat velkému počtu lidí a i se díky tomu zpropagovat. Navíc bych rád, aby i pro přednášejícího byly všechny přednášky ostatních přednášejících přínosné.

http://www.uxz.cz/

@UXZ_CZ

FB