Český košík roku – Testování a analýza

Český košík roku – Testování a analýza

3. díl seriálu Český košík roku – předchozí článek zde.

První částí hodnocení byla analýza e-shopů na základě připravené metodiky. Tři analytici (nikoliv účastníci uživatelského testování) ohodnotili každý zvlášť metriky nezávislé na uživatelském testování nebo na dalších měřeních. Shodné výsledky analytiků jsme poté konzultovali se všemi experty. Bližší popis metrik, kde bylo vyžadováno měření, je níže.

Jak probíhalo uživatelské testování?

Nejnáročnější z celé přípravy Českého košíku roku byla příprava a realizace téměř 900 uživatelských testů. V zadání uživatelského testu dostalo osm lidí úkol: “kupte si tento produkt” (zvlášť v každém e-shopu).

Demografické složení uživatelského testování:

  • Žena 20–25 let student
  • Žena 25–30 let matka na mateřské
  • Žena 25–30 let administrativa
  • Žena 40–45 let administrativa
  • Muž 18–23 let student
  • Muž 25–30 let podnikatel
  • Muž 30–35 let manažer
  • Muž 35–40 let obchodník

Celý proces probíhal v oddělené klidné místnosti, kde jsme nahrávali pohyby na obrazovce a natáčeli jsme interakce každého účastníka testu (včetně zvukové stopy).

CKR-Testování a analýza-1-745 *Poznámka: V průběhu uživatelských testů byla v místnosti stálá teplota a vlhkost vzduchu, aby nedošlo ke zkreslení výsledků.

Při testování bylo na první pohled vidět, kdy byl uživatel v nákupním procesu ztracen, a kdy pro něj bylo vše jednoduché a pochopitelné.

CKR-Testování a analýza-2-745

Co jsme žádali po účastnících testování?

Úkolem bylo zakoupit jeden produkt v každém ze 110 vybraných českých e-shopů. Součástí zadání bylo platit bankovním převodem a objednat dopravu přes Českou poštu (v případě, kdy nebyla jedna z možností k dispozici, měl uživatel za úkol vybrat si libovolnou alternativu). Každý uživatel měl k dispozici nově založený uživatelský profil, aby ho netrápilo např. automatické vyplňování.

*Poznámka: První reakce z nákupu pro nás byla velmi důležitá pro validaci našich výsledků – srovnali jsme výsledky metodiky s pocity účastníků testování a tím, jak byli v průběhu nákupu “zmatení”.

Každý účastník dostal unikátně vygenerované náhodné pořadí testovaných e-shopů, aby jím nebyl nikdo ovlivněn.

Měření a další testování

Test zákaznické podpory

Na zákaznické podpory e-shopů jsme poslali dvě jednoduché otázky. V úterý dopoledne nás zajímalo, jaké jsou možnosti vrácení zboží. Ve čtvrtek odpoledne jsme se ptali, zda lze platit poštovní poukázkou. E-shopy jsme oslovili z e-mailových adres na doméně Gmail. Všechny adresy obsahovaly jméno a příjmení, dotazy tak působily velmi věrohodně, a e-shopy neměly šanci zjistit, že se jedná o test.

Test rychlosti načtení stránky

Pro testování rychlosti načtení stránky jsme využili nástroje Google PageSpeed Insights a Pingdom, s jejichž pomocí jsme weby otestovali v úterý odpoledne a ve čtvrtek ráno, abychom měli časově dostatečně reprezentativní výsledky.

Test přístupnosti

Pro testování přístupnosti jsme použili nástroj Wave – web accessibility evaluation tool.

Test přehlednosti tlačítek

Rozostřili jsme vyfocenou obrazovku prvního kroku nákupního procesu a zjišťovali jsme, zda je výzva k akci (“call-to-action”) i tak jednoznačně viditelná. Další část tohoto testu souvisela s uživatelskými testy, kdy jsme zjišťovali, zda kromě přehlednosti tlačítek jsou jasné i jejich popisky. Např. z popisku tlačítka “Uzavřít objednávku” pro naznačení pokračování v objednávce (výběr dopravy a platby) byli uživatelé zmatení.

Zhodnocení metodiky

Na grafu jsme si vyobrazili jednotlivé e-shopy (modré body na grafu níže), jejich bodové ohodnocení naší metodikou (vertikální osa) a subjektivní hodnocení uživatelských testů (horizontální osa). Z toho je patrný trend (oranžová křivka). Čím vyšší hodnocení metodikou, tím obecně lepší subjektivní hodnocení. Zelená křivka nám ukazuje, jak by vypadala ideální lineární závislost těchto dvou metrik. Ta ale slouží jen pro porovnání s námi zjištěným trendem.

CKR-Testování a analýza-3-745