4.3 Utvärdering
4.3.1 Användartest 2
Nedan presenteras resultaten från användartestet som utfördes i slutet av iteration 2. Av de fem testdeltagare som medverkade i användartest 2 var en nuvarande småbarnsförälder och fyra stycken före detta småbarnsföräldrar.
Mätning av Lostness
De kodförändringar som gjordes efter första användartestet, under iteration 2, förändrade antalet noder för den optimala vägen i uppgift 4 och 5. Optimalt antal noder för uppgift 7 förblev densamma, men vägen blev annorlunda och presenteras således tillsammans med uppgift 4 och 5 nedan. Den optimala vägen för övriga uppgifter var den samma som under användartest 1.
4 Skapa en prenumeration bestående av Pampers Swaddlers samt Pampers Sensitive Wipes för ditt påhittade barn med valfritt smeknamn. Optimal väg (7 noder):
a) Navigera till skapa paket via startskärm eller det expanderbara navigationsfältet. b) Lägg till barn via automatiskt genererad dialogruta.
c) Inloggningssida via Gå vidare till varukorg. d) Registreringssida via Har du inget konto?.
e) Varukorg via lyckad registrering. f) Betalningsdialog via Paypal. g) Betalning klar via Betala.
5 Ta bort Pampers Sensitive Wipes från barnets paket och lägg till Pampers Unscented Wipes och uppdatera din prenumeration. Optimal väg (3 noder):
4.3. Utvärdering
b) Varukorg via Gå vidare till varukorg.
c) Betalning klar via godkända gamla betalningsuppgifter och klick på Uppdatera prenumeration. 7 Ta reda på om det går att Pausa en prenumeration.
a) Vanliga frågor via scroll nedåt från startsidan eller via det expanderbara navigationsfältet. b) Kategorialternativet Min prenumeration via klickbar ikon.
c) frågealternativet Kan jag pausa min prenumeration via expandering av frågealternativet.
Resultatet för varje uppgift som deltagarna utförde visas intill resultatet från användartest 1 i figur 4.30. Figuren visar genomsnittliga värden för varje uppgift för att ge en helhetsbild över vilka tester som uppmätte högre grad av Lostness. I figur 4.31 visas hur många användare som tog sig igenom varje uppgift via den optimala vägen. Med andra ord hur många användare som hade värdet 0 i Lostness för varje uppgift.
Figur 4.30: Normerad Lostness, användartest 1 mot användartest 2
Figur 4.31: Antal användare som tog optimala vägen, användartest 1 mot användartest 2
Concurrent Think Aloud Procedure (CTAP)
Alla testdeltagare lyckades genomföra testet som var utformat. Den funktionaliteten som kommenterades mest fre- kvent var sidans lätthet att navigera. I sidan Skapa Paket upplevde några användare svårigheter med att komma
4.3. Utvärdering
vidare för att skapa en prenumeration vilket var det enda problemet som mer än 1 testperson stötte på. Nedan har samtliga upplevelser som upplevdes av mer än 1 testperson sammanställts:
• 2 av 5 testdeltagare hade svårigheter kring användarvänligheten vid Skapa-paket-sidan.
• 2 av 5 tyckte att informationen man får vid skapande av ett paket var bra. En av dessa kunder kommenterade specifikt att dem gillade att man såg informationen om när beställningen skulle anlända.
• 2 av 5 testdeltagare tyckte att det var bra med en bekräftelse vid avslutande av prenumeration. • 3 av 5 testdeltagare uttryckte att dem lätt hittade runt på sidan under testets gång.
Retrospective Probing Procedure (RPP)
Nedan presenteras testdeltagarnas svar på frågorna i RPP-formuläret med avsikt att fånga deras spontana intryck av webbapplikationen omedelbart efter det andra användartestet genomförts.
1. Vad tyckte du bäst om med PrenParents webbapplikation?
• Snygg och tydlig design. • Smidigheten och enkelheten. • Enkelheten och tydligheten.
• Snyggt stiliserad. Gillar känslan och utseendet. • Designen med fina bilder. Lätt att hitta till rätt plats.
2. Vad tyckte du var sämst med PrenParents webbapplikation?
• Saknar knapp för att uppdatera varukorgen efter man gjort ändringar.
• Otydligheterna i prenumerationen. Svårt att veta exakt när prenumerationen gått igenom eller ej. • Textstorleken i avsnittet vanliga frågor är för stor.
• Dålig kontrast på flera val/knappar. För liten text på viss information.
• Vid registrering bör bekräfta lösenord så direkt under lösenord. Det gör det inte nu.
3. Vad hade du velat ändra med PrenParents webbapplikation?
• Lägga till en uppdateraknapp i varukorgen.
• Större tydlighet i hur åldern på barnet ger storlek på blöjorna. • Textstorleken i avsnittet vanliga frågor.
• Ändra prenumeration istället för uppdatera varukorg vid förändring av prenumeration. • Lägga bekräfta lösenord direkt under fältet för lösenord.
Vidare fick testdeltagarna besvara resterande fem frågor med ett betyg ett till fem där en etta motsvarar håller inte med alls och en femma håller helt med. För respektive fråga fick testdeltagarna även motivera varför de satte det betyg de gjorde. Resultaten av dessa frågor och testdeltagarnas motiveringar presenteras nedan i figur 4.32 och efterföljande motiveringar respektive:
Figur 4.32: Sammanställning av antal och andel testdeltagare per svar och fråga för Retro-
spective Probing, användartest 2
4.3. Utvärdering
• (5) Den är enkel och tydlig.
• (5) Den ger ett seriöst intryck. Snygg, enkel och bra extrafunktioner. • (4) Den är enkel och tydlig.
• (5) Designen ger ett trovärdigt intryck. Lätt att förstå hur tjänsten fungerar. • (5) Känns trovärdigt och enkelt.
Motivering för betyg - fråga 5:
• (5) Den är enkel och tydlig.
• (5) Den ger ett seriöst intryck. Erbjuder medlemsfunktioner och enkel kontakt med företaget. • (5) Användarvänligt och enkelt. Tydlig information om vilka tjänster och produkter de kan erbjuda. • (5) Designen ger ett trovärdigt intryck. Lätt att förstå hur tjänsten fungerar och tryggt med kontaktuppgifter. • (5) Webbapplikationen ser seriös ut, lätt att hitta kontaktuppgifter.
Motivering för betyg - fråga 6:
• (5) Den är enkel och tydlig.
• (5) Flera betalningsalternativ. Utomstående funktioner (PayPal). • (4) Fungerade och känns igen.
• (5) Känns säkert när man kan använda PayPal. • (1) Skulle vilja bekräfta kreditkortsköp med BankID.
Motivering för betyg - fråga 7:
• (4) Inte alltid självklart var man hittade informationen. Även bebisens ålder/vikt skulle vara bra att ha med. • (5) Enkelt och tydligt att hitta informationen.
• (4) Bra rubriksättning. • (5) Lättöverskådligt.
• (5) Bra innehåll i footern och i menyn.
Motivering för betyg - fråga 8:
• (5) Inte alltid självklart var informationen fanns. Vill ha med bebisens ålder och vikt. • (5) Saklig information som är rakt på sak.
• (4) Enkel och tydlig information. Möjlighet till vidare och mer detaljerad information via mail vid behov. • (5) Bilder på produkterna uppskattas.
• (3) Svårt att säga om den kändes pålitlig.
System Usability Scale (SUS)
4.3. Utvärdering
Användartest 2 SUS
Antal deltagare: 5
Poäng
1
2
3
4
5
Totalt
Sus total
Fråga 1
1
1
3
17
42,5
Fråga 2
5
20
50
Fråga 3
1
4
19
47,5
Fråga 4
5
20
50
Fråga 5
5
20
50
Fråga 6
4
1
19
47,5
Fråga 7
5
20
50
Fråga 8
5
20
50
Fråga 9
1
4
19
47,5
Fråga 10
5
20
50
SUS medelvärde:
97
5
Diskussion
Här diskuteras resultaten, metoden och övriga aspekter av rapporten som behöver analyseras.
5.1
Resultat
Nedan diskuteras det resultat som presenteras i kapitel 4. Resonemangen grundar sig i teori från kapitel 2.
5.1.1
Användartester
I detta kapitel diskuteras resultaten från de genomförda testerna Retrospective Probing Procedure, Concurrent Think Aloud Procedure, Mätning av Lostness och System Usability Scale.
Retrospective Probing Procedure (RPP)
Resultatet på fråga 1: Vad tyckte du bäst om med PrenParents webbapplikation? visade i bägge användartest att det test- deltagarna uppskattade mest med webbapplikationen var dess estetiska design, enkelhet och tydlighet i navigation. Där de två sistnämnda aspekterna har signifikant påverkan på upplevd trovärdighet [26]. Testdeltagarna betygsatte i samtliga test webbapplikationen med genomsnittliga värdet 4,8 av 5 på fråga 4, vilken berörde huruvida de uppfat- tade applikationen som trovärdig. Bakom testdeltagarnas betyg fanns motiveringar så som att webbapplikationen var enkel och tydlig vilket enligt dem gjorde ett seriöst och trovärdigt intryck.
Att betygen var identiska mellan test 1 och test 2 gör det svårt att hitta isolerade implementationsfaktorer som gjorde webbapplikationen trovärdigare, men motiveringarna ger en bild av att hur sidan ser ut och hur informationen presenteras är en viktig faktor för hur trovärdig den upplevs. Att trovärdigheten är avhängig av webbapplikationens enkelhet och tydlighet styrks av kopplingen mellan informationsdesign och trovärdighet som tas upp av Cyr [23] och Pettersson [19].
Gällande fråga 2: Vad tyckte du var sämst med PrenParents webbapplikation? i användartest 1 hade testdeltagarna syn- punkter på betalningsprocessen, leveransinformationen samt hur en prenumeration startas, avslutas och hittas tillba- ka till när man återvänder till PrenParent. Just betalningsprocessen uppfattades som krånglig, vilket är problematiskt enligt Helander och Khalid [6] som konstaterat att 27 % av användare inte genomför ett köp om betalningsprocessen är för tidskrävande. Enklare betalningsprocess med fler alternativ som testdeltagarna har erfarenhet av sedan tidiga- re var därför inte helt oväntat ett förbättringsförslag som lyftes fram i fråga 3: Vad hade du velat ändra med PrenParents webbapplikation?. Avsaknaden av system så som Swish1för betalning och BankID för bekräftelse och autentisering
av kortköp var något som i bägge test påverkade testdeltagarnas betyg på upplevd säkerhet i webbapplikationens betalningsfunktion. Att testdeltagarna upplevde låg säkerhet kring autentisering och betalning talar för att webbap-
5.1. Resultat
plikationens trovärdighet borde upplevas som lägre, enligt Kim och Peterson [15], något som motsäges av resultaten från användartesterna.
En orsak till denna motsägelse kan vara att testdeltagarna inte upplevde momenten kring betalningen lika kritis- ka som de gjort vid genomförandet av en verklig betalning. Detta då testdeltagarna hade möjlighet att använda påhittade person- och betaluppgifter som testledaren tillförsett dem med. Detta resulterade i att testdeltagarna in- te riskerade sina egna person- och betalningsuppgifter, vilket kan ha resulterat i att den upplevda låga säkerheten förbisågs och webbapplikationen ansågs fortsatt vara trovärdig även fast delar av säkerheten upplevdes som låg. I fråga fem söktes användarnas tillit till webbapplikationen, genom frågan: jag skulle, även när testet inte är bevakat, lita på att PrenParent levererar enligt mina förväntningar. Där ser vi en signifikant förändring från ett snittbetyg på 4,4 efter användartest 1 till 5,0 efter användartest 2. Eftersom tillit till tjänsten enligt Gefen och Straub [4] är en grund till om hemsidan upplevs som trovärdig, indikerar resultaten från denna fråga att de förändringar som implementerats i andra iterationen har bidragit till att göra hemsidan mer trovärdig.
Allmänt kan det konstateras att snittpoängen på de graderade frågorna ökade något i test 2, men samtidigt är skill- naden mellan resultaten i test 1 och test 2 marginell. Detta skulle kunna bero på att testdeltagarna tillhör målgruppen som till stor del var en homogen grupp avseende demografiska faktorer så som äktenskapsstatus, utbildningsnivå och finansiell kunskap, vilket enligt Cyr [23] innebär att deras riskbeteende och således även värdering av informa- tionssdesign är likartad.
Concurrent Think Aloud Procedure (CTAP)
Det var fler för frågeställningen relevanta åsikter och tankar som lyftes fram under användartest 1 jämfört med användartest 2. Under användartest 1 var det fler deltagare som fastnade vid några punkter i testet jämfört med användartest 2. Det skulle kunna spekuleras i att testpersonerna inte har en lika stor benägenhet att komma med åsikter och tankar om allt går som planerat. Denna spekulation grundar sig i att användartest 2 genomfördes utan större svårigheter av alla deltagare. Det är också så att testgrupperna bestod av olika personer i användartest 1 och användartest 2. Detta skulle kunna ha en inverkan på hur många tankar som uttrycktes under de olika användates- terna.
I användartest 1 hade 60 % av testdeltagarna åsikten att den bekräftande texten vid skapandet av ny prenumeration inte var formulerad på ett bra sätt. Under användartest 2 förändrades detta till att 40 % av testdeltagarna uttryckte deras nöjdhet med informationen som angavs vid uppstart av prenumeration. Detta efter att förändringar gjorts med åsikterna från användartest 1 i åtanke. Enligt Furner m. fl. [13] påverkar graden av tillit till en webbapplikation av hur trovärdig en webbapplikationen anses vara. Med en minskning av tydlig information skulle det kunna spekuleras i att tillit för webbsidan minskar vilket därav skulle påverka trovärdigheten negativt. Trovärdigheten på webbsidan kan därför sägas ha förbättrats av denna specifika implementation från användartest 1 till användartest 2.
En annan observation är att en miss i utformningen av webbsidan kan ge ett relativt missen stort avtryck i kundupp- levelsen. Under det första användartestet var det nämligen 40 % av testanvändarna som kommenterade på att moms saknades på webbapplikationen. Det är svårt att säga hur mycket en sådan miss påverkar helhetsintrycket av web- bapplikationen men enligt Palvia [7] är trovärdigheten korrelerad med en e-butiks kompetens och välvilja. Om en kund potentiellt uppfattar avsaknad av moms som en kompetensbrist eller en minskad välvilja från företaget kan därför trovärdigheten för tjänsten minska.
Mätning av Lostness
Följande diskussion kring resultaten av de kvantitativa mätningarna av Lostness är baserad på resultatet av de två an- vändartesterna med fem testdeltagare vardera och kan därmed ej med statistisk säkerhet dra någon slutsats på egen hand. Resultaten kan endast ge indikationer, och CTAP samt RPP används även för att understödja och kontrastera resultaten från mätning av Lostness. Mer om detta i sektion 5.2.3.
Under samtliga mätningar av Lostness i användartest 1 översteg enbart uppgift 7 Lostness-värdet 0,4. Något som kan ha bidragit till de låga värdena är att webbapplikationen implementerades så att användaren nästan alltid var ett klick ifrån nästa nod i uppgiften. Enligt Zhang m. fl. [29] ska detta leda till god navigerbarhet. Resultatet från uppgif- ternas Lostness föreslår att webbapplikationen uppnådde just detta. Eftersom värdet låg mellan 0,4 och 0,5 i uppgift 7 kunde inga slutsatser dras kring huruvida uppgift 7 genererade en tydlig Lostness och därmed ifall det enligt Smith [38] försämrade navigerbarheten. För att med säkerhet kunna förstå om Lostness existerade för uppgiften, krävs yt- terligare analyser [38]. Inga av de övriga uppgifterna indikerade Lostness [38]. Från resultatet utläses också att endast en av fem testdeltagare lyckades ta den optimala vägen. Enligt Helander och Khalid [6] är det svårt att konstruera be- slutsvägar då användare har olika förutsättningar, och i sammanställningen av användarnas upplevelser från CTAP framgår det att två testdeltagare ej upplevde det intuitivt att den, för uppgiften, nödvändiga informationen fanns under Konto. Vidare hade en testdeltagare svårt att ta sig till den första noden då hen inte förstod innebörden av FAQ. Detta bekräftar teorin om att det är viktigt att analysera användarens beslutsvägar och presentera information som underlättar så mycket som möjligt för slutanvändaren vid implementationen [6]. Vidare skulle presentationen av information hur användaren tar sig vidare till frågan om paus av prenumeration kunna anpassas för att höja upp-
5.1. Resultat
giftens kognitiva effektivitet och förbättra användarens förståelse, och därmed öka webbapplikationens navigerbarhet [36].
Det genomsnittliga värdet för Uppgift 4 avseende Lostness (0,38) antydde att ingen Lostness existerade [38]. Eftersom ingen testdeltagare klarade av att följa den optimala vägen för denna uppgift, blev det tydligt att det fanns förbätt- ringspotential avseende navigerbarhet här. 3 personer uttryckte i CTAP att det var svårt att hitta till varukorgen, en kritisk nod i uppgiften som relaterar till vanliga problem som kan uppstå i en e-butik [6]. Genom att tydligare pre- sentera mer information för användaren, avseende hur hen tar sig till varukorgen, kunde den kognitiva effektiviteten förbättras och således öka webbapplikationens navigerbarhet [35]. Från fråga 7 i RPP uttrycktes även missnöje över att det var svårt att förstå hur man som blivande kund skulle gå tillväga i uppgift 4. Genom att i samband med de olika noderna stödja användaren och hela tiden på ett tydligt sätt presentera den informationen som krävs för att na- vigera sig vidare, skulle det öka förståelsen för hur användaren beställer ett paket [36]. Det skulle i sin tur motverka den försämrade navigationssnabbheten som användaren upplevde, och således förbättra navigerbarheten [37][35]. Uppgift 5 indikerade avsaknad av Lostness, men den erhållna datan från resultatet i CTAP och RPP påvisade en frustration i att betalningsmomentet behövde återupprepas när användarna skulle uppdatera sin prenumeration. Testdeltagarnas reaktioner till uppgift 5 korrelerar tydligt till studien gjord av Helander och Khalid [6] om hur tidskrävande betalfunktioner kan försämra en webbapplikations navigerbarhet.
Med insikterna från första användartestet etablerades designförändringar för uppgift 4, 5, 7 och 8 under iteration 2. Syftet med förändringarna var att förbättra webbapplikationens kognitiva effektivitet genom att förtydliga informa- tion och automatisera vägen mellan noderna. Fokus på dessa aspekter ska öka navigationssnabbheten, och således webbapplikationens navigerbarhet [36]. I uppgift 4 under användartest 1 tvingades användaren att manuellt välja huruvida den skulle gå vidare som Ej Medlem eller Medlem beroende på om den registrerat sig tidigare eller ej. De- signförändringarna under iteration 2 automatiserade användarens fortskridning i detta steg. Förändringen innebar också en ökning av antalet noder i den optimala vägen från sex till sju stycken. Användarnas upplevda Lostness un- der uppgift 4 minskade från 0,38 till 0,07. Förklaringen ligger i användarnas förhöjda tendens till att närma sig den optimala vägen under användartest 2, vilket indikerar en ökad kognitiv effektivitet som knappförflyttningen och flödesändringen har medfört [36]. Det minskade värdet för Lostness i uppgift 4 ger en indikation på förbättrad na- vigerbarhet för webbapplikationen [38], samtidigt som en kortare optimal väg, avseende Lostness, ej tycks förbättra webbapplikationens navigerbarhet om den kognitiva effektiviteten är bristfällig. Detta utgör möjligen en mer nyan- serad bild än de faktorer som påverkar navigerbarhet, till skillnad från Hu m. fl. studie [35] som främst fokuserar på de antal klick som genereras vid utförande av en uppgift. Det kan därmed indikera att fokus snarare bör ligga på att hålla användaren så nära den optimala vägen som möjligt för att nå hög navigerbarhet. Det är dock värt att belysa att denna rapport endast mäter navigerbarhet utifrån Lostness, och därför inte med säkerhet kan dra slutsatsen att Lostness bör prioriteras framför antal klick.
Det ökade antalet testdeltagare som tog den optimala vägen för uppgift 5 kan vara ett resultat av att betalningsmo- mentet uteblev från processen. Genom att utesluta detta tidskrävande moment eliminerades risken att användaren skulle tappa motivationen till att fortsätta navigera på webbapplikationen [6]. Vidare kan tidsbesparingen som för- ändringen innebar vara en aspekt som förklarar varför fler testdeltagare navigerade sig fram bättre på uppgift 5 under användartest 2 [6]. Det minskade antalet noder för optimala vägen i uppgiften, tillsammans med det förhöjda antalet testdeltagare som lyckats ta den optimala vägen, visar på en förbättring av webbapplikationens navigerbar- het [38]. Ökningen av testdeltagare som lyckades ta den optimala vägen indikerar att det blev lättare att hitta till nödvändig information och därav uppstod en förbättrad navigerbarhet [29]. Minskningen av noder till antalet, mi- nimerar också antalet klick som behövs för att ta sig fram i nodkedjan. Detta är en viktig aspekt för att åstadkomma god navigerbarhet [6].
Det förbättrade värdet för Lostness som uppgift 7 registrerade i användartest 2 visar på att förändringarna avseende vart och hur information presenteras förbättrade webbapplikationens navigerbarhet [38]. Förändringen från FAQ till Vanliga Frågor samt justeringen från Konto till Min prenumeration gjorde det möjligt för målgruppen att med lätthet navigera sig fram till nödvändig information, vilket ökade webbapplikationens övergripande navigerbarhet [29]. Att två ytterligare testdeltagare lyckades följa den optimala vägen för uppgiften i användartest 2 stärker detta påstående. Förändringen i uppgift 8 under iteration 2 följdes av en sänkt grad av Lostness i användartest 2. Trots att knappen Mina betalningar i sig inte användes för att utföra uppgiften då den introducerades efter uppgift 4, indikerar resul- tatet att introduktionen stärkte användarens förståelse för framtida navigation, och därmed stärkte den kognitiva effektivitet för uppgift 8 [35]. Detta resonemang, tillsammans med minskad Lostness, föreslår att presentation av nya användaralternativ inför framtida beslut gör det lättare att hitta nödvändig information, och därav kan förbättra en webbapplikations navigerbarhet [38] [29]. Helander och Khalid [6] fokuserar på att informationen som kunden behöver bör presenteras i samband med beslut, vilket i detta fall var uppgift 8. Från resultaten kan det argumenteras för att webbapplikationens navigerbarhet även kan förbättras i förebyggande syfte, för att användaren i framtiden lättare ska kunna navigera sig till de nya funktionerna.
5.2. Metod
System Usability Scale (SUS)
Resultatet av de sammanställda SUS-formulären för användartest 1 ger webbapplikationens första iteration bety-