4.3 Utvärdering
4.3.3 Uppfyllande av WCAG 2.1
Av de totalt 50 framgångskriterier på nivå A och AA som ingår i WCAG 2.1 uppfyller vår slutgiltiga webbapplikation alla utom två.
Vi lyckades inte uppfylla framgångskriterium 2.4.310(nivå A) som handlar om tab-ordningen på en applikation. Detta fel upptäcktes med hjälp av verktyget Microsoft Accessibility Insights och förkla- ras närmre i avsnitt 4.3.2.
Vi lyckades inte heller uppfylla framgångskriterium 3.3.411(nivå AA) som handlar om felhantering vid betalningar och ändringar av data. Kriteriet är inte uppfyllt för att det på vår webbapplikation till exempel går att radera bostadsannonser och ta bort intresseanmälningar med endast en knapp- tryckning. För att kriteriet ska vara uppfyllt ska det finnas en kryssruta för att bekräfta borttagning, alternativt möjlighet att ångra åtgärden. Inte heller betalningsprocessen på vår applikation uppfyl- ler inte kriteriet då användaren inte ges tillräckliga möjligheter att förhandsgranska och redigera ifylld data eller bekräfta betalningen innan den går igenom.
4.3.4 Användartester
Utvärderande användartester genomfördes efter att implementationen slutförts för att utvärde- ra om tillgänglighetsanpassningarna påverkade den upplevda tillgängligheten. Testerna gav dels resultat i form av testpersonernas spontana intryck genom att använda concurrent-think-aloud- metodiken och dels i form av en kortare enkät som utformats enligt metoden retrospective probing.
9W3C. URL: https://www.w3.org/TR/UNDERSTANDING-WCAG20/navigation-mechanisms-focus-order.html (hämtad
2021-05-10)
10W3C. URL: https://www.w3.org/TR/UNDERSTANDING-WCAG20/navigation-mechanisms-focus-order.html (hämtad
2021-05-21)
11W3C. URL: https://www.w3.org/TR/UNDERSTANDING-WCAG20/minimize-error-reversible.html. (hämtad 2021-05-
4.3. Utvärdering
4.3.4.1 Concurrent think-aloud (CTA)
Totalt deltog 10 personer i användartesterna. Med ett undantag lyckades alla testpersoner lösa upp- gifterna som gavs trots att det för många var första gången de använde sig av en skärmläsare för att navigera på en webbapplikation. Detta gällde för båda testversionerna. Anledningen till att en person inte lyckades lösa en av uppgifterna var att aria-labels inte läses upp av skärmläsaren när autofill-funktionen är påslagen. De uppgifter som användes vid testerna återfinns i Appendix C och testdeltagarnas svar presenteras i sin helhet i Appendix C. Under testerna där användarna skulle tänka högt om sin upplevelse framkom åsikter som delades av flera testpersoner. Nedan följer en del positiva respektive negativa åsikter som uttrycktes om webbapplikationen överlag, det vill säga för både versionen med och utan tillgänglighetsanpassningar.
• Positiva:
– Det kändes smidigt att använda sidan trots att man var nybörjare med att använda
skärmläsare.
– Saker låg ”där de skulle”, vilket underlättade när man inte längre kunde använda synen
för navigation.
– Simpel design med få knappar som underlättar navigation med skärmläsare.
• Negativa:
– När man stänger en modal hamnar fokus längst upp i vyn, inte tillbaka till där man var
innan man öppnade modalen.
– Har användaren rullat ner i en vy med hjälp av mushjulet och sedan byter vy via en länk
återställs inte rullningen och tab-tangentens fokus så att man hamnar högst upp i den nya vyn. Detta gav svårigheter att förstå var fokus befann sig i webbapplikationen.
– Det är svårt att fylla i datum på bostadsannonser och vid betalning.
– Det saknas i regel bekräftelse på att man genomfört något i webbapplikationen, till ex-
empel då betalningen gått igenom eller då användaren navigerat till en ny vy.
Vidare undersöktes även om användare upplevde någon skillnad mellan de två testversionerna. Följande åsikter framkom när testdeltagarna ombads att jämföra den slutgiltiga versionen med ver- sionen utan tillgänglighetsanpassning:
• När man hade knappar i fokus i den slutgiltiga versionen gav skärmläsaren bättre information än när samma knappar var i fokus i versionen utan tillgänglighetsanpassning.
• I den första versionen (utan tillgänglighetsanpassningar) kunde inte alla knappar fokuseras på när man använda tab-tangenten för att navigera mellan klickbara element, de ‘hoppades över’.
• I den oförbättrade versionen fanns det ett ‘dubbelt’ knappelement (ett knappelement i ett knappelement) som många användare upplevde som förvirrande eftersom man behövde klicka på tab-tangenten en extra gång för att navigera till den knapp som faktiskt länkade till en annan vy.
• Vid navigering till vissa modalelement på den oförbättrade versionen läste skärmläsaren upp titeln för andra modalelement.
• I den slutgiltiga versionen fungerade kontroll av formulär bättre. När man försökte skicka ett formulär med felaktig information så blev fokus förflyttat till det fält som hade felaktig form på indatan. En beskrivning av vad som var fel lästes även upp.
4.3. Utvärdering
4.3.4.2 Retrospective probing
I den andra delen av användartesterna gav testpersonerna svar på givna frågor; frågorna återfinns i Appendix C. Efter att testpersonen fått testa webbapplikationen fick denne svara på frågor gällande sitt helhetsintryck, hur lätt denne upplevde att det var att hitta i webbapplikationen, och huruvi- da informationen som lästes upp på olika element var hjälpsam. Testpersonerna fick även beskriva sitt helhetsintryck i textform och en stor majoritet svarade att de tyckte det var ovant och därmed knepigt att navigera med skärmläsare. De som testade versionen utan tillgänglighetsanpassningar först hade något fler negativa intryck, som att navigationen inte kändes konsekvent och att vissa funktioner inte fungerade som de skulle. De som istället först testade den slutgiltiga versionen tyck- te överlag att det gick bra även om det inte var enkelt. Ordningen som man navigerade med när man använde tab-tangenten upplevdes av alla testpersoner som logisk på den slutgiltiga versionen medan det fanns vissa negativa synpunkter på den oförbättrade versionen.
Vidare ställdes frågorna i tabell 4.5 och 4.6, och svaren för dessa finns längre ned. Testpersonerna fick svara med en siffra mellan ett (väldigt dåligt) och fem (väldigt bra).
Därefter fick testpersonerna byta version av webbapplikationen och utföra uppgifter på samma funktionalitet men med viss modifiering, till exempel vilken bostad man skulle intresseanmäla sig på. Efter detta frågades testdeltagarna ifall de upplevde några skillnader mellan versionerna. Två frågor ställdes där man fick jämföra versionerna med varandra. Betyget ett stod här för lättare me- dan betyget fem stod för svårare jämfört med versionen man testade först. Svaren för dessa finns också nedan i tabell 4.7 och 4.8.
De som testat den oförbättrade versionen först upplevde antingen ingen skillnad eller så upplev- de de att navigationen nu var enklare överlag. Nedan listas de specifika skillnader som påpekat av testpersonerna:
• Informationen man fick från skärmläsaren var mer effektiv och strukturerad. • Knappar för bostäder uppgav vilken adress de gällde.
• Navigation med tab-tangenten upplevdes som förbättrad.
De som istället testade den slutgiltiga, tillgänglighetsanpassade versionen först tyckte överlag tvärtom: att ingen skillnad upplevdes eller att det gick sämre denna gång. En testperson tyckte att det fungerade bättre denna gång. De specifika anledningarna för upplevd förbättring/försämring var:
• Det var bättre att all information inte längre lästes upp, det vill säga att det var ett mindre överväldigande informationsflöde.
• Navigation med tabulartangenten upplevdes som försämrad.
• Datuminmatningen fungerade dåligt för att skärmläsaren läste upp konstig information. De som testade versionen utan tillgänglighetsanpassning först hänvisade främst till att lägenhetsa- dressen nu lästes upp när fokus var på knappen ‘Mer info’ för en bostadsannons och detta upplev- des som att det underlättade väldigt mycket. En användare sade även att det upplevdes som bättre men att denne gärna hade sett ledtexter på alla inmatningsfält i de olika vyerna. När det kommer till de som hade den slutgiltiga versionen först ansåg två personer att det inte var någon skillnad när de nu använde den oförbättrade versionen. Två personer tyckte att den var sämre på grund av att bostadsadressen inte lästes upp längre på ‘Mer info’-knappen, att vissa knappar inte gick att klicka på, och att kortinmatning nu var svår till skillnad från den tillgänglighetsanpassde versionen som de testade först.
4.3. Utvärdering
Tabell 4.5: Hur lätt var det att hitta det du sökte i webbapplikationen med skärmläsare (till exempel hitta rätt bostad)?
Person 1 Person 2 Person 3 Person 4 Person 5 Snitt Oförbättrad version 4 4 1 2 4 3
Slutgiltig version 4 3 4 4 4 3.8
Tabell 4.6: Skärmläsaren läste upp text på knappar och i formulär. Hur hjälpsam var informationen som skärmläsaren läste upp på knappar och i formulär?
Person 1 Person 2 Person 3 Person 4 Person 5 Snitt Oförbättrad version 3 3 2 3 4 3
Slutgiltig version 4 3 3 4 5 3.8
Tabell 4.7: Upplevde du att det var lättare eller svårare att använda webbapplikationen nu? 3 är ingen skillnad.
Person 1 Person 2 Person 3 Person 4 Person 5 Snitt Oförbättrad version först 2 2 2 2 2 2
Slutgiltig version först 3 2 4 5 3 3.4
Tabell 4.8: Var informationen på knapparna eller formulären som skärmläsaren läste upp sämre eller bättre nu? 3 är ingen skillnad.
Person 1 Person 2 Person 3 Person 4 Person 5 Snitt Oförbättrad version först 2 2 2 2 1 1.8
5
Diskussion
Under diskussionen görs en djupare analys av arbetets resultat, metod och arbetets betydelse i ett vidare sammanhang. Kapitlet inleds med en diskussion om de genomförda tillgänglighetsanpass- ningarna och hur dessa speglas i både användartesterna och i de tekniska verktygens utvärdering- ar. Vi diskuterar sedan de tillgänglighetsanpassningar som inte blev av, samt olika anledningar till detta. Här diskuteras även de WCAG-kriterier som inte uppfylls av webbapplikationens slutgiltiga version. Detta följs av en metoddiskussion uppdelad i förstudie, tekniska verktyg, användartester, och källkritik.
5.1 Resultat
Ett viktigt resultat som framkom under vårt arbete är att de tekniska verktyg som vi har använt för att utvärdera tillgängligheten hos vår webbapplikation gav olika resultat trots att de alla utgår från WCAG 2.1. Detta gör det svårare att utvärdera och förbättra kod. De olika verktygen lyfte oli- ka aspekter av tillgänglighet, men ingen var heltäckande. Det skapar en högre kunskapströskel för webbutvecklaren när det kommer till att göra en webbapplikation tillgänglig. Utvecklaren behöver själv läsa på för att veta vad ett visst verktyg faktiskt testar och inte testar. Vidare visade även an- vändartesterna tillgänglighetsbrister som inte uppmärksammades av något av de tekniska verkty- gen, till exempel att det var svårt att fylla i datum. Detta talar för att en kombination av flera tekniska verktyg, manuell avstämning mot WCAG, samt användartester under utvecklingsprocessens gång bör användas tillsammans för att uppnå så hög tillgänglighet som möjligt för webbapplikationen. Framförallt behövs egen kompetens kring vad WCAG-standarden innebär för att kunna utnyttja tekniska verktyg och användartest på bästa sätt.