I detta kapitel presenteras enskilda analyser för de använda utvärderingsmetoderna, samt jämförande analyser av dem och deras resultat där det är möjligt.
5.1 Automatiserad och manuell användarbaserad utvärdering
Då de automatiserade och manuella användbaserade utvärderingarna valdes som metoder för att undersöka tillgängligheten vid webbplatserna, ansågs det även vara av intresse att positionera dem mot varandra i en analys för att undersöka hur väl deras resultat matchar.
5.1.1 Analys kring utvärderade punkter
Nedan följer jämförelser för de specifika punkter vilka inkluderas i både den automatiska och den manuella utvärderingen.
5.1.1.1 Semantik och struktur
De båda webbplatserna använde ofta element för att stödja strukturen vilka antingen saknade korrekt semantisk mening i dess sammanhang – e.g. fel numrering vid rubricering – eller helt saknade denna semantisk mening – e.g. inmatningselement utan etiketter – vilket identifierades av den automatiska utvärderingen, men även kunde uppfattas då den manuella utvärderingen.
Strukturen kunde enligt den automatiska utvärderingen försämras då dessa element användes i fel sammanhang eller utan tillhörande element, vilket kunde styrkas av den manuella utvärderingen, då en konsekvent utformning av webbplatsernas sidor ej var stark nog att kunna godkännas.
5.1.1.2 Färg och form
Gällande färg och form var det enklare för den automatiska utvärderingen att kunna identifiera överträdelser gällande acceptabla kontraster på webbplatsernas sidor, då dess undersökning sker på en matematisk nivå för att räkna ut förhållanden mellan bakgrund och förgrund, vilket är något som visade sig vara svårare under den manuella utvärderingen då utvärderarens syn var i fokus.
Trots detta kunde de värsta kontrasterna identifieras och urskiljas i den manuella utvärderingen vilket var tillräckligt för att underkänna den punkten.
Den manuella utvärderingen inkluderade en punkt för klickbara ytor vid användning av länkar och knappar, vilket för de båda webbsidorna underkändes, men var inget som kunde styrkas i form av den automatiska utvärderingen, även om ett rent teknologiskt verktyg bör kunna mäta och jämföra ett elements storlek i relation till andra element.
5.1.1.3 Användning av språk
Ett par punkter i den manuella utvärderingen handlar om korrekt användning av språk, specifikt vid rubricering, skrivande av löpande text, och vid formulering av text för länkar – alla vilka krävde någon form av förbättring för de båda webbplatserna – men var ingenting som de automatiska utvärderingarna kunde identifiera, vilket är förståeligt; språk och dess användning är svårt att analysera, speciellt för datorer, men generella regler för längder gällande rubriker och paragrafer, samt frekvensräkning av vissa ord eller fraser för exempelvis länktext skulle kunna vara av intresse för dessa verktyg.
5.1.1.4 Tillgänglighet
Användning av bilder var vanligt förekommande för de båda webbplatserna, men var i många avseenden bristande ur ett tillgänglighetsperspektiv, vilket ofta resulterade i att bilder helt saknade alternativ text eller att dess text var redundant i relation till kringliggande element. Då dessa alternativa texter endast visas då en bild ej kan laddas eller då webbplatsen besöks med hjälp av en skärmläsare var det inget som krävdes av eller var möjligt att identifiera i den manuella utvärderingen.
Vid användning av tangenbord för att navigera på webbplatserna kunde de båda webbplatserna godkännas, men då en av dem inkluderade HTML-språk vilket ändrade värdet för elements tabindex – vilket hanterar ordningen av element då man använder tab-tangenten – kunde detta tydligt identifieras och varnas om, vilket ej var möjligt att upptäcka då den manuella utvärderingen utfördes.
5.2 Heuristisk utvärdering
Resultatet från den heuristiska utvärdering som genomförts analyseras nedan. I förhållande till uppsatsens frågeställning är utvärderingen svår att tolka, och bör således läsas tillsammans med resultatet och efterföljande analyser av resterande utvärderinga. Den heuristiska utvärderingen visar på styrkor och brister i den generella tillgängligheten på webbplatserna, och inte nödvändigtvis i tillgänglighet för grupper med specifika behov.
I expertutvärderingen ansågs Högskolan i Borås vara tillräckligt intuitiv för att nå de högre poängen på likert-skalan. Experterna bedömde att hemsidan svarade snabbt, erbjöd god feedback, och navigeringen underlättades med hjälp av brödsmulor. Linnéuniversitetet uppfattades dock inte som lika behaglig att använda och experterna ansåg att sidans längre responstid tillsammans med den mer bristande feedbacken skapade frustration då använder inte alltid visste vilket stadie denne befann sig i och om hemsidan hade registrerat användarens input. Webbplatserna har ej granskats med hjälp av screen readers, men genom anmärkningen på lång responstid som orsakar förvirring så kan slutsatsen dras att det blir än mer problematiskt för personer i behov av sådana hjälpmedel.
Den generella strukturen på de båda webbplatserna verkar följa konventioner för utformningen av liknande sidor, och det faktum att experterna pekar på sidomenyns placering till höger snarare än till vänster enligt konventionerna verkar inte vara något som är problematiskt, utan snarare något som uppmärksammas som en kuriositet. Språket på de båda sidorna är tillfredsställande och översatta på ett grundligt vis men engelska är dock det enda språket som erbjuds.
Påträffade fel hanteras oftast genom ett generellt 404-meddelande, något som samtliga respondenter pekar på. En av experterna påpekar att en funktion som ger förslag baserat på vad som skrivits i URLen hade varit önskvärt. Detta är dock något som hade byggt på att användaren gissar på och manuellt matar in adressen dit de vill tas, snarare än att använda sig av menyerna vilket de flesta kan antas göra. Författarna väljer att tolka resultaten som att experterna är någorlunda nära ett konsensus, och att sidorna generellt sett är lättanvända, men att vissa orienteringen av vissa element är störande och kan försvåra för vissa hjälpmedel.
Bedömningarna av webbplatserna är till Högskolan i Borås fördel, detta kan dock bero på deltagarnas vana vid att använda de olika webbplatserna, då de har större erfarenhet av Högskolan i Borås webbplats än Linnéuniversitetets.
5.3 Tänka högt-test
Resultaten är inkonsekventa men det går att se att de fallen där sökfunktionen nyttjades blev även sluttiden kortare. Det finns dock undantag där sökfunktionen användes där resultatet ändå blev relativt långa sluttider. Det är rimligt att detta går att attribuera till skillnader i hur användaren navigerar webbplatser i stort, och inte hur Högskolan i Borås webbplats är utformad. Ett exempel på kortare sluttider trots att användaren inte nyttjade sökfunktionen är K4 i kontrollgruppen. K4 är i mer eller mindre likvärdigt de andra användarna i kontrollgruppen; även i de fall då sökfunktionen användes.
Trots ganska små skillnader i tid mellan de bästa tiderna i kontrollgruppen och de bästa tiderna i försöksgruppen så resulterade testerna i kontrollgruppen generellt sett i kortare tider, och uppgifter slutfördes i majoriteten av fallen ungefär 50% snabbare i kontrollgruppen. Det är emellertid viktigt att påpeka skillnaden kan ha sett annorlunda ut om de båda grupperna hade varit lika stora. Nu är antalet i försöksgruppen 75% av kontrollgruppen. I vissa fall, saknades information helt. Som i det fallet då F02 varken lyckades hitta sitt program eller kurs på de lokaliserade sidorna. Detta resulterade i längre sluttider, och kan helt och hållet tillskrivas webbplatsen i sig då uppgiften ej gick att slutföra.
I stort verkade dock respondenterna i försöksgruppen få ett bra intryck av webbplatsen, och F02 påpekar att dennes längre sluttider nog ofta berodde på dess sätt att söka information, snarare än hur informationen var utformat. Trots vissa brister i t.ex informationsinnehåll på de lokaliserade sidorna är det svårt att säga att webbplatsen brister i tillgänglighet när det kommer till att tillhandahålla tjänsten för engelsktalande. Vissa respondenter i kontrollgruppen uttryckte frustration vid hur informationen strukturerades, och detta reflekterades i vissa resultat, samtidigt som vissa snabbt klarade av uppgifterna trots detta. F03 påpekar till exempel att elementen i många fall är för stora och stör avläsningen av sidan.
Detta är även något togs upp under I försöksgruppen påpekades inte sidan struktur i någon större utsträckning. Det är värt att nämna är att många av tiderna som testerna resulterade i är, i båda grupperna, väl över en minut för att navigera till element som ligger relativt högt i hierarkin på webbplatsen. Detta tolkas som att sidan brister globalt, snarare än på de lokaliserade sidorna, även om dessa även också innehåller vissa brister.
5.4 Jämförelse av automatiserad, manuell och heuristisk utvärdering
Baserat på den tidigare analysen av de automatiska och manuella utvärderingarna ansågs det även vara intressant att kunna jämföra deras resultat med vad som har identifierats som både positivt och negativt i de heuristiska utvärderingarna och tänka högt-testerna, för att kunna se hur väl de matchar och överlappar med varandra. Nedan följer analyser för de båda webbplatserna vilka baseras på de områden som tidigare använts för att kategorisera utvärderingspunkter.
5.4.1 Struktur
I den manuella utvärderingen ansågs webbplatsernas olika sidor vara utformade och strukturerade på ett sådant sätt att det ej kunde identifieras vad som bestämde vilken sorts layout som borde användas, vilket ej sågs som ett problem i den heuristiska utvärderingen, vilket möjligen kan bero på hur den senare formulerade sina punkter, eller vilka individuella sidor som inkluderades i de båda utvärderingsmomenten.
5.4.2 Färg och form
Under de heuristiska utvärderingarna påpekades det att webbplatsen för Högskolan i Borås var tydlig med att presentera användarens plats i dess hierarki med hjälp av aktiva indikatorer och så kallade “brödsmulor”, vilket ej efterfrågades eller var möjliga att identifiera vid användning av Myndigheten för digital förvaltnings verktyg.
För de båda webbplatserna var det dock ingen av deltagarna som kunde identifiera tydliga fel gällande kontraster eller storlekar på interaktiva element under denna heuristiska utvärderingen.
5.4.3 Användning av språk
Språket som används på de båda webbplatserna var enligt de manuella utvärderingarna något som bör förbättras för att möta vissa krav för läsbarhet och läsförståelse, medan detta ej kunde identifieras som ett problem för deltagarna av de heuristiska utvärderingarna, vilket kan bero på vilka sidor – samt omfattningen av sidor – som besökts och undersökts i de båda utvärderingarna.
5.4.4 Tillgänglighet
Ingen av deltagarna vid de heuristiska utvärderingarna kunde identifiera eller beskriva problem vilka relaterar till tillgänglighet, utöver Linnéuniversitets funktionalitet för att lyssna på dess webbsidor; denna funktionalitet sågs som ett steg i rätt riktning, både i den manuella och heuristiska utvärderingen, men det resoneras mer kring dess faktiska tillgänglighet i den senare av dem, varför den ansågs vara intressant men svåranvänd.
5.5 Metodreflektion
Att studien använde sig av fyra olika ansatser för att utvärdera hemsidorna i fråga visade sig vara en fördel. Dock visade sig insamlingen av data ta längre tid än tänkt och förväntat, men då vi enbart fick tag i ett fåtal respondenter så visade det sig vara till vår fördel att datan var så mångfacetterad som den var. Utifrån de enskilda resultat vi fick från varje ansats hade det varit svårt och orättvist att bedöma en webbplats i sin helhet, men genom att blanda metoder såg vi att det var lättare att få en klarare helheltsbild och de relativt få respondenterna utgjorde då isället en dimension av den helhetsbilden.
En blandad utvärderingsmetod lämpar sig kanske inte bäst för den period på tio veckor under vilket arbetet utfördes, men om författarna har mer tid att disponera kan slutsatsen dras utifrån studiens resultat att en blandad metod resulterar i en mer mångfacetterad utvärdering.
Vid det tillfälle då potentiella deltagare försöksgruppen för tänka högt-testerna skulle kontaktas var utfallet dåligt och det visade sig vara svårt att få tag på personer som mötte kriterierna. Detta resulterade i att processen drog ut på tiden och populationen fick begränsas till enbart icke-svensktalande, respektive svensktalande för de två grupperna i tänka högt-testet. Den efterföljande tidsbristen resulterade i att enbart en institution kunde granskas; detta fick bli Högskolan i Borås. Bedömning är dock att resultatet går, tillsammans med resterande data, att generalisera tillräckligt för ett tillfredsställande resultat. Expertutvärderingarna utfördes utan någonting att anmärka på.