Undersökningens kvalitet

Vad gäller denna undersöknings omfång av Google Analytics implementation är det en del av de begränsningar en fallstudie som denna medför. En fallstudie undersöker ett fenomen i dess kontext och blir således bunden till den kontexten. Som tidigare nämnt framhåller dock Repstad (2007) att trots att en fallstudie utförs i en specifik kontext medför det inte att resultatet är oanvändbart. Istället kan resultatet öka förståelsen av skilda fenomen.

Men bara för att metoden är en fallstudie medför det inte per automatik att alla studieobjekt i form av fallföretag är goda nog att studera. Fallet som ska undersökas

måste ändå både vara möjligt och tillräckligt intressant för att studien ska kunna genomföras. ArtDatabanken hade begränsningar med vad för interaktioner de spårade eftersom de främst använde sig av grundläggande implementering vilket dock var undersökningens syfte att undersöka. Men vid granskningen av antalet möjliga användbarhetsproblem som via grundläggande implementering kan granskas framkom det vara ett fåtal. En fullständig manuell implementering hade därför varit intressant. Men intresset för undersökningens syfte, fördelarna och möjligheterna som fanns med att använda ArtDatabanken samt intresset för vad den grundläggande implementeringen hade att erbjuda gällande möjligheterna till att hitta de identifierade användbarhetsproblemen, övervann bristerna och begränsningarna. Det eftersom mycket data trots allt var spårat, koden var korrekt inlagd och att de flesta rapporter och mätvärden ändå fanns tillgängliga. Hade dock ett annat fallföretag undersökts eller om fler spårningar och rapporter funnits tillgängliga är det mycket möjligt att fler eller andra användbarhetsproblem hade kunnat undersökas.

I min bedömning av användbarhet ingick ISO 9241-11:s (1998) attribut och dess mätvärden effektivitet, ändamålsenlighet och tillfredsställelse. I och med att tänka-högt användes under användbarhetstestet kom fokus att ligga på ändamålsenligheten, det vill säga om en användare lyckades slutföra en testuppgift eller inte. Att räkna tiden och jämföra den mellan grupperna och användardata gjordes inte eftersom det under testens gång uppmärksammades att testdeltagarna var olika pratsamma och informativa. Hade istället en annan teknik använts hade tiden möjligtvis kunnat mätas och på så sätt effektiviteten.

Även val av definition är värt att nämna som en påverkande faktor på undersökningen. Hade en annan definition valts, såsom Nielsens (2012, 1993) fem kvalitetskomponenter lärbarhet, effektivitet, lätt att minnas, felhantering och tillfredsställelse hade eventuellt ett annat resultat erhållits, med andra användbarhetsproblem och andra definitioner. Samtidigt är ISO 9241-11:s definition bred i den meningen att den fångar upp många av de komponenter som är egenskaper som uppstår under användningen av ett system som ingår i. Exempelvis skulle Nielsens komponent lärbarhet kunna ingå i ISO 9241-11:s kvalitetskomponent ändamålsenlighet, då lärbarhet, som har med huruvida systemet var lätt att lära sig eller inte. Om det exempelvis undersöks genom ett antal testuppgifter där det sedan visar sig att användaren inte lyckades slutföra testuppgifterna ses det i ISO 9241-11 som brister gällande ändamålsenligheter. På så sätt fångas många användbarhetsproblem upp av ISO 9241-11:s definition, även om de inte kategoriseras och namnges på samma sätt som i Nielsens (2012, 1993) fall.

Vad gäller de användbarhetsproblem som var möjliga att undersöka vilka sedan inte gick att se i Google Analytics, går det att begrunda resultat i förhållande till undersökningens genomförande. Det faktum att testdeltagarna till största del bestod av personer som inte tidigare använt sidan kan ha en del i förklaringen till att resultatet i Google Analytics skiljde sig åt från användbarhetstesterna. Under

undersökningens gång framkom det att trots att webbplatserna är till för svenska befolkningen är typiska användare i Artfaktas fall yrkesverksamma naturvårdare och i ArtDatabankens fall beslutsfattare och bidragsgivare. Att Artfakta inte främst inriktar sig mot allmänheten kanske tydligast kan illustreras med att då en sökning gjorts kommer en lista innehållande sökresultatet upp. För att få mer information om arten måste användare klicka på det latinska namnet, och inte det svenska namnet, vilket inte testdeltagare 2 förstod.

Problemet med att inte förstå att information erhålls vid klick på det blåmarkerade latinska namnet kan ses som det Bowler et al. (2011) framhåller, nämligen att det är omöjligt att skapa en design som fungerar för alla i och med att användare har så väl varierande engagemang så som skiftande personliga förmågor och kunskaper att ta till sig en design. Att designen är utformad som den är kanske grundar sig ur att utvecklarna har, precis som Ottersten & Berndtsson (2002) anser är bra, delat in användarna i olika målgrupper och utvecklat webbplatserna efter dem, och då i Artfaktas fall främst för biologer och andra yrkeskunniga som kan det latinska namnet. Det kan också vara så att i försöket att skapa en universell design har utvecklarna i enlighet med Savidis & Stephanidis (2004) utgått från det bredaste utbudet av slutanvändare och utgått från deras färdigheter. Detta tillvägagångssätt ger upphov till frågan om det verkligen finns en vedertagen användare eller inte. Det förutsätter att det finns en grupp användare som, på något plan, har delade egenskaper. Det som motsäger detta, och även motsäger att sidan är till för yrkesverksamma är det faktum att de testdeltagare som använder Artfakta i yrket, så som testdeltagare 10 och 12, inte tyckte sidorna hade tillräcklig djup fakta, varpå de var i behov av att bli omdirigerade till andra webbplatser där djupare information kunde erhållas. Eller så som testdeltagare 9 och 11 sade, att det var intresserade av att få tillgång till mer bilder. Om webbplatserna är utvecklade för att anpassas till det bredaste utbudet av slutanvändare så finns det brister mellan vad dessa användare är i behov av och vad ArtDatabanken och Artfakta erbjuder.

Testdeltagarna till användbarhetstestet bestod till 67 % (8 av 12) av nya användare och till 33 % (4 av 12) av användare med tidigare erfarenheter. Gruppen med nya användare var alltså dubbelt så stor. Att gruppindelningen ändå kan ses vara relevant är dels för att relativt stor procent av användarna i Google Analytics visade sig vara nya användare. För Artfaktas del var den procenten strax över 47 och för ArtDatabankens del strax över 41. Gruppen av testdeltagare kan också ses giltig i och med att Artfakta och ArtDatabanken har olika typiska användare. Typiska användare för ArtDatabanken var bland annat beslutsfattare, som därmed inte behöver vara biologer eller ha kännedom om latinska namn, varpå gruppen av nya användare passar in här.

Vad sedan gäller expertutvärderingen som användes i förstudien baserades den på användning av en användbarhetsexpert. I och med det kan ett lägre antal potentiella användbarhetsproblem blivit funna jämfört med om fler experter hade varit med och

utvärderat webbplatserna. Men då det var en användbarhetsexpert och inte en oerfaren utvärderare som utförde utvärderingen har det samtidigt troligtvis bidragit till att flertalet problem blivit funna. Därtill var expertutvärderingen enbart en förstudie.

Själva erhållandet av användbarhetsproblem grundade sig ur användbarhetstesterna där tolv testdeltagare deltog. Ett deltagarantal som sträcker sig väl över den gräns med fem testdeltagare som såväl Nielsen & Landauer (1993), Nielsen (1994), Lewis (1994) såsom Viritzi (1992) menar räcker. Trots att flertalet testdeltagare användes upptäcktes det under användbarhetstestet att skillnader fanns bland dem och som bland annat delade in gruppen i två olika läger, som vid inställningen till webbplatsernas design. Hade fler testdeltagare använts är det möjligt att gruppernas fördelning inte hade blivit lika stora utan att en hade fått ett större övertag. Även Gray

& Salzman (1998) skrev om en undersöknings giltighet utifrån testdeltagarna och urvalet av dem. Enligt dem utgör urvalet ett hot mot undersökningen giltighet om det visar sig att det erhållna resultatet beror på skillnader i en testgrupp i motsats till en annan testgrupp. I denna undersökning utgjorde inte urvalet ett hot vad gäller skillnader mellan grupper i och med att syftet inte låg i att dra ett resultat mellan grupperna nya- respektive erfarna användare. Gray & Salzman skrev även om undersökningens villkor och placeringen av den kopplat till dess kvalitet. I denna undersökning deltog alla testdeltagare under samma villkor men platsen för testerna var olika. Att platsen inte var den samma kan ha påverkat användbarhetstesternas resultat men valdes medvetet så. Det framkom nämligen under mailförfrågningarna till att delta i användbarhetstestet att vissa testdeltagare sade att de kunde ställa upp om det var möjligt för mig som testledare att komma till deras arbetsplatser respektive hem. Fördelen med att ha med dem i undersökningen på deras villkor övervägde den eventuella validitetsbrist det kan ha medfört att testerna genomfördes på olika platser.