Resurssparande mätmetoder inom
användbarhet
Johannes Karlsson
FÖRORD
Jag vill tacka de personerna som har bidragit med hjälp och råd under arbetets gång. Ett speciellt varmt tack vill jag ge Ola Luthander och JMS för att ha gett mig möjligheten att arbeta med och under deras tak.
Tack till min handledare Henriette Lucander som har väglett mig genom mitt arbete och medverkat till ett kvalitativt arbete. Ett stort tack ska även min vapendragare Magnus Wigrup ha efter att ha stått ut med mina eskapader. Ett tack tillägnas också Karl-Johan Löfgren efter att han ägnat en dag i parken till korrektur.
TACK Malmö, 2010 Johannes Karlsson
Sammandrag
Detta arbete är en jämförande studie mellan mätningar inom användbarhet. Studien jämför en heuristisk utvärdering med ett användartest, med inriktning på ekonomi och resultat. Syftet är att belysa den ekonomiska aspekten mellan de två metoderna. Samtidigt undersöker studien om heuristisk utvärdering är en metod som lämpar sig som beslutsunderlag. Studien är genomförd på ett tryckeri där tryckeriets IT-system har testats och utvärderats utifrån de två metoderna. Studien baseras på kvalitativa och kvantitativa metoder så som strukturerade och ostrukturerade intervjuer, observationer och enkäter.
Arbetet behandlar användbarhet som begrepp och metoder för hur användbarhet mäts. Relevant teori presenteras i teoridelen och behandlas i diskussionen.
De båda metoderna var relativt lika varandra. Den stora skillnaden ligger i att användartestet gav mätbara resultat medan den heuristiska utvärderingen resulterade i en givande diskussion. Ur ett ekonomiskt perspektiv var den heuristiska utvärderingen betydligt billigare att genomföra. Undersökningen visar att den heuristiska utvärderingen fungerar bra. Dock bör metoden undersökas ytterligare för att styrka påståendet.
Nyckelord
Abstract
Resource-saving methods in usability
This essay is a comparative study of measuring usability. The study compares a heuristic
evaluation with a usability test, with focus on economy and performance. The aim is to highlight the economic aspect between the two methods, also if the study of heuristic evaluation is a method suitable for decision-making. The study is conducted on a printing company where the company’s IT systems have been tested and evaluated on the basis of the two methods. The study is based on qualitative and quantitative methods such as structured and unstructured interviews, observation and questionnaires.
The study deals with usability as a concept and different methods for measuring usability. Relevant theory is presented in the theoretical part and is discussed and addressed in the discussion.
Both methods were relatively similar. The major difference is that the user test yielded measurable results, while the heuristic evaluation resulted in a fruitful discussion. From a financial perspective, the heuristic evaluation is significantly cheaper to implement. The study shows that the heuristic evaluation works well. However, the method should be further investigated to prove the claim.
Keywords
Innehållsförteckning
1Inledning... 7
1.1
Bakgrund ... 7
1.2
Syfte... 8
1.2.1
Frågeställning... 8
1.3
Avgränsningar ... 9
1.4
Målgrupp ... 9
1.5
Disposition... 9
2
Metod... 11
2.1
Observation ... 11
2.2
Intervjuer ... 12
2.2.1
Strukturerade intervjuer ... 13
2.2.2
Ostrukturerade intervjuer... 13
2.3
Enkätundersökning... 13
2.3.1
Öppna vs stängda frågor ... 14
3
Teori ... 15
3.1
Chaosrapporten... 15
3.2
Arbetsmiljölagen ... 15
3.3
Användbarhet ... 16
3.3.1
Användarvänlighet... 16
3.3.2
Användbarhet i kravspecifikationen ... 17
3.3.3
Användbarhet enligt ISO ... 17
3.4
Användbarhetsmätning... 19
3.4.1
Fokusgrupper ... 19
3.4.2
Heuristisk utvärdering... 20
3.4.3
Tillvägagångssätt ... 21
3.4.4
Oenighet... 23
3.5
Kostnader... 23
4
Empiri ... 24
4.1
Utvärderade system ... 24
4.2
Användartest... 24
4.2.1
Användartestuppgifter ... 25
4.3
Heuristisk utvärdering ... 25
4.4
Testdeltagare ... 26
5
Resultat ... 27
5.1
Användartest... 27
5.1.1
Observationsresultat... 27
5.1.2
Intervjuresultat ... 28
5.1.3
Enkät ... 29
5.2
Heuristisk utvärdering ... 31
5.3
Användartestet gentemot heuristisk utvärdering... 33
6
Diskussion ... 35
7
Slutsats... 39
Referenslista... 40
7.1
Litteratur... 40
7.2
Artiklar ... 40
7.3
Internet... 40
7.4
Intervjuer ... 41
8
Bilaga 1... 42
1 Inledning
I dagens samhälle används datorer i allt större utsträckning, inte bara i våra arbeten utan även i hemmen där vi som privatpersoner använder en uppsjö olika system. Låt säga att vi kan dra av 15 minuter av den anställdes tid genom att ha ett användarvänligt gränssnitt. Tidsmässigt är kanske inte 15 minuter något att vara uppspelt över men en kvart om dagen i en vecka, en månad eller ett år är desto mer. Företaget tjänar pengar på att de anställda kan använda 15 minuter till annat och de anställda får ro i sitt arbete. Således är ett användarvänligt system en viktig aspekt i
företagsutvecklingen och strävan efter att skapa lönsamhet. (Gulliksen, Göransson 2002, s. 20-21) Användarvänliga och användbara IT-system, intranät eller webbplatser uppstår inte av sig själv. Företagen och myndigheterna måste avsätta resurser för att skapa användbarhet hos ett specifikt system. Dessa system eller webbplatser måste mätas och utvärderas för att ta reda på hur användbara de egentligen är. Det är också av vikt att förstå var produkten brister, vilka problem som bör åtgärdas för att höja användbarheten. I en undersökning gjord 2007 visar Verva att endast 25 % av de statliga myndigheterna utför användartester med sina målgrupper. Samma studie visar att 50 % av myndigheterna utvärderade sina webbplatser (www.verva.24-timmarswebben.se). Om god användbarhet bidrar till lönsamhet borde också beslut angående användbarhet mätas och värderas så att beslut baseras på fakta. Det är endast en fjärdedel av de statliga myndigheterna som utför användartester och hälften som utvärderar sina webbplatser.
Desurvire, Kondziela och Atwood skriver i en artikel att intresset är stort för att hitta användbarhetsutvärderingar som är lätta och billigare än traditionella metoder, då dessa är resurskrävande i form av tid och pengar (Desurvire m.fl. 1992). Om företag och myndigheter kan dra ner på kostnader rörande utvärderingar och mätningar kanske fler hade genomfört metoder för att basera beslut och utveckling på.
1.1 Bakgrund
För att undersöka om den heuristiska utvärderingen var en fungerande budgetmetod kontaktades ett tryckeri, JMS Mediasystem. JMS Mediasystem är ett tryckeri med produktion i Sverige, Norge och Danmark. De har runt 300 anställda och verkar på den svenska och nordiska marknaden. Inom företaget finns det en rad olika artiklar i form av IT-utrustning. Vissa anställda har både dator och mobil. Problemet ligger i att det inte finns någon dokumentation över vem som ansvarar för vad. Det gör att JMS har en mängd datorer och IT-utrustning undanstoppat i förråd och
förvaringsutrymmen, utan att veta vems datorer det är eller var de kommer ifrån. Vidare
intensifieras problemet när en anställd avslutar sin anställning och, om moralen tillåter, går hem med sådan utrustning som han eller hon egentligen ska lämna tillbaka. Ur en ekonomisk synvinkel förlorar JMS pengar då de måste köpa in nya datorer. Ännu värre är all viktig och känslig data som riskerar att hamna i fel händer. Det har hänt att personer som slutat för flera månader sedan
fortfarande har haft nycklar till lokaler och inloggning till servrar.
För att få bukt med problemet bör JMS föra register på vem som ansvarar för vad. På så vis kan ansvarig chef begära tillbaka den utrustning som den anställda förfogar över när anställningen upphör. Inloggningsuppgifter och lösenord kan spärras så att inga obehöriga kan komma åt
känsliga uppgifter. Således ville JMS ha ett system som kunde tillgodose deras krav på inventering av IT-utrustningen. Inom företaget fanns redan ett personalsystem, Hogia PA, och ett intranät, Microsoft share point, som till viss del uppfyllde de krav som JMS hade. För att verkligen granska de olika utvärderingsmetoderna beslöts att utveckla ett system som tillgodosåg alla krav. Därför utvecklades ITIS som är en prototyp av ett inventeringssystem som kan förse JMS med de funktioner de behöver.
JMS står inför ett val, hur ska företaget handla? Ska de utveckla och förädla ITIS, förnya Microsoft share point eller satsa på Hogia PA? För att besvara dessa frågor testades systemen i två omgångar. Först testades systemen med hjälp av ett användartest med de anställda som testpersoner. Sedan genomfördes en heuristisk utvärdering med två utomstående personer som utvärderade systemen.
1.2 Syfte
Syftet med studien är att öka förståelsen för problematiken runt den ekonomiska aspekten av utvärderingar och i synnerhet utvärderingar i IT-system. Ett annat mål med arbetet är att belysa heuristisk utvärdering som en metod att spara pengar. Syftet är således inte bara att se till frågeställningen och undersökandet av den heuristiska undersökningen utan även att motivera verkställande personer att verkligen utvärdera och testa olika system för att basera sina beslut på.
1.2.1 Frågeställning
Dessa frågor fann jag intressanta och svaren inger förhoppningsvis motivation till fortsatt forskning.
• Är en heuristisk utvärdering lämplig som metod när beslutfattaren väljer mellan olika system?
• Kan den heuristiska utvärderingen spara pengar för företagen?
1.3 Avgränsningar
Utvecklingen av ITIS behandlas mycket kort i detta arbete. Dels för att fokus inte ska försvinna från den heuristiska utvärderingen men också för att tiden inte räckte till.
1.4 Målgrupp
Personer inom systemutveckling och webbutveckling samt studenter och lärare på Malmö högskola, anställda och chefer på JMS Mediasystem samt personer intresserade av användbarhet och hur användbarhet mäts.
1.5 Disposition
Jag har valt att göra en modell över uppsatsen för att tydliggöra hur den är uppbyggd. Med hjälp av denna modell kan läsaren välja hur han eller hon vill läsa den. Läsaren kan läsa uppsatsen från början till slut men kan också bearbeta den genom ett annat vägval. Detta vägval illustreras med hjälp av den streckade pilen.
Alternativet går ut på att läsaren inte behöver läsa allt och kan välja vad han eller hon anser vara intressant. För att få en inblick i arbetet bör läsaren arbeta sig genom problemformuleringen och inledningen för att sedan läsa diskussionen samt slutsatsen. Läsaren bör sedan bläddra tillbaka i arbetet när han eller hon känner att de behöver ta reda på till exempel hur empirin eller hur teorin behandlar en specifik del av arbetet. Således läser man från slut till början och jobbar sig genom bakifrån medan det andra mer traditionella och grundliga alternativet arbetar från första sidan till sista.
Figur 1. Förslag på olika sätt att läsa arbetet.
Problemformulering är den inledande fasen av arbetet där läsaren får en inblick i arbetet samt syftet och nyttan av undersökningen. Frågeställning och konkretisering av det undersökta problemet beskrivs i denna del. Metoddelen är det kapitel som beskriver de metoder som används och varför dessa har använts. Eftersom detta är en jämförande studie om två olika metoder är metodavsnittet en viktig del av mitt arbete. I teorin presenteras de teorier och den forskning som jag baserar min undersökning på. I empirin beskrivs arbetet som utfördes på JMS. I resultatdelen presenteras resultatet av användartestet samt resultatet av den heuristiska utvärderingen. I diskussionsavsnittet diskuterar jag resultatet av min undersökning och sätter det i relation till de teorier och den forskning som presenteras i teorin. Det sista som visas i arbetet är slutsatsen. Där presenteras det viktigaste från diskussionen och svaret på min frågeställning.
2 Metod
Under arbetets gång har olika metoder använts för att föra arbetet vidare. Användartestet är uppbyggt av ett antal uppgifter som testpersonen ska utföra. Genom observationer noteras användarens utförande i form av tid och handling. Med hjälp av intervjuer och enkäter tar testledaren reda på testpersonens åsikter och tankar.
Den heuristiska utvärderingen är en metod som bygger på en eller flera intervjuer med personer som har testat det system som är under utvärdering. Testet eller utvärderingen kan göras med hjälp av fasta uppgifter likt ett användartest eller så kan utvärderaren få fria händer att testa systemet själv. Ofta har utvärderaren fått ett tiotal användarprinciper som vägleder utvärderaren till de områden som bör utvärderas.
2.1 Observation
Metoden ger information om vad användaren gör till skillnad från vad användaren säger, men handlingar är inte alltid lätta att förklara. Därför krävs det att utvärderaren skapar sig en bild om vad han eller hon har sett. Det krävs också att utvärderaren har förståelse för varför testpersonerna har handlat som de har gjort, det vill säga de yttre och inre omständigheter som berör testpersonens agerande. Skulle personen handla på ett liknande sätt även om han eller hon inte hade varit under observation? Det finns både öppna och dolda observationer där det senare betyder att testpersonen inte är medveten om att han eller hon blir observerad. Observationer kan också ske i personernas rätta miljö eller i en miljö som är arrangerad för att efterlikna verkligheten. De senare kallas för laboratorieundersökningar. Observatören kan både vara aktiv eller passiv. När observatören är aktiv påverkar han eller hon testpersonen medvetet för att framkalla en önskad situation. En passiv observatör låter testpersonen själv välja väg och handling. Observationer kan vara ostrukturerade och strukturerade där en strukturerad observation har givna uppgifter eller moment som användaren ska utföra. En ostrukturerad observation ger testpersonerna frihet så att systemet i helhet kan observeras istället för de givna uppgifterna. (Halvorsen 1992, s. 83-84)
Fördelarna med observationer är att det ges möjlighet att få en inblick i testpersonernas handling som påverkas av yttre omständigheter. Eftersom observatören är närvarande vid observationerna kan han eller hon själv skapa sig tolkningar om personernas handling. Samtidigt är upplägget flexibelt i den form att observatören kan välja att styra testpersonerna till en given situation. En nackdel med observationer är kontrolleffekten eftersom testpersonernas beteende förändras till
följd av utveckling. För att minska risken att testpersonen förändrar sitt beteende utifrån att han eller hon är iakttagen finns där möjlighet att utföra dolda observationer. (Halvorsen 1992, s. 84-85) I arbetet har observationer varit till nytta för att observera fel och vägval hos användaren.
Observationer är en betydande del i användartestet och i den heuristiska utvärderingen. Detta gjordes för att veta hur användaren handlade i en given situation. De krav systemen skulle klara av att tillgodose sattes i fokus och användaren fick fyra uppgifter att slutföra. Vid utförandet av dessa uppgifter observerades användarens vägval och handling. Detta utfördes för samtliga system. Således användes en strukturerad observation med passiv observatör i en arrangerad miljö som efterliknar det riktiga kontoret.
2.2 Intervjuer
Ett personligt samtal som styrs av att en frågar och en svarar är en intervju och används för att samla information om ett specifikt ämne. Utmaningen är att få intervjuer med maximal reliabilitet och validitet. (Befring 1994, s. 69-70)
För att intervjun ska bli kvalitativ är det viktigt att testa de tilltänkta frågorna samt intervjuaren. Efter ett sådant test kan intervjuaren utvärdera sitt eget beteende och genomförande. På så sätt kan intervjuaren bli medveten om de misstag han eller hon gör och undvika dessa när väl den riktiga intervjun genomförs. Därför är det bra om testintervjun spelas in och att den tilltänka intervjuaren lyssnar på hur han eller hon hanterar intervjun. (Dalen 2007, s. 36)
Eftersom en intervju vill komma åt informantens åsikter och synpunkter är det i regel bra att hålla forskarens egna åsikter och synpunkter skiljt från intervjun. För att gynna validiteten och
reliabiliteten är det bra om respondenten får svara utan att bli påverkad av omgivningen. I en forskningsintervju ska intervjuaren varken argumentera eller moralisera. (Dalen 2007, s. 38-39) För att sätta användaren i fokus och för att få ett användarvänligt och användbart system gjordes både ostrukturerade intervjuer och strukturerade intervjuer. Användarna har rätt att påverka systemet och har rätt att framföra sina åsikter om helheten och delar av systemet. Vi gjorde en testintervju innan den riktiga intervjun. Testintervjun visade sig vara en bra idé då vi hade problem med formuleringar och ordval. Vi skrev ner viktiga ordval för att frågorna skulle presenteras likadant för de olika respondenterna.
2.2.1 Strukturerade intervjuer
En strukturerad intervju har fasta frågor och svarsalternativ och kan även sättas ihop med hjälp av en intervjuguide. Den strukturerade intervjun liknar till stor del ett frågeformulär som besvaras ansikte mot ansikte. Fördelen med metoden är att de fasta frågorna går att jämföra mellan
respondenterna. Data från de olika intervjuerna går lätt att sammanställa och intervjuaren kan lätt få en överblick vad testgruppen tycker angående en viss fråga. Strukturerade intervjuer fungerar bra när respondentantalet är stort. Enligt Denscombe har strukturerade intervjuer mer likheter med frågeformulär än de andra formerna av intervjuer. (Denscombe 2000, s. 134-135)
Vid det slutliga användartestet gjordes en strukturerad intervju för att vi skulle få mätbara
parametrar som berörde alla testpersoner. Svaren skulle också ge en helhetsbild av vad testgruppen tyckte i de frågor som ställdes.
2.2.2 Ostrukturerade intervjuer
Denna metod är ett sätt för intervjuaren att samla information från en specifik person. Till skillnad från en strukturerad intervju är den ostrukturerade intervjun inte förberedd med frågor som styr diskussionen. Här ges respondenten utrymme för att själv ta upp och prata om ämnen direkt eller indirekt kopplade till ämnet. (Halvorsen 1992, s. 85-86)
En heuristisk utvärdering baseras på en eller flera ostrukturerade eller strukturerade intervjuer. Den heuristiska utvärderingen i detta arbete använde en ostrukturerad intervju för att inte begränsa utvärderingen till ett specifikt ämne.
2.3 Enkätundersökning
Denna metod gjordes för att tillgodose hela spektrat av begreppet användbarhet samt för att testa huruvida en enkät lämpar sig för ändamålet.
Skillnaden på enkätundersökningar och strukturerade intervjuer är att enkätundersökningar fylls i av en respondent utan varken påverkan eller deltagande av en intervjuare. Vidare kan en enkät skickas till respondenten, fördelen med det är att forskaren inte är beroende av att ha respondenten i det fysiska rummet. Likt en strukturerad intervju används enkäter när deltagarantalet är stort vilket är enkäternas stora fördel. Ett problem med enkäter är att respondenten inte alltid ges möjlighet att svara vad han eller hon vill utan frågan är begränsad till ett visst antal alternativ. Detta är något en
intervju hanterar bättre även om det är en strukturerad intervju. Där finns det utrymme för respondenten att kommentera frågan ytterligare. (Halvorsen 1992, s. 88-89)
Att lyckas framställa bra enkäter där resultatet är användbart är svårt. Det krävs ofta beteendevetenskaplig expertis för att konstruera en enkät som ger de svar som eftersträvas.
Samtidigt är en av fördelarna att man kan få en stor medverkan hos användaren, men detta är sällan användbart i IT-utveckling. (Gulliksen, Göransson 2002, s. 262)
I användartestet ingick en enkät för att tillgodose testdeltagarnas åsikter om systemen. I linje med den strukturerade intervjun rörde frågorna vilket system de ansåg vara mest logiskt och
användarvänligt.
2.3.1 Öppna vs stängda frågor
Det finns både öppna och stängda frågor. På öppna frågor kan respondenten svara vad han eller hon än önskar och på stängda frågor finns det redan alternativ som respondenten ska välja mellan. Öppna frågor får respondenten att komma ihåg något medan stängda frågor får respondenten att känna igen något. Fördelen med öppna frågor är:
1. De ger möjlighet att blottlägga bristande kunskap, missförstånd och oväntade föreställningsramar;
2. De suggererar inte respondenten att svara;
3. De liknar mer ett vanligt samtal och påtvingar inte respondenten formuleringar och ord som kan upplevas som främmande;
Fördelen med stängda frågor är:
1. De underlättar intervjuarbete och kodningen av svaren;
2. Frågorna får en klarare precisering när det föreligger svarsalternativ; 3. Möjligheterna blir större att jämföra svar från olika respondenter; 4. De hjälper respondenten att minnas.
Något som kan vara att föredra är en kombination av öppna och stängda frågor i enkät så att fördelarna med de olika sätten kombineras. En annan sak att ha i åtanke är att inte glömma alternativet ”vet inte” vid en stängd fråga, eftersom detta påverkar den övriga svarsfördelningen. (Halvorsen 1992, s. 87-88)
3 Teori
Nedan presenteras den teori som sedan diskuteras i diskussionskapitlet. Det finns relevant statistik om lyckade IT-projekt, denna statistik presenteras för att påvisa de problem som finns med systemutveckling. Arbetsmiljölagen är intressant för att förstå de krav som finns på
systemutveckling utifrån lagstadgan. Begreppet användbarhet presenteras för att de två metoderna som jämförs, användartest och heuristisk utvärdering, mäter användbarhet. Det är utifrån
användbarhet och funktion de olika systemen bedöms. Således är det relevant att diskutera dessa begrepp. Slutligen presenteras metoderna: användartest och heuristisk utvärdering.
3.1 Chaosrapporten
Standish Group är en institution som tar fram rapporter om lyckade och misslyckade IT-projekt. I Chaosrapporten som genomfördes 1995 undersöktes 395 IT-företag i USA med sammanlagt 8 300 olika IT-projekt. Endast 16,2% av projekten ansågs som lyckade och 52,7% av projekten slutfördes med förändrade planer. I snitt ökade kostnaderna för dessa 52,7% med 189%. Undersökningen visar också att 31,1% av projekten avvecklades innan projekten bedömdes som fullständiga. Chaos-rapporten går djupare in på de 16,2% som ansågs lyckade för att får reda på framgångsfaktorerna. De två faktorer som ansågs vara av största betydelse var en effektiv användarmedverkan och en tydlig kravspecifikation. (Gulliksen, Göransson 2002, s. 22-23)
3.2 Arbetsmiljölagen
I Sverige har vi kommit långt med användarmedverkan och vi är framstående i ämnet, speciellt när det kommer till framtagningen av datorbaserat stöd för en arbetsuppgift. I arbetsmiljölagen
fastställs att:
• arbetstagaren skall ges möjlighet att medverka i utformningen av sin egen
arbetssituation samt i förändrings- och utvecklingsarbete som rör hans eget arbete. Enligt arbetsmiljölagen har arbetstagaren laglig rätt att medverka i utvecklingen av ett nytt
datorstöd som berör hans eller hennes arbetsuppgift. Det visar på hur betydelsefull användaren är i utvecklingsarbetet. Vidare gäller det inte bara att involvera användaren utan även att göra så på ett effektivt sätt som ger resultat. Det finns många projekt där användaren är involverad men arbetet har skett på ett ineffektivt sätt och den egentliga hänsynen till arbetstagaren var obefintlig. Det
gäller att resurser så som tid och pengar läggs på användarmedverkan. (Gulliksen, Göransson 2002, s. 28-29)
3.3 Användbarhet
Är inte alla system användbara? Men i vilken utsträckning? Definitionen av användarvänligt är helt beroende på vem som använder begreppet och i vilket sammanhang det förekommer. Borde inte alla systemutvecklare alltid sträva efter att utforma användbara system? Jo men det är sällan systemutvecklare har användarvänlighet som ett uttalat mål men med det sagt betyder det inte att utvecklarna strävar efter att göra ett oanvändbart system. Användbarhet är något som tas för givet och förutsätts existera utan att sätta av specifika resurser. När en kund köper ett system av en utvecklare så tar han/hon ofta för givet att leverantören säljer ett system som är användbart.
Utvecklaren får inte direktiv om att lägga resurser på användarvänlighet och användbarhet eftersom kunden tar det för givet. Kunden måste oftast uttrycka krav eller formulera specifika mål med användbarhet för att utvecklaren ska arbeta efter detta. I system som utvecklas för att stödja arbetstagaren i det dagliga arbetet är det särskilt betydande att produkten är användarvänlig då det handlar om en arbetsuppgift som kan förekomma mer eller mindre under hela arbetsdagen.
Systemet skall vara effektivt, uppgiftsorienterat och tillfredställande så att användaren ser systemet som ett stöd och inte som ett hinder. De system som fungerar på ett otillfredsställande sätt skapar irritation och belastning på de anställda och kostar pengar för arbetsgivarna genom förlorad arbetstid och eventuellt dyra konsultkostnader. Arbetstagaren måste få fokusera på sin uppgift och inte på att läsa felmeddelanden och belastas med externa problem som arbetsuppgiften inte innefattar. (Gulliksen, Göransson 2002, s. 55-56)
3.3.1 Användarvänlighet
Användarvänlighet inom ett IT-projekt är av vikt för att få ett lättanvänt IT-system som ger användaren en möjlighet att utföra en viss funktion effektivt. Vidare ställer det krav på utbildningsmaterialet och dokumentationen. Gränssnittet mellan system och användare ska
utformas på ett konsekvent sätt så att användaren kan memorera funktioner och moment. Inbyggda handböcker med sökbara problemformuleringar är ett bra sätt att ge assistans till användaren när problem uppstår. Användbarhetskrav bör identifieras i en kravspecifikation.
(Lunell 2003, s. 197-198)
Det finns en del problem runt användarvänlighet. Föreställ dig att du beställer ett nytt IT-system och i kontrakten står det att systemet ska vara användarvänligt. Det uppstår en konflikt mellan dig
som kund och leverantören om just användarvänlighet. Du som kund hävdar att systemet har alldeles för dålig användarvänlighet medan utvecklarna hävdar motsatsen. I ett sådant fall vinner med största sannolikhet leverantören då användarvänligt är alldeles för dåligt konkretiserat. Hur ska man kunna vara säker på att systemet är användarvänligt när man inte har några mätbara faktorer som avgör om leverantören har levt upp till kontraktet eller inte.
Genom att beställare och leverantör tillsammans definierar vad användarvänlighet är och sätter upp mätbara parametrar undviker man också konflikter runt produktens användarvänlighet.
(Gulliksen, Göransson 2002, s. 57)
3.3.2 Användbarhet i kravspecifikationen
Ett av de största problemen med användbarhet är att det ofta definieras för fritt i systemets kravspecifikation, ”systemet ska vara lätt att använda” eller ”användbarheten ska vara
tillfredställande”. Användbarhetskraven är en viktig del i systemet och ska utformas på ett sätt som går att mäta och testas. Ett exempel på ett mätbart användarkrav kan se ut på följande sett: Nya användare ska efter en introduktion på 30 minuter kunna hantera tre individuella inköp med hjälp av informationen i systemet. Kravet är uppfyllt om 80 % av testpersonerna klarar av testet. (Eriksson 2007, s. 43-44)
För att på ett fullgott sätt ta fram mätparametrar för användbarhet krävs det följande information: • Beskrivning av användarens mål och intentioner.
• Beskrivning av användningssammanhanget skall infattas av användarna, uppgifterna, utrustningen och miljöerna.
• Faktiska värden för ändamålsenlighet, effektivitet och tillfredställelse i det avsedda användningssammanhanget.
(ISO 9241-11)
3.3.3 Användbarhet enligt ISO
International Organization for Standardization, förkortat ISO, arbetar med att standardisera faktorer i samhället för att underlätta definitioner och samarbeten mellan personer, företag och länder. ISO standarden 9241-11 definierar vad begreppet användbarhet är. (Tajakka, 2004)
”den utsträckning till vilken en specificerad användare kan använda en produkt för att uppnå specifika mål, med ändamålsenlighet, effektivitet och tillfredställelse, i ett givet användningssammanhang” (ISO 9241-11, 1998)
För att standarden ska definieras ytterligare måste man också ta en titt på de förklarande orden och definiera vad de innebär. Ändamålsenlighet definieras som:
”noggrannhet och fullständighet med vilken användarna uppnår givna mål” (ISO 9241-11, 1998)
effektivitet definieras som:
”resursåtgång i förhållande till den noggrannhet och fullständighet med vilken användarna uppnår givna mål” (ISO 9241-11, 1998)
och tillfredställelse definieras som:
”frånvaro av obehag samt positiva attityder vid användningen av en produkt” (ISO 9241-11, 1998)
till sist definieras användningssammanhanget som:
”användare, uppgifter, utrustning (maskinvara, programvara och annan materiel) samt fysisk och social omgivning i vilket produkten används.” (ISO 9241-11, 1998)
ISO-definitionen påtalar att användbarhet är mätbart och gör begreppet möjligt att ytterligare diskutera. Vi kan jämföra två produkters användbarhet utifrån en bestämd målgrupp som utför en specifik uppgift i ett specifikt sammanhang. Det viktiga är att systemen genomgår samma test med samma målgrupp så att man kan sätta resultaten mot varandra och på så sätt få ett resultat som är jämförbart. Det är av betydelse att förstå att användbarhet inte är ett absolut utan ett relativt begrepp. En produkt kan anses som lättanvänd eller användarvänlig men ofta endast i det grafiska gränssnittet eller det interaktiva systemets grafik. För att utveckla ett användbart system måste vi lära oss mer om användarna; deras mål, uppgifter och användningssammanhang. En produkts användbarhet beror på användaren. Produkter har inte en latent användbarhet utan sammanhang. Till exempel är inte en banjo speciellt användbar vid ett husbygge, men en grävskopa är säkert användbar. Detta gör inte grävskopan till användarvänlig utan endast funktionell i ett specifikt sammanhang. Vidare får man se över grävskopans effektivitet, ändamålsenligt och byggarbetarnas tillfredställelse för att definiera grävskopans användbarhet. Grävskopans effektivitet kan
fördelaktigt mätas, exempelvis genom hur många kilo eller ton av ett förbestämt element som den klarar av att gräva upp under en bestämd tidsperiod med en bestämd resursåtgång (bensin, antal användare, kostnad). Ändamålsenlighet kan också mätas och ge ett bestämt resultat som är
klarar grävskopan och dess brukare detta moment? Är hålet verkligen 5*5*5 meter, sätt de avvikande cm/dm mot varandra och jämför mot andra grävskoper.
(Gulliksen, Göransson 2002, s. 63-64)
Ett moment som är svårare att mäta är tillfredställelse. Tillfredställelse kan mätas genom enkäter och intervjuer. Personers individuella uppfattning är inget absolut mått men ger en uppskattning om vad personen tycker, som sen kan sättas i relation mot samma persons uppskattning av ett annat system eller produkt. (Gulliksen, Göransson 2002, s. 63-64)
3.4 Användbarhetsmätning
En del av problemet runt att mäta användbarhet ligger i skillnaden mellan samhällsvetenskaplig forskning och användbarhetsmätning. Anledning till mätning av användbarhet är ofta att identifiera problem, medan samhällsvetenskaplig forskning är att bevisa existensen av ett fenomen. De flesta stora problem inom ett system kan ofta identifieras med ett användbarhetstest även om antalet testpersoner är få. Ett av de kriterier som gör ett användbarhetstest lyckat är att testpersonerna består av personer som tillhör slutanvändaren. (Dumas, Redish 1999, s. 35-36)
Användbarhetsmätningar är en empirisk metod, därför krävs det att testgruppen noggrant antecknar antal fel och hur lång tid det tar att slutföra en specifik uppgift. Testpersonerna ska även fylla i en enkät för att ta reda på deras åsikter. För att verkligen förstå problem och användbarhet i ett system krävs det att flera olika mätmetoder används. En kvalitativ undersökning är ofta bättre än en kvantitativ, då testpersonernas åsikter är mer värda än ett större deltagarantal.
(Dumas, Redish 1999, s. 37)
När det existerar konkurrerande produkt som uppfyller samma funktion som en produkt under utveckling kan dessa fördelaktigt testas mot varandra. Ett sådant test kallas för jämförande användartest och ger utvecklarna värdefull information om svagheter och styrkor hos konkurrerande produkter på marknaden. Dessa test kan utföras på en fokusgrupp där slutanvändaren får rangordna de olika produkterna utifrån användbarhet.
(Dumas, Redish 1999, s. 48)
3.4.1 Fokusgrupper
För att tillgodose slutanvändarens åsikter om utvecklingen av systemet kan utvecklarna sätta ihop en fokusgrupp. En fokusgrupp består av en grupp människor som representerar slutanvändaren, vilket också är ett av kriterierna för en lyckad fokusgrupp. Det är bra om gruppen består av
blandade erfarenheter och färdigheter. Från fokusgruppen kan nödvändig information om den kommande produkten tas fram och användas för att utveckla systemet. Informationen är personliga åsikter från personerna i fokusgrupperna och inte likt ett användartest som genom observation kan se hur användare handlar. Således är fokusgrupper bra för att se till användarens åsikter men inte hur en person skulle handla i en specifik situation. Därför är det lämpligt om fokusgruppen utöver en diskussion även genomgår ett användartest. (Dumas, Redish 1999, s. 44-45)
3.4.2 Heuristisk utvärdering
”heuristi´k, praktisk metod för att föreslå lösningar till problem, t.ex.
beräkningsmässiga. Ingen garanti finns för korrekta lösningar. Heuristik spelar stor roll inom s.k. artificiell intelligens, t.ex. i schackprogram på datorer.”
(Nationalencyklopedin: www.ne.se/heuristik)
Heuristisk utvärdering är en traditionell metod för att utvärdera användbarhet som går ut på att låta en expert i användbarhet undersöka systemet. Denna metod används för att den är kostnadseffektiv jämfört med användartester och övriga utvärderingsmetoder. I inledningen av en undersökning skriver Desurvire, Kondziela och Atwood att intresset är stort för att hitta
användbarhetsutvärderingar som är lätta och billigare än traditionella metoder, som ändå inte utförs i brist av ekonomiska medel, planering eller mänsklig expertis. Men är experternas utlåtande tillräckligt effektiva? (Dumas, Redish 1999, s. 64-65)
Metoden varierar beroende på experten. I vissa fall är experten en välutbildad professor i
användbarhet, i andra fall endast mjukvaruutvecklare med snabb genomgång av användbarhet. I en undersökning gjord av Nielsen och Molich hittade experterna enskilt mellan 20 – 50 % av
problemen. När väl experterna sattes i grupper i varierande storlek hittades mellan 50 – 75 % av problemen. Baserat på detta rekommenderar Neilsen och Molich heuristisk utvärdering som en metod i användbarhetsutvärdering. Vidare hävdar de att metoden är billig och lätt att implementera. (Dumas, Redish 1999, s. 65-66)
I en artikel skriver Darlene Fitcher att utvärderaren inte ska vara rädd för att använda metoden trots att man inte har några experter att tillgå. Heuristisk utvärdering är lätt att lära sig och en grupp på fem kan med rätt introduktion utföra en undersökning och identifiera cirka 50 % av problemen. (Fitcher 2004, s. 54)
3.4.3 Tillvägagångssätt
En utvärdering kan vara strukturerad eller ostrukturerad. Den strukturerade utvärderingen innehåller fasta utväderingspunkter och givna uppgifter för utvärderaren att genomföra. En ostrukturerad utvärdering arbetar utifrån utvärderarens frihet att utforska produkten och bearbetar problem allt eftersom de uppstår. (Fitcher 2004, s. 54)
Jakob Nielsen har listat tio heuristiska principer att utgå ifrån:
• Synlighet av systemets status. Systemet bör alltid hålla användarna informerade om vad som händer, genom lämplig feedback inom rimlig tid.
• Verklighetsförankring. Systemet skall tala användarens språk, med ord, fraser och begrepp välkända för användaren, snarare än systemorienterade termer. Visa information i en logisk ordning konsekvent genom systemet.
• Användarkontroll och frihet. Användare väljer ofta systemfunktioner av misstag och behöver en klart markerad "nödutgång" för att lämna oönskade tillstånd utan att behöva gå igenom en utvidgad dialog. Stöd ångra och göra om.
• Konsekvent ordval. Användare ska inte behöva undra om olika ord, situationer eller handlingar betyder samma sak. Följ systemets ordlista.
• Förebyggande av fel. Ett bra system innehåller få fel, men när dessa uppstår är det viktigt med felmeddelanden som informerar användaren. Antingen eliminera felantalet eller presentera användaren med bekräftelse om det aktuella felet. • Igenkännande. Minimera användarens minnesbelastning genom att göra objekt,
handlingar och valmöjligheter synliga. Användaren ska inte behöva minnas information från en del av dialogen till en annan. Instruktioner för användning av systemet bör vara synliga eller lättåtkomliga vid behov.
• Flexibilitet och effektivitet i användning. Accelerators - osedd av nybörjare - kan ofta påskynda interaktionen för expertanvändare så att systemet kan tillgodose både oerfarna och erfarna användare. Tillåt användare att skräddarsy frekventa åtgärder. • Estetisk och minimalistisk design. System bör inte innehålla information som är
irrelevant eller sällan behövs. Varje extra enhet av information i en dialog konkurrerar med de berörda enheterna av information och minskar deras relativa synlighet.
• Hjälp användare känna igen, diagnostisera och återhämta sig från fel. Felmeddelanden bör uttryckas på ett enkelt språk (inga koder), exakt ange problemet och konstruktivt föreslå en lösning.
• Hjälp och dokumentation. Även om det är bättre om systemet kan användas utan dokumentation, kan det vara nödvändigt att tillhandahålla hjälp. Hjälpfunktionen ska vara sökbar och fokusera på användarens uppgifter, samtidigt som
informationen ska presentera steg-för-steg instruktioner. (Jakob Nielsen: www.useit.com)
Generellt är det svårt för en enda person att hitta alla problem. Olika personer hittar olika problem och därför är metoden effektivare med flera utvärderare, som tillsammans kan täcka in ett större spektrum av de existerande problemen. Heuristisk utvärdering genomförs först genom att
utvärderaren individuellt testar systemet. Detta är viktigt för att säkerställa oberoende och opartiska utvärderingar från testdeltagarna. När väl detta är genomfört får testpersonerna diskutera och föra samman resultatet. Resultatet kan presenteras genom en skriftlig rapport eller genom samtal med testansvarig. En fördel med en skriftlig rapport är att det går att få en formell dokumentation, samtidigt krävs det mer arbete runt att sammanställa dokumentet. En observatör kan fördelaktigt användas för att snabbt kunna tillgodose användbar data. Detta ökar arbetsinsatsen på testansvarig samtidigt som arbetsbördan på utvärderarna minskar eftersom en skriftlig rapport inte är
nödvändig. Observatören har i uppgift att tolka testpersonens handlingar och koppla dessa till användbarhetsfaktorer. Detta gör det möjligt att utföra användbarhetstester med oerfarna
testdeltagare. En annan fördel med att använda en observatör är att han eller hon kan hjälpa till vid problem eller när ytterligare förklaring krävs. (Jakob Nielsen: www.useit.com)
Något som skiljer heuristisk utvärdering från traditionella utvärderingstester är observatörens vilja att besvara frågor från utvärderaren. I ett traditionellt användartest vill observatören att
testdeltagaren själv söker vägledning med hjälp av systemets hjälpfunktion eller att han eller hon prövar sig fram. I en heuristisk utvärdering, speciellt med oerfarna utvärderare är frågor positivt och det hjälper testdeltagaren att utvärdera systemet. (Jakob Nielsen: www.useit.com)
Under utvärderingens gång går utvärderaren genom systemet flera gånger och inspekterar de möjliga diskussionspunkterna och sätter systemet i relation till de användbarhetsprinciper som finns. Förslagsvis används de tio heuristiska principer Nielsen listar ovan. Dessa principer är ett stöd till utvärderaren som självmant kan ta upp sina egna principer och tankar. Utvärderaren behöver förklara resultatet så specifikt som möjligt, varför han eller hon tycker ett problem är ett problem. Denna förklaring är viktig för att förstå problemet och för att kunna presentera en effektiv lösning. (Jakob Nielsen: www.useit.com)
I en av Nielsens fallstudier påstås heuristisk utvärdering spara upp till 500 000 dollar. Vidare menar Nielsen att heuristisk utvärdering är en ekonomiskt effektiv metod samtidigt som resultatet är
fullgott. Däremot är heuristisk utvärdering ingen metod som ger beställaren ett perfekt resultat. (Jakob Nielsen: www.useit.com)
3.4.4 Oenighet
Det finns en rådande oenighet i forskarnas diskussion om heuristisk utvärdering. Jakob Nielsen hävdar att det går att identifiera 75-90 % av systemfelen när utvärderarmedverkan är mellan fem och tio personer. En utvärderare kan identifiera ungefär 35 % av de rådande systemfelen medan två utvärderare kan identifiera 50 % av felen. (Nielsen 1993, s. 156)
I en undersökning gjord av Desurvire, Kondziela och Atwood identifierades endast 44 % av felen i den heuristiska undersökningen. I en artikel misstänker Joakim Snygg ett visst egenintresse från Nielsens sida men han menar också att skillnaden mellan undersökningarna beror på skickligheten och kunskapen hos utvärderarna. Nielsen har använt sig av experter med en bredare erfarenhet jämfört med Desurive, Kondziela och Atwood. (Snygg: Kompromisser i användbarhetsutvärdering)
3.5 Kostnader
En IT-konsult med användbarhet som yrke kostar mellan 800-1200 kr i timmen. (Inuse Consulting AB, 2010-06-17)
4 Empiri
I följande kapitel beskrivs de undersökningar som genomfördes på företaget samt de system som utvärderades.
4.1 Utvärderade system
ITIS står för IT inventarier system och är ett system som ger användaren möjlighet att registrera personal och artiklar samt knyta dessa till varandra. Tanken är att det ska ge JMS kontroll över datorer, mobiltelefoner samt behörigheter. När en nyanställning sker kommer personen att
registreras i ITIS och när väl han eller hon får en artikel, dator, nyckel och så vidare att ansvara för kommer denna artikel att knytas till personen. Systemet knyter artikel till anställd så att ansvaret finns dokumenterat.
Hogia PA är ett system som JMS använder för personaladministrativa uppgifter, exempelvis anställning, lön och pension. Hogia har stöd för personliga inventarier, men detta system lever inte upp till alla de krav som efterfrågas i kravspecifikationen. Till exempel går det inte att söka på artikelns uppgifter utan endast på personer.
Microsoft share point är JMS intranät och används för att förmedla information och som allmän kommunikationsplattform där e-post är en stor del av systemet. Detta system är väldigt stort och har många funktioner. Det gör att det är rörigt och svårt för användaren att hitta både funktioner och personer. Intranätet har tidigare använts som inventariesystem men har slutat att användas för att användarna har tyckt att det varit för invecklat och inte anpassat för uppgiften.
4.2 Användartest
För att se till de faktorer som användbarhet innebär gjordes ett användartest. Detta användartest utgjordes av en enkät, en intervju och ett uppgiftorienterat test där användaren fick utföra fyra uppgifter i de olika systemen. Enligt Gulliksen m.fl. (2002) kan olika utvärderingsmetoder bidra till en heltäckande bedömning av systemet. Testet genomgicks av sex personer som alla tillhör
slutanvändaren i någon form.
Eftersom jag ville veta vilket av de tre systemen som var mest användbart gjorde jag mätningar inom effektivitet, fullständighet och tillfredställelse hos användaren. Ett användartest arbetades
fram som behandlade effektivitet och fullständighet. Testpersonerna fick fyra uppgifter att utföra för respektive system. Utförandet av dessa uppgifter mättes i form av tid och felprocent genom tidtagning och observationer. För att se till användarens tillfredställelse utfördes en intervju och en enkät där testpersonerna fick frågor om systemen och möjlighet att själv komma med spontana åsikter. Genom dessa metoder täcks de tre faktorerna in och behandlar användbarhet utifrån den definitionen jag själv ansåg lämplig. Jag valde även att jämföra de tre systemen för att förstå vilket av dem som är mest lämpat för att utföra de uppgifter som eftersträvades.
För att faktorerna bäst ska spegla verkligheten gäller det att sätta dem i rätt miljö. Det är viktigt att testa systemen mot rätt målgrupp och användare. Därför ska användaren analyseras och en
testgrupp ska sättas ihop utifrån vad analysen visar. Användarna har olika bakgrund med skilda erfarenheter som gör att användaren hanterar systemen olika. Vissa personer anser att ett system ska vara av logisk karaktär och andra tycker raka motsatsen. Därför är det viktigt att hitta en testgrupp som speglar den slutliga användaren. En annan aspekt är att själva testet utförs i systemets rätta miljö på liknande dator som systemet ska användas på. Annars finns risk att omgivningen påverkar testet så att resultatet blir felaktigt. Användbarheten ska testas i den omgivning där systemet ska verka eller verkar.
4.2.1 Användartestuppgifter
De uppgifter som deltagarna fick utföra i användartestet var utformade på ett sådant sätt att de skulle återspegla en verklig situation och en verklig uppgift. Uppgifterna i de olika systemen var av liknande karaktär men för att förhindra att testdeltagaren skulle memorera informationen var varje uppgift unik. Användartestuppgifter:
1. Hitta en specifik information; mobil eller e-postadress. 2. Lägg till en ny artikel; dator eller kreditkort.
3. Ändra en befintlig artikel; artikelnummer eller placering. 4. Radera en befintlig artikel; dator eller bil.
Instruktionerna för hela användartestet finns att läsa i bilaga ett.
4.3 Heuristisk utvärdering
Den heuristiska utvärderingen gjordes för att se till hur och om den fungerar som
utvärderingsmetod jämfört med sluttestet. Utvärderingen skedde med hjälp av två personer som inte kan ses som experter på användbarhet men inte heller noviser. Båda personerna fick en inblick i systemen och en presentation av Nielsens tio utvärderingsprinciper. Utifrån dessa principer har
personerna utvärderat systemen. Utvärderingen har först skett individuellt så att utvärderarna kunde skapa sig en egen uppfattning för att sedan diskutera och sammanföra de olika åsikterna
tillsammans. Utvärderingen genomfördes på JMS med deras datorer och i rätt användarmiljö. På så sätt efterliknar utvärderingen verkligheten, annars finns risken för att utvärderingen påverkas av en miljö som inte är signifikativt för JMS. Diskussionen som följde spelades in och sammansattes i ett dokument där de intressanta aspekterna presenterades.
4.4 Testdeltagare
De personer som deltog i användartestet valdes ut på grund av att de ansågs vara potentiella slutanvändare. Samtliga personer som deltog i testet arbetar dagligen med en dator på ett kontor. Detta var relevant för att inventeringssystemet verkar i liknande miljö.
De två personer som ställde upp som utvärderare i den heuristiska utvärderingen valdes ut på grund av deras kunskap inom användbarhet. Personerna var också lättillgängliga och de tyckte ämnet verkade intressant vilket stimulerade dem till att göra ett bra jobb.
Det fanns en del problem runt att hitta testdeltagare i användartestet. Detta diskuteras och behandlas i diskussionen.
5 Resultat
I detta kapitel presenteras resultatet av det slutliga användartestet och den heuristiska utvärderingen.
5.1 Användartest
Det slutliga användartestet gick ut på att testa Hogia PA, Microsoft Share Point och ITIS. Syftet med testet var att tydliggöra vilket av systemen som var mest användbart utifrån en specifik funktion. Alla systemen klarade av de övergripande kraven från beställaren men skiljde sig åt när det kom till önskemål och underliggande krav.
5.1.1 Observationsresultat
Microsoft share point var det system av de tre där samtliga uppgifter tog längst tid att utföra. En anledning till detta var att Microsoft share point saknar stöd för en sökfunktion, således behövde användaren leta igenom alla namn samtidigt. Ett annat problem var att det fanns en sökfunktion som existerade rent grafiskt. Två av testpersonerna använde sökfunktionen men misslyckades eftersom funktionen inte fungerade men gränssnittet visade fortfarande på att systemet hade stöd för funktionen. Testpersonerna fick lägga mycket tid på att leta efter knappar och länkar, Share Point var det system som skapade mest förvirring hos användaren.
ITIS var det system som var näst bäst när det kom till tidseffektvitet. Flera av användarna hade problem med att se logiken i kategoriindelningen. Två av sex personer använde sökfunktionen i uppgift ett och fyra av sex personer stannade upp och fick tänka efter innan de förstod hur artikel kopplades till anställd.
Det system som var resurssnålast i form av tid var Hogia PA. Uppgift 2-4 i användartestet var snabbast att utför i Hogia. En aspekt som förklarar varför Hogia är effektivast är att det endast finns ett fält att fylla i och inte flera olika informationsmöjligheter som de andra systemen innehar. Till exempel måste användaren fylla i både vilket år inköpet skedde och modelltyp när en ny dator ska registreras i ITIS och Microsoft share point. Detta görs på en rad i Hogia, således tar det inte lika lång tid för användaren att utför dessa uppgifter. Samtidigt är möjligheterna för att registrera information om de olika artiklar begränsad. Sökfunktionen användes av tre personer och dessa personer använde sökfunktionen i samtliga uppgifter.
Figur 2. Tabellen visar genomsnittstiden i minuter och sekunder för varje uppgift i respektive system.
5.1.2 Intervjuresultat
En av de frågor som ställdes var om testpersonen föredrog att arbeta med ett stort system med många funktioner eller fler system med få funktioner. Fyra av sex personer föredrog att arbeta med ett stort system med många funktioner medan en person föredrog att arbeta med ett stort system med väl avgränsade delar som behandlar funktionerna var för sig. Endast en person av de sex testpersonerna föredrog flera mindre system med få funktioner. De fyra personer som ansåg att ett system var att föredra motiverade sina åsikter med att man slipper växla mellan flera program. Således är deras arbetsuppgifter samlade i ett system. Den person som önskade flera små system såg fördel i att systemen skulle vara enkla och på så sätt skulle användaren klara av att använda dem utan tidigare erfarenhet.
Alla testdeltagare föredrog god användbarhet framför många funktioner. En av personerna
kommenterade att det inte finns någon nytta med ett system med många funktioner om ingen klarar av att hantera det. Två av testdeltagarna önskade så många funktioner som möjligt utan att det skulle påverka användbarheten negativt.
Fyra av de sex deltagarna anser att de utför samma uppgifter varje dag och därför fått den kunskap och erfarenheter som krävs för att hantera de IT-system som används. Dessa personer upplever inte att de får lägga ner mycket tid på att lära sig systemen. De andra två personerna anser att de får lägga ner mycket tid på att lära sig nya system, samtidigt jobbar dessa personer inom IT-avdelningen och jobbar med problemlösning i de olika systemen.
På frågan om den anställde känner att de använder för många system för att kunna arbeta effektivt tyckte fyra av sex personer att de kunde arbeta effektivt. Dessa personer använder två till tre system i sina arbetsuppgifter, medan de två personerna som ansåg att de använder för många system för att hantera arbetsuppgifterna effektivt arbetar med sex till sju olika system.
Fem av sex personer känner inte obehag eller frustration över att använda systemen. En person känner frustation över intranätet Microsoft share point och undviker att använda det. När problem i systemen uppstår känner samtliga testdeltagare ibland sig frustrerade och irriterade över
situationen.
Efter genomförandet av testet svarade samtliga att de var mer negativt inställda till Microsoft share point. Testdeltagarna ansåg att systemet var rörigt med allt för många synliga objekt som gjorde navigeringen komplicerad. Två personer tyckte det var förvirrande att det fanns en sökfunktion som inte fungerade. Testpersonerna var positiva till både Hogia PA och ITIS på grund av en överskådlig layout som gjorde navigationen logisk, trots att vissa av deltagarna hade problem med
kategoriseringen i ITIS.
5.1.3 Enkät
I testet ingick en enkät där de sex deltagarna fick svara på fem frågor som berörde vad de tyckte om systemen. Frågorna två till fem visas med ett diagram där genomsnittliga resultatet visas. Till exempel skulle genomsnittet visat mitt i mellan dåligt och bra när hälften av respondenterna svarat att systemet var mycket bra och den andra hälften svarat att det var mycket dåligt.
1. På frågan vilket system som det var lättast att utföra uppgifterna i svarade alla testdeltagare att intranätet Microsoft share point var svårast. Hogia PA och ITIS fick lika många röster vardera och delar således första platsen.
3. Hur upplevde du följande systems struktur?
5. Upplevde du följande system som användarvänliga?
5.2 Heuristisk utvärdering
En av utvärderarna anser att breadcrumbs ska användas. Breadcrumbs är en funktion som berättar var i systemet användaren befinner sig. Båda personerna poängterar vikten av att undvika dubbelt arbete och tror det är viktigt att det system som väljs klarar av att importera data från
personalprogrammet. ”Ska man försöka lösa de problem man har är det inte lönt att satsa halvhjärtat” säger en av utvärderarna.
Båda personerna tyckte Microsoft share point var krångligt i synnerhet navigationen. En
kommentar var att det är ologiskt att man inte kan söka genom anställd för att hitta deras artiklar. Detta görs genom att användaren direkt söker på artikel, det skulle vara användbart att de anställdas artiklar är länkade på sidan för den anställde som i ITIS. Sökfunktionen är för dålig i intranätet och utvärderarna efterfrågar fler sökalternativ för att begränsa urvalet. En av personerna anser att språket i intranätet är för krångligt och enligt Nielsens principer ska systemet prata användarens
språk. Utvärderarna tycker att JMS ska skala av de funktioner som användarna inte använder och på så sätt få ett mindre system som är lättare att navigera sig i.
Utvärderarna ansåg att ITIS var det system som både uppfyllde kraven bäst och det system som var mest användarvänligt. Men de såg problem med att systemet inte var utvecklat än. Det kommer kosta JMS mycket pengar samtidigt som det inte finns några garantier för att systemet blir
tillfredställande. JMS måste även räkna med en del barnsjukdomar. En annan negativ aspekt är att personalen får ytterligare ett system att jobba med och om funktionen till viss del stöds av andra system som redan finns inom företaget bör detta ses över anser personerna.
En av utvärderarna påpekade att Hogia PA är enkelt och lätt att förstå sig på men hävdar också att hela systemet fallerar när det inte går att söka artiklar utan endast personer. En nackdel med Hogia var att layouten var tråkig och deprimerande.
Ett problem som kan vara lätt att missa är att IT-chefen redan är missnöjd med Microsoft share point och att försöka göra honom positivt inställd till systemet är möjligtvis fel väg att gå.
Samtidigt tycker en av utvärderarna att JMS inte kan utveckla ett helt nytt system bara för att se till IT-chefens dåliga relation till intranätet.
En annan aspekt är framtiden. Kommer JMS att expandera? Systemet som ska klara av kraven från JMS är billigare att utveckla i ett mindre företag än ett större. Det stora jobbet kommer ligga i att inventera och märka alla artiklar. ”Är det lönt att lappa och laga halvbra system? Jag hade satsat på att utveckla ITIS och om det kommer vara värt pengarna i det långa loppet” säger en av personerna. Den andra personen satsar hellre på Microsoft share point med tanke på utvecklingsmöjligheterna i systemet.
Gemensamt kom vi fram till en handlingsplan:
1. Ring Hogia och fråga om de har planerat att släppa en ny version av Hogia PA som innehåller ett bättre inventariesystem som fullt ut klarar av kraven från JMS. 2. Banta ner Intranätet och försök få kontroll över navigeringen, detta är något som
bör göras även fast inventeringen sker i något annat system.
3. Ta reda på vilka andra system som finns på marknaden och vad de kostar att köpa in jämfört med att utveckla ITIS.
5.3 Användartestet gentemot heuristisk utvärdering
Användartestet tog 32 timmar att förebereda, genomföra och sammanställa. Det kan jämföras med den heuristiska utvärderingen som förbereddes, genomfördes och sammanställdes på 8 timmar. En tjänsteman på JMS kostar 278 kr i timmen och vid användartestet deltog sex personer under en timme vardera. 278x6=1668 kr, vilket är kostnaden för att involvera användaren i testet. Den heuristiska utvärderingen gjorde inget anspråk på de anställdas tid. Dock är 1668 kr en relativt liten summa och den stora kostnaden för användartestet består i konsultavgifter. De två konsulterna jobbade under två dagar, det vill säga 16 timmar vardera, och kostar 1000 kr i timmen vilket resulterar i en kostnad på 32 000 kr (16x2x1000=32 000). Den slutliga summan för användartestet är 33 668 kr.
Deltagarna i den heuristiska utvärderingen ställde upp gratis men beroende på deras erfarenheter kan deras kostnad variera. Möjligtvis kan företagen ställa upp med biobiljetter eller en lunch för att locka testpersoner. Om man vill ha utbildade personer inom användbarhet får man uppskattningsvis räkna med en summa på 500 kr per timme och i högsta fall 1000 kr per timme. I den heuristiska utvärderingen arbetade en konsult 8 timmar, 1000x8=8000, plus kostnaden för deltagarna som kan variera mellan 0-1000 kr i timmen. Men eftersom utvärderarna i mitt test inte innehar någon speciell utbildning inom användbarhet räknar jag med två luncher på 75 kr styck. Den heuristiska utvärderingen kostade således 8150 kr. Summan kan tänkas stiga till 10 000 kr om experter inom användbarhet används som utvärderare, 2x1000(användbarhetsexperter)+8000(konsult) = 10 000.
Resultatet från användartestet är mätbart. Till exempel kan man jämföra effektivitet genom att se till hur lång tid en specifik uppgift tar att utföra och sätta det i relation till de andra systemen. Dessa mätbara variabler saknas i den heuristiska utvärderingen. Den heuristiska utvärderingen är en uppskattning eller en kvalificerad gissning som resulterade i en diskussion och en handlingsplan, snarare än variabler som går att mäta och jämföra.
6 Diskussion
IT-systemutvecklingen är inte problemfri. Enligt Chaosrapporten, som visserligen är från 1995, var det endast 16,2 % av IT-projekten som ansågs lyckade. Således är det viktigt att utföra tester och utvärderingar både under utvecklingen av IT-system och vid redan utvecklade system. Även arbetsmiljölagen sätter krav på IT-utvecklingen. Användaren har rätt att påverka utvecklingen om systemet berör hans eller hennes arbetsuppgift. Av detta skäl är det viktigt att involvera användaren vilket görs i användartestet. I den heuristiska utvärderingen kan användaren användas som
utvärderare men eftersom metoden används för att spara pengar och därigenom inte bör ta de anställdas tid så är det något motsägande. Om fördelarna med den heuristiska metoden går förlorade kan ett användartest genomföras med samma ekonomiska resurser. I JMS fall är kostnaden för två anställda låg och därigenom kan de anställda deltaga utan att det kommer kosta JMS några betydande summor.
De anställdas motivation och förtroende för det framtida systemet stärks genom att de får ha en betydande roll i valet mellan systemen. Detta är något jag kan tänka mig underskattas av
verkställande chefer. Eftersom det är användarna som ska använda systemet finns det ingen poäng med att köpa in ett system som inte är användarens självklara val. Detta kan skapa missnöje som till viss del är onödigt då det är lätt att involvera användaren. Samtidigt kan det hävdas att användaren inte alltid vet bäst, detta kan jag hålla med om då de kanske inte ser hela bilden av situationen. Trots detta är det viktigt att få med sig användaren som bör vara positivt inställd till systemet. Jag vill inte påstå att manipulation är något som ska användas i någon större utsträckning men jag kan förstå om ansvarig ändå försöker få de anställda enade i riktning med besluttagarna. I JMS fall är ekonomin en viktig del i beslutet och de anställda har egentligen ingen inblick i vad de olika systemen kostar. Eftersom ekonomi i högsta grad har en betydande roll för beslutet kan det vara farligt att blanda in användaren om det uppstår en situation där användaren vill utveckla ITIS men verkställande chef anser att det kommer kosta för mycket. Då har de ansvariga involverat användaren men samtidigt inte handlat i samråd med användarens önskemål. Då kan användaren tappa förtroende för systemet och underminera chefens auktoritet. Det finns inga rätt eller fel och beroende på hur situationen ser ut får man se till den och handla därefter.
Den heuristiska utvärderingen är 25 518 kr billigare än användartesten vilket är relativt stor skillnad. Detta går i samma linje som teorin där Nielsens undersökning visar på att i större systemutvärderingar kan företagen spara upp emot 500 000 dollar. Systemvetaren Dan Kjellman uppskattar att ITIS skulle kosta runt 60 000 kr att utveckla och om användartesterna kostar 33 668
kr är det mer än hälften av utvecklingskostnaden. Den heuristiska undersökning kostar 8150 kr och är betydligt billigare och har därigenom en stor fördel som utvärderingsmetod. Kostnaden för användartestet kan diskuteras då jag själv och Magnus inte är några erfarna konsulter och därigenom antagligen har jobbat fler timmar med användartestet än vad en erfaren konsult hade gjort. Jag har dragit av fyra timmar som kompensation men det är svårt att uppskatta vad som är rimligt. Samtidigt är detta något som även påverkar den heuristiska utvärderingen.
Men varför väljer ansvariga personer användartester som testmetoder om de är mycket dyrare än en heuristisk utvärdering? För att få svar på frågan får man se till resultatet av undersökningen. I ett användartest mäts användbarheten utifrån användarna och därmed får det ett tillförlitligt resultat. En heuristisk utvärdering är däremot beroende på expertisen hos utvärderarna, en kvalificerad gissning som inte inger samma tillförlitlighet som ett användartest. Trots detta anser jag att den heuristiska utvärderingen fungerar bra. Den diskussion som följde i utvärderingen gav inte bara en inblick i den komplexa situationen JMS befinner sig i utan även en handlingsplan att utgå efter. De båda metoderna gav resultat som skiljde sig förvånansvärt lite från varandra. En sak som bör belysas är de mätbara parametrar som ett användartest genererar. Mätbara parametrar är bra, till exempel fungerar de bra i ett utvecklingsarbete rörande ett IT-system då systemutvecklarna kan göra förändringar och mäta resultatet av dessa och jämföra mot tidigare resultat. Detta kan i viss mån även appliceras i en heuristisk utvärdering, men eftersom den baseras på personers åsikter är resultatet inte lika tillförlitligt. Utvärderarna förändras över tid och är inte samma person vid de olika testtillfällena. Vidare kan man diskutera om det verkligen har någon betydelse då både system och personligheter utvecklas och det intressanta är egentligen om systemet är användbart eller inte. Trots att användartesterna hade mycket mätmaterial att diskutera blev det samma resultat som i den heuristiska utvärderingen. Det som skiljde diskussionerna åt var att den heuristiska
utvärderingsdiskussionen handlade mycket om förtroende hos användaren och den ekonomiska situationen, medan användartestdiskussionen behandlade vilket system som var lämpligast utifrån kraven och funktionerna. På det stora hela var resultatet mycket lika varandra. Om jag får sticka ut hakan kan jag påstå att den heuristiska utvärderingen var en korrekt gissning och användartestet var facit som bekräftade svaret. Från en kritisk vinkel borde jag ha börjat med den heuristiska
utvärderingen och sedan genomfört användartestet för att se om den kvalificerade gissningen var korrekt. Nu gjorde jag tvärtom och det kan ha påverkat resultatet eftersom jag redan hade en någorlunda uppfattning om resultatet i användartestet. Samtidigt försökte jag i den mån jag klarade av att inte påverka utvärderarna i den heuristiska utvärderingen. Men frågan är hur mycket jag omedvetet påverkade testpersonerna i den heuristiska utvärderingen.
Användartestet innehöll både en användarintervju och en enkät. Detta gjordes för att se vilken metod som passade bäst eller om båda metoderna ska användas parallellt. Jag ser ingen funktion i att använda en enkät så länge användardeltagandet inte gör att mängden deltagare utesluter intervjuer på grund av tiden det tar i anspråk. Ett användartest kan genomföras med eller utan instruktör och om en instruktör eller testledare inte används kan enkäter användas. I JMS fall kunde enkätfrågorna bäddas in i intervjun som då även möjliggör att man kan be respondenterna att motivera sina svar. Enligt Gulliksen m.fl. är det svårt att genomföra en enkät med fullgott resultat och det krävs ofta beteendevetenskapliga experter för att utveckla en bra enkät. Detta kan jag till viss del hålla med om men i JMS fall var frågorna enkla och de svar vi fick gav oss en bra inblick i vad testdeltagarna tyckte. Däremot tror jag att vi hade fått mer nytta av att bädda in frågorna och på sätt få en större bild av testdeltagarnas åsikter. När en enkät är av större karaktär och behandlar fler aspekter än vad jag behandlade i JMS fall ökar även svårighetsgraden på enkäten.
Det finns en viss oenighet kring hur många fel heuristisk utvärdering klara av att identifiera. Detta är något som främst berör systemutveckling och inte om situationen, som i JMS fall, är sådan att man väljer mellan tre olika system. Dock anser jag att den bör presenteras då den trots allt påverkar den heuristiska utvärderingens helhetssyn från branschen. Nielsens 75-95 % felidentifiering går inte i samma linje som de 44 % som Desurive, Kondziela och Atwood har fått fram. Detta beror enligt Joakim Snygg möjligtvis på ett visst eget intresse från Nielsen men även att utvärderarnas kunskap om användbarhet varierar. För att identifiera fler problem kan experter användas, men dessa kostar även pengar och är svårare att få tag i. En intressant aspekt är om siffrorna av undersökningarna hade varit liknande när situationen är som i JMS:s fall. Hur hade en expert resonerat i förhållande till mina utvärderare. Detta är något som vore intressant att forska vidare i. Det fanns en viss problematik runt att hitta personer som var villiga att ställa upp. Eftersom VD:n själv inte var delaktig i projektet fanns inte den outtalade auktoriteten som var nödvändig för att de anställda skulle känna sig tvungna att ställa upp. Samtidigt är det i viss mån förståligt då de
anställda fick använda en timme av sin arbetstid till att utvärdera IT-system istället för att avverka de åtaganden som de är tvungna att göra. Istället krävdes en viss övertalan och vi fick nöja oss med de personer som ville ställa upp. Dock är dessa fortfarande representativa för slutanvändaren. De två personer som deltog i den heuristiska utvärderingen valdes efter de kunskaper och erfarenheter de hade av användbar webbutveckling. Personerna var ur kostnadsperspektiv billiga samtidigt som de hade en viss erfarenhet inom ämnet. Jag anser inte dessa personer som experter men fortfarande invigda i ämnet.
