5. Diskussion & Slutsats
5.4 Slutsats
Det jag kommit fram till i studien för att besvara dess syfte och forskningsfrågor, är att det anpassade ramverket baserar sig nu på befintliga teorier och metoder kring utvärdering av användbarhet i system överlag och inte bara mobiltelefoner och betygsättningen baseras på befintliga tillvägagångsätt i ramverket.
De identifierade komponenterna i ramverket är utvärderings delen, användartester och think-aloud, och betygsättningsdelen, poängskala och pentagondiagram.
Syftet med studien är att anpassa ett ramverk för att utvärdera och betygsätta användbarhet i CMS.
Genom den teoretiska förankringen i avsnitt 2 och dess underkapitel presenteras ett ramverk som är framtaget för att utvärdera och betygsätta användbarheten i
mobiltelefoner. Detta ramverk anpassades för att istället utvärdera och betygsätta
användbarhet i ett CMS istället.
Processen för att anpassa ramverk beskrivs utförligt i avsnitt 3.4.
En fördjupad beskrivning av hur utvärderingen gick till kan återfinnas i avsnitt 3.6.1, 3.6.2
och 3.6.3.
Resultatet från utvärderingen presenteras och analyseras i avsnitt 4.1 & 4.2. Med detta som bevis anser jag att syftet med studien är uppfyllt.
Problemformulering:
Vad kan ett ramverk för utvärdering och betygsättning av användbarhet för CMS innehålla?
Ett ramverk, som beskrivet i avsnitt 2.3, kan innehålla användartester för att utföra en utvärdering på användbarhet. En utvärderingsmetod kan sedan kompletteras med exempelvis think-aloud protocol, som beskrivs i avsnitt 2.3.2 & 3.6.2, för att få en insikt i en användares tankar kring ett system.
Ett ramverk kan betygsätta enligt en skala, som beskrivs i avsnitt 2.3.4, sedan omvandlas resultaten till ett pentagondiagram så att man kan dra slutsatser och enkelt se styrkor och brister i ett CMS.
Utifrån de resultat och teorier som presenteras i studien anser jag att
problemformuleringen är uppfylld då studien visar vad ett ramverk för utvärdering och betygsättning i ett CMS kan innehålla.
34
Källförteckning
Tryckta källor
Barker, D. (2016). Web content management: Systems, features, and best practices. " O'Reilly Media, Inc.".
Cockton, Gilbert (2013): Usability Evaluation. In: Soegaard, Mads and Dam, Rikke Friis (eds.). “The Encyclopedia of Human-Computer Interaction, 2nd Ed.”. Aarhus, Denmark: The Interaction Design Foundation
Hasan, L., Morris, A., & Probets, S. (2013). E-commerce websites for developing countries - a usability evaluation framework. Online Information Review, 37(2), 231-251.
doi:10.1108/OIR-10-2011-0166
Heo, J; Ham, D;Park, S; Song, C; Yoon, W (2009): A framework for evaluating the usability of mobile phones based on multi-level, hierarchical model of usability factors. Interacting with computers, 21(4), 263-275
Jääskeläinen, R. (2010). Think-aloud protocol. Handbook of translation studies, 1, 371-373.
Michael Seadle, (2006) "Content management systems", Library Hi Tech, Vol. 24 Issue: 1, pp.5-7, https://doi.org/10.1108/07378830610652068
Nielsen, J. (1994). Enhancing the explanatory power of usability heuristics. Paper presented at the 152-158. doi:10.1145/191666.191729
Oates, B. J. (2006). Researching information systems and computing. London: SAGE. Oztaysi, B. (2014). A decision model for information technology selection using AHP integrated TOPSIS-grey: The case of content management systems. Knowledge-Based Systems, 70, 44-54. doi:10.1016/j.knosys.2014.02.010
Viduka, D., Lavrnic, I., & Basic, A. (2013). Comparative Study Based on Open Source Content Management Systems Mambo and his Fork–Joomla and Elxis. Intern. J. Comput. Sci. Issue, 5(1), 150-155.
Vivekavardhan, J., & Verma, M. K. (2016). Open Source Content Management System for Content Development. Library Waves, 2(1), 6-14.
35
Elektroniska källor
Användbarhet i praktiken. (uå). Utvärdera användbarhet. Hämtad 2018-04-26, från
http://anvandbarhet.se/bok:utvardera_anvandbarhet
Design Principles FTW. (2013). 10 Usability Heuristics for User Interface Design. Hämtad 2018-06-15, från
https://www.designprinciplesftw.com/collections/10-usability-heuristics-for-user-interface-design
Empori Systems. (2018). Om oss. Hämtad 2018-04-13, från https://empori.se/om-oss
Enginess. (2013). 7 Advantages of Using a CMS to Run Your Site. Hämtad 2018-06-09, från https://enginess.io/insights/7-advantages-using-cms-run-site
International Organization for Standardization. (2018). ISO 9241-11:2018(en). Hämtad 2018-04-08, från https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en
IT-ord. (u.åa). innehållshantering. Hämtad 2018-06-09, från https://it-ord.idg.se/ord/innehallshantering/
IT-ord. (u.åb). regelstyrd accesskontroll. Hämtad 2018-06-09, från https://it-ord.idg.se/ord/regelstyrd-accesskontroll/
Nationalencyklopedin. (u.å). sökmotoroptimering. Hämtad 2018-06-09, från
https://www.ne.se/uppslagsverk/encyklopedi/l%C3%A5ng/s%C3%B6kmotoroptimering
Nielsen Norman Group. (1995). 10 Usability Heuristics for User Interface Design. Hämtad 2018-04-08, från https://www.nngroup.com/articles/ten-usability-heuristics/
Nielsen Norman Group. (2012). Usability 101: Introduction to Usability. Hämtad 2018-04-08, från https://www.nngroup.com/articles/usability-101-introduction-to-usability/
Svensk Standard. (1998). ISO 9241-11:1998. Hämtad 2018-04-08, från
https://www.sis.se/api/document/preview/23717/
TechTarget. (2005). ISO. Hämtad 2018-05-16, från
https://searchdatacenter.techtarget.com/definition/ISO
TechTarget. (2014a). Content management system. Hämtad 2018-05-16, från
https://searchcontentmanagement.techtarget.com/definition/content-management-system-CMS
TechTarget. (2014b). IS. Hämtad 2018-05-16, från
https://whatis.techtarget.com/definition/IS-information-system-or-information-services
TechTarget. (2015). SEO. Hämtad 2018-05-16, från
36
Wikipedia. (2017). Wikipedia:Mallar. Hämtad 2018-06-09, från
37
Bilagor
Bilaga 1
Litteraturstudie
38
Bilaga 2
Sammanställning av resultat från
användartesterna
39
Bilaga 3
Frågor kring användbarhets indikationerna
1. Hur lätt tyckte du det var att hitta till funktionen?
2. Hur lätt var det att utföra funktionen?
3. Hur effektiv tyckte du att funktionen var?
4. Hur väl tyckte du att systemet förebyggde fel för denna uppgift?
5. Hur tillfredsställande var det att utföra uppgiften?
Bilaga 4
Transkribering Think-aloud och intervju
Användare 1
Uppgift 1
---Think-aloud----
J: Då kan vi börja med att du gör en ny sida och sätter den som dold i menyer
A2: Ny sida, det känns väll lämpligt att leta efter knapp med Ny sida på. Där har vi en sån,
namn på sidan kan vi sätta till test, kort URL känns som att man inte ska pilla på just nu. Sen var det att sätta den som dold också och det gör man där, ja då skapar vi ny sida då.
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att skapa en ny sida?
A2: Jag tyckte nog att det var lätt att hitta den, jag tyckte det fanns en tydlig knapp för att skapa en ny sida.
J: Hur lätt tyckte du att det var att skapa upp en ny sida?
A2: Det var ganska lätt skulle jag säga. Lite svårt att förstå att man skulle sätta mall på sidan direkt när man skapade den, man fick inte så mycket indikation för att man skulle göra det.
J: Hur effektiv tyckte du att funktionen var?
A2: Ja det fanns väll inget att klaga på, tror inte jag tänkte så mycket på det. J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Tja man fick ju inget felmeddelande när man inte valde mallen för sidan, sen fanns det ingen beskrivning på vad de olika fälten betydde där man skulle skriva in
informationen eller vilka fält man skulle fylla i. J: Hur tillfredsställande var det att utföra uppgiften? A2: Överlag ganska tillfredsställande skulle jag säga.
Uppgift 2
---Think-aloud----
J: På den här sidan du precis har skapat kan du nu lägga in en textruta och skriva in ditt
namn.
A2: En textruta, lägg till innehåll borde man ju klicka på. Text känns ju som att man borde
klicka på, och en textruta har vi där och så var det namnet också. ---Think-aloud----
40
J: Hur lätt tyckte du det var att hitta till funktionen för att lägga till textfältet?
A2: Tycker inte att det finns mycket att klaga på där, tyckte det var uppenbart vart man skulle klicka.
J: Hur lätt tyckte du det var att lägga in textrutan?
A2: Man var ju tvungen att hitta rätt meny för att hitta textruta, men det var inge svårt alls.
J: Hur effektiv tyckte du att funktionen var?
A2: Väldigt skulle jag väll säga, man var inte tvungen att klicka så mycket för att slutföra den.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Ja som sagt var man tvungen att hitta menyn först, så man kan nog tappa bort sig där.
J: Hur tillfredsställande var det att utföra uppgiften?
A2: Ganska tillfredsställande skulle jag väll säga, inte 100% tillfredsställd.
Uppgift 3
---Think-aloud----
J: För nästa uppgift kan du lägga till en bildcontainer och sen lägga till en bild i den containern.
AI: Det borde väll vara på lägg till innehåll igen, sen bild har vi där. Ja här fanns det några val så vi tar väll första valet med Bild som finns. Välj bild borde man väll göra sen och bara ta en bild.
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att lägga till en bild?
A2: Man hade ju lärt sig att man skulle klicka på lägg till innehåll så det var väldigt lätt skulle jag säga.
J: Hur lätt tyckte du det var att lägga till en bild?
A2: Det fanns ju flera objekt som hette Bild inne i menyn så det var lite förvirrande. Sen var man det inte så uppenbart att man skulle klicka på välj bild efter att man skapat upp containern.
J: Hur effektiv tyckte du att funktionen var?
A2: Det var väll snabbt och effektivt att använda den. Som sagt lite ineffektivt att man var tvungen att klicka på välj bild, kanske hade varit effektivare att få upp en ruta direkt. J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Ganska bra överlag skulle jag säga. Det hade gärna fått finnas lite information kring alla objekt inne i menyn där man skulle välja bildcontainern.
J: Hur tillfredsställande var det att utföra uppgiften?
A2: Väldigt skulle jag väll säga det var faktiskt ganska enkelt så man blev tillfredsställd.
Uppgift 4
---Think-aloud----
J: För nästa uppgift så ska du ändra redigeringsbehörigheterna för sidan till Utvecklare istället för vad det är nu.
A2: Jaha redigeringsbehörigheter var det alltså, det lät lite avancerat. Men här finns det ju faktiskt något för redigering. Där var det, och utvecklare skulle vi sätta det till.
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att ändra
41
A2: Det var lite svårt att veta vart man skulle hitta funktionen då det var lite svårt att kategorisera den, men den var relativt lätt att hitta den.
J: Hur lätt tyckte du det var att ändra redigeringsbehörigheterna? A2: Det var inga störra svårigheter att ändra dom när man väl hittade dit. J: Hur effektiv tyckte du att funktionen var?
A2: Det fanns väll inget att klaga på där, en funktion där man inte var tvungen att göra så mycket.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Samma där, det var en kort funktion så det fanns inte så mycket att göra fel på. J: Hur tillfredsställande var det att utföra uppgiften?
A2: Väldigt tillfredställande.
Uppgift 5
---Think-aloud----
J: Nästa uppgift kommer vara att lägga in en delningsknapp till Facebook.
A2: Delningsknapp känns ju som att det borde vara samma process som allt annat
innehåll.
Socialt känns ju korrekt, delningsknapp sa du?
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen?
A2: Nej man var ju vän att lägga in innehåll på sidan så det var väldigt lätt att hitta till menyn där delningsknappen låg.
J: Hur lätt tyckte du det var att lägga till knappen?
A2: Det var lite svårare att lägga till då det fanns massor med knappar som hette
facebook så man var tvungen att leta efter knappen som hetta facebook-delningsknapp. J: Hur effektiv tyckte du att funktionen var?
A2: Effektiviteten var bra tycker jag.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Det var ju inte många fel man kunde göra när man skulle hitta menyn Socialt, men sen kunde man ju göra fel när man skulle välja rätt knapp då det fanns ganska många. J: Hur tillfredsställande var det att utföra uppgiften?
42
Uppgift 6
---Think-aloud----
J: Nu har du lite innehåll på din sida, så nästa uppgift kommer att bli att schemalägga
en publicering av sidan. Du kan själv välja vilken tid och datum den ska publiceras på.
A2: Schemalägga publicering…. Jag såg ju en knapp för att publicera så det borde ju kanske ligga där. Ja! Schemalagd publicering.
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att schemalägga publiceringen? A2: Nej det var inga problem alls, jag hade sett Publicera knappen innan så jag förstod att funktionen skulle finnas där.
J: Hur lätt tyckte du det var att schemalägga publiceringen?
A2: Väldigt lätt, det var bara några klick sen var det tydligt vad man skulle fylla i. J: Hur effektiv tyckte du att funktionen var?
A2: Som sagt den var effektiv då det inte var så många steg i funktionen. J: Hur väl tycker du att systemet förebygger fel för denna uppgift? A2: Det fanns ju inte mycket att göra fel på så väldigt bra.
J: Hur tillfredsställande var det att utföra uppgiften? A2: Väldigt tillfredsställande känner jag.
43
Uppgift 7
---Think-aloud----
J: För nästa uppgift kan du ta och ändra mallen på sidan till Evenemang.
A2: En mall borde man ju ändra på knappen som heter mall, sen evenemang var det.
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att ändra mallen?
A2: Väldigt lätt, tydligt markerad med texten Mall. J: Hur lätt tyckte du det var att ändra mall? A2: Väldigt enkelt, bara några få klick. J: Hur effektiv tyckte du att funktionen var?
A2: Som sagt det fanns bara några steg i funktionen och man var bara tvungen att klicka på den nya mallen så ändrades sidan, så väldigt effektiv.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Det fanns inte så många fel man kunde göra så väldigt bra felförebyggande. J: Hur tillfredsställande var det att utföra uppgiften?
A2: Väldigt tillfredsställd, då det var lätt och enkelt att göra.
Uppgift 8
---Think-aloud----
J: För nästa uppgift så ska du få ändra beskrivningen på hemsidan för att
sökmotoroptimera hemsidan.
A2: Beskrivning, vart kan det vara då. Hmmm lite svårt att kategorisera den, tycker ju att
det borde finnas någon knapp för att ändra beskrivningen någonstans. Men jaha…. det var ju en textruta, då fyller vi i en liten beskrivning här och sparar.. Okej ja jag tror att jag är klar.
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att ändra beskrivningen?
A2: Ja det var ju så att jag råkade “derpa” lite och missade att det var en textruta, det var ju egentligen väldigt lätt men det var jag som råkade missa den.
J: Hur lätt tyckte du det var att ändra beskrivningen? A2: Ja alltså det var ju jätte lätt
J: Hur effektiv tyckte du att funktionen var?
A2: Det var ju lite konstigare dock, man fick ingen indikation på att man hade ändrat beskrivningen så man satt och funderade på om något hände.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Då man inte fick något meddelande om att beskrivningen blivit ändrad så kan man ju ändra beskrivningen flera gånger och då slösar man ju tid. Sen fick man inga tips på vad man kunde göra för att beskrivningen skulle göra sidan bättre optimerad för sökmotorer. J: Hur tillfredsställande var det att utföra uppgiften?
A2: Det var väll ganska tillfredsställande ändå tycker jag.
Uppgift 9
---Think-aloud----
J: I sista uppgiften så ska du få skapa upp en användare med behörigheten Utvecklare.
A2: En användare alltså, hmmm kan inte hitta någonting sånt i dom vanliga menyerna, då
44
inställningar kanske… Ja det här verkade ju lite mer lovande, dock finns det mycket att gå igenom här. Här har vi ju någonting som heter Användare, det var ju lätt att hitta till när man väl kom till rätt kategori. Ehh.. ja lite uppgifter, användarnaman & lösenord antar jag. Sen rollen skulle vara utvecklare och spara.. men jag fick ett felmeddelande, men användaren skapades iallafall.
---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att skapa en användare?
A2: Det var ju inte lätt alls, man var helt borta på vart man skulle hitta det någonstans. När jag väl hittade till kontrollpanelen fanns det ju typ 15 menyer att välja mellan så det var ju inte så lätt att förstå att man skulle klicka på CMS menyn, men väl där så förstod man ju snabbt att det var Användare man skulle klicka på.
J: Hur lätt tyckte du det var att skapa en användare?
A2: Det var lite oklart vad man skulle fylla i men utöver det var det ganska lätt. J: Hur effektiv tyckte du att funktionen var?
A2: Tyckte det var ganska effektivt, dock blev jag förvirrad när jag fick ett felmeddelande när jag sparade.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Det hade ju kunnat vara tydligare när man fyllde i uppgifterna vilka som var
obligatoriska eller inte, det fanns inte någon beskrivning för Rollerna så det hade kunnat vara bättre också.
J: Hur tillfredsställande var det att utföra uppgiften?
A2: Alltså det var ju ganska tillfredsställande när man väl gjort klart uppgiften.
Bilaga 5
Transkribering Think-aloud och intervju
Användare 2
Uppgift 1
---Think-aloud----
J: Då kan vi börja med att du gör en ny sida och sätter den som dold i menyer A2: Okej. Här har vi ju “Ny sida”, den verkar lämplig att köra på.
Namn, ja den kan få heta testsida och titel fick den kopierad. Kort URL, det kan man ju fråga sig vad det betyder så jag struntar i att fylla i den, då känns ju allting färdigt så vi skapar sidan.
Just ja, sen var det ju att sätta den till dold också och där finns det ju en knapp för det. ---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att skapa en ny sida?
A2: Helt okej, jag tyckte att den var tydligt markerad.
J: Hur lätt tyckte du att det var att skapa upp en ny sida?
A2: Jodå det var lite sisådär, det var svårt att förstå vilka fält man skulle fylla i, jag tror
även att det fanns möjlighet till att dölja sidan i popup rutan direkt istället för att göra det efteråt. Sen var det inte tydligt alls att man var tvungen att sätta vilken mall sidan skulle ha.
45
A2: Jodå den var snabb och effektiv tyckte jag, inte så många steg att utföra.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Det var som sagt svårt att veta vilka fält man skulle fylla i, sen fanns det ingen tydlig
markör att man skulle fylla i vilken mall sidan skulle ha, så det fanns inte så bra felförebyggande medel.
J: Hur tillfredsställande var det att utföra uppgiften?
A2: Det var ganska tillfredsställande, man fick ju direkt se sidan direkt när man hade
skapat den.
Uppgift 2
---Think-aloud----
J: På den här sidan du precis har skapat kan du nu lägga in en textruta och skriva in ditt
namn.
A2: Okej, då ska vi se det borde man väll göra i containern ja, lägg till innehåll. Textruta
borde ju finnas under Text och så var det att fylla i namnet ja. ---Think-aloud----
J: Hur lätt tyckte du det var att hitta till funktionen för att lägga till textfältet?
A2: Inga konstigheter tycker jag.
J: Hur lätt tyckte du det var att lägga in textrutan?
A2: Jodå det var enkelt tycker jag men det fanns ju ganska många val i listan när man
skulle hitta rätt sak att lägga in på sidan. J: Hur effektiv tyckte du att funktionen var?
A2: Effektiviteten var inte helt perfekt då det fanns många val att välja mellan.
J: Hur väl tycker du att systemet förebygger fel för denna uppgift?
A2: Jag det kanske kan vara lätt att lägga in fel sak om man inte vet vad man letar efter
men annars fanns det inte så mycket man kunde göra fel på tycker jag. J: Hur tillfredsställande var det att utföra uppgiften?
A2: Det var tillfredsställande, inte mycket att klaga på förutom att det kunde varit lite