A2a Skapa nytt prov

föreställa mig att de flesta pedagoger skulle snabbt lära sig att skapa ”prov” på DigiExam.

Detta påstående starks med hur majoritet av testpersonerna svarade med en 5, vilket är

”Håller de starkt med”. Testpersonernas har ett mellanläge 4,1 och det bästa möjliga poäng är 5.

Effekt: Tittar man på tabell 10 är medeltiden på att ”Skapa nytt prov” 7.58 minuter. Sedan

utförande testpersonerna endast ett prov med fyra frågor som inte alltid är fallet, det behövs ta till hänsyn i resultatet. Tittar man på alla testpersonerna låg de runt medeltiden. För TP3 tog det 10 minuter. Dock hade hen tekniska problem under sitt utförande som påverkat tiden. För TP4 tog det också 10 minuter, hen hade inte använd ”Skapa nytt prov” innan, vilket kan vara anledning till tiden.

5.2.2 U2C BLIR DET SKILLNAD PÅ VAD EN TESTLEDARE OBSERVERAR UNDER

ANVÄNDBARHETSTESTER OCH VAD DELTAGARNA EFTER TEST UPPGER I EN ENKÄT OM PROBLEM VID ANVÄNDNINGEN?

5.2.2.1 A2a Skapa nytt prov

Under observationen uppmärksammades det att det fanns en viss otydlighet med var man skulle trycka för att ”Skapa nytt prov” (Figur 7). Det som antydde att det var otydligt var att efter att testpersonen hade fått arbetsuppgiften uppläst, uppfattades det av testpersonerna var än behövde trycka för att komma vidare till att ”Skapa nytt prov”. Det är en grön rektangel med ”Skapa nytt prov”, även på den högra menys andra rubrik står det ”Prov”. Det kan bero på att det sker en förvirring kring vilken av de två alternativen testpersonen ska trycka på. Den gröna knappen är en genväg direkt till figur 9, medan om man tycker på ”Prov” kommer man till figur 8. Vilket är en sida med en översikt över övriga prov, men även därifrån kan man trycka sig vidare till Figur 9. Ett antagande man kan göra är att beroende vad syftet är för en pedagog när hen loggar in på DigiExam.

38

Figur 8. Startsidan på DigiExam

Figur 9. Översikt över Prov

5.2.2.2 A2a Skapa nytt prov

I Figur 9 är det första man ser när det kommer till att skapa ett nytt prov, sedan får man scrolla ner för att fylla i det man behöver fylla i (Figur 10). Det ni ser i Figur 10, längst ned ”Lägg till fråga” ser man inte om man inte scrollar ned mer. Detta ledde till frustration hos testpersonerna, då det uppleves som att de inte visst hur de skulle gå vidare till att faktiskt skapa en fråga till provet.

39

Figur 10. Prov

Figur 11. Lägg till fråga 5.2.2.3 A2e Ordlucka

I tabell 6 kan man se att fyra av sex testpersoner hade svårigheter med ”ordluckan”. En

anledning till detta kan vara som ni kan se på Figur 11 en gul tom rektangel(textruta), där man ska skriva in meningen. För att få upp textrutan i Figur 12 behöver man trycka på den gula tomma rektangeln och där efter skriva i frågan.

40

Figur 12. Fråga - ”Ordlucka”

41

5.2.2.4 A2e Ordlucka

Under observationen uppmärksamdes att det fanns en osäkerhet om hur de skulle få det utvalda ordet i meningen som skulle bli ”Ordlucka” som en elev ska fylla i. Eftersom de hade gjort en liknande fråga innan på Itslearnings ”Test” A1e Fyll i det som saknas som-fråga (Figur 5). Är upplägget annorlunda till designen av funktionerna med när knappen i textrutan. Medan på DigiExams ”Skapa nytt prov”-design finns textrutan i menyn. Detta kan bero på att Itslearning är en lärplattfrom som de har använt under en längre tid, medan DigiExam är ett nyare digitalt verktyg. Vilket då handlar om vad man är van att använda. Detta kan vara anledningen till osäkerheten till hur de skulle gå tillväga, då det inte ser lika ut här på DigiExam som det gjorde på Itslearnings ”Test”. Fast det är exakt samma frågetyp.

Figur 14. Fråga - ”Ordlucka” 3

Fel: När testpersonerna stötte på problem, upplevdes det en oklarhet om hur en frågefunktion

skulle utföras på korrekt sätt. När problem dök upp kunde de lösa det själva. I Figur 14 och 15 kan ni se, dels att det kommer upp ett felmeddelande under textrutan, dels att det i vänstra hörnet dyker upp en rödfyrkant med ett frågetecken där samma information står. Det finns även en kunskapscentrumchatt (Figur 13) i det vänstra hörnet. Där kan de ställa frågor till en person som jobbar på DigiExam.

42

Figur 15. Felmeddelande 1

Figur 16. Felmeddelande 2

5.3 O

NE

N

OTE

5.3.2 U3HUR UPPLEVER PEDAGOGERNA ANVÄNDBARHETEN HOS DET DIGITALA

VERKTYGET ONENOTE?

I tabell 12 presenteras poängresultatet från SUS-frågeformulär från alla testpersonerna och mellanläget från deras poängresultat. Resultat från SUS-frågeformulet från OneNote är en allmän uppfattning utifrån testpersonernas perspektiv. Det handlar om hur de upplever användbarheten av det digitala verktyget. Då det inte utförde några arbetsuppgifter på OneNote kommer inte effekten av användbarhetsdimensionerna (Tabell 1) att analyseras.

43

Tabell 12. Poängresultat från pedagogernas svar på SUS-frågeformulär.

ID SUS-poäng (0–100) Hur frekvent använder du OneNote* TP1 62.5 1 TP2 52.5 2 TP3 42.5 Lägsta 3 TP4 82.5 Högsta 5 TP5 47.5 2 TP6 75 4 Mellanläget 60 Bästa poäng 100

*1= Håller starkt inte med - 5 = Håller starkt med. Se Figur 1 för hela svarsformatet.

Användbarhet: Mellanläget av alla testpersoners poängresultat från SUS-frågeformuläret om

testpersonernas allmänna uppfattning om användbarheten av OneNote är 60, vilket är ett poäng under 68 som är medel i betygsskala (Figur 2). I betygsskalan visar att ett värde på 60 läggs det på kriterieskalan: Marginal, Accepterandeskalan: Hög och Adjektiv betyg: Okej. Det resultatet ligger i samma skalor som DigiExams ”Skapa nytt prov”. Skillnaden är att 60 poäng fortfarande ligger närmare 50 samt att TP3 och TP5 individuella resultat ligger under 50 poäng och ligger i kriterieskalan: Inte Acceptabelt. Det hade inte någon av testpersonerna i DigiExams ”Skapa nytt prov” poängresultat. Detta kan betyda att OneNote är användbart till en viss mån, men att det kan utvecklas och gå djupare in på vad som kan bli tydligare och öka användbarheten.

Fel: Då pedagogerna inte utförde några arbetsuppgifter på OneNote, kommer det inte

utvärderas i denna del.

Det som har nämnts tidigare är mellanläget ifrån alla testpersonernas SUS-poäng 60, vilket är 10 poäng mindre än resultatet från Itslearning och DigiExam. Utifrån resultatet i tabell 10, på påstående 5 Jag tycker att de olika funktionerna på OneNote är mycket väl genomtänkta, är mellanläget 2,6 ifrån alla testpersonernas poäng, då det bästa möjliga poängen är 5. Detta kan tyda på att funktionerna kan uppfattas som ologiska och svårt att använda. Detta kan styrkas av testpersonernas svar på påstående 6 Jag anser att OneNote är ologiskt, där mellanläget är också 2,6 och då det bästa möjliga poäng är 1. På påstående 9 Jag känner mig väldigt säker när jag använder OneNote, där mellanläget är 4 och det bästa möjliga poäng är 5. Detta kan bero på att när användaren väl har lärt sig att använda OneNote är det användbart, fast

44

sträckan till att komma dit är längre, än exempelvis DigiExam ”Skapa nytt prov”. Detta går hand i hand med Lärbarhet: Hur effektivt det är som användare att, klara av att använda sig av ett system på en viss nivå efter en tid av träning.

45

6 SLUTSATS

I avsnitt 1.5 gavs sju utvärderingsfrågor. Föregående kapitel har analyserat insamlade data för att besvara dessa. Slutsatserna sammanfattas här i detta kapitel.

6.1I

TSLEARNING

U1a Finns användbarhetsproblem?

Även fast testpersonerna stötte på problem under arbetsuppgifterna, detta berodde troligtvis på att vissa frågefunktioner hade otydliga instruktioner. Då bland annat A1e Fyll i det som saknas - fråga. Detta uppmärksammade jag att ”Skapa tom sida”, hade olika benämningar, exempelvis står i beskrivningen ”ersatta av ett textfält” (Figur 5). Då det skulle vara tydligare för användare om det står ”skapa tom sida” och då veta vilken knapp de skulle behöva trycka på för att skapa en tom sida. Ett alternativ är också att byta knappen till ”Skapa tomt fält”. I och med detta är ett förslag att titta igenom alla frågefunktioner och se om de kan förtydligas samt utvecklas för att göra de mer användbara.

U1b Hur upplevs användbarheten av pedagogerna?

Det upplevdes som att ”Test” på Itslearning är ett digitalt verktyg på lärplattformen som testpersonerna känner sig trygga att använda. Funktionerna är väl genomtänkta och lätt att använda. Det kände jag själv under observationen, att testpersonerna var bekväma att använda ”Test” på Itslearning. Itslearning är den lärplattform som testpersonerna har använt längst av de resterande digitala verktygen DigiExam och OneNote.

U1c Blir det skillnad på vad en testledare observerar under

användbarhetstester och vad deltagarna efter test uppger i en enkät om problem vid användningen?

Inga stora skillnader uppmärksammades utan mer ett bekräftande vad testledaren hade observerat under användbarhetstester och vad testpersonerna hade fyllt i SUS-frågeformulär. Se 5.1.2.2 A1e Fyll i det som saknas-fråga (s.35) hade TP2, TP3 och TP6 problem när det kom till att skapa ett tomt fällt. Det upplevdes inte som att den frågefunktionen var

självförklarande utan den hade otydliga instruktioner i beskrivningen. TP3

uppmärksammande att det stod ”skapa tom sida” när det står i beskrivningen ”ersatta av ett textfält”. Detta var något som testledaren hade uppmärksammat under användbarhetstesterna.

46

6.2D

IGIEXAM

U2a Finns användbarhetsproblem?

Eftersom på lärplattformen Itslearnings ”Test” är något som pedagogerna har använt under en längre tid, kan de tänka att frågefunktionerna är begränsade. TP1 nämnde att

frågefunktionerna på Digiexam kunde kännas begränsade eftersom det bara finns fyra olika frågetyper medan Itslearnings ”test” har sju frågetyper. Flera testpersoner kände att de saknade vissa frågefunktioner på Itslearnings ”Test” som de skulle vilja ha på DigiExams ”Skapa nytt prov”. Eftersom det inga djupare intervjuer med testpersonen har jag inget svar på vilka frågefunktioner de specifikt saknar. Detta är ett förslag att göra efter dessa

användbarhetstester för att utöka användbarheten på DigiExams ”Skapa nytt prov”.

U2b Hur upplevs användbarheten av pedagogerna?

Från analysen ansåg testpersonerna att ”Skapa nytt prov” är lätt att använda, samt känner sig trygga i att använda. Även för pedagoger som inte har använt det digitala verktyget förut, går det snabbt att komma in i det.

Något som jag uppmärksammade med Digiexam ”Skapa nytt prov” som var effektivt var att lägga till en fråga under den man precis har skapat. Som på Itslearnings ”Test” kom man till en annan sida där alla frågor fanns och därifrån kunde man lägga till en ny fråga. Hur man väljer att arbeta kan variera från person till person.

U2c Blir det skillnad på vad en testledare observerar under

användbarhetstester och vad deltagarna efter test uppger i en enkät om problem vid användningen?

Skillnaden ifrån testledarens observerar under användbarhetstester och vad testpersonerna efter test uppger i en enkät var att testpersonerna kunde lägga kommentarer under

användbarhetstesterna som de inte valde eller kunde fylla i frågeformuläret. Testpersonerna som hade använt nämnde att ”Skapa nytt prov” på DigiExam att det fanns bra hjälp när det kom till osäkerhet om hur man skulle gå tillväga. DigiExams har en tjänst som heter

DigiExam kunskapscentrum, där finns en direktchatt. Som hjälper dig att guida, samt svara på frågor med mera. Utöver det stämde observationen med resultatet ifrån SUS-frågeformulär, även ett bekräftande över vad som observerades.

47

6.3O

NE

N

OTE

U3 Hur upplever pedagogerna användbarheten hos det digitala verktyget OneNote?

Det jag har uppmärksamt fungerar i OneNote är från en kommentar från TP2 som skrev på påstående 4 Jag tycker att de olika funktionerna på OneNote är mycket väl genomtänkta (Bilaga 7.1): ”Fungera i enkla ämnen i undervisning exempelvis: matematik och fysik. Mindre i mina teknikämnen”. Det var även något som jag uppfattade från flera av

testpersonerna. Även fast det var något de inte valde att skriva ned själva utan det var något som min kontaktperson på gymnasieskolan nämnt.

I början av detta uppsatsarbete fick jag uppfattningen att det digitala verktyget OneNote är något som pedagogerna ska använda på gymnasieskolan, som användbarhetstesterna utfördes på. Något jag uppmärksammade under användbarhetstesterna var att de använder Microsoft Teams. Microsoft Teams är ett sätt för pedagoger att anknyta med studenter samt kollegor online, där de kan dela filer m.m. Anledningen till att jag uppmärksammade det var när TP1 besvarade på Påstående 8 Jag anser att OneNote är besvärligt att använda. Om du har kryssat i 5, vad beror det på i så fall? (Bilaga 8): ”Jag använder inte OneNote, för jag har inget behov av programmet. Vi använder Teams. Då jag endast har användbarhet testat 6 testpersoner, så behöver inte detta vara fallet, men flera av testpersonerna yttrade sig också om detta. Inget som finns med i resultatet eftersom de inte valde att skriva ner det.

TP2 skriver på påstående 8 Jag anser att OneNote är besvärligt att använda. Om du har kryssat i 5, vad beror det på i så fall? (Bilaga 8): ”Rörig layout! Svårt för elever med

Neuropsykiatriska funktionsnedsättningar och hantera olika system.”. Detta är viktigt att ta hänsyn till. Det kan bero på att när man väl har lärt sig att använda OneNote är det

användbart. Fast startsträckan är längre, än exempelvis till DigiExam ”Skapa nytt prov”. Detta går hand i hand med Lärbarhet: Hur effektiviteten det är att man ska klara av att använda sig av ett system på en viss nivå efter en tid av träning.

48

6.4L

ÄRDOMAR

I framtida användbarhetstutvärderingar skulle jag välja att endast studera en till två

lärplattfrom/digitalt verktyg. Anledningen till det är dataanalyserna av användbarhetstesterna. Jag känner att jag antingen hade behövt mer tid, eller en eller flera att diskutera med. Detta för att få in fler synpunkter och inte endast min syn. Detta skulle ge ett bättre resultat och analys i grupp.

Hade jag haft mer tid så kunde ag ha fördjupat mina kunskaper om Itslearning och DigiExam. Detta för att göra arbetsuppgifterna mer likt pedagogernas arbetsprocess på Itslearning och DigiExam samt OneNote. Jag skulle även satsat på flera testpersoner för en bredare

utvärdering.

Skulle jag utfört dessa användbarhetstester igen skulle jag pröva frågeformulär/enkät med en intervju med följdfrågor eller kombinationen arbetsuppgifter med intervju. Detta för att jag känner att jag underskattade nyttan av ljudinspelning under användbarhetstester, då bra data kan ha gått förlorat.

O

MNÄMNANDE

Jag vill tack min familj och vänner som har hjälpt och stötta mig igenom mitt uppsatsarbete. Jag vill även tacka alla testpersoner som tog sig egna tid och deltog i användbarhetstesterna. Samt vill jag tacka förändringsgruppen i Gymnasie- och vuxenförvaltningen

49

7 KÄLLFÖRTECKNING

Barnum, Carol M. (2011). Usability testing essentails. Ready, Set… Test! Morgan Kaufmann Publisher in.

Brooke, J. (1996). SUS: “a quick and dirty” usability scale. I Jordan, P. W., Thomas, B., Lyall McClelland, I. & Weerdmeester, B. (red.) Usability Evaluation in Industry. London: Taylor and Francis. s. 189–194.

Datainspektionen (u.å.). Dataskyddsförordningen (GDPR)

https://www.datainspektionen.se/lagar--regler/dataskyddsforordningen/ [2019-03-05] Datainspektionen (u.å.). Dataskyddsförordningens grundläggande principer.

https://www.datainspektionen.se/lagar--regler/dataskyddsforordningen/grundlaggande-

principer/?fbclid=IwAR0zCZDNyH7OvCz8-NAebUyY8VffsF6Opif6TSJAViQ95WUsoLX7QWUb028 [2019-03-22]

DigiExam (2019). Join the revolution of digital exams. https://www.DigiExam.com [2019-03-08]

Garrett, J.J. The Elements of User Experience: User-Centered Design for the Web and Beyond. Upplaga 2. NEW RIDERS PUBLISHING, 2011.

Gillham, B. (2008). Observation techniques: Structured and Unstructured Approaches. Continuum International Publishing Group Ltd.

Itslearning AB (2019). Upptäck fördelarna med Itslearning. https://Itslearning.com/se/grund-och-gymnasieskola/larplattform-overblick/ [2019-03-08]

Kau (2018). GDPR för studenter. https://www.kau.se/student/ar-student/it-stod/hjalp/gdpr/gdpr-studenter [2019-03-08]

Microsoft (2010). Grundläggande uppgifter i OneNote 2010. [2019-03-08]

HTTPS://SUPPORT.OFFICE.COM/SV-SE/ARTICLE/GRUNDLÄGGANDE-UPPGIFTER-I-ONENOTE -2010-29A50122-EB92-4EAF-8A39-AE5F01094DDC

Nielsen, J (u.å.). User Testing: Why & How [Video]. https://www.nngroup.com/videos/user-testing-jakob-nielsen/[19-05-27]

Nielsen, J (u.å.). Usability testing with 5 users: information foraging [Video].

https://www.nngroup.com/videos/usability-testing-5-users-information-foraging/[19-05-27] McCloskey.M(2014). Turn user goals to task scenarios for usability testing.

https://www.nngroup.com/articles/task-scenarios-usability-testing/ [2019-04-20] Nielsen, J. (2012). Usability 101: Introduction to Usabiliy.

https://www.nngroup.com/articles/usability-101-introduction-to-usability/ [2019-05-04] Nielsen, J. (1994). Usability Engineering. Morgan Kaufmann Publishers Inc.

50

Patel, R. & Davidson, D. (2011). Forskningsmetodikens grunder, att planera, genomföra och rapportera en undersökning. Fjärde Upplaga. Studentlitteratur.

Regeringen (2017). Skolverket får i uppdrag att digitalisera de nationella

proven https://www.regeringen.se/pressmeddelanden/2017/09/skolverket-far-i-uppdrag-att-digitalisera-de-nationella-proven/ [2019-02-27]

Rubin, J. & Chisnell, D. (2008). Handbook of usability testing, Second Edition: How to plan, design, and conduct effective test. Wiley Publishing, Inc.

Ternauciuc. A & Vasiu, R. (2015). Integrated Usability Testing. TEM Journal; Nov2015, Vol. 4 Issue 4, p388-395.

Sauro, J. (2011). https://measuringu.com/sus/ [2019-03-05] SOU (2016:89). För digitalisering i tiden: SOU 2018:89.

https://www.regeringen.se/4af25c/contentassets/f7d07b214e2c459eb5757cea206e6701/sou-2016_89_webb.pdf [2019-07-25]

Skolverket (2018). Digital kompetens i förskola, skola och vuxenutbildning. Skolverkets uppföljning av den nationella digitaliseringsstrategin för skolväsendet 2018.

https://www.skolverket.se/getFile?file=4041 [2019-09-17] Skolverket (2019a). Klassrumskommunikation, digitala verktyg.

https://www.skolverket.se/skolutveckling/inspiration-och-stod-i-arbetet/stod-i-arbetet/klassrumskommunikation-digitala-verktyg [2019-05-23]

Skolverket (2019b). Vi främjar skolväsendets digitalisering.

https://www.skolverket.se/temasidor/digitalisering/nationell-strategi-for-skolans-digitalisering- [2019-03-08]

Skolverket (2019c). Tillgängligt lärande med digitala verktyg.

https://www.skolverket.se/skolutveckling/kompetensutveckling/tillgangligt-larande-med-digitala-verktyg [2019-05-24]

Sveriges Kommuner och Regioner (2019). Nationell handlingsplan för digitalisering av skolväsendet. https://webbutik.SKR.se/bilder/artiklar/pdf/7585-773-2.pdf?issuusl=ignore [2019-07-26]

Söderberg, M. (2017). Vad är en lärplattform?

https://www.su.se/medarbetare/it/stödsystem/athena/om-projektet-ny-lärplattform/vad-är-en-lärplattform-1.322309 [2019-06-03]

Vetenskapsrådet (u.å.). Forskningsetiska principer inom humanistisk-samhällsvetenskaplig forskning [PDF]. http://www.codex.vr.se/texts/HSFR.pdf [2019-06-03]

51

BILAGOR

52

Bilaga 2: Informationsblankett

53

Bilaga 3: Samtyckesblankett

54

Bilaga 4: Bakgrundsenkät plus fakta om SUS frågeformulär

Bakgrundsenkät Kön

Kvinna Man

Vill inte ange

Ålder

25–30 30–40 40–50 50–65

Inom vilket ämne/ämnen jobbar du inom?

Frågeformulär

Nu kommer du få fylla i en 1–5 Skala på hur du förhåller dig till samtliga påståenden, om hur du upplever användbarheten på ”Test” på itslearning, ”Skapa prov” på digiexam och en allmän på OneNote.

1 = Håller Starkt inte med 2 = Delvis oense

3 = Håller varken med eller inte 4 = Delvis Överens

5 = Håller Starkt med

55

Bilaga 5: SUS Frågeformulär om funktionen ”test” på Itslearning

In document Användbarhetskrav för verktyg för att skapa digitala uppgifter och prov (Page 42-60)