Användbarhetskrav för verktyg för att skapa digitala uppgifter och prov

Sandra Silander

Användbarhetskrav för verktyg för att skapa digitala uppgifter och prov

En fallstudie på en svensk gymnasieskola av pedagogers upplevda användbarhet genom användarbarhetstester

Usability requirements to create digital tasks and exam

A case study at a Swedish upper secondary school of educators' perceived usability through usability tests

Informatik C-uppsats

Termin: VT - 2019

Handledare: Remigijus Gustas

A BSTRACT

Uppsatsen undersöker användbarheten av tre digitala verktyg som pedagoger använder för att skapa digitala uppgifter och prov. Skolverkets digitaliseringsstrategi har som delmål att alla nationella prov ska skrivas digitalt år 2022. Karlstads Gymnasie- och

vuxenutbildningsförvaltning önskade hjälp med att utvärdera hur pedagoger upplever användbarheten på lärplattformen Itslearning samt de digitala verktygen DigiExam och Microsoft OneNote som ingår i Microsoft Office 365.

Syftet med uppsatsen är att undersöka vad pedagogerna tycker fungerar samt identifiera eventuella problem med de digitala verktygen. En avgränsning har gjorts till att undersöka hur pedagogerna upplever funktionen ”Test” i Itslearning, DigiExams funktion ”Skapa nytt prov”. En allmän utvärdering av Microsofts OneNote har utförts i syfte att undersöka pedagogernas uppfattning om verktygets användbarhet. Sex lärare på en gymnasieskola i Karlstad genomförde några arbetsuppgifter varefter de besvarade ett frågeformulär baserat på John Brookes ”System Usability Scale” (SUS).

Slutsatsen är att Itslearning-funktionen ”Test” och DigiExam-funktionen ”Skapa nytt prov” är båda lätta att använda och väl genomtänkta. Utvärderingens resultat antyder en inte lika god användbarhet hos Microsoft OneNotes.

Nyckelord: Användbarhet, Användbarhetstest, Användbarhetsdimensionerna, Lärplattform, Digitala verktyg, Arbetsuppgifter, SUS-frågeformulär.

I NNEHÅLLSFÖRTECKNING

Abstract ... 2

Tabellförteckning ... 4

Figurförteckning ... 4

1 Inledning ... 1

1.1 Bakgrund och problemområde ... 1

1.2 Syfte ... 1

1.3 Avgränsning ... 2

1.4 Målgrupp ... 2

1.5 Utvärderingsfrågor ... 2

1.6 Etiska Övervägande ... 3

1.7 Begreppsdiskussion ... 4

2 Skolans digitalisering & användbarhetsaspekter ... 6

2.1 Digital kompetens inom skolvärlden ... 6

2.2 Tidigare studier av pedagogers upplevelse av användbarhet hos lärplattformar och examinationsverktyg ... 8

2.3 Metodologi för utvärdering av upplevelse av användbarhet ... 10

2.3.1 Användbarhet ... 10

2.3.2 Användbarhetstester... 11

3 Metodval ... 15

3.1 Val av metoder ... 15

3.2 Vald Datainsamlingsmetoder: Kvalitativ metod ... 15

3.3 Validitet och Reliabilitet ... 19

4 Genomförande och Resultat ... 20

4.1 Genomförande ... 20

4.1.1 Testpersoner ... 20

4.1.2 Testmiljön ... 20

4.1.3 Pilottest ... 20

4.1.4 Användartestet ... 21

4.2 Resultat ... 25

4.2.1 Resultat: Itslearning ... 25

4.2.2 Resultat: DigiExam ... 27

4.2.3 Resultat: OneNote ... 28

5 Analys ... 30

5.1 ITSLEARNING ... 30

5.1.1 U1 Att skapa digitala ”Test” på lärplattformen Itslearning: ... 30

5.1.2 U1b Hur uppleves användbarheten av pedagogerna? ... 31

5.1.3 U1c Blir det skillnad på vad en testledare observerar under användbarhetstester och vad deltagarna efter test uppger i en enkät om problem vid användningen? ... 33

5.1 DigiExam ... 35

5.1.1 U2 Att skapa digitala att ”Prov” på DigiExam: ... 35

5.1.2 U2b Hur upplevs användbarheten av pedagogerna? ... 36

5.2.2 U2c Blir det skillnad på vad en testledare observerar under användbarhetstester och vad deltagarna efter test uppger i en enkät om problem vid användningen?... 37

5.3 OneNote ... 42

5.3.2 U3 Hur upplever pedagogerna användbarheten hos det digitala verktyget OneNote? ... 42

6 Slutsats ... 45

6.1 Itslearning ... 45

6.2 Digiexam ... 46

6.3 OneNote ... 47

6.4 Lärdomar ... 48

Omnämnande ... 48

7 Källförteckning ... 49

Bilagor ... 51

BILAGA 1:INTRODUKTIONSTEXT PLUS ARBETSUPPGIFTSHÄNVISNINGAR ... 51

BILAGA 2:INFORMATIONSBLANKETT ... 52

BILAGA 3:SAMTYCKESBLANKETT ... 53

BILAGA 4:BAKGRUNDSENKÄT PLUS FAKTA OM SUS FRÅGEFORMULÄR ... 54

BILAGA 5:SUSFRÅGEFORMULÄR OM FUNKTIONEN ”TEST” PÅ ITSLEARNING ... 55

BILAGA 6:SUSFRÅGEFORMULÄR OM FUNKTIONEN ”SKAPA NYTT PROV” PÅ DIGIEXAM ... 55

BILAGA 7:SUS FRÅGEFORMULÄR ONENOTE ... 56

BILAGA 8:SUS FRÅGEFORMULÄR ONENOTE ... 56

BILAGA 9:UPPDRAGSBESKRIVNINGEN FRÅN GYMNASIE- OCH VUXENUTBILDNINGENS FÖRVALTNING ... 57

BILAGA 10:SYSTEMÖVERSIKT PEDAGOG ... 58

T

TABELL 2.SAMMANSTÄLLNING FRÅN BAKGRUNDSENKÄTEN. ... 25

TABELL 3.PROBLEM TESTPERSONERNA STÖTTE PÅ. ... 25

TABELL 4.INDIVIDUELLA POÄNG FRÅN PÅSTÅENDENA I SUS-FRÅGEFORMULÄRET OM ANVÄNDBARHETEN PÅ ITSLEARNINGS ”TEST”. ... 26

TABELL 5.PROBLEM TESTPERSONERNA STÖTTE PÅ. ... 27

TABELL 6.INDIVIDUELLA POÄNG FRÅN PÅSTÅENDENA I SUS-FRÅGEFORMULÄRET OM ANVÄNDBARHETEN PÅ DIGIEXAM ”SKAPA NYTT PROV”. ... 28

TABELL 7.INDIVIDUELLA POÄNG FRÅN PÅSTÅENDENA I SUS-FRÅGEFORMULÄRET OM ANVÄNDBARHETEN PÅ ONENOTE, SE PÅSTÅENDE OVAN. ... 29

TABELL 8.AVKLARADE ARBETSUPPGIFTER. ... 31

TABELL 9.POÄNGRESULTAT FRÅN TESTPERSONERNAS SVAR PÅ SUS-FRÅGEFORMULÄR. ... 31

TABELL 10.AVKLARADE ARBETSUPPGIFTER. ... 35

TABELL 11.POÄNGRESULTAT FRÅN TESTPERSONERNAS SVAR PÅ SUS-FRÅGEFORMULÄR PLUS TIDEN. ... 36

TABELL 12.POÄNGRESULTAT FRÅN PEDAGOGERNAS SVAR PÅ SUS-FRÅGEFORMULÄR. ... 43

F

FIGUR 2BETYGSSKALA FÖR ATT MÄTA SUS-POÄNGEN ÖVERSATT AV FÖRFATTAREN FRÅN SAUROS (2011). ... 19

FIGUR 2(REPRIS)BETYGSSKALA FÖR ATT MÄTA SUS-POÄNGEN ÖVERSATT AV FÖRFATTAREN FRÅN SAUROS (2011)... 30

FIGUR 6.FELMEDDELANDE ... 33

FIGUR 3.UTGÅNGSPUNKTEN FÖR ALLA TESTPERSONERNA ... 33

FIGUR 4.LÄGG TILL TEST ... 34

FIGUR 5.FYLL I DET SOM SAKNAS-FRÅGA -ITSLEARNING ... 35

FIGUR 7.STARTSIDAN PÅ DIGIEXAM ... 38

FIGUR 8.ÖVERSIKT ÖVER PROV ... 38

FIGUR 9.PROV ... 39

FIGUR 10.LÄGG TILL FRÅGA ... 39

FIGUR 11.FRÅGA -”ORDLUCKA” ... 40

FIGUR 12.FRÅGA -”ORDLUCKA”2 ... 40

FIGUR 13.FRÅGA -”ORDLUCKA”3 ... 41

FIGUR 14.FELMEDDELANDE 1 ... 42

FIGUR 15.FELMEDDELANDE 2 ... 42

1

1 I NLEDNING

1.1 B

Regeringen beslutade 2017 om en nationell digitaliseringsstrategi för skolväsendet. I strategin framgår det att alla elever och pedagoger ska ha samma möjligheter för att förstå och få kunskap om digitaliseringen i skolan. I och med detta har Regeringen publicerat en nationell digitaliseringsstrategi med mål för Skolverket (Skolverket 2019b). Där ett av strategimålen är att år 2022 ska alla nationella prov skrivas digitalt. Skolverket vill benämna det som ett förändringsprojekt, då de vill förändra sättet skolvärlden arbetar på. Det handlar inte bara om surfplattor och datorer utan det ska även stödja skolutbildningen och utveckla den digitala kompetensen hos lärare och elever (Skolverket 2019c).

I och med den nationella digitaliseringsstrategin vill IT-pedagoggruppen i Karlstads Gymnasie- och vuxenutbildningsförvaltning ha hjälp att med att utvärdera alla digitala verktyg. Gruppen önskar att grundligt undersöka hur pedagoger egentligen upplever användbarheten på alla lärplattformar och digitala verktyg de kan använda under en vanlig arbetsvecka. Detta för att IT-pedagoggruppen inte har en riktig sammanställning av hur pedagogerna egentligen upplever lärplattformen Itslearning och de digitala verktygen DigiExam samt OneNote. Det har endast vid enskilda tillfällen genomförts undersökningar med fokusgrupper tidigare på gymnasieskolan i Karlstad. Men det har inte gjorts någon specifik utvärdering. Med en mer individbaserad undersökning hoppas de på en tydligare överblick över pedagogernas uppfattningar. IT-pedagoggruppen visade ett intresse av att ta reda på vad anledningen är till att en majoritet av pedagogerna inte använder sig av det digitala verktyget OneNote. ”Fyra av tio lärare upplever att krånglande teknik begränsar deras arbete minst en gång i veckan och bara hälften av grundskolorna har tillgång till support samma dag.” (Skolverket, 2019).

1.2 S

Många pedagoger upplever att tekniken inte alltid är till hjälp utan tvärt om är ett hinder som måste övervinnas. Syftet med uppsatsarbetet har varit att hjälpa IT-pedagoggruppen i sina undersökningar av hur pedagoger upplever användbarheten hos lärplattformar och andra digitala verktyg. Uppsatsförfattarens förhoppning är att bidra till att gruppen kan bilda sig en uppfattning av hur kunskapsutveckling kan stärkas för att nå en högra digital kompetens.

2

1.3 A

Pedagogerna använder flera typer av digitala verktyg (Bilaga 10) under en arbetsvecka. De utför uppgifter som att godkänna påskrivna fakturor i ekonomisystem, dagliga inloggningar, personalsystem, lektionsplanering, tillgång till information, hantering av inlämningsuppgifter, digitala prov samt återkoppling på inlämningsuppgifter. Som det tidigare nämndes är ett av strategimålen för år 2022 att alla nationella prov ska skrivas digitalt. Detta uppsatsarbete kommer att avgränsas till hur pedagogerna upplever användbarheten av de digitala verktyg de skapar prov samt uppgifter eller test i. Anledning till detta är att i uppdragsbeskrivning

(Bilaga 9) skriver Gymnasie- och vuxen förvaltningen att de vill ta reda hur hög den digitala kompetensen är ”Hur funkar det att skapa digitala prov?” och ”Hur funkar det med

hanteringen av inlämningsuppgifter”. Det är ifrån dessa frågeställningar som detta uppsats arbete syfte grundar sig på. Därför är speciellt Itslearning’s funktion ”Test”

och DigiExam’s funktion ”Skapa nytt prov” huvudfokusen i detta uppsatsarbete.

Skälet till att dessutom utvärdera OneNote i Office 365 är att samtliga pedagoger ska använda sig av detta digitala verktyg. Därför behöver gruppen bilda sig en uppfattning hur hög

kompetensen är för det digitala verktyget. Pedagogerna på gymnasieskolan använder

Microsofts Teams som ett digitalt ”personalrum" där OneNote ingår. OneNote används som ett digitalt verktyg för att kommunicera med elever samt i användning i pedagogiska arbetet.

1.4 M

De tre systemen har både lärare och elever som målgrupp. Det här uppsatsarbetet behandlar bara pedagogernas uppfattningar av användbarhet. Uppdragsgivaren för detta uppsatsarbete är IT-pedagoggruppen, som driver förändringsprojektet i Gymnasie- och

vuxenutbildningsförvaltningen i Karlstads kommun. Även andra skolor, som vill utvärdera sina arbetsplatsers digitala verktyg när det gäller användbarheten, tänks ingå i uppsatsens läsekrets.

1.5 U

Utvärderingsfrågorna i detta uppsatsarbete kommer fortsatt refereras till U1-U3.

U1 Att skapa digitala prov på lärplattformen Itslearning:

U1a Finns användbarhetsproblem?

U1b Hur upplevs användbarheten av pedagogerna?

3

U1c Blir det skillnad på vad en testledare observerar under användbarhetstester

och vad deltagarna efter test uppger i en enkät om problem vid användningen?

U2 Att skapa digitala prov på DigiExam:

U2a Finns användbarhetsproblem?

U2b Hur upplevs användbarheten av pedagogerna?

U2c Blir det skillnad på vad en testledare observerar under användbarhetstester och vad deltagarna efter test uppger i en enkät om problem vid

användningen?

U3 Hur upplever pedagogerna användbarheten hos det digitala verktyget OneNote?

1.6 E

Ö

Uppsatsarbetet har tagit hänsyn till de nya riktlinjerna för hur personuppgifter hanteras vid självständiga uppsatsarbeten (Kau 2019.) Personuppgiftslagen (PUL) ersattes den 25 maj 2018 av den nya EU-förordningen GDPR (General Data Protection Regulation). Med

anledning av dessa riktlinjer nämns varken namn eller arbetsplats. Alla testpersoner har blivit tilldelade ett informationsblad (bilaga 2) samt en samtyckesblankett (bilaga 3).

1.6.1 Informationskravet

Testpersonerna har informerats om deras uppgift i projektet och vilka villkor som gäller för deras deltagande (Vetenskapsrådet u.å. s.7–8). Ett informationsblad (Bilaga 2) delades ut till alla testpersoner, där de blev informerade varför de är med, vad de kommer att göra och varför. De fick också veta att de får avsluta sitt deltagande när de vill, även efter att användarbarhetstesterna är avklarade.

1.6.2 Samtyckeskravet

”Deltagare i en utvärdering har rätt att själva bestämma över sin medverkan”

(Vetenskapsrådet u.å. s.9–11). Testpersonerna fick skriva på en samtyckeblankett (Bilaga 3), där de fick godkänna sin medverkan och var medvetna om vad som ska ske och hur. Samt vilka personuppgifter som kommer att behandlas. Detta betyder att de kan avbryta sin medverkan utan att det blir negativa följder för dem (Vetenskapsrådet u.å. s.9–11).

4

1.6.3 Konfidentialitetskravet

”Uppgifter om alla i en utvärdering ingående personer skall ges största möjliga

konfidentialitet och personuppgifterna skall förvaras på̊ ett sådant sätt att obehöriga inte kan ta del av dem.” (Vetenskapsrådet u.å. s.12–13). I detta uppsatsarbete kommer data som samlas in att föras in i en tabell i ett dokument. Det är inte kopplat till någon molntjänst. Data i tabellerna kommer att raderas efter att uppsatsarbetet är godkänt. Testpersonerna som deltar ska ej lyckas identifieras av utomstående (Vetenskapsrådet u.å.). Därav kommer

testpersonerna i uppsatsarbete presenteras som TP1 - TP6.

1.6.4 Nyttjandekravet

Uppgifter som samlas in från testpersonerna får endast användas för forskningsmålet

(Vetenskapsrådet u.å. s.14). Detta informeras för testpersonerna i informationsbladet (Bilaga 2) och de skriver på om det i samtyckesblanketten (Bilaga 3).

1.7 B

En ’lärplattform’ är en webbaserad kursmiljö för pedagoger och elever där de kan

kommunicera med varandra (Söderberg 2017). Det kan beskrivas som ett virtuellt klassrum där pedagoger och elever kan kommunicera för en specifik kurs och där utbyta information, uppgifter, test, dokument till undervisningar m.m. (Söderberg 2017)

1.7.2 Itslearning

Itslearning är en digital lärplattform som används som en samlingspunkt för till exempel pedagoger och elever för att sköta undervisningen. Lärplattformen Itslearning är

utgångspunkten för pedagogerna, när det kommer till kurser, läxor och test. Det är en lärplattform de har använt under en längre tid. Itslearning har fem funktioner;

 Kvalitetssäkring och uppföljning

 Rapportera och analysera

 Individanpassat lärande

 Kommunikation och samarbete

 Integrera med allt (Itslearning AB, 2019)

5

1.7.3 Digitala Verktyg

I detta uppsatsarbete kommer digitala verktyg definieras som det sätt pedagoger och elever kommunicerar i ett virtuellt klassrum, via datorer (Skolverket 2019a). Det är även ett sätt för pedagoger att kommunicera med varandra. Användning av digitala verktyg som exempelvis ett digitalt prov, är ett sätt att skapa en större tillgänglighet till och variation i undervisningen (Skolverket 2019c).

1.7.4 Microsoft OneNote

OneNote är ett digitalt verktyg i Microsoft 365. Enkelt förklarat är det en anteckningsbok i digital form. Det digitala verktyget ska hjälpa en att effektivisera ens arbete(Microsoft,2010).

1.7.5 DigiExam

DigiExam är ett digitalt verktyg som erbjuder skapnad av digitala prov, levererar och betygsätter prov och akademiska test. DigiExam är tillgänglig över hela världen (DigiExam 2019). Den huvudsakliga funktionen är att skapa digitala prov.

1.7.6 Digitalt prov

’Digitalt prov’ betyder att provet utförs med hjälp av ett digitalt verktyg, t.ex. en lärplattform.

I denna uppsats används termen som en gemensam beteckning för dels Itslearnings funktion

”Test”, dels DigiExams funktion ”Skapa nytt prov”.

6

2 S KOLANS DIGITALISERING & ANVÄNDBARHETSASPEKTER

2.1 D

För att uppnå visionen om digitaliseringen av skolväsendet i Sverige som finns inom den nationella handlingsplanen för digitaliseringen av skolväsendet har det tagits fram en strategi med tre fokusområden:

1. Digital kompetens för alla i skolväsendet.

2. Likvärdig tillgång och användning.

3. Forskning och uppföljning kring digitaliseringens möjligheter.

Fokusområdena är nedbrutna i delmål som sammantaget bedöms leda till att det övergripande målet för strategin uppnås till 2022. I projektledning har det ingått representanter från SKR (Sveriges Kommuner och regioner), Skolverket och RISE (Research Institute of Sweden) samt en projektledare för varje delprojekt (Sveriges Kommuner och Regioner 2019 s.7). De har hjälpt till att forma och tagit fram syftet med strategin och den ” […] är att bidra till att utvecklingsarbete kan ske strategiskt, systematiskt och kostnadseffektivt inom hela

skolväsendet och hos alla huvudmän.” (Sveriges Kommuner och Regioner 2019 s.6). För att förstå användarbarhetsupplevelse i ett bredare sammanhang kommer ett urval av delmålen att presenteras, då det till stor del genomsyrar strategins mål kontra IT-pedagogsgruppens arbete.

Fokusområde 1: Digital kompetens för alla i skolväsendet

I rapporten nämns det första fokusområdet att målet är att alla barn och elever ska utveckla en digital kompetens, samt att det ska finnas en digital likvärdighet i skolan. Fokusområde 1 består av tre delmål innehållandes elevers och barns förutsättningar till digital kompetens.

Förskolechefer, rektorer och huvudmäns förmåga att strategiskt leda ett digitalt

utvecklingsarbete. Samt kompetens att välja och använda digitala verktyg hos personal som arbetar med barn och elever (Sveriges Kommuner och Regioner 2019, s.8).

Fokusområde 2: Likvärdig tillgång och användning

I fokusområde 2 står det i rapporten att ”barn, elever och personal ska ha god och likvärdig tillgång till digitala verktyg och resurser i syfte att förbättra utbildningen, såväl som

effektivisera verksamheten.” (Sveriges Kommuner och Regioner 2019 s.9). Fokusområde 2

7

består av fyra delmål innehållandes elevers och personals tillgång till digitala verktyg speglandes behov och förutsättningar. Ändamålsenlig infrastruktur och teknisk och

pedagogisk support i verksamheten. Digitala lärarresurserna som används i undervisningen ska vara ändamålsenliga och en effektiv användarberhet. Samt användandet av digitalisering för att underlätta personalens arbetssituation i fråga om under och administration. (Sveriges Kommuner och Regioner 2019 s.9)

Delmålen är av relevans för uppsatsen då digitalisering ska effektivisera samt underlätta verksamheten i skolan. Bland nämns följande bland delmålen ” […] öka användbarheten hos digitala lärarresurser och tjänster?” (Sveriges Kommuner och Regioner 2019, s.23). Detta sammanfattar mycket av den nationella digitaliseringsstrategin. I frågeställningen diskuteras även hinder och problem, ett exempel är ” Vår genomlysning visar att ett hinder för en ökad användning är att utvecklingen och anskaffningen av digitala tjänster i dag inte utgår från användarens behov. Vår genomlysning visar att ett hinder för en ökad användning är att utvecklingen och anskaffningen av digitala tjänster i dag inte utgår från användarens behov.”

(Sveriges Kommuner och Regioner 2019, s. 23).

Fokusområde 3: Forskning och uppföljning kring digitaliseringens möjligheter

Det sista fokusområdet innehåller målet att forskning och uppföljning ska stödja utvecklingen av de verksamheter och insatser som används. Syftet är då att nå en ökad måluppfyllelse och utveckling av en digital kompetens (Sveriges Kommuner och Regioner 2019, s.10). Delmålen innehåller forskning om digitaliseringens påverkan på undervisning och lärande samt

genomförande respektive stöd av verksamheter och insatser (Sveriges Kommuner och Regioner 2019 s.10). Fokusområdet redogör relevansen av uppföljning av digitalisering av verksamheterna samt utvärdering och forskning. Det är en viktig del att kontinuerligt utföra

”uppföljning och utvärdering kring skolors arbete med kompetensutveckling är en

förutsättning för utvecklingsarbete. Digital kompetens behöver på ett naturligt sätt inkluderas i det systematiska kvalitetsarbetet, och rektorer och förskolechefer behöver axla ansvaret att tillse att det finns en digitaliserings- och utvärderingsplan för verksamheten.” (Sveriges Kommuner och Regioner 2019, s.21). Detta för att säkerhetsställa vad som fungerar samt inte fungerar.

8

2.1.1 Digitalisering av de Nationella proven

I rapporten diskuteras det att för att de digitala verktygen och tjänster ska användas på rätt sätt och bli effektivare, bör den digitala kompetensen öka bland barn, elever och lärare. ”Det övergripande målet för strategin är att skolväsendet ska vara ledande i att använda

digitaliseringens möjligheter på bästa sätt för att uppnå̊ en hög digital kompetens hos barn och elever och för att främja kunskapsutvecklingen och likvärdigheten.” (Sveriges Kommuner och Regioner 2019 s.6).

I den nationella handlingsplanen för digitalisering av skolväsendet är ett av målen att

”Skolverket arbetar med att digitalisera de nationella proven, detta är ett av slutresultatet av projekt 2022 då det ska finnas en nationell digital infrastruktur och en god digital kompetens på skolorna i Sverige för att genomföra de nationella proven digitalt.” (Sveriges Kommuner och Regioner 2019, s.14).

2.2 T

Skolverket har, när uppsatsen skrevs, inte genomfört någon undersökning av pedagogers upplevelse av användbarhet på lärplattformar samt examinationsverktyg. Det Skolverket har gjort är en undersökning för att redovisa uppföljningen ifrån den nationella digitalas strategin för skolväsendet. Den redovisningen återfinns i rapporten ”Digital kompetens i förskola, skola och vuxenutbildning” (Skolverket 2018). I den undersökningen hade Skolverket valt att använda enkätundersökning riktad till elever, pedagoger m.m. Enkätstudiens syfte var att undersökta digitaliseringen på alla nivåer, det vill säga i förskolan, skolan och

vuxenutbildningen. Den utgavs av Statiska centralbyrån på uppdrag av Skolverket och den skickads ut våren 2018.

I rapporten förklarar Skolverket att enkätundersökningen är en ”urvalsundersökning där vi skattar resultaten på nationell nivå. När urvalens storlek har bestämts har vi tagit hänsyn till att det ska gå att analysera betydelsen av ett antal bakgrundsfaktorer för resultaten. Dessa faktorer är typ av huvudman, typ av kommun och föräldrarnas genomsnittliga utbildningsnivå på förskolan eller skolan.” (Skolverket 2018 s.8). Detta för att de ville se om det fanns

skillnader i enkätsvaren. Skolverket var även medvetna om att det fanns en osäkerhet när det

9

kom till det sanna värdet i enkätsvaren. Därför gjorde de en jämförelse med en föregående undersökningen ifrån 2015.

De viktigaste resultaten från enkätstudien är enligt Skolverket:

 ”Digitaliseringen har fått större genomslag i högstadiet och gymnasieskolan när det gäller tillgången till digitala verktyg i skolarbetet, men även i vilken utsträckning lärare arbetar med att utveckla elevers digitala kompetens.” (Skolverket 2018 s.2).

 ”Läroplanernas nya delar om digital kompetens är kända av rektorer och lärare, men förskolepersonal och lärare upplever ett behov av att utveckla sin digitala kompetens, till exempel inom programmering.” (Skolverket 2018 s.2).

 ”Tillgången till teknisk och pedagogisk support varierar i förskolor, skolor och kommunal vuxenutbildning och många saknar en uppkoppling med kapacitet att genomföra digitala nationella prov.” (Skolverket 2018 s.2)

I artikel ”Integrated Usability Testing” av Ternauciuc och Vasiu (2015), framhålls relevansen av att regelbundet testa användbarheten på en lärplattfrom för att enkelt säkerhetsställa dels en snabb användning för nya användare, dels flytta fokus från lärplattformen till innehållet och inlärningsupplevelsen. Anledningen till deras studie var att utveckla ett testverktyg:

” The purpose of this study was to propose an integrated usability testing tool which combines the advantages of quantitative testing (scalability, easily interpreted sets of numerical data) with those of a particular type of laboratory testing, in which the actual use of an online platform by regular users can be assessed.” (Ternauciuc & Vasiu 2015, s.395).

Artikelförfattarna önskade att jämföra ett integrerat verktyg för att utvärdera användbarheten och därmed ersätta en viss typ av laboratorietester, där användarnas åtgärder på den verkliga plattformen mäts och analyseras (Ternauciuc & Vasiu 2015, s.388). Resultatet bekräftade det föreslagna verktyget som ett genomförbart alternativ till laboratorietestet (Ternauciuc &

Vasiu 2015, s.388). I undersökningen deltog 14 studenter och 14 pedagoger, som i sin tur uppdelades i fyra grupper där sju pedagoger samt sju utförde laboratorietest och sju pedagoger och sju studenter utförande integrerad testning. Två användbarhetstesteter skapades ett för pedagoger och ett för studenter. Användbarhetstestet började med en enkät med inspiration av the system usability scale (SUS, förklaras mer utförlig på s.17–19 i kapitlet Metodval). Nästa moment fick pedagogerna och studenterna utföra samma testscenarion i en

10

kontrollerad miljö (task scenarios kommer förklaras mer utförligt på s.16) på den utvalde lärplattformen. tidigare forskning har fokus varit på användarnas åsikter om ett digitalt verktyg medans artikelförfattarna understryker det motsatta, alltså hur integrerar användaren med ett digitalt verktyg. Undersökningens slutsats visar att relevansen av användbarhetstester bör vara på individens förmåga att använda sig av digitala verktyg snarare än förväntande åsikter (Ternauciuc & Vasiu 2015, s.395).

2.3 M

2.3.1 ANVÄNDBARHET

Vid utförande av användarbarhetsuppgifter är användbarhet centralt. Innan man kan gå in på användbarhetstester måste man definiera vad användbarhet är. Det är viktigt att förstå att användbarhet inte är en endimensionell egenskap hos ett användargränssnitt (Nielsen 1994).

Nielsen definierar användbarhet med fem användbara egenskaper Learnability, Efficiency, Memorability, Errors och Satisfatction. Medan Rubin och Chisnell (2008, s. 4–6) förklarar användbarhet med sex egenskaper. Om ett system (i detta fall digitala verktyg) ska vara användbart används följande termer: Usefulness, Efficiency, Effectiveness, Learnability, Satisfatction och Accessibility. I detta uppsatsarbete kommer följande fyra

användbarhetsdimensionerna att vara fokusområdet:

 Usefulness = Användbarhet

Handlar om att ett system har förmågan att användaren kan nå sitt mål. Målet med detta användbarhetstest är om pedagogerna kan skapa ett digitalt prov eller test. Därmed är det irrelevant om ett system är lätt att navigera i, lätt att lära sig eller känner sig tillfredsställande att använda, om användarna inte når själva målet med ett system. Ett system finns av en anledning, det ska vara ett verktyg, som exempelvis kan underlätta en arbetsprocess (Rubin &

Chisnell 2008).

 Efficiency = Effekt

Effekt utforskar hur snabbt det tar för en användare att slutföra målet. Till exempel under användbarhetstestet då testpersonen ska utför arbetsuppgifter, kommer det ta tid på hur lång tid det tar att skapa ett digitalt prov och test. Om det finns en förutfattad tid för att utföra en funktion, om det inte tar den tiden är det inte Efficiency (Rubin & Chisnell 2008). Ett system ska vara effektivt att använda, så att när användaren väl har lärt sig ett system, finns det en så

11

hög produktivitet som möjligt (Nielsen 1994).

 Learnability = Lärbarhet

Ett system ska vara lätt att komma ihåg. Det kan handla om att en användare som inte har använt ett system på ett tag ska klara av att använda det igen, utan ett större besvär. En del av effektiviteten är att man ska klara av att använda systemet på en viss nivå efter en tid av träning. Det ska vara lätt att komma ihåg, det man lär sig (Rubin & Chisnell 2008). Ett system borde vara lätt att lära så att användaren kan snabbt börja jobba med systemet (Nielsen 1994).

 Errors = Fel

Ett system bör ha en låg felfrekvens, så att användaren gör något fel under användningen av systemet, detta för att ett fel ska enkelt klara av att återhämta sig från dem. Vidare får katastrofala fel inte uppstå (Nielsen 1994).

I tabell 1 presenteras de utvalda användbarhetsdimensionerna, samt frågeställningar för att hjälpa till att besvara utvärderingsfrågorna.

Tabell 1. Användbarhetsdimensioner

Användbarhet Kan testpersonen nå målet, alltså skapa ett digitalt ”test” eller ”Skapa nytt prov”?

Lärbarhet Om testpersonen inte har använt sig av ”Test” på Itslearning eller ”skapa nytt prov” på DigiExam, är det besvärligt eller otydligt? Stöter det på problem? finns det besvär?

Korrigerbarhet (vid fel)

Om testpersonen gör fel, är det enkel för den att återhämta sig? Hittar de rätt information för att ta sig vidare?

Effektivitet Tycker testpersonen det tar lång tid (för lång tid) att skapa ett digitalt prov?

2.3.2 ANVÄNDBARHETSTESTER

Användarbarhetstest är en process där någon använder personer som representerar målgruppen för exempelvis en produkt som ska utvärderas och har som avsikt att testa i vilken grad ett system uppfyller specifika användbarhetskriterier (Patel & Davidson 2011).

Nielsen (u.å.) rekommenderar att alla designprojekt bör användbarhetstesta för att den som utvecklar ett system inte är slutanvändaren. Nielsen (u.å.) nämner även att de som har

kunskap om designprojektet kan låtsas att de inte har kunskap om saker de redan vet. Därav är

12

det viktigt att hitta riktiga användare av ett system och deras sanna bedömning om systemet är lätt att använda och löser deras behov. I grund och botten utförs användarbarhetstest för att jaga användbarhetsproblem och därefter försöka identifiera brister som behövs förbättras.

Rubin och Chisnell (2008, s.19) definierar användbarhetstester som ett sätt att använda metoder för att samla empiriska data, samtidigt som man observerar slutanvändare som använder produkten för att utföra en realistisk uppgift. De diskuterar även att det finns två sätta att utföra detta på, den första involverar ett formellt test som utförs verkliga

undersökningar som bekräftar eller motbevisar specifika hypoteser (Rubin & Chisnell 2008, s.19–20). Det andra tillvägagångssättet testas för att exponera brister, samt gradvis forma produkten i fråga, detta ser interaktiv i livscykler (Rubin & Chisnell 2008, s.20). När

användbarhetstester är lämpliga för syftet och målet minimeras risken avsevärt för att släppa ut en instabil eller en produkt som har en hög inlärningskurva Rubin & Chisnell 2008, s.26).

Nielsen (1994, s.165) beskriver att med riktiga användare av en produkt, är

användbarhetstester den mest fundamentalt användbarhets metoden. Detta för att man får se hur människor använder datorer, samt att metoden hittar vad det exakta problemet är med det gränssnittet som testas. Han påpekar dock att det även finns begränsningar när det kommer till metodologin med användbarhetstester. Det Nielsen (1994, s.165) vill uppmärksamma är om tillförlitlighet (reliabilitet) och giltighet (validitet) är fråga om man skulle få samma resultat om testet skulle upprepas. Giltigheten är frågan om resultatet faktiskt återspeglar

användbarhetsproblemen man vill testa (Nielsen 1994, s.165). Rubin och Chisnell (2008, s.25–26) skriver även de om vilka begränsningar de menar finns vid utförandet av användbarhetstester, nämligen:

 Testning är alltid en konstgjord situation. Där de menar att test bara representerar en

”verklighet” av en bild hur användaren använder en produkt, dock inte själva situationen i sig. Detta kan påverka studien och resultatet (Rubin och Chisnell 2008, s.26).

 Testresultatet bevisar inte att en produkt fungerar. När ett test är genomfört och som får ett statistiskt säkerställt resultat, behöver inte detta bevisa att produkten fungerar. Det statistiska resultatet betyder helt enkelt att resultatet inte berodde på en slump. Det är ingen garanti, och det är mycket beroende av hur testet genomförts (Rubin och Chisnell 2008, s.26).

 Deltagarna är sällan helt representerade för målgruppen (Rubin och Chisnell 2008, s.26).

13

 Test är inte alltid den bästa tekniken att använda. Den finns många olika metoder som är avsedda att utvärdera och förbättra produkter Rubin och Chisnell diskuterar att i vissa situationer är det exempelvis onödigt att få in deltagare för att avslöja det uppenbara. I vissa fall är det effektivare, både vad gäller kostnad, tid och noggrannhet, att bedriva en expert- eller heuristisk utvärdering av en produkt snarare än att testa den (Rubin och Chisnell 2008, s.26).

Innan någon ska genomföra ett användbarhetstest diskuterar Nielsen (1994, s.170) att det bör finnas ett syfte med testet, eftersom han anser att det kommer ha en betydande påverkan på testet. Av denna anledning hävdar Nielsen (1994, s.170) att beroende på hudmålet med testet finns det två sorter av tester att genomföra. Den första är en formativ utvärdering som

genomförs för att hjälpa till att förbättra gränssnittet som en del av en iterativ designprocess (Nielsen 1994, s.170). Huvudmålet med denna utvärdering är att lära sig, på en detaljerad nivå, om gränssnittet är bra och dåligt och hur det kan förbättras (Nielsen 1994, s.170). Det andra tillvägagångssättet är summativ utvärdering. Här ligger fokusen på att utvärdera den totala kvaliteten av ett gränssnitt. Nielsen (1994, s.170) förklarar när summativa test kan användas: ”till exempel för användning vid beslut mellan två alternativ eller som en del av konkurrensanalysen för att lära sig hur bra konkurrensen egentligen är.”

Rubin och Chisnell (2008, s.23) diskuterar vad som är det grundläggande i metodiken för användbarhetstester. Då nämner de bland annat att leda ett kontrollerat experiment, som flikar grundforskning där det brukar finns en specifikt formulerad hypotes. Under ett

användbarhetstest får man reda på om hypotesen antingen blir bekräftad eller förkastad.

Rubin och Chisnell (2008, s.25) har tagit fram sex grundläggande element för ett användbarhetstest:

 Utveckling av forskningsfrågor / undersökningsfrågor eller testobjekt snarare än hypoteserna.

 Användning av ett representativt urval av slutanvändare kan eventuellt väljas slumpvis.

 Observation av slutanvändare som antingen använder eller granskar en representation av produkten.

 Kontrollerad och ibland omfattande intervjuer och undersökning av deltagarna av testmoderatorn.

14

 Insamling av kvantitativa och kvalitativa resultat och mått.

 Rekommendation för förbättringar av produktens design.

Nielsen (1994, s.187) har tagit fram dessa fyra steg för hur ett användbarhetstest brukar var uppbyggt:

 Förberedelse

 Instruktion

 Själva testet

 Debriefing

I detta uppsatsarbete kommer användbarhetstest definieras som den metod för att utvärdera lärplattformen itslearings funktion ”Test”, DigiExams funktion ”Skapa nytt prov” och en allmän utvärdering av Microsoft OneNote. Användbarhetstestet kommer bestå av olika datasamlingsmetoder för att samla in data, detta presenteras mer djupgående i kapitel 3, Metodval.

15

3 M ETODVAL

3.1 V

I detta uppsatsarbete är syftet att utvärdera lärplattformen itslearings ”Test”, DigiExams

”Skapa nytt prov” utifrån ett användarperspektiv, detta kommer ske genom

användarbarhetstester. Till skillnad från den undersökning som Sveriges Kommuner och Regioner (2019) genomförde, kommer detta ske i from av användarbarhetstester.

Det finns olika typer av användarbarhetstestmetoder för att generera data, de som har valts är:

arbetsuppgifter, observation, frågeformulär och enkät. Huvudmålet med detta är att utvärdera hur pedagoger upplever användbarheten när de skapar digitala uppgifter och prov, samt att uppmärksamma möjliga användbarhetsproblem och vad som fungerar i dagsläget.

Användbarhetstester har valt till detta uppsattasarbete i enlighet med Nielsens (1994, s.170) uppfattning att huvudmålet med utvärdering är att lära sig på en detaljerad nivå på gränssnittet om vad som är bra och dåligt och hur det kan förbättras (Nielsen 1994, s.170). På detta sätt kan en förståelse skapas, inte bara för hur pedagogernas upplevelse av systemen är, utan också varför de upplever dem på de sätten. Detta är ingen datainsamlingsmetod utan ett sätt att generera data. Antingen låter man användarrepresentanten fritt använda systemen för att se vilka sysslor hon föredrar att utföra med dem eller så ger man henne ett antal uppgifter att utföra.

3.2 V

D

: K

I denna del presenteras den utvalda datainsamlingsmetoden för hur data samlades in.

Vid kvalitativ metod kan man genomföra muntliga handlingar som arbetsuppgifter, samt interjuver (Patel & Davidson 2011). I detta till skillnad från kvantitativ forskning kan utföras genom att en stor grupp deltagare fyller i en enkät med frågor i en utvärdering. Därefter fastställer man variablerna till data i tabeller och grafer (Patel & Davidson 2011, s.113). I kvalitativ forskning går man djupare och man kan tillämpa egna tolkningar av kvalitativa metoder när man forskar fram data. Fördelen med en kvalitativ metod i denna undersökning är att man under processens gång har en löpande analys direkt efter inhämtningen av data.

Detta genom användningen av en dagbok där man skriver ned sina tankar och idéer när det är som färskast i minnet. På det sättet får man ett mer ”levande” förhållande till sitt material (Patel & Davidson 2011, s. 119–121). I detta fall skrevs anteckningar medans

16

arbetsuppgifternas utfördes av testpersonerna som ni kan se i kapitel 2 ”Genomförande och Resultat”.

Möjligheten till att få med individens individuella förmåga av att använda digitala verktyg i kombination med att utföra användbarhetstester i form av arbetstester var det som gjorde att jag valde att använda en kvalitativ metod.

3.2.1 Task scenarios

Nielsens (2014) sammanfattning vid användning av task senarios är: “Guidelines for usability test tasks: engage participants by writing task scenarios that are realistic, encourage an action, and don’t give away how the interface should be used.”. Task scenarios är arbetsuppgifter som ges till testpersonen för att testa ett system. McCloskey (2014) diskuterar att Task scenario måste likna sammanhang som användaren utför som om de var på kontoret eller hemma. Det handlar om att användare har ett mål med arbetsuppgiften som har tagits fram.

Ett scenario på en arbetsuppgift kan vara exempelvis vara:

- ”Du ska nu Skapa nytt prov till nästa vecka, gå in på lärplattformen Itslearning och Skapa nytt prov.”

När det kommer till att utforma arbetsuppgifter är det viktigt att de är realistiska för

målgruppens arbetsmiljö. Därför har jag under pilottesterna frågat testpersonen om det finns ett sätt som de brukar skapa ett digital uppgifter eller prov. Detta för att de har bättre kunskap inom det än jag. Då Itslearning har flera frågefunktioner för ”Test” än av ”Skapa nytt prov”

har på DigiExam, valde jag att ta de fyra frågefunktioner som finns på DigiExam och ta de motsvarande på Itslearning. Anledningen till fokus på dessa två är att år 2022 ska alla nationella prov ske digitalt (Regeringen, 2017). Det är viktig att testpersonerna känner sig bekväma med användningen av miljöer där de kan skapa digitala prov och test.

I detta uppsatsarbete benämns task scenario som arbetsuppgifter. I Figur 4 kan man se att det korrekta sättet på Itslearning är ”lägg till” och sedan en meny med ett valmöjligheterna

”Test”. I detta uppsatsarbete kommer det refereras till att skapa ett test.

17

3.2.2 Observation

I denna uppsats har jag valt att observera testpersonen i sitt utförande. Anledningen till att jag valde observation var för att ostört kunna identifiera eventuella problem vid utförandet av en arbetsuppgift. Under observationen kan observatören ta anteckningar, och det kan även vara möjligt att använda skärminspelning (Nielsen 1994). Av observationen är det lättare att se om testpersonen stöter på problem under utförandet av en arbetsuppgift. Viktigt vid observationen är att vara osynlig för testpersonerna. Om observatören märker att testpersonen har

svårigheter att lösa arbetsuppgiften kan hen gå in och avbryta eller förklara, detta är något som bör hållas till ett minimum (Nielsen 1994).

I detta uppsatsarbete genomförde jag själv alla observationer. De gick till på följande sätt: Jag observerade testpersonen genom att sitta snett bakom hen för att se när testpersonen utförde de olika arbetsuppgifterna och göra anteckningar. Anledningen till att jag satt snett bakom var för att testpersonen inte skulle tänka att jag var där, jag ville att de skulle utföra

arbetsuppgifter så som de skulle gjort vanligtvis.

3.2.3 Skärminspelning

Skärminspelning gjordes som ett stöd till observationen. Inspelningen gjordes samtidigt under användarbarhetstesterna (Gillham 2008). Under analysen blev skärminspelning ett bra sätt att titta tillbaka på dem delar som jag hade uppmärksammat i mina anteckningar under

observationen.

3.2.4 Frågeformulär: SUS- frågeformulär

 Vad är SUS-frågeformulär?

Det utvalda frågeformulär till detta uppsatsarbete är ”The System Usability Scale” som har förkortningen SUS. Det är ett fritt tillgängligt frågeformulär som publicerades av John Brooke (1986). I syfte att bedömning av användbarheten på ett system. Frågeformuläret innehåller tio påståenden:

1. I think that I would like to use this system frequently 2. I found the system unnecessarily complex

3. I thought the system was easy to use

4. I think that I would need the support of a technical person to be able to use this system 5. I found the various functions in this system were well integrated

18

6. I thought there was too much inconsistency in this system

7. I would imagine that most people would learn to use this system very quickly 8. I found the system very cumbersome to use

9. I felt very confident using the system

10. I needed to learn a lot of things before I could get going with this system

Vid svar av dessa tio påståenden finns ett svarsformat (Figur 1). Påståendena 1, 3, 5, 7 och 9 är positiva och de jämna 2, 4, 6, 8 och 10 är negativa. Nielsen (1994, S.36) uttrycker att skalan har ett spektrum mellan 1–5:

1 = Håller starkt inte med 2 = Delvis oense

3 = Håller varken med eller inte 4 = Delvis överens

5 = Håller starkt med

 SUS-Poängsystem

För att få fram rätt poäng ifrån svarsformuläret (Figur 1) av SUS-frågeformuläret är följande sätt att gå tillväga. SUS-poäng från de positiva påstående från frågeformuläret, ska

subtraheras med 1. Om exempelvis en testperson har fyllt i 3, blir det 3–1 så resultatet blir då 2. När det kommer till de negativa påståendena från frågeformuläret numrerade 2, 4, 6, 8 och 10 ska man subtrahera med 5. Om användaren har fyllt i en 2a blir det 5–2, som resulterar i 3 (Brooke 1996). Alla tio frågor kommer till slut att ha ett poäng mellan 0–4, de ska man addera och multipliceras med 2,5. Det kommer i sin tur att resultera på ett poäng mellan 0–100, Ett poäng under 51 betyder att systemet inte är användbart (Brooke 1996).

Figur 1. Svarformatet till påstående på SUS-frågeformuläret

19

I en studie som Sauro (2011) genomförde diskuterar han om vad som är ett bra SUS-poäng

”What is a good SUS score?”. Han kom fram till att ett SUS-poäng över 68 är över medel och att allt under 68 är under medel. Han diskuterar i fall det bästa sättet att tolka SUS-poängen är en process som kallas normalisering. Han har skapat en miniräknare och en guide där man skriver in SUS-poängen och utifrån det sätter betyg från A+ till F-. Han skriver att man behöver över 80poäng för att få A, mellanläget är 68, vilket är ett C och allt under 51 är ett F.

Figur 2 Betygsskala för att mäta SUS-poängen översatt av författaren från Sauros (2011).

3.3 V

R

I kvalitativ forskning handlar validitet om hela forskningsprocessen (Patel & Davidson 2011, s.105). Det handlar inte endast om datainsamling, utan också om hur bra och förlitligt

underlag man har för samtliga delar under forskningsprocessen. I arbetet med uppsatsens analys används fyra användbarhetsdimensioner. De följande; användbarhet, lärbarhet, korrigerbarhet (vid fel) och effektivitet. I tabell 1 i kapitel 2 presenterades de utvalda användbarhetsdimensionerna, samt frågeställningar för att hjälpa till att besvara utvärderingsfrågorna med hjälp av betygsskalan (figur 2). För att avgöra om de fyra

användbarhetsdimensionerna uppnås eller inte kommer SUS-poängen att granskas från varje testperson. Resultatet kommer i sin tur att jämföras med betygsskalan.

Förhoppningen är att frågeformuläret och betygsskalan gör att man får ut rätt data och det speglar arbetsuppgiften. Om man enligt Patel och Davidson (2011, s.123) vill få ut rätt data från en utvärdering, måste man ha rätt verktyg. Vilket de valda metoderna i uppsatsen förhoppningsvis kommer att spegla.

20

4 G ENOMFÖRANDE OCH R ESULTAT

I detta kapitel presenteras genomförandet av användbarhetstesterna samt resultatet, som är uppdelat i tre delar: Itslearning, DigiExam samt OneNote. Uppläggningen av

användarbarhetstestet består av fyra moment, dessa moment kommer förklaras mer utförligt i 4.1 Genomförande.

1. Informationsblad plus samtyckesblanketten.

2. Bakgrundsenkäten.

3. Introduktionstext med följd av arbetsuppgifterna.

4. Tre frågeformulär med påstående om hur de upplever användbarhet i funktionen

”Test” på Itslearning och ”Skapa nytt prov” på DigiExam, samt en allmän på OneNote. Jag kommer att beskriva det mer utförligt under Genomförande.

4.1 G

4.1.1 TESTPERSONER

Val av testpersoner gjordes av min kontaktperson på gymnasieskolan, hen hade i åtanke att fråga pedagoger från olika avdelningar (matematik/natur/teknik, språk/samhälle, och idrott och hälsa). I utförande av användarbarhetstester är minimum fem testpersoner. Det är den genomsnittliga rekommendationen för att få bästa möjliga resultat (Patel & Davidson 2011). I detta uppsatsarbete kommer sex testpersoner delta.

4.1.2 TESTMILJÖN

Användarbarhetstesterna utfördes på en gymnasieskola under olika dagar. De skedde i olika lokaler. Testpersonerna fick utföra arbetsuppgifterna på en MacBook Air (13 tum, 2013, IP nummer: 130.243.30.22), med valet att använda en trådlös mus. De tre SUS-frågeformulären var i pappersform. Uppläggningen av användarbarhetstesterna bestod av tre moment.

4.1.3 PILOTTEST

Innan andvändarbarhetstesterna utförs bör man pröva upplägget av testerna. Oftast är ett eller två pilottester tillräckligt för att se om det finns brister (Nielsen 1994). Detta är på grund av att man brukar upptäcka att arbetsuppgifterna är oförståeliga eller kan misstolkas av

testpersonerna (Nielsen 1994). På samma sätt kan frågorna på frågeformuläret behövas omformuleras för att bättre stämma överens med arbetsuppgifterna. För om svaren inte är hundraprocent ärliga blir det felaktig data, vilket kan gör det svårt för forskaren att analysera och bearbeta sin data, hävdar Patel och Davidson (2011, s.105). Det är inte alltid en

självklarhet att de som läser frågorna vet hur de ska svara eller uppfatta frågorna som

21

forskaren vill att de ska uppfatta dem. Därför är utformningen av frågorna mycket viktiga och förhoppningen är att deltagande uppfattar frågorna som du vill att de ska uppfatta dem. Det är viktigt att man har formulerat frågorna eller påståendena på ett lättbegripligt sätt och därav viktigt att pilottesta dem.

Under pilottesterna kan man även se den tiden som behöves planeras in för varje

användarbarhetstest (Nielsen 1994). Det utfördes två stycken pilottester för att undersöka hur upplägget på användarbarhetstestets olika moment skulle fungera. Allt som allt funktionerade upplägget bra. Information samlades även in om vad testpersonen hade för åsikter om

arbetsuppgifterna. Då en osäkerhet fanns om hur utvärderingen av OneNote skulle utföras, gjordes ett val under första pilottestet att det endast skulle utföras en muntlig intervju i slutet av pilottesterna. Detta för att få en bättre uppfattning om testpersonerna skulle få utföra arbetsuppgifter på OneNotes eller inte.

4.1.3.1 Förändringar efter pilottesterna

- Ett besluts togs att bakgrundsenkät (Bilaga 4) skulle tillhöra det tredje momentet istället för det första. Anledningen till att det skulle bli en större samhörighet mellan bakgrundsenkäten och SUS-frågeformulär.

- I intervjun skapades uppfattningen av att pedagogerna använde OneNote mer frekvent eller tvärtom. En testperson uttryckte sig på följande sätt: ”Så skulle jag jobba med OneNote mer skulle jag väl lära mig under tiden, men tröskeln att komma igång är för hög”. Detta resulterade i att under användarbarhetstestet skulle OneNote inte

inkludera relaterande arbetsuppgifter, utan endast beskriva en allmän upplevelse av användbarheten av OneNote.

Utöver dessa skedde inga förändringar kring upplägget av användarbarhetstestet.

4.1.4 ANVÄNDARTESTET

4.1.4.1 Första momentet: Informationsbladet följt av samtyckesblankäten

När testpersonen kom in fick hen sätta sig ned och läsa igenom informationsbladet (Bilaga 2) och skriva under samtyckesblankäten (Bilaga 3). Under de tre momenten satt jag snett bakom personen för att få en bättre vinkel att observera testpersonen. Detta för att vara så osynlig för testpersonen som möjligt samt för att också få en bra överblick vid utförandet av

arbetsuppgifterna.

22

4.1.4.2 Andra momentet: Induktionstext följt av arbetsuppgifterna

Under det andra momentet läste jag upp en instruktionstext (Bilaga 1). För att alla

testpersoner skulle få samma information. Jag förklarade att jag läste upp en arbetsuppgift i taget. När testpersonen var klar med en eller inte visst hur hen skulle slutföra uppgiften, gick vi vidare till nästa arbetsuppgift. Det förklarades även att hen fick ställa frågor under tidens gång, men det är inte säkert att jag kunde svara. Detta för att jag inte ville påverka hur testpersonen skulle utföra det i vanliga fall. Innan hen började, berättades scenariot som testpersonen skulle tänka sig in i under utförandet av arbetsuppgifterna. Scenariot var att hen var på jobbet en helt vanlig arbetsdag och på schemat stod det att de skulle skapa en digital uppgift med tillhörande prov för undervisningssyfte. Samt att hen skulle utföra det på sättet hen brukar.

Under momentet togs det tid på de två arbetsuppgifterna separat. Detta för att se om tiden skiljde sig åt. Om det tog längre tid för en testperson än en annan.

 Arbetsuppgifter

Testpersonerna utförde arbetsuppgifter där målet var att skapa digitala uppgifter och prov med utvalda frågefunktioner på lärplattformen Itslearning och det digitala verktyget. Fokus är att utvärdera hur användbarheten uppfattas när det kommer till att skapa digitala uppgifter och prov. Testpersonerna genomförde följande arbetsuppgifter:

A1a Skapa ett test i Itslearning, med fyra olika typer av frågor. De frågor du ska skapa är:

A1b Kort svar-fråga A1c Flervals-fråga A1d Flervalsvars-fråga

A1e Fyll i det som saknas-fråga

A2a Skapa nytt prov i DigiExam, med fyra olika typer av frågor. De frågor du ska skapa är:

A2b Fritext-fråga A2c Flera val A2d Flera rätta svar A2e Ordlucka

Arbetsuppgifterna i detta uppsatsarbete kommer fortsatta att refereras till A1a, A1b, A1c, A1b, A1e och A2a, A2b, A2c, A2d, A2e.

23

4.1.4.3 Tredje momentet: Bakgrundsenkät plus SUS-frågeformulär

När hen var klar med alla arbetsuppgifter fick hen fylla i en bakgrundsenkät och SUS- frågeformuläret med en skala där de fick kryssa i om de starkt håller med eller starkt inte håller med på påståendet. Påståendet var om hur de upplever användbarheten på̊ Itslearnings

”Test” (Bilaga 5), DigiExams ”Skapa nytt prov” (Bilaga 6), samt ens allmänna uppfattning om OneNote (Bilaga 7.1 och 7.2).

 SUS-frågeformulär – System Usability Scale

Detta är SUS-Frågeformulärets tio originalpåstående. Ett beslut har gjort att översätta dem till svenska och anpassat dem till arbetsuppgifterna som testpersonerna har utfört.

ORIGINALPÅSTÅENDE:

1. I think that I would like to use this system frequently 2. I found the system unnecessarily complex

3. I thought the system was easy to use

4. I think that I would need the support of a technical person to be able to use this system 5. I found the various functions in this system were well integrated

6. I thought there was too much inconsistency in this system

7. I would imagine that most people would learn to use this system very quickly 8. I found the system very cumbersome to use

9. I felt very confident using the system

10. I needed to learn a lot of things before I could get going with this system ITSLEARNINGS PÅSTÅENDEN:

Dessa tio påståendena är kopplade till arbetsuppgifterna A1a-A1e.

1. Jag använder ”Test” på Itslearning frekvent.

2. Jag anser att ”Test” på Itslearning är onödigt komplext.

3. Jag tycker att ”Test” på Itslearning är lätt att använda.

4. Jag behöver support från en person/tjänst för att använda ”Test” på Itslearning.

5. Jag tycker att de olika funktionerna på ”Test” på Itslearning är mycket väl genomtänkta.

6. Jag anser att ”Test” på Itslearning är inkonsekvent.

7. Jag föreställer mig att de flesta pedagoger snabbt kan lära sig att använda ”Test” på Itslearning.

8. Jag anser att ”Test” på Itslearning är besvärligt att använda.

9. Jag känner mig väldigt säker när jag använder ”Test” på Itslearning.

10. Jag behöver lära mig mer innan jag kan använda ”Test” på Itslearning.

24

DIGIEXAMS PÅSTÅENDEN:

Dessa tio påståendena nedan är kopplade till arbetsuppgifterna A2a-A2e.

1. Jag använder ”Skapa nytt prov” på DigiExam frekvent.

2. Jag anser att ”Skapa nytt prov” på DigiExam är onödigt komplext.

3. Jag tycker att ”Skapa nytt prov” på DigiExam är lätt att använda.

4. Jag behöver support från en person/tjänst för att kunna ”Skapa nytt prov” på DigiExam.

5. Jag tycker att de olika funktionerna på ”Skapa nytt prov” på DigiExam är mycket väl genomtänkta.

6. Jag anser att ”Skapa nytt prov” på DigiExam är ologiskt.

7. Jag föreställer mig att de flesta pedagoger snabbt kan lära sig att skapa ”prov” på DigiExam.

8. Jag anser att ”Skapa nytt prov” på DigiExam är besvärligt att använda.

9. Jag känner mig väldigt säker när jag ”skapar prov” på DigiExam.

10. Jag behöver lära mig mer innan jag kan använda ”Skapa nytt prov” på DigiExam.

ONENOTES PÅSTÅENDEN:

Av dessa tio påståenden nedan så har påståendena 1,6, 7, 8 och 10 en tilläggsfråga i fall testpersonen fyller i långt ut på Håller Starkt inte med eller Håller Starkt med (Figur 1). Då inga användbarhetstester utförde på OneNote, gjordes ett av om att på påståendena 1, 6, 8 och 10. en chans för testpersonerna att ge en kommentar. Anledningen till detta var för att om deras val till påstående var negativ var att ge de chansen att kommentera och motivera varför de va missnöjda.

1. Jag använder OneNote frekvent. Om du har svarat 1, Vad beror det på i så fall?

2. Jag anser att OneNote är onödigt komplext 3. Jag tycker att OneNote är lätt att använda.

4. Jag behöver support från en person/tjänst för att kunna använda OneNote.

5. Jag tycker att de olika funktionerna i OneNote är mycket väl genomtänkta.

6. Jag anser att OneNote är ologiskt. Om du har kryssat i 5, vad beror det på i så fall?

7. Jag föreställer mig att de flesta pedagoger snabbt kan lära sig att använda OneNote.

8. Jag anser att OneNote är besvärligt att använda. Om du har kryssat i 5, vad beror det på?

9. Jag känner mig väldigt säker när jag använder OneNote

10. Jag behöver lära mig mer innan jag kan använda OneNote. Om du har kryssat i 5, vad beror det på i så fall?

25

4.2 R

I tabell 2 presenteras ålder, vilket ämne pedagogerna lär ut och tiderna de tog för respektive testperson att utföra arbetsuppgifterna på Itslearning och DigiExam. Den förutfattade tiden kommer under detta uppsatsarbete att bli den genomsnittliga tiden av alla testpersonernas tid det tog att utföra arbetsuppgifterna.

Tabell 2. Sammanställning från bakgrundsenkäten.

ID Ålder Ämne/

Avdelning

Hur frekvent använder du

”Test” på itslearings*

Hur frekvent använder du

”Skapa nytt prov” på DigiExam*

Hur frekvent använder du OneNote

TP1* - - 1 1 1

TP2 40–50 Teknik/

Arkitektur

2 2 2

TP3 40–50 - 1 1 3

TP4 40–45 Matematik/

Fysik

3 3 5

TP5 25–30 Matematik/

Engelska

5 5 2

TP6 40–50 Programmering/

Webbutveckling

4 4 4

*TP1 valde att inte skriva sin ålder eller vilket ämne hen lärde ut.

*1= Håller starkt inte med - 5 = Håller starkt med. Se Figur 1 för hela svarsformatet.

4.2.1 RESULTAT: ITSLEARNING

4.2.1.1 Problem som testpersonerna stötte på

I tabell 3 presenteras de problem testpersonerna stötte på under genomförande av arbetsuppgifter från Itslearnings ”Test” A1a-A1e.

Tabell 3. Problem testpersonerna stötte på.

Arbetsuppgift Problem Testperson

A1a Skapa ett Test Vart skapar man ett prov. TP2, TP3

A1b Kort svar-fråga Tekniska problem efter att ha sparat en fråga, svårt att komma vidare.

TP3 A1d

Flervalsvarsfråga

Testpersonerna hade svårt att sätta poäng på frågan.

TP4 A1e

Fyll i det som saknas-fråga

Problem med att fylla i det tomma fältet.

TP2, TP3