Problem som testpersonerna stötte på

4.2 R

I tabell 2 presenteras ålder, vilket ämne pedagogerna lär ut och tiderna de tog för respektive testperson att utföra arbetsuppgifterna på Itslearning och DigiExam. Den förutfattade tiden kommer under detta uppsatsarbete att bli den genomsnittliga tiden av alla testpersonernas tid det tog att utföra arbetsuppgifterna.

Tabell 2. Sammanställning från bakgrundsenkäten.

ID Ålder Ämne/ Avdelning Hur frekvent använder du ”Test” på itslearings* Hur frekvent använder du ”Skapa nytt prov” på DigiExam* Hur frekvent använder du OneNote TP1* - - 1 1 1 TP2 40–50 Teknik/ Arkitektur 2 2 2 TP3 40–50 - 1 1 3 TP4 40–45 Matematik/ Fysik 3 3 5 TP5 25–30 Matematik/ Engelska 5 5 2 TP6 40–50 Programmering/ Webbutveckling 4 4 4

*TP1 valde att inte skriva sin ålder eller vilket ämne hen lärde ut.

*1= Håller starkt inte med - 5 = Håller starkt med. Se Figur 1 för hela svarsformatet.

4.2.1 RESULTAT: ITSLEARNING

4.2.1.1 Problem som testpersonerna stötte på

I tabell 3 presenteras de problem testpersonerna stötte på under genomförande av arbetsuppgifter från Itslearnings ”Test” A1a-A1e.

Tabell 3. Problem testpersonerna stötte på.

Arbetsuppgift Problem Testperson

A1a Skapa ett Test Vart skapar man ett prov. TP2, TP3

A1b Kort svar-fråga Tekniska problem efter att ha sparat en fråga, svårt att komma vidare.

TP3 A1d

Flervalsvarsfråga

Testpersonerna hade svårt att sätta poäng på frågan.

TP4 A1e

Fyll i det som saknas-fråga

Problem med att fylla i det tomma fältet.

26

4.2.1.3 Sammanställning ifrån SUS-frågeformuläret om användbarheten på

Itslearnings ”Test”.

Påståendena från SUS-frågeformuläret om användbarheten på Itslearnings ”Test” är: 1. Jag använder ”Skapa nytt prov” på DigiExam frekvent.

2. Jag anser att ”Skapa nytt prov” på DigiExam är onödigt komplext. 3. Jag tycker att ”Skapa nytt prov” på DigiExam är lätt att använda.

4. Jag behöver support från en person/tjänst för att kunna ”Skapa nytt prov” på DigiExam.

5. Jag tycker att de olika funktionerna på ”Skapa nytt prov” på DigiExam är mycket väl genomtänkta.

6. Jag anser att ”Skapa nytt prov” på DigiExam är ologiskt.

7. Jag föreställer mig att de flesta pedagoger snabbt kan lära sig att skapa ”prov” på DigiExam.

8. Jag anser att ”Skapa nytt prov” på DigiExam är besvärligt att använda. 9. Jag känner mig väldigt säker när jag ”skapar prov” på DigiExam.

10. Jag behöver lära mig mer innan jag kan använda ”Skapa nytt prov” på DigiExam. I tabell 4 presenteras alla testpersonernas individuella poäng från påståendena ovanför. Vid användning av SUS frågeformulär bör man presentera mellanläget på alla testpersonernas poäng (Barnum 2011 s.303). Detta för att använda som baslinje för jämförelsen med det bästa möjliga poäng som är 100.

Tabell 4. Individuella poäng från påståendena i SUS-frågeformuläret om användbarheten på Itslearnings ”Test”.

Påstående 1 2 3 4 5 6 7 8 9 10 Tp1 1 2 4 1 4 2 5 2 4 1 Tp2 2 2 4 1 3 1 5 4 4 1 Tp3 1 3 4 4 3 3 5 3 3 2 Tp4 3 2 4 1 4 1 4 2 4 1 Tp5 5 4 3 1 3 2 2 3 4 2 Tp6 4 2 3 1 3 2 4 2 5 1 Mellanläget 2,6 2,5 3,6 1,6 3,3 1,8 4,1 2,6 4 1,3 Bästa Möjliga poäng 5 1 5 1 5 1 5 1 5 1

27

4.2.2 RESULTAT: DIGIEXAM

I tabell 5 presenteras de problem testpersonerna stötte på under genomförande av arbetsuppgifter från DigiExams funktion ”Skapa nytt prov” A2a-A2e.

Tabell 5. Problem testpersonerna stötte på.

Arbetsuppgift Problem Testperson

A2a Skapa nytt prov Vart skapar man ett prov. TP2, TP3 A2b Fritext-fråga Tekniska problem efter att

ha sparat en fråga, svårt att komma vidare.

TP3

A2c Flera val Testpersonerna hade svårt att sätta poäng på frågan.

TP4

A2d Flera rätta svar Problem med att fylla i det tomma fältet.

TP2, TP3

Nedan presenteras påståendena från SUS-frågeformuläret om användbarheten på DigiExams ”Skapa nytt prov”.

1. Jag använder ”Skapa nytt prov” på DigiExam frekvent.

2. Jag anser att ”Skapa nytt prov” på DigiExam är onödigt komplext. 3. Jag tycker att ”Skapa nytt prov” på DigiExam är lätt att använda.

4. Jag behöver support från en person/tjänst för att kunna skapa ett ”prov” på DigiExam. 5. Jag tycker att de olika funktionerna på ”Skapa nytt prov” på DigiExam är mycket väl

genomtänkta.

6. Jag anser att ”Skapa nytt prov” på DigiExam är ologiskt.

7. Jag skulle kunna föreställa mig att de flesta pedagoger skulle snabbt lära sig att skapa ”prov” på DigiExam.

8. Jag anser att ”Skapa nytt prov” på DigiExam är besvärlig att använda. 9. Jag känner mig väldigt säker när jag ”skapar prov” på DigiExam.

10. Jag behöver lära mig mer innan jag kan använda ”Skapa nytt prov” på DigiExam. I tabell 6 presenteras alla testpersonerna individuella poäng från påståendena i tabell 7. Vid användning av SUS-frågeformulär bör man presentera mellanläget på alla testpersonernas poäng (Barnum 2011 s.303). Detta för att använda som baslinje för jämförelsen med det bästa möjliga poänget som är 100.

28

Tabell 6. Individuella poäng från påståendena i SUS-frågeformuläret om

användbarheten på DigiExam ”Skapa nytt prov”.

Påstående 1 2 3 4 5 6 7 8 9 10 Tp1 1 2 4 1 4 2 5 2 4 1 Tp2 2 2 4 1 3 1 5 4 4 1 Tp3 1 3 4 4 3 3 5 3 3 2 Tp4 3 2 4 1 4 1 4 2 4 1 Tp5 5 4 3 1 3 2 2 3 4 2 Tp6 4 2 3 1 3 2 4 2 5 1 Mellanläget 2,6 2,5 3,6 1,5 3,3 1,8 4,1 2,6 4 1,3 Bästa Möjliga Poäng 5 1 5 1 5 1 5 1 5 1 4.2.3 RESULTAT: ONENOTE

I tabell 9 presenteras påståendena från SUS-frågeformuläret om användbarheten på Itslearnings ”Test”. Den tabellen är kopplad till tabell 10. Påståendena från SUS-frågeformuläret om användbarheten anmält om OneNote.

Påståendena från SUS-frågeformuläret om användbarheten anmält om OneNote. 1. Jag använder OneNote frekvent. Om du har svarat 1, vad beror det på? 2. Jag anser att OneNote är onödigt komplext.

3. Jag tycker att OneNote är lätt att använda.

4. Jag behöver support från en person/tjänst för att kunna använda OneNote. 5. Jag tycker att de olika funktionerna på OneNote är mycket väl genomtänkta. 6. Jag anser att OneNote är ologiskt.Om du har svarat 1, vad beror det på?

7. Jag skulle kunna föreställa mig att de flesta pedagoger snabbt skulle lära sig att använda OneNote.

8. Jag anser att OneNote är besvärligt att använda. Om du har kryssat i 5, vad beror det på? 9. Jag känner mig väldigt säker när jag använder OneNote.

10. Jag behöver lära mig mer innan jag kan använda OneNote. Om du har kryssat i 5, vad beror det på?

I tabell 7 presenteras alla testpersonernas individuella poäng från påståendena ovanför. Vid användning av SUS utvärdering bör man presentera mellanläget på alla testpersonernas poäng (Barnum 2011 s.303). Detta för att använda som baslinje för jämförelsen med det bästa

29

Tabell 7. Individuella poäng från påståendena i SUS-frågeformuläret om

användbarheten på OneNote, se påstående ovan.

Påstående 1 2 3 4 5 6 7 8 9 10 Tp1 1 3 3 1 2 3 3 3 4 2 Tp2 2 2 3 1 2 3 3 4 3 2 Tp3 3 3 2 4 3 4 3 3 4 4 Tp4 5 2 4 2 4 2 4 1 4 1 Tp5 2 4 4 2 2 3 2 3 4 3 Tp6 4 2 4 1 3 2 4 1 5 1 Mellanläget 2,8 2,6 3,3 1,8 2,6 2,8 3,1 2,5 4 2,1 Bästa Möjliga Poäng 5 1 5 1 5 1 5 1 5 1

30

5 ANALYS

I detta kapitel presenteras analysen från insamlade data av användbarhetstesterna samt SUS-frågeformulär. Det delas upp i tre delar: Itslearning, DigiExam och OneNote. I tabell 1 i kapitel 2 presenterades de fyra användbarhetsdimensionerna som är utvalda för att hjälpa till att besvara utvärderingsfrågorna med hjälp av betygsskalan (figur 2):

Användbarhet Kan testpersonen nå målet, alltså skapa ett digitalt prov?

Lärbarhet Om testpersonen inte har använt sig av ”Test” på Itslearning eller ”Skapa nytt prov” på DigiExam, finns det besvär?

Fel Om testpersonen gör fel, är det enkel för den att återhämta sig? Hitta rätt information.

Effekt Hur långtid tog det för testpersonen att skapa ett digitalt prov?

Figur 3 (repris) Betygsskala för att mäta SUS-poängen översatt av författaren från Sauros (2011).

5.1ITSLEARNING

5.1.1U1ATT SKAPA DIGITALA ”TEST” PÅ LÄRPLATTFORMEN ITSLEARNING:

I tabell 8 presenteras det om testpersonerna klarade av att utföra arbetsuppgiften samt deluppgifterna. Kriteriet för att ”A1a Skapa ett test i Itslearning” är avklarat: Hitta ifrån startsidan på lärplattformen Itslearning till att skapa ett ”Test”, samt en tid på under 8.45 minuter (se tabell 9). Kriteriet för att deluppgifterna är avklarade (A1b-A1e): Detta kriterium är kommenterar ifrån observationen. Det jag tittade på var om testpersonerna kunde skapa en ny fråga, fylla i det som behövdes för respektive fråga samt spara och avsluta den.

31

Grön = Avklarad

Röd = Inte Avklarad

Gul = Avklarade deluppgiften, fast stötte på enstaka problem under deluppgiften. Tabell 8. Avklarade arbetsuppgifter.

ID A1a A1b A1c A1d A1e

TP1 __________ __________ __________ __________ __________ TP2 __________ __________ __________ __________ __________ TP3 __________ __________ __________ __________ __________ TP4 __________ __________ __________ __________ __________ TP5 __________ __________ __________ __________ __________ TP6 __________ __________ __________ __________ __________

5.1.2U1B HUR UPPLEVES ANVÄNDBARHETEN AV PEDAGOGERNA?

I tabell 9 presenteras poängresultatet från SUS-frågeformuläret från alla testpersonerna och mellanläget från deras individuella poängresultat. Där presenteras även tiden det tog för respektive testperson att utföra arbetsuppgifterna A1a-A1e samt medelvärdstiden att utföra ett digitalt uppgifter på Itslearnings funktion ”Test”.

Tabell 9. Poängresultat från testpersonernas svar på SUS-frågeformulär.

ID SUS- poäng

(0–100)

Tid(min) Hur frekvent använder du ”Test” på itslearings* TP1 80 7.30 1 TP2 72.5 8.30 2 TP3 55 Lägsta 15* Högsta 1 TP4 80 Bästa 9.50 3 TP5 62.5 5.30 Lägsta 5 TP6 77.5 5.30 4 Mellanläget 71.2 8.45 Bästa poäng 100

* Den här kanske inte borde tas med då av tekniska problem Längre tid på grund av tekniska problem under arbetsuppgiften.

*1= Håller starkt inte med - 5 = Håller starkt med. Se Figur 1 för hela svarsformatet.

Ett poängresultat över 68 är över medel (Sauro 2011). I tabell 9 presenteras mellanläge från SUS-frågeformuläret på Itslearning ”Test” är 71.2. Se betygsskalan Figur 2 som presenterar att 71.2 på kriterieskalan är: Accepterat, Accepterandeskalan: Hög och Adjektiv betyg: Okej.

32

Från det perspektivet uppleves ”Test” på Itslearning användbart. Detta behöver nödvändigtvis inte betyda att detta resultat är allas åsikt.

Användbarhet: Kan testpersonen nå målet, alltså skapa ett digitalt test. Målet var att skapa ett

digitalt uppgifter med utvalda frågor som skulle ingå. Detta klarade alla testpersoner att slutföra, samt att det kan betyda att ”Test” på Itslearning underlättar arbetsprocessen.

Lärbarhet: Alla testpersoner hade någon gång använts sig av ”Test” på Itslearning, vissa mer

frekvent än andra. Tittar man på tabell 4 som visar testpersonernas individuella poäng i SUS-frågeformulär, på påstående 7, Jag skulle kunna föreställa mig att de flesta pedagoger skulle snabbt lära sig att skapa ”prov” på DigiExam. Testpersonerna har ett mellanläge på 4,1 och där bästa möjlig poäng är 5. Vilket visar att de anser att det är enkelt att lära sig att använda itslearings ”Test”. I samma tabell på påståendet 9. Jag känner mig väldigt säker när jag använder ”Test” på Itslearning. Där är mellanläget 4 och det bästa möjliga poäng är 5. Tittar man på de individuella poängen har de antingen satt tre eller högre. Vilket ett bra poäng eftersom hälften av testpersonerna använder ”Test” på Itslearning mindre frekvent.

Effekt: Tittar man på tabell 8 är medeltiden på ”Test” 8.46 minuter. Sedan utförande

testpersonerna endast ett prov med fyra frågor, vilket inte alltid är fallet. Det behövs ta till hänsyn i resultatet. Tittar man på medeltiden och testpersonernas tid låg majoriteten runt den tiden. Det som stack ut var TP3 där det diffade med 6.55 minuter. Detta kan bero på tekniska problem och svårigheter.

Fel: När testpersonerna väl stötte på problem under arbetsuppgifterna, återhämtades det

snabbt. I Figur 6 ser man en ”Tips!”-ruta på vänstra sidan, som fanns som stöd med

vägledning. Samt om en testperson hade glömt att fylla i något, dök ett gult felmeddelande upp högst upp (Figur 4) som förklarade vad som behöver åtgärdas för att klara av att gå vidare.

33

Figur 4. Felmeddelande

5.1.3U1C BLIR DET SKILLNAD PÅ VAD EN TESTLEDARE OBSERVERAR UNDER ANVÄNDBARHETSTESTER OCH VAD DELTAGARNA EFTER TEST UPPGER I EN ENKÄT OM PROBLEM VID ANVÄNDNINGEN?