Utveckling av e-läromedel för test-baserat lärande
Isak Friis-Jespersen Jonas Okembia - Jonsson
Systemvetenskap, kandidat 2019
Luleå tekniska universitet
Sammanfattning
Antalet studenter på Universiteten växer ständigt. Detta leder till minskad relation med lärare och för att upprätthålla kvalite behövs andra lösningar. En sådan lösning är e-läromedel som bygger på testbaserat lärande med feedback. Arbetet undersöker vilka de- signprinciper som ska följas när man utvecklar ett E-lärmomedel med testbaserat lärande och feedback. För undersökningen kommer en IT-artefakt att skapas där studenter kan testa sina kunskaper på ett ämne för lärande syfte. De besvarar ett antal frågor, och beroende på deras resultat får de tillbaka personlig feedback. Den kvantitativa undersökningen kommer sedan att analysera studenternas uppfattning av IT-artefakten som hjälpmedel. Resultatet beskriver åtta olika designprinciper för hur man ska designa ett E-läroverktyg där studenter ska kunna testa sina kunskaper. Resultatet tillsammans med tidigare forskning tyder även på en uppfattad känsla av ökad inlärning.
Nyckelord: Test baserat lärande och feedback, E-läromedel, Utveckling, IT-Artefakt och Webbapplikation
Abstract
There is a increasing number of enrolled students in higher education, which leads to less personal time with the teachers, and therefore supplementary technologies needs to ta- ke place. This paper investigate how Testbased learning with feedback affects the learning outcomes in a group of students, by measuring their perceived value. The research also in- vestigates what design principles to follow, when working with E-learning and Testbased learning with feedback. For this this research an IT-artefact will be created which the stu- dent will be able to use as a practice tool. With the IT-artefact they will be able to answer a number of question, in a subject, and get personalized feedback depending on their score.
The quantitative research will then evaluate whether the students perceived thoughts about the IT-artifact and the learning method itself. The result shows eight design principles on how to design an E-learning tool where student should learn through Test based learning with feedback. The result also indicates that the perceived feeling of learning is good even though a big number of respondents never participated in the survey.
Keywords: Testbased learning with feedback, E-learning, Development, IT-Artefact and Web applikation
Innehåll
1 Introduktion 5
1.1 Bakgrund . . . 5
1.2 Problembeskrivning . . . 6
1.3 Syfte . . . 7
1.4 Forskningsfråga . . . 7
1.5 Avgränsning . . . 7
1.6 Begreppslista . . . 7
2 Teori 9 2.1 Lärandemetoder . . . 9
2.1.1 Testbaserat lärande . . . 9
2.1.2 Spaced Repetition . . . 10
2.1.3 Spelifiering . . . 10
2.2 UX, interaktionsdesign och relaterade områden . . . 11
2.3 Kognitiv psykologi . . . 12
2.4 Designprinciper . . . 12
2.5 Designprinciper: E-lärande . . . 13
2.6 Personliga inlärningsvägar . . . 14
3 Metod 16 3.1 Bakgrund . . . 16
3.2 Forskningsmetod . . . 16
3.2.1 Aktivitet 1 . . . 17
3.2.2 Aktivitet 2 . . . 17
3.2.3 Aktivitet 3 . . . 17
3.2.4 Aktivitet 4 . . . 18
3.2.5 Aktivitet 5 . . . 19
3.2.6 Aktivitet 6 . . . 19
3.3 Datainsamling . . . 19
3.4 Litteraturundersökning . . . 21
3.5 Empiri och datainsamling . . . 23
4 Resultat och Analys 24 4.1 Designarbete och utveckling . . . 24
4.1.1 Frågemetod . . . 24
4.1.2 Val av inlärningsmetod . . . 25
4.1.3 Teknisk arkitektur . . . 26
4.1.4 Utvärdering: Teknisk arkitektur . . . 26
4.2 Guidelines för feedback . . . 28
4.3 Interaktionsdesign . . . 29
4.4 Designprinciper . . . 31
4.5 Design av det slutgiltiga IT-artefakten . . . 32
4.6 Enkätredovisning . . . 33
4.6.1 Analysmetod . . . 33
4.6.2 Tester vägt mot kurslitteratur . . . 34
4.6.3 Tester mot föreläsningar . . . 35
4.6.4 Tester inför tentamen . . . 36
4.6.5 Koppling till kursmomenten . . . 37
4.6.6 Kompletterande metod . . . 38
4.6.7 Feedback i form av länkar . . . 39
4.6.8 Förstå kursmaterialet . . . 40
4.6.9 Återkommande användning . . . 41
4.6.10 Effektivitet . . . 42
4.6.11 Rätta svar . . . 43
4.6.12 Feedback: diagram . . . 44
4.6.13 Ansträngning . . . 45
4.6.14 Formulering av frågor . . . 46
4.6.15 Användargränssnitt . . . 47
4.6.16 Formulering av frågor och läsmaterial . . . 48
4.6.17 Systemet som helhet . . . 49
4.6.18 Sammfattning av enkätsvar . . . 50
5 Slutsats och diskussion 51 5.1 IT-Artefaktens effekt . . . 52
6 Förslag på vidare forskning 54
7 Referenser 55
A Bilaga 58
1 Introduktion
Detta avsnitt behandlar bakgrunden till problemet, problembeskrivning, syfte, forskningsfråga samt avgränsning. Arbetet handlar om att ta fram en IT-artefakt som ska användas som ett verktyg för e-lärande för kurs vid Luleå Tekniska Universitet som är baserat på test-baserat lä- rande med feedback.
1.1 Bakgrund
Lärande och utbildning är den process där man skaffar sig kunskap, färdigheter och kompetenser.
Utbildning kan ske i många former, formella och informella. Formell utbildning sker i en struktu- rerad miljö där syftet är att utbilda studenter. Skolsystemen är utformade och styrs kring upp- sättningar av värderingar och ideal. Detta innefattar bl a läroplaner, student-lärarinteraktioner och metoder för bedömning. Vanligtvis utförs formell utbildning i en skolmiljö där man under- visas i fysiska klassrum tillsammans med en lärare.
Digitaliseringen har medfört många nya innovationer inom utbildningsvärlden, en av dessa är E-learning. E-learning är aktiviteter som finns tillgängliga i digitala enheter, såsom datorer, smartphones och läsplattor som finns till som ett stöd vid en lärandeprocess eller utbildningar.
E-learning har även möjligheten att anpassa sig utifrån den enskilda användarens behov (Clark et al 2016). Anledningarna till att organisationer implementerar e-learning är enligt Welsh et al (2003) bl a att leverera konsekvent tillgängliga studiemöjligheter efter studenters behov, snabba leveranser av studiematerial och minskade kostnader i form utav olika typer av resurser som kan krävas vid traditionell utbildning. Fördelarna med dessa nya teknologier är emellertid beroende av i vilken utsträckning de är förenliga med mänskliga kognitiva inlärningsprocesser. Om de som tänker implementera e-learning blir för upphetsade över ny innovativ teknik så tenderar de till att ignorera viktiga kognitiva aspekter, vilket kan leda till att inte tekniken utnyttjas på så sätt att det stödjer lärandet för de tänkta användarna (Clark et al 2016).
I de flesta undervisningssammanhang används olika former av tester som metod för bedömning.
Vid kurser på universitetsnivå sker ofta tester i slutet av kurser, och därför utsätts man inte för något frekventa tester. Testbaserat lärande, där tester i lärandesyfte utförs regelbundet, har positiv effekt där studenter sprider ut sina studier över en längre tid och partitionerar delmo- menten i kurser istället för att koncentrera det till inför tentamen. Enligt Roediger (2007) så har testbaserat lärande en kraftfull positiv effekt för en framtid retention. Om studenter testas på studiematerial kontinuerligt och lyckas återkalla eller känna igen moment så kommer de lyckas komma ihåg materialet i framtiden bättre än om materialet inte testats. Effekten på testbaserat lärande har studerats under en lång tid, men är mindre känd utanför den kognitiva psykologin.
1.2 Problembeskrivning
Antalet studenter på Sveriges högskolor/universitet har enligt Statistiska Centralbyrån sedan 1977 till 2018 ökat med mer än 100%. Antalet som tog examen år 1977 var nära 30000 medans 2018 ligger siffran på nära 78000 examinerade studenter. Examinerade studenter har sedan 1977 stigit med några tusen varje år och utbildning har blivit allt viktigare för att få mer kvalificerade jobb (Statistiska Centralbyrån, 2018).
Antalet studenter som idag tävlar om jobben blir fler och konkurrensen hårdare. Det är därför viktigt att utbildningen håller god kvalite för att förse sina studenter med en bra möjlighet för framtiden. Det ökade kravet på kunskap i samhället leder till större press på högskolor/
universitet både för att hålla en god kvalitet, men också för att antalet studenter blir fler vilket kräver större resurser. Större mängd studenter leder till minskad relation med lärare och ett införande av ersättande tekniker blir mycket mer betydelsefull för att elever ska bibehålla god kunskapsnivå. Det är viktigt för skolorna att eleverna kommer ut med en hög kompetens genom mer effektivt pedagogik för att behålla ett bra rykte. En sådan pedagogik är Testbaserat lärande med Feedback. Det beskriv av Wiklund-Hörnqvist et al. (2014) att Testbaserat lärande med feedback sedan länge bevisats skapa högre inlärningsförmåga gentemot att bara läsa och lyssna.
Även om Testbaserat lärande med feedback har bevisats ha positiva effekter på lärande används fortfarande tekniken i väldigt låg utsträckning. Som Wiklund-Hörnqvist et al. (2014) beskriver kan Testbaserat lärande med feedback göras på många olika sätt, diagnostiska prov, quizar eller- muntliga förhör. Det beskriv från artikeln av Kahoot(2016) att ett college i Sant Leo använder just quizar eller kahoot innan, under eller efter en föreläsning eftersom det har bevisat som bättre pedagogik än att bara lyssna/läsa. Detta tillsammans med den positiva forskningen av Wiklund- Hörnqvist et al. (2014) visar att testbaserat lärande med feedback är en teknik som borde införas i större utsträckning vid alla utbildningstillfällen.
Forskning som Roediger (2006) bedrivit kring testbaserat lärande visar markant skillnad på bättre förståelse för ämnet med 21%. Studenterna delades in i två olika fokusgrupper, de utan testbaserat lärande läste en text i genomsnitt 14 gånger medans de med testbaserat lärande endast läste den tre gånger. Elever som som deltog i gruppen utan testbaserat lärande kom i genomsnitt ihåg 40% av materialet medans den andra gruppen hamnade på 61
Roediger (2006) forskning tillsammans med Wiklund-Hörnqvist et al (2014) beskrivit hur testba- serat lärande ökar både kort- och långtidsminnet. Testbaserat lärande med tillägget av feedback är en del som Wiklund-Hörnqvist et al (2014) lägger till i sin forskning och visar på tydlig förbätt- ring i att skapa grundförståelse för ett ämne. Feedbacken ger en möjlighet att snabbare lära sig grunderna när den generella förståelsen för ett ämne är låg. De beskriver att testen inte behöver vara betygsgrundande utan ska ses som ett verktyg för pedagogik och inlärning.
1.3 Syfte
Syftet med arbetet är att konstruera en IT-artefakt för studenter med ändamålet att undersöka hur studenter uppfattar verktyget som ett E-läromedel samt att konstruera designprinciper för en E-läromedelsmiljö. Detta sker med hjälp av en webbapplikation, där studenter genom testbaserat lärande med feedback ska kunna testa sina kunskaper och få tillbaka feedback på moment som IT-artefakten analyserar att studenten inte förstår.
1.4 Forskningsfråga
För att uppnå syftet har följande två forskningsfrågor tagits fram.
F.1 Hur kan man designa en IT-artefakt för studenter baserat på testbaserat lärande, med än- damålet att öka kunskapsnivån?
F.2 Vad blir effekten av en IT-artefakt baserat på testbaserat lärande hos studenter?
Med avsendet att mäta effekten"kommer forskningen att undersöka hur deltagarnas uppfattade känsla av verktyget ser ut. Mätning av effekt avser altså enkätrespondenternas egna uppfattning om verktyget hjälper dem eller inte.
1.5 Avgränsning
Arbetet utformas efter studentens perspektiv gällande att införa en It-artefakt som bygger på inlärningsmetoden testbaserat lärande med feedback. Arbetet kommer inte utvärderas rent pre- stationsmässigt utan resultatet kommer bli en enkät där deltagarna får uttrycka positiva och negativa åsikter om IT-Artefaktet. Vidare studier kan göras där man undersöker skillnaderna in- nan och efter IT-Artefaktet med testbaserat lärande och feedback har införts där prestationerna kan mätas.
1.6 Begreppslista
Testbaserat lärande: Testbaserat lärande är en inlärningsmetod inom den kognitiva psykologin där den lärande får besvara quizar, diagnoser, muntliga/ skriftliga- förhör för att lära sig. Tanken är att man inte bara ska använda sig av tester i examinerande syfte utan också för inlärning.
Python: Python är ett multidimensionellt programmeringsspråk.
MySQL: MySQL är en relationsdatabas som möjliggör lagring av information och data baserat på en relationsmodell.
Angular: Angular är ett ramverk som är till för att utveckla webbapplikationer, som baseras på programmeringsspråket TypeScript.
Artefakt: Menas i vår mening som ett IT-artefakt i form av ett quizsystem som tar emot svar av användaren och ger tillbaka feedback som en sammanställning av resultatet tillsammans med relevanta förklaring från olika källor.
E-lärande: E-lärande är studien för att underlätta lärandet och effektivisera det genom att skapa, använda och hantera lämpliga processer och tekniska resurser. (Robinson R, et al 2008) SPA: Single page application: ensidig webbapplikation.
API: Specifikation om hur viss programvara kan användas av annan programvara.
REST: Beskriver hur tjänster för maskin-till-maskin-kommunikation kan tillhandahållas.
CRUD: Står för “Create, Read, Update och Delete. Fyra grundläggande operationer för lagring och hantering av data.
2 Teori
I detta avsnitt presenteras forskningens teoridelar
2.1 Lärandemetoder
2.1.1 Testbaserat lärande
Testbaserat lärande, som på engelska också kallas för test-enhanced learning, test-based learning eller testing effects är en metod för lärande som finns inom den kognitiva psykologin. Principen med testbaserat lärande är att man utnyttjar olika typer av tester, dvs quizar eller frågor för att lära sig nya kunskapsområden och öka långtidsminnet av kunskapen. Testbaserat lärande handlar inte om att frekvent göra tentamen på ett kunskapsområde av den anledningen att man vill göra en bedömning av betyg eller liknande, utan mer ett sätt att frekvent testa minnet, bevara och lagra ny kunskap effektivt.
Testbaserat lärande med feedback, där feedback är i form av ge rätt svar har enligt Wiklund- Hörnqvist et al. (2014) med tydliga siffror bevisats ha en positiv effekt när det kommer till inlärning, både för korttidsminnet men och också för långtidsminnet. De bevisar i sin forskning på universitetsstudenter att frågor direkt efter en lektion, efter 18 dagar och efter 5 veckor får betydligt bättre förståelse för ämnets nyckeldelar än de studenter som bara studerade på egen hand. Fokusgruppen fick bland annat göra ett diagnostiskt prov direkt efter föreläsningen och visade då en markant skillnad i förståelse gentemot dem som inte gjorde det. De menar tillsammans med Butler, Karpicke och Roediger (2007) att direkt-feedback efter testet är viktigt när kunskapsnivån av ett ämne är låg för att snabbare få en grundförståelse.
Wiklund-Hörnqvist et al. (2014) beskriver också i deras forskning att man bör ge feedback efter avslutat moment. Personer fick läsa en text och sedan besvara ett antal flervalsfrågor där två stycken olika former av feedback användes. Den ena gick ut på att direkt ge rätt svar på frågorna medans den andra gav det rätta svaret efter att quizet var färdigt. Efter att studenterna gjort sin tenta visade det sig att dem fick bättre resultat på området där det rätta svaret visas efter quizet.
Enligt Wiklund-Hörnqvis et al (2014) beskrivs termen “Working Memory Capacity” (WMC) som en term för att dela in fokusgrupperna i två delar. WMC är en benämning som belyser hur människan lagrar information på olika sätt som snabbt ska hämtas från minnet och behandlas.
Olika människor har olika bra förmåga att hålla många tankar i huvudet samtidigt vilket kan gynna dem på olika sätt Miller, G. A. (1956). Forskningen motbevisar att personer med högre WMC skulle dra mindre nytta av testbaserat lärande med feedback än dem personer som har lägre. De skriver - “The observed nonsignificance for WMC as a predictor provides no support for
the Agarwal et al. (2010) suggestion that testing is especially beneficial for students with lower WMC”. Med andra ord behövs inte några särskilda undantag göras beroende av WMC.
Forskaren Chen (2008) förklarar i sin forskning om intelligenta webbaserade artefakter som ger användaren en personlig rekommendation och hur dessa hjälper studenter i sitt lärande. Det beskrivs att studenter får rekommendationer på olika typer av kursmaterial beroende på hur de presterar. Svarar en student fel på ett visst moment kommer rekommendationen att specialise- ra sig på detta område. Han förklarar också att det är viktigt att inte rekommendera varken för avancerad eller lätt förklaring för att få det optimala resultatet. Forskningen skildrar stu- dentens egna försök att hitta information med informationen som rekommenderas. Det beskrivs att en rekommenderad läroplan på vad en student inte kan baserad på svårighetsgrad och bra kurslitteratur kan förbättra en students effektivitet under en lärande process.
2.1.2 Spaced Repetition
Spaced repetition är en inlärningsteknik som innebär att man med ökande tidsintervaller mellan efterföljande granskning av tidigare lärt material för att utnyttja den, inom psykologin kallad, avståndseffekten. Enligt Cepeda et al (2006) har det gjorts över 200 studier på Spaced Repetition där den jämförs mot mängdlära, där man går igenom material i ett svep, där spaced repetition övergripande dominerade om man tittar på återkallningsfrekvens. Enligt Kang (2016) så finns det en rad nyckelpunkter för spaced repetition.
1. Tidpunkten för granskning och träning är viktig.
2. Övning är effektivare när den är fördelad över tid, istället för att grupperas tillsammans.
3. Förbättrar minne, problemlösning och överföring av lärande till nya sammanhang.
4. Erbjuder stor potential för att förbättra elevernas pedagogiska resultat.
Trots att principen är användbar i många sammanhang tillämpas vanligtvis repetition i samman- hang där en elev måste förvärva ett stort antal objekt och behålla dem obestämt i minnet. Det är därför väl lämpat för problemet med vokabulärförvärv i samband språkinlärning. E-läromedel som tillämpar denna inlärningsmetod har visat sig vara effektiva. Ett exempel är plattformen
“Duolingo”, en plattform där användare kan lära sig språk. Ett exempel på Duolingos effektivitet enligt Vesselinov Grego (2012) så motsvarar 34 timmars användning av Duolingo en hel termins spanskastudier på universitetsnivå.
2.1.3 Spelifiering
Spelifiering bygger på den mänskliga lusten att samla på sig material i form av poäng, avatarer och märken. Detta ger utövaren en indikator på hur bra denne är på ett visst moment, och kan på så sätt tävla mot andra eller sig själv. Inlärningstekniken tar dessa variabler i akt för att göra
lärande roligare och mer effektivt (Sveriges Radio, 2013). I en litteraturrecension av Hamari et al. (2014) visar majoriteten av de granskade studierna att spelifiering ger positiva effekter och fördelar.
I forskning av da Rocha Seixas, Gomes, de Melo Filho, (2014) som undersöker effektiviteten av spelifiering hos studenter visar att studenter blev mer benägna att hjälpa varandra om de fick ett pris. Det beskrivs i resultatet hur studenter frågar läraren om deras pris när de hjälpt klasskamrat att färdigställa en uppgift. Det beskrivs också att entusiasmen kring hela projektet var hög, men att studenterna med bästa genomsnittsbetyg också hade flest priser i slutändan.
Rocha Seixas et al. (2014) pekar också på att resultatet av spelifiering tyder på ökad entusiasm hos studenterna att slutföra uppgifter, men att de direkt ville ha sina märken. Detta tillsammans med resultatet av Amriani, Utomo, Junus (2013), som beskriver att införandet av spelifiering inte gav någon direkt skillnad på studenters prestationsnivå, men att ett borttagande av spelifiering gav en markant negativ effekt på studenternas prestationsnivå, tyder på att studenter uppskattar spelifiering för sitt lärande och att det ökar entusiasmen.
2.2 UX, interaktionsdesign och relaterade områden
För många är interaktionsdesign formgivningen av datorers användargränssnitt. Enligt Arvola (2016) involverar detta område de interaktiva produkter och tjänster som interaktionsdesigner formar, erbjuder ett handlingsutrymme och förutsättningar för folk att samspela med dem, sin omvärld och med andra människor. En annan definition är av Sharp, Rogers och Preece (2011), vilket beskriver interaktionsdesign som interaktiva produkter som stödjer oss i vardag och ar- betsliv. En definition ges också av Norman (2013), vilken lyder: “Fokuset på hur människor interagerar med teknik. Målet är att förstärka människors förståelse om vad som kan göras, vad som händer och vad som kommer hända. Interaktionsdesign får sina principer från psykologi, design, konst och känslor för att bidra till en positiv användarupplevelse”
Norman (2013) nämner också att många moment inom interaktionsdesign är nära besläktat med andra områden. Många elementära områden inom den kognitiva psykologin återfinns som grunder för interaktionsdesign. Dessa är bl a mentala modeller, affordance och gränsnittsmetaforer. När man utövar interaktionsdesign gör man det ofta i iterativa cykler där designen bearbetas och revideras, vilket ofta är förknippat med designstudier av olika slag. (Peffers Et al, 2007) Ett annat intressant område för arbetet är Informationsarkitektur (IA) vilket är praktiken och designen av delade informationsmiljöer, som inkluderar hur webbsidor, intranät och mjukvara ska struktureras. (Rosenfeld Morville 2008) De menar således att Informationsarkitektur inte är grafisk design, mjukvaruutveckling eller UX. Det IA innebär för är följande:
1. Kombinationen av organisering, märkning och navigation inom ett informationssystem.
2. Den strukturella designen av ett informationsområde med målet att utföra en uppgift och
att kunna ta del av innehåll.
3. Konsten och vetenskapen bakom att klassificera innehåll till t ex webbplatser.
4. Fokus på att bidra med designprinciper och arkitektur inom digitalisering.
2.3 Kognitiv psykologi
Kognitiv psykologi är enligt Nationalencyklopedin läran om den mentala processen inom upp- märksamhet, språkanvändning, minneskapacitet, problemlösning och kreativitet som tillsammans ska beskriva människans förmåga att genom se, höra och ta till sig information för att kunna hämta den och agera. Uppmärksamheten är viktig för att kunna välja ut information som behöver bearbetas ytterligare. Denna bearbetning kan vara väldigt ytlig som monoton upprepning eller djup igenom mer organiserade övningar såsom att skriva ner och reflektera. Bearbetning delas in i två olika kategorier målinriktad och icke målinriktad. Tankeprocesser som till exempel att fun- dera, resonera, lösa problem, fatta beslut och analysera tilldelas den målinriktade bearbetningen medans fantisera och dagdrömma är icke målmedvetna bearbetningsprocesser.
Nationalencyklopedin beskriver att utnyttjandet handlar om att plocka fram den bearbetade informationen från minnet vilket kan vara medvetet eller omedvetet. Det medvetna utnyttjandet är processer där vi aktivt måste tänka för att komma ihåg något. Människan letar i hjärnan efter den bearbetade informationen och hittar olika ledtrådar som tillsammans leder till resultatet.
Detta kan till exempel vara att komma på en persons namn en tid efter man befunnit sig på en fest.
I kontrast till det medvetna utnyttjandet finns det bearbetad information som kommer till en direkt och ligger då i spannet för omedvetet. Här ligger vardagsaktiviteter som inte kräver någon ansträngning för att komma ihåg. Har man en gång har lärt sig att cykla behöver man ett år senare inte lära sig det på nytt (ne.se).
2.4 Designprinciper
Designprinciper kan ses som riktlinjer, tumregel eller strategier vid designarbeten. Enligt Kimball (2013) så innehar designprinciper en rad olika egenskaper, de ska vara generaliserbara, heuristisk, grundade, meningsfulla och betingade. Designprinciper ska kunna appliceras på många olika situationer, för att på så sätt hjälpa till att styra designarbetets beslut och vägval. De hjälper också designers med att kommunicera sina idéer och val till människor och användare på ett bra och retoriskt effektivt sätt. Kimball (2013) menar att designprinciper fungerar väl tillsammans med olika typer av designforskning och iterativ design. Han menar också att designprinciper erbjuder ett effektivt sätt för designers att sätta igång sitt designarbete. Principerna hjälper
designers att göra iterativa ändringar under arbetets gång, för att leda dem i rätt riktning mot ett mål. På så sätt går designforskning och designprinciper hand i hand.
2.5 Designprinciper: E-lärande
Herrington (2006) lägger fram 8 stycken desingprinciper för E-lärande.
1. Ett autentiskt sammanhang som speglar hur kunskapen kommer att användas i verkliga sammanhang:
Vid utformning av e-lärande räcker det inte bara att ge lämpliga exempel från situationer i verkligheten för att illustrera begrepp eller frågor som lärs ut. Kontexten måste vara omfattande, för att ge ett syfte för lärande och ge en fördjupad och komplex lärmiljö.
2. Autentiska aktiviteter: Lärmiljön behöver tillhandahålla aktiviteter som återspeglar kom- plexitet, som används under en längre tid, snarare än en serie kortare bortkopplade exempel.
3. Tillgång till expertis: Lärandemiljön måste ge tillgång till experttänkande och modellering av lärandet, samt tillgång till elever av olika nivåer av expertis. Internet ger en möjlighet till att integrera sådana möjligheter i lärandet.
4. Olika roller och perspektiv: För att studenter ska kunna undersöka lärmiljön ur mer än ett perspektiv är det viktigt att uppmuntra dem att utforska olika perspektiv i ämnet och korsa inlärningsmiljön upprepade gånger.
5. Samarbete: Möjligheten för användarna att samarbeta är ett viktigt designelement, särskilt för distansstudenter. Följaktligen måste uppgifter adresseras till en grupp snarare än en individ, och lämpliga kommunikationsmedel måste upprättas. Samarbete kan uppmuntras genom olika former kommunikationsteknik.
6. Reflektion: För att ge studenterna möjlighet till reflektion över lärandet måste samman- hanget , kopplat till punkt 1 och 2, vara autentisk.
7. Coachning: E-lärandet behöver erbjudar delar där coachning kan erbjudas som ett kom- plement till det ordinarie innehållet. Hör ihop med punkt 3 och 5.
8. Bedömning: Det krävs att bedömning integreras sömlöst med e-lärandet och tillhandahåller med lämpliga kriterier
Enligt Clark Mayer (2016) finns det en rad designprinciper som är extra effektiva. Genomar- betade exempel är enligt dem, en viktig byggsten för bygga upp kognitiva färdigheter. Genom att bidra med förklaringar och feedback där man steg för steg löser komplexa problem eller upp- gifter bidrar man med experttänkande som Herrtington J (2006) menar är en av de viktigaste designprinciperna för E-lärande. Detta går hand i hand med en annan designprincip från Clark R Mayer R.C (2016) där de menar att förklarande och tydlig feedback är mycket viktigt. Det man
ska tänka på är att ge tydlig feedback i form av att ge rätt svar, men också att man fokuserar på att förklara varför man har fel på en uppgift. Man kan i feedbacken applicera genomarbetade exempel, för att förklara processen och stegen till att uppnå rätt svar. Man ska försöka undvika feedback som “Bra jobbat” som drar bort fokuset från lärandet, samt normativ feedback som t ex betyg för att användare inte ska jämföra sig med andra då det kan ses som ett stressmoment.
2.6 Personliga inlärningsvägar
Personliga inlärningsvägar är ett enligt Pappas (2015) användarcentrerad e-inlärnings tillväga- gångssätt som sätter anpassade mål och objekt. Varje e-inlärngsanvändare kan välja sina egna aktiviteter och övningar när de deltar i en lärandeprocess. Aktiviteter som en användare går med i ger dem en bättre förståelse för ämnen och med resultatet kan användaren få en anpassad inlärningsstil. Personliga inärningsvägar ska ge användaren mer kontroll över sin egen e-inlärning så att de mer effektivt kan skaffa sig kunskap. Med personliga inlärningsvägar ska nya moment som presenteras anpassas efter vad användaren gillar, till exempel så ska användare som gillar att få moment förklarade bli länkad till en video, medans någon annan vill läsa ska bli länkad till en förklarande text.
Pappas (2015) delar in personliga inlärningsvägar i sju stycken spalter för att förklara hur man kan bygga ett en bra IT-artefakt baserat på detta.
1. Tänk på kursplanen
När man skapar personliga inlärningsvägar är det viktigt att kunna skapa en plan som går igenom viktiga moment i kursen och på ett snyggt sätt baka in användarens personliga inlärningstekniker. Med de uppsatta målen ska användare lämna med bra kunskaper inom ämnet.
2. Befogenheter för användaren
För att personliga inlärningsvägar ska lyckas måste användare känna att denne är i kon- troll över kursen. För att uppnå detta beskrivs det att man kan ge användaren kontroll över ordningen av moment som ska göras, hur informationen ska presenteras och vilka e- inlärngsprov de själva vill göra. Nyckeln är att ge dem känslan av kontroll istället för att säga hur, vad och när dem ska lära sig.
3. Redogör vikten av självtester
Till de obligatoriska momenten ska användaren känna att denne kan testa sina kunskaper själv, det är därför viktigt att ge ut diagnostiska prov. Här kan användaren testa sig själv och hitta starka- och svaga sidor inom ett ämne. Användaren ska med sitt svar kunna hitta de rätta svaren och själv kunna analysera vad som gick bra eller dåligt.
4. Skapa delmål
Användaren måste ha delmål som hela tiden kan checkas av och som ger en känsla av
kontroll i hur man ligger till. Ett tips som ges är att dela upp dessa delmål i obligatoriska och självtester så att användaren vet vad som behöver göras.
5. Tipsa om många olika inlärningsstilar
Det är viktigt att integrera många olika inlärningsstilar i applikationen så att användaren kan bestämma vilken som passar bäst. Vissa användare gillar att läsa medans andra gillar bilder eller förklarande videos. Det ska finnas något för alla inlärningsstilar, detta ger användaren den optimala inlärningsvägen efter sina krav.
6. Ge direkt feedback
Alla användare måste kunna få feedback på sina prov för att inte komma ihåg fel infor- mation. Det beskrivs att nyckeln är att ge dom konstruktivkretik medans de samtidigt ska lära sig av sina misstag. På samma sätt som att dem får feedback ska applikationen också kunna ta emot deras, så att alla användare får den inlärningsväg som behövs.
7. Ta hand om datan
E-inlärningsverktyg ger ovärderlig data om sina användare som ska användas för att för- bättra applikationen. Genom att granska en användare ska vi kunna se vad denne gillar för aktiviteter, hur dom utvecklas, hur dem vill ha information, och vilka övningar som är populära. Detta ger oss en chans att förbättra verktyget efter användaren.
Personliga inlärningsvägar är enligt Pappas (2015) dessa sju steg att förhålla sig efter när man bygger ett IT-artefakt för lärande. Det beskrivs att ta vara på användarens egna inlärningsstilar, ge feedback på ett korrekt sätt, redogöra för självtester som tillsammans ska skapa mer entusiasm för lärande igenom att deltagaren får styra mer över sitt egna lärande. Det ska tydligt framgå hur studenten ligger till i ett vist ämne och vilka hjälpmedel som finns att använda för att bli bättre.
3 Metod
Detta avsnitt innehåller bakgrund och forskningsmetod
3.1 Bakgrund
Arbetet växte fram utifrån kravet att det skulle innehålla någon form av systemutveckling. De del- områden som var extra intressanta till en början var Machine Learning, AI samt API-integrering.
Utifrån dessa områden togs det fram förslag som skulle presenteras. De första förslagen var en typ av AI som skulle kunna identifiera kunskapsluckor hos studenter för ett givet ämne, och den andra en applikation som skulle kunna generera i inhandlingslistor för matvaror baserat på fördefinierad smak och andra parametrar. Dessa förslag presenterades för företaget Knowit Norrland AB, som blev tillfrågade som stöd i vårt arbete. Det förslag som valdes blev AI-applikationen, men där fick vi frågan om att kanske göra en annan avgränsning. Först var det tänkt att AI-applikationen skulle testas i en grundskolemiljö, samt behöva en mängd data för att kunna fungera. Detta skulle medföra en rad olika etiska aspekter man måste ta hänsyn till samt att processerna för att få tillgång till data samt att testa applikationen i den tänkta miljö skulle kunna medföra att arbetet riskerar att inte bli klart till utsatt tid, i och med komplexiteten. Därför togs beslutet att omformulera idén och avgränsningen för att undvika detta. Genom dialog med Knowit och hand- ledare fick vi en rad nya insikter som bidrog till en ny avgränsning. Istället för att basera arbetet på Machine Learning och AI valdes testbaserat lärande efter diskussioner och litteratursökningar inom ämnet. Arbetet omformulerades att istället utveckla en IT-artefakt där studenter ska kunna utföra testbaserat lärande och få väl konstruerad feedback som ska stödja dem i deras lärande.
Detta med hjälp utav en webbapplikation där studenter i form utav tester lär sig ett ämne med hjälp av olika typer av frågor. Studenterna ska också kunna få feedback via webbapplikationer för att kunna förbättra sin förståelse för ämnet. Webbapplikationen utvecklas med hjälp utav Angu- lar, som är en plattform för att utveckla webbapplikationer. En MySQL-databas kommer också användas för spara nödvändig data för t ex själva utbildningsmaterialet. Programmeringsspråket Python kommer användas för att hantera och analysera data från applikationen och databasen.
3.2 Forskningsmetod
Arbetet kommer att följa DSRM som är en vidareutveckling av Design Science (DS) med ett fokus på informationssystem. Motiveringen för vald forskningsmetod är att den passar bra till ut- veckling och design av informationssystem samt interaktionsdesign. DSRM ingriper bland annat design av artefakt, test samt utvärdering av prototypen och analys av artefaktets funktioner. Till forskningens syfte valdes DSRM för att kunna utveckla ett artefakt som bygger på testbaserat lärande med feedback.
När man följer DSRM går forskningen igenom sex stycken olika aktiviteter som avser att dela in utvecklingen i vessäntliga steg för att lyckas. Dessa aktiviteter ittereras sedan igenom för att nå bästa resultat, där man för varje avklarad aktivitet gör en utvärdering och ittererar tillbaka ifall något saknas.
3.2.1 Aktivitet 1
Den initiala aktiviteten i DSRM är att identifiera ett problem och motivation. Här ska man definiera det specifika problemet och motivera värdet i forskningen som ska lösa det. Enligt Peffers et al (2007) uppnår man två saker när man motiverar värdet i det tänkta problemet. Det skapas motivation hos forskaren och publiken samt att det hjälper till att förstå sambandet mellan problemet och forskningen. Identifieringen av problemet beskrivs genomgående i rapportens intro, bakgrund och problembeskrivning. Testbaserat lärande har visat sig vara en effektiv metod vid inlärning av nya kunskaper och begrepp, som är mindre känt utanför den kognitiva psykologin.
Ofta används olika typer av tester för att bedömning, och sällan i lärandesyfte. I och med ökningen av studenter vid högskolor och universitet kommer det att krävas nya resurser för att kunna mäta behovet av att utbilda studenter, en sådan resurs är bl a E-lärande. Med hjälp utav en webbapplikation där E-lärande kan utföras, som baseras på testbaserat lärande och feedback är en lösning för att effektivisera lärandet för studenter.
3.2.2 Aktivitet 2
Identifiera målet från det definierade problemet med kunskapen om vad som går att genomföra.
Målet kan vara kvalitativ vilket ska ge en beskrivning av hur den tänkta produkten ska lösa pro- blemet eller kvantitativt där den utvecklade produkten kommer att vara bättre än de nuvarande.
Målen ska vara ändamålsenliga mot problembeskrivningen vilket kräver resurser om tillståndet av problemet och aktuella lösningar (Peffers Et al, 2007).
Forskningsfrågan handlar om att mäta den uppfattade känslan hos deltagarna, där man kan se hur en IT-artefakt av denna typ fungerar. På så sätt är resultatet kvalitativt där vi kommer fastställa om målet uppnås genom granska resultatet av enkätfrågorna. Det kvalitativa resultatet skapades även utifrån att kunna analysera funktionalitet, detta gjorde att vi kunde ställa funktioner emot varandra och se vart värdet skapas hos användaren. Med detta kan vi analysera vilka funktioner som de anser fungerar och vilka som behöver vidareutvecklas. Detta gav forskningen guidelines för framtiden och till andra forskare som ska skapa en produkt i samma miljö.
3.2.3 Aktivitet 3
Den tredje aktiviteten handlar om konstruktionen av artefakten, dvs designen och utvecklingen av den. Aktiviteten innebär att man bestämmer artefaktens funktionalitet och arkitektur, för att
sedermera skapa en färdig artefakt. Resurser som krävs för att ta sig vidare i denna aktivitet är insikter och teorier som blir till en lösning (Peffers Et al, 2007).
Här skapas en konceptuell modell över den tänkta funktionaliteten som ska hjälpa användaren i sitt lärande. Den konceptuella modellen skapar en överblick för skapandet av artefaktet som ger en möjlighet att ändra och diskutera olika lösningar för att skapa den bästa produkten som uppfyller det beskrivna målet.
IT-artefakten som är en webbapplikation ska utvecklas med hjälp utav Angular, Python och en tillhörande databas av typen MySQL. Valet att konstruera en webbapplikation baseras på att artefakten i viss mån blir plattformsoberoende, det som krävs är att enheten som ska ha åtkomst har möjlighet till att använda en webbläsare samt har internetuppkoppling.
3.2.4 Aktivitet 4
Denna aktivitet involverar demonstration av artefakten i en miljö där den löser det identifierade problemet. Det kan innebära att man utför fallstudier, simuleringar eller annan lämplig aktivitet.
För att utföra aktiviteten krävs att man har kunskap om hur man använder artefakten för att effektivt lösa problemet (Peffers,Et al, 2007).
Artefaktet kommer att testas emot en fokusgrupp som ger oss feedback, dem kommer besvara en enkät där de kan uttrycka synpunkter av funktionalitet, design, frågeformuleringar och ifall den tänkta artefaktet löser problemet. Fokusgruppen är skapad efter problembeskrivningen, om det ökade kravet på kunskap i Universitetsvärlden, vilket ger oss en fokusgrupp som studerar en kurs vid ett Universitet. Fokusgruppen är i en miljö som beskriver problemet och kan generera relevant data att bygga ett resultat kring.
Testerna som utfördes på gruppen innehöll två moment, de fick använda IT-artefaket där de kunde besvara kunskapsfrågor om ämnet. Efter detta fick deltagarna besvara en enkät där de kunde uttrycka sina synpunkter om IT-artefakten. Enkäten är uppbyggd efter riktlinjerna av Chen (2008) som delar in enkätfrågorna i olika huvuddelar som ska representera den totala uppfattningen man kan skapa sig om en produkt. Detta ger oss en struktur med frågor som är uppbyggda efter hur väl den uppfattade känslan överensstämmer med svarsalternativ från 0 till 10, där 0 är mycket dåligt och 10 mycket bra.
Resultatet som kan mätas av undersökningen är huruvida den uppfattade känslan av att använda IT-artefaktet ser ut. Met detta kan man besvara forskningsfrågan och analysera om målet med forskningen är uppnådd eller inte. Det ger oss också ett resultat i vilka moment som fungerar mindre bra, vilka kommer läggas in i materialet för vidareutveckling, och som guidlines för andra forskare att tänka på.
3.2.5 Aktivitet 5
Observera och mät hur väl artefaktet stödjer en lösning av problemet. Aktiviteten kräver att man mäter resultatet mot olika analysmetoder och tekniker. Mätningar kan ta många olika former där man bland annat kan mäta huruvida funktionaliteten ger en lösning för målen, kvantitativa prestanda mätningar som budget eller producerade produkter, resultatet av en enkätundersök- ning, klient feedback eller simuleringar. Efter dessa mätningar kan utvecklaren välja att iterera tillbaka till aktivitet tre för att förbättra effektiviteten av artefaktet eller fortsätta och lämna det som förbättringsmöjligheter för framtida projekt (Peffers,Et al, 2007).
Enkätundersökningen i aktivitet fyra ger oss data att peka emot för att bygga ett resultat där vi kan mäta om målet är uppnått. Här ges möjlighet att iterera tillbaka om resultatet anses vara för svagt eller lämna det som förbättringsmöjligheter för framtida projekt.
3.2.6 Aktivitet 6
Denna aktivitet berör kommunikation, i det här fallet, att belysa arbetets betydelse och omfång samt artefaktens nytta, bidrag och design (Peffers,Et al, 2007).
3.3 Datainsamling
Datainsamlingen kommer att ske genom kvantitativ studie som med hjälp av en strukturerad enkätundersökning ska hitta användarens åsikter om IT-artefaktet. Enkäten kommer att skickas ut till användarna via webben där de kan svara på ett antal frågor, detta ger arbetet en inblick i hur användaren upplever webbapplikationen. Strukturen kommer likna huvudområdena som Chen (2008) använder i sin forskning om ett intelligent webbaserat inlärningssystem för att ha en mall att förhålla sig till. I undersökningen vill vi besvara frågan ifall ett IT-Artefakt kan uppfattas som positiv i lärande syfte, på samma sätt som Chen vill undersöka om ett Webbaserat inlärningssystem för matematik kan fungera. Våra huvudsakliga mål är liknande och Chens mall kan fungera som en bas. Dessa huvudområden visas i Fig 1 och kommer ge enkäten en grund.
Figur 1: Huvudområden som ska undersökas i enkäten
Det diskuterades om att utföra ostrukturerade intervjuer med användarna för att få en mer personlig kontakt och förståelse av deras uppfattning. Men eftersom fokusgruppen är runt 56 personer hade detta tagit för lång tid eller hade man fått skära ner på antalet deltagare. Moti- vationen till en enkätundersökning är att resultatet kommer att bygga på mer data vilket leder till mer kvalificerade slutsatter. Intervjuer ger inte denna undersökning lika strukturerad data att hänvisa till, och därför ansågs en enkätundersökning det mest optimala alternativet.
Slutanvändarna av IT-artefaktet kommer vara väldigt bred, då den kan appliceras på vilket ämne som helst. Enkäten kommer att delas ut till en fokusgrupp som studerar programmeringsspråket Java, men eftersom IT-artefaktet ska fungera över alla ämnesinstanser är inte detta av större bekymmer. De positiva och negativa aspekter som nämns hos denna fokusgrupp, ska representera resterande grupper också, eftersom det enda som skiljer dem åt är frågorna som presenteras.
Eftersom syftet med forskningen är att undersöka hur studenter upplever en IT-Artefakt som bygger på Testbaserat lärande med feedback utsågs studenter att representera ett sammanhang där personuppgifter inte är av större vikt. Syftet är att undersöka hur studenter upplever verk- tyget och då behöver vi inte undersöka skillnader i kön, ålder eller vilket program de studerar.
Är man en student representerar detta alla olika kombinationer av personliga variabler.
Det är viktigt för resultatet att få in data gällande hur olika användare upplever formulering av frågor, svårighetsgrad av frågorna, IT-artefaktets generella syfte att öka förståelse, upplevelsen av feedbacken som ges och testbaserat lärande med feedback som inlärningsmetod, för att se om denna webblösning är av relevans. Datat kommer att vara till stor nytta för att förbättra applikationen, samt för att kunna besvara de två forskningsfrågor som ställts.
3.4 Litteraturundersökning
Mycket av litteraturen som studerats finns i gränslandet mellan psykologi, kognitionsvetenskap samt E-lärande. Fokus har också legat på att finna designprinciper för E-lärande som har kopp- ling till områden inom den kognitiva psykologin. För att hitta relevant information till arbetet har en mängd sökord använts, så som: E-learning, test-enhanced learning, personal learning paths och learning. De designprinciper som togs fram återfanns i både forskningsartiklar och läroböcker. För tidigare arbeten som rör utveckling och implementering av e-learning användes sökorden: Intelligent web-based learning, filling knowledge gaps, LMS, e-learning och learning recommendations.
För att vara så källkritiska som möjligt har följande punkter tagits fram baserat på Skolverket, (2019) .
1. Vem är källans författare?
Här gäller det att vi kollar vem författaren är, utser författaren själv sig som expert på området och vad säger andra? Det är viktigt för vår egna forskning att författarna själva är pålitliga så att vår teori håller en hög nivå. Detta uppnår vi genom att noggrant granska alla källor som används och skapa en uppfattning om vem/ vilka som gjort forskningen.
Hur många har citerat forskningen, i vilka tidskrifter nämns dem och vad anser andra.
2. I vilket syfte har källan skapats?
Varför har området egentligen undersökt och vad är syftet med deras undersökning. Stäm- mer källans syfte med det som redovisas i resultatet och med annan forskning? Det kanske är så att personerna bakom arbetet har ett underliggande syfte som strider mot etiska vär- deringar eller vill skapa problematik i grundläggande åsikter. Forskningen som vi refererar till måste ligga i enlighet med området som vi skriver om.
3. Är informationen aktuell?
Hur relevant är källan till annan nyare forskning som gjorts i samma område. Finns det moment eller uppfattningar som har ändrats under tiden? Det är viktigt att hela tiden basera vår forskning på aktuella teorier för att andra inte ska anse att vår teori är efter tiden. Här måste vi alltså vara extra noga med årtalet, ett knep för detta är att vi granskar nyare forskning med den äldre och ser om åsikterna är likvärdiga med varandra. Skulle det vara så att vissa moment fortfarande har samma betydelse kan vi använda äldre forskning också. Äldre forskning kan också ses som ett väldigt bra komplement, då det bevisar att denna teori fortfarande är aktuell och väl beprövad om den ställs tillsammans med ny.
4. Har andra faktagranskat och godkänt publiceringen?
Vem står bakom forskningen, är det en organisation, myndighet eller är det en forsknings- publikation? Har forskare granskat arbetet så att den håller god kvalite? Det finns mycket vi kan kolla efter här, bland annat finns det redaktörer som endast ger ut referensgrans-
kande artiklar under sitt namn, eller att publikationen är respekterad av andra forskare inom samma ämne. Exempel på referensgranskade artiklar är MIS Quarterly, Informations System Journal och Basket Journals.
5. Kan andra kontrollera uppgifterna?
Ger författaren sina kontaktuppgifter? Detta behövs så att vi eller andra kan kontrollera uppgifter med personen, eller är artikeln skriven på ett sätt så att vi kan följa metoden och uppnå samma resultat? För att forskningen ska ses som trovärdig är det viktigt att man kan följa alla stegen på ett sätt så att den går att återskapa. Med detta, kan man kontrollera deras resultat om kontroverser skulle uppstå. Därför är det viktigt för oss, att artiklarna vi refererar till återskapar detta mönster, så vår forskning håller hög nivå.
6. Går det att hitta andra trovärdiga källor?
Vad säger egentligen andra källor, stämmer deras resultat överens? Vi måste här hitta flera källor som pekar mot samma resultat för att kunna bygga en stark teori. Teorin kommer väga mycket tyngre om flera källor beskriver liknande resultat samtidigt som källorna väger tyngre tillsammans då de stöttar varandra.
Då teknik är ett område i ständig rörelse ändras tester och ramverk hela tiden och det som är nytt för 10 år sedan är inte lika nytt idag. Vi har därför försökt att endast använda källor som rör teknik från de senaste åren. I övriga områden såsom “testbaserat lärande” finns inte lika uppdaterad forskning, men det är inte heller lika kritiskt då området inte ändras särskilt mycket.
För de källor som citerats har vi försökt att vara väldigt kritiska till deras slutsattser för att inte söka upp den informationen som vi vill se. Vi anser att det för forskningens kvalite är av yttersta vikt att inte söka upp de källor som endast pekar ut fakta som stödjer ett positivt resultat för vår forskning. Detta har skett via att noggrant gå igenom många olika forskningsarbeten som tillsammans ska beskriva verkligheten och faktat kring ämnet. Sökord så som “mindre tid med lärare per elev”, “testbaserat lärande ökar inlärningsförmågan” eller andra typer av formulering har också försökts att minimeras eftersom resultatet tenderar att bli det vi vill se.
För att kunna gå igenom så många artiklar som möjligt har litteraturundersökning börjat med att läsa sammanfattningen. Detta ger oss en snabb inblick i vad artikelns huvudsyfte är och ifall vi kan använda oss av deras resultat. Hittar vi en röd tråd med vår forskning läser vi igenom Stutsaten för att kunna applicera det i kontext till vår teori. Stämmer detta med annan teori kollar vi på siffrorna som presenteras i resultatet, är forskarna själva nöjda med hur deras undersökning gått igenom kan vi använda detta i vår teori.
Under vissa moment i undersökningen har det varit svårare att hitta källor som tydligt påvisar en användbarhet i vårt arbete. För att lösa denna typ av problem har sidovägar tagits i relaterade områden där antalet träffar är högre. Exempel på detta, är att antalet träffar under testbaserat lärande är avsevärt mindre, än de man får upp om området kognitiv psykologi som testbaserat lärande ligger inom. Skillnaden är hela 60 000 träffar för testbaserat lärande emot 2.4 miljoner
för kognitiv psykologi.
3.5 Empiri och datainsamling
Enkätundersökningen resulterade i svar från 11 respondenter kontra 51 som aktivt testade och slutförde ett test i webbapplikationen, och 56 som finns inskrivna på kursen enligt det kursrum som finns. Från en sådan svarsfrekvens är det svårt att dra generaliserbara slutsatser, eller mäta en helhet. Det finns en mängd andra datainsamlingsmetoder som möjligen skulle kunna leda till fler respondenter, alternativt annan typ data. Om man väljer att göra en enkätundersökning så bör man möjligen ha valt en större population att utföra undersökning mot. I det här arbetet leder avgränsningen till att de potentiella respondenterna som störst kan bli 56. Hade en annan avgränsning gjorts, så hade de potentiella respondenterna varit fler. Ett exempel på detta ha- de varit att utföra undersökningen på miljöer som liknar den arbetet har valt. Undersökningen skulle kunna utföras vid flera lärosäten parallellt, med liknande kurser. Ett ytterligare alternativ hade varit att utföra arbetet med hjälp av en fokusgrupp, där intervjuer hålls i syfte att utvär- dera artefakten utifrån liknande frågekategorier. Fokusgruppen skulle också kunna användas i en inledande undersökning för att utföra användarcentrerad design. Till detta skulle man också kunna introducera en expertrecension på artefakten. Enligt Nielsen (1994) kan man göra detta utifrån en heuristisk utvärdering med 10 punkter.
4 Resultat och Analys
Här beskrivs resultatet av iterationerna i DSRM där vi förklarar vad man ska tänka på i varje steg för att utveckla ett IT-artefakt.
4.1 Designarbete och utveckling
Denna aktivitet startade med att samla in krav och information till arbetet genom diskussioner med problemägaren och analys av kursplanen. Detta resulterade i designen av det tänkta inne- hållet till artefakten, dvs kursinnehåll och frågor. Detta är också en av de designprinciper som Pappas (2015) omnämner som viktig (“ Tänk på läroplanen“). När man skapar ett e-läromedel så är det viktigt att man på ett smidigt och korrekt sätt förenar e-läromedlet med det faktiska kunskapskraven för, i det här fallet, universitetskurs. I och med att detta är en av de viktigaste beståndsdelarna för artefakten så lades mycket tid ner av arbetets initiala tid åt att identifiera kunskapsmål och granska kursplanen, dvs de mål som en examinator har satt för en given kurs.
När kursens innehåll väl var identifierad påbörjades arbetet med att utforma de frågor som är tänkt att finnas med i artefakten. Kursens mål och innehåll bröts ner till mindre beståndsdelar som också fungerar som frågegenrer. Denna aktivitet gav upphov till en designprincip: 1. “Börja med att skapa en taxonomi för innehållet i e-läromedlet, baserat på kursplanen”
Taxonomin i det här arbetet blev en modell över kursens moment och delmoment.
För att frågorna skulle ligga på rätt nivå fördes diskussioner med examinatorn för kursen där exempelfrågor hade skapats. Examinatorn fick ge sina synpunkter gav egna exempel som på frågor som passade situationen. Detta genererade designprincipen att kunna rådfråga om expertis när området sträcker sig utanför utvecklarnas kontroll. Designprincipen finns också med hos Clark Mayer (2016) tips nummer 3 om att ha tillgång till expertis.
När man ska undersöka hur mycket en person kan om ett ämne är det viktigt att frågorna man ställer ligger på rätt nivå. Det gäller att undersöka på den givna situationen för att förstå hur man kan utvinna så mycket information från deltagaren som möjligt. Med detta fick vi lägga mycket tid på att undersöka om frågorna vi skapade var av relevans till designprincip 1 att följa kursplanen, men också att nivån på frågan skapar ett värde. Blir nivån på frågorna för svåra eller enkla kommer inte verktyget kunna utnyttja sin fulla potential. Med detta skapades designprincipen: 2. “Ha tillgång till rätt expertis för att kunna lägga frågorna på den aktuella nivån”.
4.1.1 Frågemetod
För de frågor som ska finns med i IT-artefakten används flervalsfrågor, som också går under förkortningen MCQ (Multi-choice question). Flervalsfrågorna är stängda har 4-5 alternativ per
fråga. I och med att de tänkta användarna av IT-artefakten ska använda den som läromedel och repetitionsmaterial, blir det väldigt ineffektivt och svår att använda sig av för mycket öppna frågor. Det skulle bli tidskrävande att bygga en IT-artefakt som tar hand om öppna svar på ett tidseffektivt sätt. En nackdelarna med flervalsfrågor är att det går att gissa sig till svaret, och att frågekonstruktionen är svår och kan ta lång tid för att få rätt kvalité på frågorna. För att åtgärda detta kan man använda sig av frågeramverk för givet ämne, och i det här arbetets fall, slumpa ordning frågorna och svaren för att motverka gissningar (Brown, 2001).
4.1.2 Val av inlärningsmetod
För att välja inlärningsmetod för den tänkta artefakten krävs det en gedigen analys av det kursinnehåll som artefakten ska innehålla. I det här arbetet utvecklas artefakten mot en kurs i programmering, mer specifikt språket Java. Kursen involverar utveckling, men också att man behärskar begrepp och tillvägagångssätt inom objektorienterad programmering.
Två inlärningsmetoder valdes ut som potentiella metoder för artefakten, testbaserat lärande med feedback och spaced repetition. Testbaserat läranade, är som tidigare beskrivet i teorin, en metod för lärande som finns inom den kognitiva psykologin. Principen med test-baserat lärande är att man utnyttjar olika typer av tester, dvs quizar eller frågor för att lära sig nya kunskapsområden och öka långtidsminnet av kunskapen.
Spaced repetition är en inlärningsteknik som innebär att man med ökande tidsintervaller mellan efterföljande granskning av tidigare lärt material för att utnyttja den, inom psykologin kallad, avståndseffekten.
Utifrån teorin kan man analysera dessa, och jämföra dem mot varandra. Testbaserat lärande kan ta många olika former, huvuddelen är att man utnyttjar tester för att lära sig nya kunskapsom- råden som är fokus. De finns inga konkreta riktlinjer för exakta tester för denna inlärningsmetod.
Spaced repetition är användbart i många sammanhang där en elev måste förvärva ett stort antal objekt och behålla dem i minnet, ett exempel är glosor. Det finns ett flertalet applikationer som tillämpar metoden, t ex Duolingo. Det generella temat för användning är att lära sig nya språk, eller andra utantillkunskaper.
I och med att programmering berör områden såsom problemlösning och lära sig större sam- manhang än rena utantillkunskaper så ansågs det vara en av anledning varför spaced repetition avfärdades som inlärningsmetod. En annan anledning är också att det finns en rad applikationer på marknaden som tillämpar detta med mycket goda resultat (Vesselinov Grego 2012), vilket kan leda till att bidraget av detta arbetet inte blir så stort.
Valet föll på testbaserat lärande, där arbetet kan designa testerna utifrån kursmål, samt examine- ring som kommer att ske i kursen. Detta gav upphov till en designprincip 3: “Välj inlärningsmetod utifrån vilken typ av kunskaper som krävs i kursens moment”
4.1.3 Teknisk arkitektur
Efter att kursens taxonomi är fastställd så går arbetet vidare till att fastställa den bakomliggande tekniska arkitekturen. Under arbetets gång har den tekniska arkitekturen reviderats under ett antal iterationer. En av de viktigaste kraven på IT-artefakten är att den ska vara enhetsoberoen- de, dvs att det ska kunna vara möjligt att få åtkomst till den oberoende vilken enhet man väljer att använda sig utav. Det finns en rad olika alternativ man ställs inför när det kommer till att göra artefakten enhetsoberoende.
1. Responsiv webbplats: Konventionella webbsidor som anpassar sig efter skärmstorlek på enheten
2. Progressiv webbapplikation + SPA (Single Page Application: Laddas som en konventionell webbsida, men har utökad funktionalitet som t ex push-notifikationer, enhetsåtkomst samt den inte rör sig mellan olika distinkta internetadresser utan använder bara en.
3. Mobilapplikation: Körs direkt på enheten (mobilen, läsplatta eller smartklocka), precis som vanlig programvara till PC. Dessa utvecklas vanligtvis mot olika mobila operativsystem som Android (Java) och iOS (Objective-C eller Swift). Det finns också ramverk som gör det möjligt att utveckla mobilapplikationer. Ett sådant Ramverk är React Native. React Native är ett ramverk skapat av Facebook Inc för att utveckla applikationer till iOS, Android och UMW. Ramverket är baserat på Javascript, och det möjliggör återanvändning av kompo- nenter över enhetstyperna. Reactive Native möjliggör också för utvecklare att komma åt den inbyggda plattformskapaciteten hos enheterna.
4.1.4 Utvärdering: Teknisk arkitektur
Den första utvärderingen av den tekniska arkitekturen för artefakten gick ut på att analysera och göra avvägningar mellan de olika alternativ som togs fram. Anledningen varför detta görs är att de olika alternativ har olika för och nackdelar. Arbetet började med att väga Responsiva webbplatser mot SPA och mobilapplikationer.
SPA (Fördelar):
1. SPA uppdaterar inte hela sidan utan bara valda komponenter, vilket medför till att webb- sidan blir snabbare. Detta gäller också som andra statiska resurser som HTML, CSS och övriga script.
2. SPA har möjligheten att spara viss data lokalt hos en enhet. Applikationen har behöver bara skicka en förfrågan till en server för att sedan spara och använda datat. Detta medför att om en användare har en sämre internetuppkoppling så kan data som är sparat lokalt synkroniseras när uppkopplingen blir bättre.
SPA (Nackdelar):
1. SPA fungerar sämre mot SEO optimering. Det är för att SPA fungerar med hjälp utav scriptspråket Javascript och hämtar data på förfrågan från klientsidan. Internetadressen ändras nästan aldrig när sidan ändrar tillstånd, vilket medför att sidan blir svår att opti- mera för sökmotorer.
2. SPA sparar inte användares hopp mellan sidor, vilket betyder att när en användare trycker på tillbakaknappen i sin webbläsare så kommer man inte tillbaka till föregående sida.
Konventionell webbplats (Flersidig applikation):
Fördelar:
1. Det är enkelt att skapa nytt innehåll och skapa nya sidor. Webbplatsen kan innehåll så mycket information som behövs, utan några begränsningar på antal sidor. Med SPA finns det en viss begränsning till vad den kan innehålla, då ifall innehållet blir för stort så kan det leda till att sidans prestanda blir sämre och att den kräver mycket av klientens internminne för att fungera.
Nackdelar:
1. När användare begär nytt innehåll så laddas hela sidor om, vilket ökar laddningstider och prestandan.
Mobilapplikation:
1. En av de största fördelarna med mobilapplikationer är möjligheten till att köra applikatio- ner offline på sin egna enhet.
2. Mobilapplikationer kan ge upphov till en bättre användarupplevelse, då till skillnad mot webbplatser kan leverera pushnotiser och andra påminnelser som kan vara bra för att applikationer ska användas frekvent.
3. Nackdelar: Mobilapplikationen måste uppfylla alla de krav som finns hos olika mobila ope- rativsystem som iOS och Android. Det är dock möjligt att utveckla lösningar som fungerar till samtliga enheter. Med en sådan lösning kan dock vissa komponenter och funktionalitet hos enheterna vara oåtkomliga, av säkerhet och prestandamässigt skäl.
4. Med mobilapplikation måste man tillhandahålla uppdateringar och fixa kompabilitetspro- blem kontinuerligt. En annat problem som också uppstår är processen med att få applika- tionerna godkända på de diverse appmarknadsplatser som finns.
("Choose between traditional web apps and single page apps", 2019)
Efter noga avvägning valdes SPA, med motivering att det passade arbetets omfattning och krav.
I och med att arbetets avgränsning så är SEO oväsentligt, men hade avgränsningen gått längre än kurs vid Luleå Tekniska Universitet så hade SEO varit aktuellt.
Då artefakten kommer att behöva skicka och ta emot data från extern källa, som den behöver göra relativt ofta så var möjligheten att göra detta utan att behöva ladda om hela sidor viktig, vilket SPA möjliggör.
Rena mobilapplikationer avfärdades tidigt som ett alternativ, då själva utvecklingsfasen ansågs kunna ta för lång tid, och att arbetets skala inte är tillräckligt stor vilket kunde medföra att det slutgiltiga arbetet inte skulle bli klart till utsatt tid. Däremot skulle en framtida vidareutveckling av applikationen kunna vara möjlig då det finns en rad fördelar för användarupplevelsen när det kommer till rena mobilapplikationer.
För att skapa SPA så använder man sig utav olika typer av ramverk, som i grunden är baserade på Javascript. Ett sådant ramverk är Angular. Angular valdes som tillvägagångssätt för SPA för detta arbete då det fanns tidigare erfarenheter inom arbetet för vissa designelement som återfinns i Angular. En annan anledning var att det fanns kompetens att tillgå vid det företag arbetet förlades vid om just Angular.
Den tänkta IT-artefakten har också som krav att man som användare ska kunna skriva en rad tester, se resultat och få feedback. Detta är uppgifter där data behöver skickas fram och tillbaka från en databas eller ett API. Detta underlättas då man i angular kan skicka och ta emot data även när själva sidan är färdigladdad, med hjälp av script på klientsidan.
Detta ger också upphov till en designprincip för arbetet: 4. “Välj ett ramverk där data kan skickas dynamiskt via script på klientsidan”
4.2 Guidelines för feedback
För den framtagna logiken kring hur feedbacken skulle presenteras ville vi skapa ett brett gräns- snitt som tillfredsställer alla användare. Detta gjordes på principerna 8 och 9 från Clark Mayer (2016) som säger att man ska ge coaching och bedömning vid utvecklande av ett E-läromedel.
Vi skapade ett gränssnitt som tillåter användaren att se sitt totala resultat, resultat på varje moment, en graf som beskriver i hur stor utsträckning man kan ett område, de rätta svaren på varje fråga, samt länkar till vidareläsning. Allt detta genereras till användaren direkt efter att quizen är slutförd för att följa Pappas (2015) designprincip om att ge direkt feedback samt som Wiklund-Hörnqvist et al (2014) beskriver att det är viktigt att ge användare direkt-feedback när grund förståelsen är låg.
Det är viktigt att tänka på användaren egenskaper när man ger feedback, precis som att använ- daren ska förstå frågorna måste användaren också förstå feedbacken som presenteras. Därför är det viktigt att diagram och grafer som används är enkla för att användaren snabbt kunna ska- pa sig en uppfattning. Vidareläsningen måste även vara av sådan karaktär att den uppfyller de luckor som användaren saknar. Är feedbacken för avancerad eller svår kommer effektiviteten av IT-artefaktet att sänkas. Med detta valde vi att länka vidare till redan accepterade källor på nätet
som på ett enkelt och bra sätt beskriver många områden. Med detta kommer också förklaringar om det länkade området från flera olika källor för att stanna så adaptiva som möjligt.
För feedback togs följande designprincip 5 fram . “Ge feedback som uppfyller nivån av målen, men på ett användarvänligt sätt ”
4.3 Interaktionsdesign
En stor del av arbetet involverade skapandet av ett användargränssnitt för artefakten. Använ- dargränssnittet i det här arbetet kommer ta form som en webbapplikation, och är av typen SPA som finns redogjort för i en tidigare del av arbetet. För Angular finns det existerande ramverk för interaktionsdesign men också designprinciper. Det ramverk som valdes för arbetet är Mate- rial. Material är ett designspråk som Google har utvecklat, från en början för operativsystemet Android. Sedermera utvecklades designspråket även för andra plattformar och operativsystem, bl a Angular som användes under arbetet. För att använda Material på ett effektivt sätt bör man efterleva ett par huvudprinciper.
1. Metafor: Material är inspirerat av den fysiska världen och dess texturer. Norman (2013) nämner också att designmetaforer är viktigt för interaktionsdesign
2. Intention: Utnyttja fetstil, tomrum, bilder, färger och typografi för att fördjupa upplevel- sen för användaren.
3. Förmedla med hjälp av animationer och rörelser: Rörelser som hjälper till med fokus, upprätthåller kontinuitet, som ger subtil feedback och förstärker övergångar är viktigt. Gör så att animationer spelas i ett konstant flöde, i en miljö. Försäkra att respons och feedback är klara, men subtila. Undvik ryckig och oförutsedda rörelser.
(Material Design ,2019)
När det kommer till användarupplevelse för E-läromedel kan för mycket information skapa för- virring. (Spacing methods", 2019) Det är därför viktigt att hålla sin information kort och koncis för att inte förvirra sina användare. De förklarar att grafik, visuella effekter, bilder med mera lätt användas för att skapa en snygg webbsida, men att det i själva verket förvirrar användaren om det används i för stor utsträckning. Det är därför för vår webbapplikation som tester gjordes huruvida flera eller en fråga skulle presenteras. Enligt Materials designspråk skapar för mycket information störningsmoment eftersom användaren inte vet vart fokus ska ligga. Med detta de- signades sidan med hjälp av SPA-teknologin som medför att man kan gömma delar utan att behöva ladda om sidan på nytt. På så vis kunde vi med enkelhet visa en fråga i taget och när användaren var färdig kunde denna trycka sig vidare till nästa utan fördröjning.
Detta gav oss designprincip 6 - “Tomrum på sidan är inget man ska vara rädd för”
Rörelser och animationer återfinns i två delar av webbapplikationen, frågealternativ samt när nytt innehåll hämtas till webbapplikationen. Animationerna för nytt innehåll användes för att ge användaren feedback och status på vad som händer. Animationen bidrar med förståelse för operationer sker och nytt innehåll levereras. Detta görs med hjälp av en laddningsskärm, medan sidan initieras. Detta introducerades baserat på principen att det ger fokus och feedback, att något sker, i det här fallet initiering. Rörelsen bidrar med fokus på det som är viktigt utan att skapa distraktioner. (Material Design, 2019 "Understanding motion", 2019) Frågealternativen under påbörjat test innehåller också animationer. Animationerna ter sig på så sätt att de intro- duceras till skärmen med hjälp av en animation, samt när man väljer ett alternativ. Övergången till skärmen finns till för att uttrycka framsteg för användaren men även rent visuellt introducera nästa fråga eller moment.
Med det togs följande designprincip 7 fram: “Utnyttja rörelser och animationer för att tydliggöra framsteg och feedback för användaren”
Arbetet kom fram till att utnyttja färdiga komponenter och designspråk var ett mycket effektivt sätt för att ta fram artefakten. Designspråket som användes under detta arbetet var som tidi- gare nämnt Material, som är utvecklat av Google. Google använder detta designspråket för sina egna produkter, applikationer och tjänster såsom YouTube, Gmail och Google drive. Många av dessa har miljontals användare dagligen, och att utnyttja ett vanligt förekommande designspråk kan vara till nytta för både utvecklare, designer och användare. Utvecklare och designers har tillgång till mängder med material, dokumentation, designprinciper och riktlinjer för hur de bör gå tillväga. Som användare kommer man känna igen sig, då applikationer tenderar till att likna varandra om de använder sig utav samma designspråk.
Detta gav upphov till följande designprincip 8: “Utnyttja ett existerande designspråk för web- bapplikationer, där riktlinjer och färdiga komponenter finns”
4.4 Designprinciper
Designprinciperna nedan är de som framtagits och andvänts under arbetets gång.
Figur 2: Framtagna designprinciper
