Implementation av svårighetsnivåer

Svårighetsnivåerna implementerades med hjälp av teori och kursplaner med mål att vara väl anpassade till mellanstadieelevers kunskaper, där en enklare nivå och en svårare nivå skapades för att anpassa spelet till olika elever med olika kunskapsnivåer. Användartesterna visade dock att deltagarna ibland hade svårt att avgöra vad skillnaden var på den enkla och den medelsvåra svårighetsnivån, vilket indikerar att dessa två nivåer inte är utformade optimalt. Dessutom tyckte två av deltagarna att spelet i helhet var enkelt, även de svåra nivåerna, vilket kan innebära att den svårare nivån inte heller är optimalt anpassad till mellanstadieelevers förmågor. Något som bör undersökas vidare är hur svårighetsnivåerna kan skilja sig mer från varandra, eftersom några av deltagarna tyckte att de var lika varandra och hade svårt att se svårighetsskillander mellan dem. För att få större skillnad på nivåerna kan det vara bättre att ändra de medelsvåra nivåerna så att de blir något svårare istället för att de enkla nivåerna blir ännu enklare, eftersom några av deltagarna tyckte att spelet är lätt överlag. Det finns då ingen

medelsvåra nivån för lik den svåra, då kan samma problem uppstå där och det kan bli svårt att svårighetsmässigt skilja på dessa nivåer istället.

Eftersom två av deltagarna tyckte att spelet som helhet var för lätt kan det innebära att de svåra svårighetsnivåerna behöver vara ännu mer utmanande, alternativt att ytterligare en svårighetsnivå bör implementeras som är ännu svårare för att spelet ska bli mer adaptivt för de barn som tycker att dessa uppgifter är för enkla. För framtida implementationer bör samtliga svårighetsnivåer även ha en enhetlig design med samma figurer och liknande genom hela spelet för att det ska ha ett uniformt utseende.

Trots att det finns brister i svårighetsnivåernas utforming har användartesterna visat att flera deltagare har kunnat skilja på nivåerna och tycker att spelet har en bra anpassad svårighetsnivå. Svårighetsnivåerna är inte optimala men de har potential att bli bättre genom att utveckla dem mer, samt att eventuellt lägga till fler, svårare svårighetsnivåer för en bättre anpassning.

5.4 Metoddiskussion

På grund av den rådande pandemin av viruset Covid-19 var det svårt att rekrytera deltagare till studien, samt en utmaning i att utföra användartesterna på ett säkert sätt. Ett flertal mellanstadieskolor kontaktades för att få tag i flera deltagare från olika årskurser på ett smidigt sätt, dock var det ingen skola som återkopplade. Forskningsledarens mål var att rekrytera två elever från varje årskurs, men lyckades endast rekrytera en deltagare från årskurs fem. Trots det samlades värdefull data in från fem deltagare genom användartesterna som anses vara i tillräcklig mängd för den här studien.

Användartesterna utfördes på distans på grund av den rådande pandemin vilket kan ha påverkat deltagarnas uppfattning om spelprototypen och därmed resultaten. Eftersom forskningsledaren visade spelet genom att skärmdela har deltagarna inte testat att spela spelet själva, utan de har enbart fått tala om muntligt vilka svar de tror är rätt. Genom det går det inte att kontrollera om deltagarna har förstått instruktionerna korrekt till de olika minispelen. Det går inte att utesluta att deltagarna kan ha missuppfattat vad spelet går ut på eller att de inte förstått alla moment trots att de sagt att de har förstått. Om användartesterna hade kunnat utföras på plats och deltagarna själva hade kunnat klicka i och testa prototypen hade det kunnat ge dem en annan upplevelse, och därmed påverkat resultaten. Det var dessutom en svårare miljö för forskningsledaren att kontrollera. Trots att deltagarna hade webbkamera påslagen kan det finnas störande moment i

bakgrunden som inte fångats på video eller ljud, vilket kan ha påverkat hur deltagarna har svarat, där deltagarna kan ha svarat fel på grund av distraktion. Deltagarnas skärm var inte heller synlig för forskningsledaren, där det kan ha förekommit distraktioner, samt att forskningsledaren inte kunde säkerställa exakt vad deltagarna såg och om de hade tillgång till hela prototypen eller om vissa delar klippts ut på grund av att skärmen varit för liten.

Alla svårighetsnivåerna visades i samma ordning under samtliga delar av användartestet, där den enkla nivån visades först, därefter den medelsvåra och till sist den svåra nivån. Det kan bidra till att barnen kan förstå den systematiska ordningen och gissat på den nivån som de tror är rätt utifrån ordningen snarare än vad de själva tycker är lätt och svårt. Sett till svaren verkar dock inte fallet vara så eftersom de svarat olika, där till exempel några av deltagarna tyckte att den medelsvåra nivån var lika lätt som den enkla nivån och kunde därför inte avgöra vilken nivå de tyckte var den enkla eller den medelsvåra.

Något som kan ha påverkat resultaten är att deltagarna fick se alla svårighetsnivåer efter varandra. Genom det kan de svårighetsnivåer som visas efter den enkla svårighetsnivån uppfattas som lättare än vad de hade varit om deltagaren hade fått se den nivån utan att ha sett en annan nivå av samma minispel tidigare. Det kan också ha en bidragande faktor till att spelet har uppfattats som lätt av några deltagare. Därför bör det här minispelet testas på nytt med en justerad metod för att säkerställa om svårighetsnivåerna upplevs vara olika svåra när deltagarna inte har listat ut svaret baserat på de tidigare visade svårighetsnivåerna, utan att de får väga de olika svarsalternativen som spelet är tänkt att spelas. Dock var användartestets huvudsakliga syfte att utvärdera de olika svårighetsnivåerna och det skulle därför vara svårt att utföra det på något sätt som gör att deltagarna inte får se de olika nivåerna efter varandra. Det kan dock vara vanskligt för deltagarna att avgöra vad de tycker om svårighetsnivån på spelet i helhet och sett till hur spelet ska spelas i verkligheten där bara en av svårighetsnivåerna i varje minispel visas. För att veta hur svårigheten i spelet faktiskt upplevs kan det vara bra att testa spelet ytterligare och på ett annorlunda sätt där testet inte fokuserar på att jämföra svårighetsnivåer mot varandra. Eftersom deltagarna var medvetna om att forskningsledaren som utförde användartestet även varit med och utvecklat spelet kan deltagarna ha sagt att det var till exempel roligt och lärorikt för att vara artiga och att de inte vågade säga om de tyckte att det var tråkigt eller någon annan

hade ställt dem utan att forskningsledaren närvarade. Det hade dock skapat mer jobb som sett till arbetsbelastningen kanske inte vägt upp för att svaren möjligtvis hade blivit annorlunda, samt att om en ny person hade introducerats för barnen för att ställa frågor i slutet hade det kunnat bli förvirrande och rörigt för dem. Utskick av en enkät där deltagarna får svara anonymt efter användartestet hade varit möjlig, dock hade risken varit att alla inte hade svarat på den vilket hade gjort att värdefull data hade kunnat misstas, samt att om de inte hade svarat på frågorna direkt efter kan de ha glömt bort delar av sin spelupplevelse, vilket skulle kunna förändra deras svar. Att låta deltagarna svara på frågorna direkt på Zoom i samband med användartestet ansågs därför vara det mest lämpade alternativet. Svårighetsnivån på spelet i helhet var inte tanken att undersöka från början, men samtliga deltagare nämnde vad de tyckte om spelets svårighet i frågan “Vad tyckte du om spelet?”. Det är en öppen fråga som kan tolkas fritt av deltagarna, där alla deltagarna valde att berätta att de antingen tyckte att spelet var lagom svårt eller att det var enkelt. För att avgöra om svårighetsnivån på spelet är lämplig bör fler användartester göras med fler deltagare där deltagarna inte får se alla olika svårighetsnivåer. Eftersom användartestet var utformat för att undersöka upplevda skillnader i de olika svårighetsnivåerna och inte hela spelets svårighet överlag, bör ett användartest utformas annorlunda för att undersöka detta.

Trots att utformningen av användartesterna kan kritiseras kan den insamlade datan vara användbar och värdefull för den fortsatta utformningen av The Rescue of Dataville. Fynden från denna studie kan bidra till att leda spelets utveckling i rätt riktning till att så småningom bli ett lärandespel väl anpassat för mellanstadieelevers inlärning av data literacy. Om testerna inte hade utförts på distans hade de inte varit genomförbara på ett pandemisäkert sätt, därav var det nödvändigt.

5.5 Design

Spelprototypen som har skapats till den här rapporten utgår ifrån samma design som Bengtssons et al. (2021) prototyp, därav har samma designteorier följts även i nya delar som implementerats. Introduktionstestet, som är en helt ny implementering, är utformad på ett liknande sätt som minispel 2 och 3 som båda bygger på flervalsfrågor precis som introduktionstestet (se figur 27). Genom det uppfylls heuristiken consistency and standards i user heuristics (Nielsen, 1994). Även heuristiken aesthetic and minimalist design uppfylls genom att det inte är någon irrelevant informations som visas och kan dra uppmärksamhet från

frågan. Det går även ihop med Hick’s law, där information och även antal svarsalternativ är anpassat för att inte försvåra användarens beslutsfattande (Hicks, 1952). Fitts law är också högst relevant för utformningen av svarsalternativen i introduktionstestet eftersom de är avgränsade från bakgrunden och från varandra, samt att det är stora knappar som är lätta för användaren att upptäcka och lätta att klicka på (Interaction design foundation, a).

Designen på svårighetsnivåerna som skapats i minispelen har efterliknat samma design i orginalprototypen, även om några detaljer är förändrade, som till exempel pizza- och pastafigurerna i minispel 1. Eftersom olika svårighetsnivåer inte kommer att visas för samma användare är det inte något egentligt problem att designen på dessa figurer är olika, dock bör dessa ändras för att hela spelet ska få en enhetlig design, sett till heuristiken consistency and standards. I minispel 3 har en tidningsfigur lagts till (se figur 19 och figur 20) för att uppfylla heuristiken recognition rather than recall genom att relevant information finns tillgänglig så att användaren inte ska behöva komma ihåg datan från de tidigare minispelen. Användaren riskerar annars att glömma vad datan beskrev och svara fel på grund av det, och inte för att kunskaperna inte är tillräckliga.

Samtliga delar av spelprototypen förhåller sig till heuristiken match between system and the real world, där språket är av naturlig konversation och frågor och information följer varandra i en logisk ordning. Spelguiden Ullis befinner sig även på samma position, i nedre vänstra hörnet, genom alla minispelen samt att tillbakapilen dyker upp i slutet av varje minispel i nedre högra hörnet vilket följer consistency and standards. Alla minispelen presenteras på liknande sätt under hela spelet, genom att spelguiden Ullis förklarar instruktionerna för användaren, samt att en eller flera nya NPC introduceras som användaren ska hjälpa på olika sätt. Enligt interaction design metaphors kan det underlätta för den kognitiva belastningen att introducera alla spelen på ett liknande sätt, vilket också kan bidra till en snabbare inlärningsprocess (Ma et al., 2009).

5.6 Vidare forskning

För att testa svårighetsnivåerna på ett bättre sätt skulle en jämförelse kunna göras mellan studiedeltagarnas skolprestationer inom de ämnen som spelet utgår ifrån och deras resultatet på användartestet, för att se om det finns en korrelation mellan de som gör bra ifrån sig och de som

jämföra introduktionstestet med deltagarnas tidigare prestationer för att analysera adaptiviteten i spelet, eftersom introduktionstestet bygger på att värdera deltagarnas tidigare kunskaper.

På grund av pandemin gick det inte att hålla några tester på plats, vilket gör att det kan vara intressant att utföra i en framtida studie där deltagarna och forskningsledare utför testet på samma fysiska plats. På så vis kan deltagaren själv spela spelet vilket gör det mera likt hur en användare kommer att spela spelet när det är färdigutvecklat. Det går även att göra en multimodal analys på vad deltagarna klickar på och hur de för sig på skärmen för att fånga upp eventuella designproblem.

Ytterligare en framtida studie som skulle kunna genomföras är en betydligt mer storskalig studie där samma elever inte testar samma svårighetsnivåer direkt efter varandra, eftersom de kan göra spelet mycket lättare när de precis har svarat på en fråga som är väldigt lik. Ett alternativ hade kunnat vara att rekrytera ett stort antal deltagare och sedan dela in dem i grupper där en grupp testar de enkla nivåerna, en grupp testar de medelsvåra och en de svåra. Genom det går det att få en sanningsenlig bild av hur svårighetsnivåerna uppfattas och hur väl anpassade de är, dock kräver en sådan studie mycket resurser.

6 Slutsats

Syftet med den här studien var att utforma förslag på svårighetsnivåer i The rescue of Dataville, samt utvärdera hur väl anpassade svårighetsnivåerna är till mellanstadieelever. De implementerade svårighetsnivåerna är till viss del väl anpassade för mellanstadieelever, dock kan de behöva utvecklas och testas ytterligare så att svårighetsnivåerna skiljer sig mer från varandra, där främst den medelsvåra nivån kan behöva försvåras.

Studien har även utforskat hur spelet kan bli adaptivt och även genererat förslag på detta, för att det på sikt ska hålla en hög standard på inlärning så att mellanstadieelever lär sig data literacy. För att The Rescue of Dataville ska bli mer adaptivt bör introduktionstestet försvåras, samt att andra adaptivitetsmetoder bör undersökas. Att komplettera introduktionstestet med en dynamisk metod som anpassar spelet efter spelarens behov ända till spelets slut kan vara intressant att forska vidare på.

Studien är en explorativ pilotstudie som har avsett att ta fram implementeringsförslag samt vara underlag till framtida studier inom The Rescue of Dataville samt för fortsatt utveckling av spelet. De resultat som den här studien har erhållit går inte att säkerställa på grund av studiens få deltagare, och behöver därför utforskas ytterligare i en mer storskalig studie. Viktigt att komma ihåg är att denna studie är en del av en mycket tidigt process i spelutvecklingen av The Rescue of Dataville och de förslag som presenteras behöver utvecklas ytterligare innan det kan bli en färdig produkt. Det är betydelsefullt att fortsätta forskningen inom detta för att det i slutändan ska genereras en färdig produkt som underlättar data literacy-inlärningen för mellanstadieelever.

Referenser

Adler, B. (2007). Dyskalkyli & Matematik. Kristianstad: NU-förlaget. Aldrich, C. (2005). Learning by doing. Pfeffer.

Bengtsson, M., Berntzon, A., Cronquist, M., Jonsson, J., & Rihovsky, M. (2021). Data Literacy - The Rescue of Dataville. In Johansson, B., Gulz, A., Haake, M., Wallergård, M., Alce, G., Nierhorster, D., Nirme, J., Tärnblad, E.-M., & Tärning, B., Intelligent, socially oriented technology V: Projects by teams of master level students in cognitive science and engineering. Lund University Cognitive Studies 180. (Eds.). (2021)

Berger F., & Müller W. (2009) Adaptivity in Game-Based Learning: A New Perspective on Story. Lecture Notes in Computer Science, 5915. doi: 10.1007/978-3-642-10643-9_38

Blackman, S. (2005). Serious games...and less!. ACM SIGGRAPH Computer Graphics, 39(1), 12–16. DOI:https://doi.org/10.1145/1057792.1057802

Bruner, J. S. (1961). The act of discovery. Harvard Educational Review, 31, 21–32. Cambridge Dictionary. (a). Literacy.

https://dictionary.cambridge.org/dictionary/english/literacy. Hämtat den 22 februari 2021.

Cambridge Dictionary. (b). Illiteracy.

https://dictionary.cambridge.org/dictionary/english/illiteracy . Hämtat den 22 februari 2021. Cambridge Dictionary. (c). Computer literacy.

https://dictionary.cambridge.org/dictionary/english/computer-literacy . Hämtat den 22 februari 2021.

Chase, C. C., Malkiewich, L. J., Lee, A., Slater, S., Choi, A., & Xing, C. (2020). Can typical game features have unintended consequences? A study of players’ learning and reactions to challenge and failure in an educational programming game. British Journal of Education Technology, 52(1), 57-74. doi: https://doi-org.e.bibl.liu.se/10.1111/bjet.13021

Chen, M., Wang, B., & Li, T. (2020). Gamified Learning Design for Middle School Students under the Maker Education Concept. ICDEL.112–116 doi:

https://doi.org/10.1145/3402569.3402577

Covington, M. V., & Omelich, C. L. (1981). As failures mount: Affective and cognitive consequences of ability demotion in the classroom. Journal of Educational Psychology, 73(6), 796–808. doi: https://doi.org/10.1037/0022-0663.73.6.796

Davies, J. and I. Brember. (1999). Self-esteem and national tests in years two and six. Educational Psychology 19 (3): 337–45.

Dole, S., & Mcmahan, J. (2005). Using Videotherapy to Help Adolescents Cope With Social and Emotional Problems. Intervention in School and Clinic, 40, 151 - 155.

Elgabry, O. (2019) The Ultimate Guide to Data Cleaning. Towards data science.

https://towardsdatascience.com/the-ultimate-guide-to-data-cleaning-3969843991d4. . Hämtat den 30 mars 2021.

Fitts, P. M. (1954). The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology, 47(6), 381–391. doi:

doi.org/10.1037/h0055392

Florian, L., & Spratt, J. (2013). Enacting inclusion: A framework for interrogating inclusive practice. European Journal of Special Needs Education, 28, 119–135.

Forsyth, C. M., Graesser, A., & Millis, K. (2020). Predicting learning in a multi-component serious game. Technology Knowledge and Learning. 25 (2), 251–277. doi:10.1007/s10758- 019-09421-w

Garfield, J. (1995). How students learn statistics. International Statistical Review, 63(1), 25– 34. https://doi.org/10.2307/1403775.

Gee, J. P. (2015). Learning by Design: Good Video Games as Learning Machines. E– Learning 2(1), 5-16. doi: https://doi.org/10.2304/elea.2005.2.1.5

Halpern, D. F., Millis, K., Graesser, A. C., Butler, H., Forsyth, C., and Cai, Z. (2012). Operation ARA: a computerized learning game that teaches critical thinking and scientific reasoning. Thinking Skills and Creativity. 7 (2), 93–100. doi:10.1016/j.tsc.2012.03.006 Hick, W. E. (1952). On the Rate of Gain of Information. Quarterly journal of Experimental Psychology, 4(1), 11-26. doi: https://doi.org/10.1080/17470215208416600

Hirumi, A. (2010). Playing Games in School: Video Games and Simulations for Primary and Secondary Education. International Society for Technology in Education.

Hunicke, R. (2005). The case for dynamic difficulty adjustment in games. ACE '05:

Proceedings of the 2005 ACM SIGCHI International Conference on Advances in computer entertainment technology, 429–433. doi: 10.1145/1178477.1178573

Hunicke, R., & Chapman, V. (2004). AI for Dynamic Difficulty Adjustment in Games. Proceedings of the Challenges in Game AI Workshop, Nineteenth National Conference on Artificial Intelligence.

Interaction design foundation. (a). What is fitts’ law? https://www.interaction- design.org/literature/topics/fitts-law. Hämtat den 25 mars 2021.

Interaction design foundation. (b). Hick’s law: Making the choice easier for users.

https://www.interaction-design.org/literature/article/hick-s-law-making-the-choice-easier-for- users. Hämtat den 25 mars 2021.

Karolinska Institutets Universitetsbibliotek. Systematisk litteraturöversikt som examensarbete. https://kib.ki.se/soka-vardera/systematiska-oversikter/systematisk-litteraturoversikt-som- examensarbete . Hämtat den 18 februari 2021.

Lomas, D., Forlizzi, J., Patel, N., Shodhan, S., Patel, K., Poonwala, N., Koedinger, K. (2017) Is Difficulty Overrated? Investigating the Effects of Choice, Novelty and Suspense on

Intrinsic Motivation. CHI '17: Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. 1028–1039. doi: https://doi.org/10.1145/3025453.3025638

Lopes, L., & Bidarra, R. (2011). Adaptivity Challenges in Games and Simulations: A Survey. IEEE Transactions on Computational Intelligence and AI in Games, 3(2), 85-99. doi:

10.1109/TCIAIG.2011.2152841.

Ma, J., Wang, X., & Wang, F. (2009) Research of interaction design method based on metaphor. IEEE 10th International Conference on Computer-Aided Industrial Design & Conceptual Design. 142-145. doi: 10.1109/CAIDCD.2009.5375091.

Militello, M., Bass, L., Jackson, K. T., & Wang, Y. (2013). How data are used and misused in schools: perception from teachers and principals. Education science (3), 98-120.

10.3390/educsci3020098.

Nielsen, J. (1994) Nielsen Norman Group. 10 usability heuristics for user interface design. https://www.nngroup.com/articles/ten-usability-heuristics/ . Hämtat den 25 februari 2021. OECD (2019), Future of education and skills 2030: Conceptual learning framework. Oxford Learner's Dictionaries. (a) Literacy.

https://www.oxfordlearnersdictionaries.com/us/definition/english/literacy?q=literacy . Hämtat den 22 februari 2021.

Oxford Learner's Dictionaries. (b). Iliteracy.

https://www.oxfordlearnersdictionaries.com/us/definition/english/illiteracy . Hämtat den 22 februari 2021.

Prado, J. C., & Marzal, M. Á. (2013). Incorporating Data Literacy into Information Literacy Programs: Core Competencies and Contents. Libri, 63(2), 123-134. 10.1515/libri-2013-0010

Rogers, T. T., & Patterson, K. (2007). Object categorization: Reversals and explanations of the basic-level advantage. Journal of Experimental Psychology: General, 136(3), 451–469. doi: https://doi.org/10.1037/0096-3445.136.3.451

Rosala, M. (2019). How to Analyze Qualitative Data from UX Research: Thematic Analysis. https://www.nngroup.com/articles/thematic-analysis/ . Hämtat den 28 april 2021.

Scott, C., Murray, G. C., Mertens, C., Richard Dustin, E. Scott, C., Murray, G. C., Mertens, C., Richard Dustin, E. (1996). Student Self-Esteem and the School System: Perceptions and Implications. The Journal of Educational Research, 89(5), 286-293. doi:

https://doi.org/10.1080/00220671.1996.9941330

Skolverket.se (a). Matematik. https://www.skolverket.se/getFile?file=4206. Hämtad 13 maj