NOTIFIKATIONER OCH KOGNITIV BELASTNING:
Kan arbetsminnets kapacitet utvidgas genom rätt val av notifikation?
NOTIFICATIONS AND COGNITIVE LOAD:
Can the working memory capacity be
expanded by choosing the right notification?
Examensarbete inom huvudområdet
Informationsteknologi – User experience design Grundnivå 30 Högskolepoäng
Vårtermin År 2020 Viktor Fältström
Handledare: Beatrice Alenljung Examinator: Jessica Lindblom
Sammanfattning
För att möjliggöra interaktion med den stora mängd datorenheter som dyker upp i vår vardag krävs nya gränssnitt och ett nytt synsätt på teknologi. Reflexiv interaktion, en specifik del av perifer interaktion, ämnar att skapa interaktioner som sker under en bråkdel av en sekund med ett sekundärt system, vilket skapar bättre förutsättningar för ett effektivt arbete och minskar risken för misstag. Kognitiv belastning är centralt inom perifer interaktion och ännu viktigare i reflexiv interaktion, det saknas dock undersökningar där den kognitiva
belastningen mäts och undersöks för perifera eller reflexiva interaktioner.
Teorin om kognitiv belastning är väl utforskad inom forskningsområdet instruktionsdesign, och delar av den kunskap som skapats inom instruktionsdesign har applicerats inom människa-datorinteraktion. Det finns dock fortfarande aspekter av kognitiv belastning som undersökts i instruktionsdesign men är outforskade inom människa-datorinteraktion.
En studie med 19 deltagare har undersökt den kognitiva belastningen för en central del i reflexiv interaktion: notifikationer. Studiens resultat visar på att skillnaden i kognitiv belastning mellan ljudliga och visuella notifikationer är väldigt liten.
Nyckelord: Reflexiv interaktion, perifer interaktion, kognitiv belastning, modalitetseffekten, notifikationer, kvantitativ metod, mixed effects model, reaktionstider
Abstract
To enable interaction with the ever-increasing amount of computer devices appearing in our everyday lives, new interfaces and a new way of looking at technology is needed. Reflexive interaction, a subcategory of peripheral interaction, has the aim of enabling interactions in a fraction of a second with a secondary task, with the intention of creating conditions where tasks can be performed efficiently while minimizing error. Cognitive load is a concept central in peripheral and reflexive interaction, however research that investigates the impact on cognitive load in peripheral and reflexive interaction is lacking.
The theory of cognitive load has a large body of research behind it in the research area of instructional design, and some of that research has made its way into human-computer interaction. There are however still established principles of cognitive load from instructional design that have not yet been established in human-computer interaction.
A study with 19 participants has examined the cognitive load of a central part of reflexive interaction, notifications. The result of the study shows that the difference in cognitive load between visual and auditive notifications is minimal.
Keywords: Reflexive interaction, peripheral interaction, cognitive load, modality effect, notifications, quantitative study, mixed effects models, reaction times.
Populärvetenskaplig sammanfattning
Människor lär sig saker bättre när de tar in information via både öron och ögon. Detta kallas inom instruktionsdesign för modalitetseffekten och är en väletablerad princip i
forskningsområdet. En teori som förklarar fenomenet menar att människor bearbetar information via två olika kanaler, och när båda används samtidigt kan mer information bearbetas. Fenomenet kallas för modalitetseffekten och kan användas för att sänka en persons kognitiva belastning genom att utöka arbetsminnets kapacitet. Kognitiv belastning är den belastning som sätts på arbetsminnet när information bearbetas, att ha för hög kognitiv belastning leder till att man inte lär sig saker lika enkelt, man blir trött och man gör flera misstag.
Modalitetseffekten har hittills bara medvetet undersökts och använts i forskningsområdet instruktionsdesign, men att sänka kognitiv belastning är en central aspekt i många andra forskningsfält också. Ett sådant forskningsfält är ubicomp, ett område där man försöker integrera datorer i massa olika objekt i människors vardag på ett så smidigt och enkelt sätt som möjligt. En specifik del av ubicomp kallas reflexiv interaktion, syftet där är att låta människor interagera med teknologier utan att ens behöva tänka på det. Att skapa
teknologier som kan användas nästan undermedvetet är dock väldigt svårt, det finns många saker som måste beaktas, däribland hur interaktionen påverkar användarens kognitiva belastning.
Den här studien har undersökt hur notifikationer som kan användas i reflexiv interaktion påverkar en persons kognitiva belastning. Detta gjordes genom ett experiment där
deltagarna fick notifikationer skickade till sig och svarade på dem med en vinkning, nick eller ord samtidigt som de höll på med en annan uppgift som var väldigt krävande.
Studiens resultat visade på en mycket liten skillnad mellan notifikationer i form av ett ljud och i form av ett ljussken. Det gick snabbare att svara på notifikationen i ljudlig form, men den kognitiva belastningen kunde inte sägas vara lägre än för notifikationerna i ljusform. Vad detta kan betyda är inte helt säkert, det kommer krävas mer forskning för att verkligen förstå om det är någon skillnad i kognitiv belastning för olika notifikationstyper. Slutsatsen som kan dras från studien är att skillnaden i kognitiv belastning som orsakas av notifikationer
förmodligen inte är särskilt stor, om det nu finns någon skilnad över huvud taget. Det är därför troligt att valet av visuell eller ljudlig notifikation inte har särskilt stor betydelse för användarens kognitiva belastning, och andra aspekter utöver kognitiv belastning kan därför vara viktigare att ta hänsyn till vid valet av notifikation.
Innehållsförteckning
1 INLEDNING ... 1
2 BAKGRUND ... 2
2.1 PERIFERA DISPLAYER ... 2
2.2 PERIFER INTERAKTION ... 2
2.2.1 Interaktionssätt ... 3
2.3 REFLEXIV INTERAKTION ... 3
2.3.1 Reflexiv interaktion i relation till andra interaktionstyper ... 4
2.3.2 Notifikationer ... 5
2.4 KOGNITIV BELASTNING ... 6
2.4.1 Människans kognitiva informationssystem ... 6
2.4.2 Tre kategorier av kognitiv belastning ... 7
2.4.3 Metoder för mätning av kognitiv belastning ... 8
2.4.4 Modalitetseffekten ... 9
3 PROBLEMPRECISERING ... 10
4 METOD ... 12
4.1 VAL OCH UTFORMNING AV METODER ... 12
4.1.1 Experimentets variabler ... 12
4.1.2 Hypoteser ... 13
4.1.3 Experimentsdesign ... 13
4.1.4 Deltagare ... 15
4.2 MATERIAL ... 15
4.2.1 Den primära uppgiften ... 15
4.2.2 Den sekundära uppgiften ... 16
4.2.3 Likertskala för subjektiv mätning av kognitiv belastning ... 18
4.3 FORSKNINGSETISKA ASPEKTER ... 18
4.4 GENOMFÖRANDE ... 19
4.4.1 Pilottest ... 19
4.4.2 Huvudtester ... 20
4.5 ANALYS AV DATA FRÅN TESTERNA ... 20
4.5.1 Bearbetning av data från den sekundära uppgiften ... 20
4.5.2 Val av statistisk modell för analys av reaktionstider ... 21
4.5.3 Analys av reaktionstider med en mixed effects model ... 22
4.5.4 Analys av subjektiv skala ... 23
5 RESULTAT ... 24
5.1 RESULTAT AV PRESTATIONERNA PÅ DEN SEKUNDÄRA UPPGIFTEN ... 24
5.1.1 Reaktionstidernas startpunkt och effekten på reaktionstider under ökad kognitiv belastning ... 24
5.1.2 Skillnader i effekt av notifikationer i visuell respektive ljudlig form ... 25
5.2 RESULTAT FÖR DEN SUBJEKTIVA SJÄLVSKATTNINGEN ... 26
6 DISKUSSION ... 27
6.1 RESULTATDISKUSSION ... 27
6.2 METODDISKUSSION ... 28
6.3 SAMHÄLLELIGA OCH ETISKA ASPEKTER ... 30
6.4 FRAMTIDA FORSKNING ... 31 REFERENSER ... 33
1
1 Inledning
Med den ständigt ökande mängd datorenheter och gränssnitt i vår vardag blir det näst intill omöjligt ge vår fulla uppmärksamhet till varje enskilt gränssnitt. Weiser och Brown (1997) tog fram visionen om lugn datoranvändning, vars syfte är att integrera teknologi i vardagen på ett sådant sätt som liknar hur vi interagerar med den analoga världen, där en stor del av den information vi tar emot kommer från vår periferi. Visionen är baserad på Weisers (1993) vision om ubik datateknik, att datorenheter i framtiden kommer att finnas överallt och i många olika former. Utifrån lugn datoranvändning kom perifera displayer fram. En perifer displays syfte är att förmedla icke-kritisk information på ett lugnt och icke-distraherande sätt, med syfte att låta användare uppfatta informationen utan att helt släppa sin primära uppgift (Pousman & Stasko 2006).
Perifer interaktion kan ses som en förlängning av perifera displayer. Istället för att
användaren enbart kan uppfatta information som presenteras i periferin, möjliggör perifer interaktion input från användaren (Hausen 2012). En sekundär uppgift ska enkelt kunna skifta mellan användarens periferi och fokus när när användaren interagerar med det, för att sedan när interaktionen är slut gå tillbaka till periferin och vara tillgänglig där. Denna typ av interaktion kan tillåta naturlig och behaglig interaktion som skapar minimal störning av en primär uppgift.
Reflexiv interaktion är en specifik kategori av perifer interaktion som syftar till att skapa interaktioner med en sekundär uppgift som endast tar en bråkdel av en sekund, vilket möjliggör större precision och effektivitet i arbetet (Matthies et al. 2019).
Kognitiv belastning syftar till den belastning som intern och extern information skapar på människans arbetsminne. Att minska den kognitiva belastningen är en central del i både perifer interaktion som forskningsområde och reflexiv interaktion (Matthies et al. 2019). En lägre kognitiv belastning leder till effektivare arbete, färre misstag och en potentiellt bättre användarupplevelse. Förståelse för kognitiv belastning och dess påverkan kan stödja designbeslut som leder till effektivt arbete, färre misstag och en god användarupplevelse.
Med hjälp av metoder från forskningsområdet instruktionsdesign, där kognitiv belastning har sitt ursprung, har en studie där notifikationers påverkan på den kognitiva belastningen utförst med syfte att skapa förutsättningar för att minska den kognitiva belastningen för reflexiva interaktioner.
2
2 Bakgrund
2.1 Perifera displayer
Ubik datoranvändning är vision startad av Weiser (1993). Visionen är en värld där digitala enheter kan dyka upp överallt, i en stor mängd olika former och på många olika platser. En undergenre inom denna vision är perifera displayer. Weiser och Brown (1997) tog fram konceptet lugn datoranvändning. Lugn datoranvändnings syfte är att förmedla information i periferin, på ett icke-distraherande sätt, för att bland annat minska teknologins påflugenhet i vardagen. Lugn datoranvändning är idag ett mindre använt begrepp, ambienta
informationssystem, ambienta displays och perifera displayer har alla använts med i stort sett samma mening (Pousmann & Stasko 2007). I denna text kommer begreppet perifer display användas.
Syftet med perifera displayer är som sagt att minska teknologins påflugenhet. Detta blir viktigare och viktigare då världen hela tiden kommer närmare Weisers vision om ubik datoranvändning. När datorenheter finns överallt i vår vardag blir det självklart att varje datorenhet inte kan få hela användarens uppmärksamhet. Perifera displayer försöker lösa detta genom att låta användaren enkelt uppfatta information i periferin, och om det behövs enkelt byta till att fokusera på en perifer display, för att sedan enkelt låta den gå tillbaka till periferin (Bakker 2016).
2.2 Perifer interaktion
Perifer interaktion skiljer sig från perifera displayer då användaren inte endast uppfattar den information som presenteras från gränssnittet i sin periferi, utan också interagerar med det i periferin (Bakker, van den Hoven & Eggen 2015). Hausen et al. (2014) liknar perifer
interaktion med hur människor interagerar i den fysiska miljön utanför den digitala världen, en person kan prata samtidigt som den går, eller sjunger med i en sång när den förbereder middagen. Brown (2016) beskriver perifer interaktion som en självklarhet i människors vardagliga liv, en normal och frisk människa är i ett konstant tillstånd av perifer interaktion.
De flesta av våra interaktioner med den analoga omvärlden sker i periferin och många av dessa interaktioner kan vi inte ens märka av när vi utför dem. Att hålla i en bok, använda en datormus eller vad som helst som en person kan utföra utan att tänka på det sker i periferin.
Detta kan ske eftersom att handlingarna övats på till den grad att individen inte längre behöver använda sin fulla uppmärksamhet för att utföra handlingen. En person som tar upp en bok för första gången gör inte det i periferin, det krävs då en stor uppmärksamhet eftersom att individen inte har lärt sig hur man gör än.
Hausen et al. (2014) menar att många av dagens digitala enheter kräver användarens fulla uppmärksamhet, vilket leder till att användaren ofta måste flytta hela sin uppmärksamhet från en uppgift till en annan, detta leder i sin tur till störningar i de primära uppgifter användaren utför. Enligt Bakker, Hausen och Selker (2016) är själva syftet med perifer interaktion att på ett smidigt sätt integrera interaktiva system i användares vardagliga liv, genom att skapa gränssnitt som kan interageras med i användarens periferi och därmed skapa interaktioner som inte kräver användarens fulla uppmärksamhet. Bakker et al. (2015)
3
menar att eftersom antalet interaktiva system i individens vardag ökar blir det omöjligt för varje gränssnitt att vara centralt för användarens fokus.
2.2.1 Interaktionssätt
En individs interaktioner med ett system kan ske på flera olika sätt. Bakker et al. (2016) ger ett exempel där två personer interagerar med ett system som tänder en trädgårdslampa när rörelse upptäcks av sensorer.
När paret först installerat systemet försöker de aktivt hitta det område som sätter igång lampan genom att systematiskt röra sig på deras gräsmatta, denna interaktion är avsiktlig och äger rum i individens centrala uppmärksamhet, en fokuserad interaktion.
En annan interaktion individen kan ha med detta system är att när det slocknar på grund av att rörelse inte upptäcks på ett tag, kan individen som är inom systemets avsökningsområde, men som suttit stilla under en längre tid så att lampan släckts, lyfta en arm för att sätta igång lampan igen, utan att avbryta en konversation under handlingen. Denna interaktion sker i uppmärksamhetens periferi hos individen, en perifer interaktion.
Ett tredje scenario är att en okänd person råkar tända lampan genom att gå in på tomten, denna interaktion är inte avsiktlig och skedde utanför individens uppmärksamhetsfält, en implicit interaktion.
Dessa interaktioner är inte enbart beroende av vilket system användaren interagerar med, utan som exemplet med trädgårdslampan visar kan en interaktion med samma system ske på flera olika sätt. Ett system kan dock skapas med syfte att interageras med på ett visst sätt. Bakker et al. (2016) skriver att fler och fler interaktiva system skapas för att agera genom implicit interaktion, såsom ABS-bromsar eller automatiska vindrutetorkare i en bil.
Många interaktiva system skapas också med tanke att de ska vara användas genom fokuserad interaktion, exempelvis textbaserade chatter, mail, bildredigeringsprogram och många smartphone appar. Få interaktiva system skapas dock för att användas genom perifer interaktion, där användarens input inte är särskilt precis men helt under användarens kontroll. Perifer interaktion har som mål att fylla denna kategori för interaktion, genom skapandet av interaktiva system som är flexibla angående användarens uppmärksamhet och stödjer smidig integration av nya system i användarens vardag.
2.3 Reflexiv interaktion
Matthies et al. (2019) definierar reflexiv interaktion som en reflexiv och undermedveten typ av perifer interaktion som tillåter användare interagera med en sekundär uppgift utan att avbryta den primära uppgiften. Reflexiv interaktion skiljer sig från andra perifera interaktioner eftersom att ett avbrott i huvuduppgiften inte sker i reflexiv interaktion. Matthies et al. menar att all tidigare forskning som där perifer interaktion applicerats har gjort detta med antingen interna eller externa avbrott och uppgifterna har utförts med sekventiell multitasking, vilket betyder att uppgifterna inte utförs exakt samtidigt, utan efter varandra. Detta avbrott i den primära uppgiften menar Matthies et al. bidrar med flera negativa konsekvenser såsom en ökning av antalet gjorda fel i en uppgift. Eftersom att avbrott inte sker vid reflexiv interaktion är de uppgifter som utförs samtidigt parallella. Då reflexiv interaktion måste ske parallellt
4
mellan två uppgifter kan uppgifterna inte ha samma komplexitet som vid annan perifer interaktion, där sekventiell multitasking äger rum, eftersom att människans kognitiva resurser vid parallell multitasking till viss grad måste vara delad.
Reflexiv interaktion är fortfarande enbart ett koncept och mycket forskning och utveckling krävs för att konceptet ska kunna appliceras i verkligheten.
2.3.1 Reflexiv interaktion i relation till andra interaktionstyper
Matthies et al. (2019) presenterar i sin rapport hur många olika aspekter varierar och korrelerar mellan de olika interaktionstyperna som beskrivs i kapitel 2.2.1 i denna rapport.
Nedan utvecklar jag de enligt mig mest relevanta aspekter från jämförelsen för denna rapport.
Uppgiftens komplexitet måste vid reflexiv interaction vara låg, eftersom att uppgiften måste kunna utföras utan att den primära uppgiften störs. Av samma anledning måste
användarens uppmärksamhet och kognitiva belastning vara låg i en reflexiv interaktion.
Interaktionstiden för reflexiv interaktion måste också den vara kort, om interaktionen är lång kommer den oundvikligen påverka den primära uppgiften (Matthies et al. 2019).
Enligt Matthies et al. (2019) kan en och samma uppgift utföras med fokuserad interaktion, perifer interaktion eller reflexiv interaktion beroende på hur undermedvetet användaren kan utföra uppgiften, om användaren är nybörjare är det inte ovanligt att interaktionen måste ske med fokuserad interaktion och alla handlingar är fullt medvetna, när användaren blivit lite bättre kan denne utföra uppgiften genom en perifer interaktion, där användaren också är medveten om de handlingar den utför. När uppgiften är helt inlärd kan den ske med reflexiv interaktion, alltså undermedvetet. Detta menar Matthies et al. (2019) är en av svårigheterna med reflexiv interaktion, användaren måste lära sig att utföra uppgiften med minimal kognitiv belastning, vilket kan ta tid.
För att en uppgift ska ske med reflexiv interaktion måste det göras utan avbrott i en annan uppgift, vilket betyder att den kroppsdel som utför huvuduppgiften inte kan användas. Vid fokuserad interaktion är det vanligast att händer, ögon eller öron används vid interaktionen.
Perifer interaktion kan ofta använda sig av dessa vanligare kroppsdelar, men kan med fördel också använda sig av mindre vanliga kroppsdelar som fötter eller näsa. Reflexiv interaktion utnyttjar gärna mindre använda kroppsdelar, då de ofta inte är i användning av
huvuduppgiften (Matthies et al. 2019). En framtidsvision av Harrison (2013) stöder också detta, Harrison menar att hela kroppen har möjligheten att interagera med teknologier och kommer att göra det i framtiden.
Feedback är inte nödvändigtvis ett krav vid reflexiv interaktion, men Matthies et al. (2019) menar att det är fördelaktigt att använda sig av feedback. Detta skiljer sig stort från
fokuserad interaktion, där användaren konstant får feedback från det system den interagerar med. Vid perifer interaktion är mängden feedback som krävs beroende på uppgiftens
komplexitet. Om en uppgift är komplex kan feedback hjälpa användaren öka precisionen i utförandet.
5
Den teknologi som används vid reflexiv interaktion måste vara sofistikerad, den måste kunna uppfatta olika kontext och kunna uppfatta subtila signaler från användaren, exempelvis en blinkning. Fokuserad interaktion däremot har låga tekniska krav, och kan ske med en stor mängd olika gränssnitt och system. Perifer interaktion har högre krav än fokuserad
interaktion på tekniken, sekventiell multitasking måste fungera med den teknik som används, de system som används måste kunna hantera användarens varierande
uppmärksamhetsnivå. Implicit interaktion har väldigt höga tekniska krav, tekniken måste vara väldigt perceptiv och kunna agera på egen hand (Matthies et al. 2019).
Reflexiv interaktion kan enligt Matthies et al. (2019) ses som en perifer interaktion med inslag av implicit interaktion (se figur 1).
Figur 1. Reflexiv interaktion (Matthies et al. 2019, s.2)
2.3.2 Notifikationer
Matthies et al. (2019) beskriver att typen av notifikation är mycket viktig för reflexiv
interaktion. En notifikation i en reflexiv interaktion ska uppfattas av användaren utan att den stör den primära uppgiften. Användarens periferi, hörsel och känsel kan alla ta emot
notifikationer på ett subtilt vis. I vissa situationer kan färgskifte i periferin räcka som notifikation. Notifikationen ska sedan besvaras av användaren genom en enkel gest som inte stör den primära uppgiften. Matthies et al. spekulerar att naturligt kroppsspråk kan agera som lämpliga gester, såsom en huvudnick eller huvudskakning. En sådan naturlig gest kan enligt författarna vara enklare att lära sig än en gest som inte har en betydelse i den analoga världen.
Hau Chua et al. (2016) undersökte visuella notifikationer genom Google Glass samtidigt som testpersonerna körde bil i en simulator i en laboratoriemiljö. Deras resultat visade att en notifikation i form av en cirkel i färg bidrog till en kortare reaktionstid och felfrekvens än både notifikation i form av en appikon och text. Studien visade också på att en notifikation i mitten av synfältet ledde till lägre reaktionstid, men testpersonerna föredrog ändå notifikationer i periferin av synfältet, då dessa notifikationer var mindre distraherande än notifikationer i mitten av synfältet.
Sawhney och Schmandt (2000) undersökte interaktion genom ljud vid olika kontext.
Resultatet visade på att korta ljudliga notifikationer uppfattades under primära uppgifter såsom läsning eller skrivning av text, de kunde också uppfatta notifikationer under samtal med andra människor, men användarna föredrog att stänga av allt ljud. Om systemet
6
kommunicerade till användaren genom tal samtidigt som användaren var i ett samtal med en person tappade användaren ofta koncentrationen.
2.4 Kognitiv belastning
Hausen et al. (2013) beskriver att perifer interaktion handlar om samspelet mellan flera uppgifter, vilket liknar multitasking. Forskningsfältet om multitasking fokuserar dock mycket på hantering av avbrott, medan perifer interaktion försöker minska den kognitiva
belastningen från den sekundära uppgiften, och på så sätt minska hur mycket avbrottet påverkar den primära uppgiften och användarens upplevda kognitiva belastning.
Teorin om kognitiv belastning har sin grund i forskningsområdet instruktionsdesign och har som syfte att förklara hur belastningen som skapas vid bearbetning av information intagen av en person vid utförandet av en uppgift påverkar personens förmåga att bearbeta ny information och skapa kunskap som kan lagras i långtidsminnet. Teorin baseras på att människans arbetsminne är begränsat och enbart kan bearbeta ett visst antal
informationsenheter åt gången (Sweller, Merrienboer & Paas 2019). Om en person utför en uppgift där kraven på arbetsminnet överstiger arbetsminnets kapacitet kan kognitiv
överbelastning ske, vilket kan leda till bland annat misstag i uppgiften och försämrad inlärning (Paas et al. 2003).
Enligt Hollender et al. (2010) skapades grunderna för både teorin om kognitiv belastning och människa-datorinteraktion med hjälp av samma teorier om kognition. Flera
instruktionsdesignsprinciper framtagna genom teorin om kognitiv belastning har också motsvarigheter i människa-datorinteraktion. Nielsens användbarhetsheuristiker #6
“Recognition rather than recall” och #8 “Aesthetic and minimalist design” (Nielsen 1994a), har båda motsvarigheter inom instruktionsdesign i “The split attention effect” (Tarmizi &
Sweller 1988) och “The redundancy effect” (Chandler & Sweller 1991). Hollender et al.
identifierade år 2010 65 artiklar via ACMs databas där kognitiv belastning har använts inom människa-datorinteraktion.
2.4.1 Människans kognitiva informationssystem
Arbetsminnet kan enligt Sweller, van Merrienboer och Paas (1998) likställas med
människans medvetenhet, det som för tillfället finns i arbetsminnet är det enda en människa är medveten om.
Arbetsminnet har en stor begränsning i hur många informationsenheter det kan hålla samtidigt. Miller (1956) upptäckte att en människa endast kan ha mellan fem och nio informationsenheter i arbetsminnet samtidigt. Sweller et al. (1998) menar dock att då arbetsminnet till stor del används för att kategorisera, jämföra eller arbeta med information, kan endast två till tre informationsenheter bearbetas samtidigt, i jämförelse mot när
informationsenheterna endast behöver hållas i arbetsminnet.
Arbetsminnet i sig kan delas upp i tre olika delar, enligt Baddeleys teori (Baddeley 1983) består arbetsminnet av två delar som behandlar olika typer av information, den ena
behandlar information som presenteras visuellt och den andra information som presenteras
7
ljudligt. Dessa två delar styrs sedan av en tredje del som koordinerar den information som tas in av de andra två delarna.
Långtidsminnet är enligt Sweller et al. (1998) utanför människans medvetande, det är arbetsminnet som skapar medvetenhet om långtidsminnets innehåll och funktioner.
Långtidsminne är enligt Sweller et al. till synes oändligt. Den information som lagras i långtidsminnet är inte endast enskilda informationsenheter, utan också komplexa scheman.
Dessa scheman i långtidsminnet kategoriserar information baserat på hur informationen kommer användas. En person som är skicklig inom ett ämne har genom skapandet av flera mindre scheman som kombineras till större scheman skapat sin stora skicklighet inom ett ämne.
Ett schema är inte enbart till för att organisera och förvara kunskap, de sänker också arbetsminnets belastning. Arbetsminnet kan som tidigare skrivet enbart hantera fem till nio informationsenheter samtidigt (Miller 1956), men ett schema kan behandlas av arbetsminnet som en enda informationsenhet, oavsett schemats komplexitet (Sweller et al. 1998).
Bearbetning av information kan ske medvetet genom arbetsminnet, men det kan också ske automatiskt. För att bearbetningen ska bli automatisk krävs det träning, till exempel ett barn som precis börjat lära sig läsa måste medvetet bearbeta bokstäverna, men en vuxen människa har automatiserat detta och behöver inte medvetet bearbeta enskilda bokstäver.
Denna automatisering tillåter människor att utföra välkända uppgifter automatiskt, vilket ger större utrymmet för uppgifter som är okända att bli inlärda med maximal effektivitet.
2.4.2 Tre kategorier av kognitiv belastning
Inneboende kognitiv belastning, omständighetsrelaterad kognitiv belastning och genuin kognitiv belastning är tre olika typer av kognitiv belastning Sweller et al. (1998) beskriver.
Innebeonde kognitiv belastning syftar till komplexiteten hos den information som bearbetas.
Element interaktivitiet har en stor roll för inneboende kognitiv belastning, ett element syftar till allt som en person har lärt sig eller ska lära sig, alltså en informationsenhet i
arbetsminnet, interaktivitet syftar till elementets koppling till andra element. Om element interaktiviteten är låg betyder detta att informationen kan bli inlärd oberoende av andra element, vilket bidrar till en lägre kognitiv belastning. Denna typ av kognitiv belastning kan enbart öka eller minska genom att ändra uppgiften som skapar belastningen eller genom en förändring i kunskap hos personen som upplever belastningen. Den inneboende kognitiva belastningen kan inte ändras genom att ändra på hur en uppgift eller information
presenteras (Sweller 2010).
Omständighetsrelaterad kognitiv belastning påverkas av hur information presenteras för en person. Denna typ av kognitiv belastning är möjligt att påverka genom att presentera information eller en uppgift på ett visst sätt. Enligt Sweller (2010) är teorin om kognitiv belastnings primära syfte att skapa tekniker som kan minska den omständighetsrelaterade kognitiva belastningen.
Genuin kognitiv belastning syftar till de resurser som används för att skapa scheman i långtidsminnet. Sweller et al. (2019) menar att genuin kognitiv belastning inte bidrar till den totala kognitiva belastningen, utan den omfördelar arbetsminnets resurser från
8
omständighetsrelaterade aktiviteter till aktiviteter relaterade till inlärningen av det material som relaterar till den inneboende kognitiva belastningen. När den omständighetsrelaterade kognitiva belastningen är hög bidrar detta till lägre genuin kognitiv belastning och personen kommer att lära sig mindre.
2.4.3 Metoder för mätning av kognitiv belastning
Paas (1992) tog fram en skala där testpersoner själva får svara på hur stor mental
ansträngning något har krävt. Skalan är på nio punkter, där ett är väldigt, väldigt låg mental ansträngning och nio är väldigt, väldigt hög mental ansträngning. Testdeltagare får fylla i denna skala under olika tillfällen under en testperiod, vilket ger ett resultat som visar på om kognitiva ansträngningen har sjunkit eller höjts under ett tests livslängd. Paas testade den data som kom av svaren på skalan mot testdeltagares prestation under testet och fann ett tydligt samband. Enligt Sweller, Ayres och Kalyuga (2011) har denna metod varit den som bäst visat på skillnader i kognitiv belastning mellan tester där olika instruktionsmetoder använts.
Paas och van Merrienboer (1993) skapade ett sätt att mäta effektivitet, genom att kombinera en testpersons mentala ansträngning med hur väl utförd uppgiften var. Enligt Paas och van Merrienboer var det viktigt att mäta den kognitiva kostnaden då två olika upplägg för ett test kan ha samma resultat, att till exempel två testpersoner nått samma nivå av inlärning, men om det ena testet har krävt lägre mental ansträngning än den andra är den med lägre ansträngning mer effektiv. Sweller et al. (2011) skriver att denna metod är ett bra sätt att mäta skapandet av scheman och automatisering av bearbetning. De menar att om ett test visat ett resultat där testpersonen har skapat nya scheman och kan använda dessa med en lägre ansträngning kan metoden som skapat schemat anses robust, även om själva
metoden krävde hög mental ansträngning.
Att mäta kognitiv belastning går också att göra genom användning av en sekundär uppgift.
Detta görs ofta genom att ha en sekundär uppgift som kräver färre resurser från arbetsminnet än den primära uppgiften. Om den primära uppgiften kräver stor kognitiv belastning visas detta genom att testpersonens prestation på den sekundära uppgiften försämras. Om den primära uppgiften kräver låg kognitiv belastning visas detta genom att prestationen på den sekundära uppgiften förbättras (Sweller et al. 2011).
Marcus, Cooper och Sweller (1996) testade med en sekundär uppgift hur den kognitiva belastningen av information presenterad som diagram skiljer sig från samma information i textform. De använde sig av en ton som lät under slumpmässiga tillfällen under testets gång.
När testdeltagaren hörde tonen skulle den trycka med foten på en pedal. Den tid som gick mellan tonen och trycket på pedalen använde Marcus et al. för att mäta hur stor den kognitiva belastningen var för den primära uppgiften. Liknande metod har använts av Brünken, Stenbacher, Plass och Leutner (2002), men istället för en ton var det ett skifte i färg, och istället för att trycka på en pedal tryckte testdeltagaren på en tangent på ett tangentbord.
Användning av en sekundär uppgift har använts mindre för att mäta kognitiv belastning än den subjektiva skalan Paas (1992) tog fram och dess efterföljare. Sweller et al. (2011)
9
menar att detta till stor del kan bero på att subjektiva skalor och mått är mycket enklare att använda och kräver mindre förberedelse och resurser än tester med sekundära uppgifter.
2.4.4 Modalitetseffekten
Sweller et al. (1998) redovisade sju principer att ta hänsyn till vid instruktionsdesign. En av de dessa principer är modalitetseffekten. Mousavi, Low och Sweller (1995) visade på att om studenter måste dela sin uppmärksamhet mellan olika informationskällor kan de kognitiva resurser som krävs för inlärning utökas genom att presentera informationen som både ljudlig och visuell, istället för att presentera informationen som enbart ljudlig eller visuell. Teorin om kognitiv belastning förklarar denna effekt genom Baddeleys modell för arbetsminnet.
Modellen förklarar att visuell information och ljudlig information bearbetas genom två olika system. Ljudlig information bearbetas i den fonologiska loopen och visuell information i det visuo-spatiala skissblocket (Baddeley 1983). Modalitetseffekten kan förklaras genom antagandet att dessa två system använder sig av separata resurser, och när information presenteras både ljudligt och visuellt skapar detta en potential för att utöka arbetsminnets kapacitet, i jämförelse med om information enbart presenteras ljudligt eller visuellt (Brünken, Plass & Leutner 2004).
Penney (1989) förklarar modalitetseffekten genom sin hypotes om separate streams. Teorin menar att verbal information som presenteras ljudligt respektive visuellt bearbetas genom olika kanaler med olika egenskaper och förmågor. Ljudlig information bearbetas i en akustisk kod, där informationen kan hållas i upp till en minut såvida ny information inte presenteras, och i en fonologisk kod. Visuell verbal information bearbetas i den fonologiska koden och i en visuell kod. När verbal information presenteras ljudligt är efterföljande
informationsenheter mycket starkt kopplade till varandra, och när information presenteras visuellt är det information som presenteras samtidigt som har starka kopplingar. Enligt Penney skapas modalitetseffekten genom den akustiska kodens uthållighet i jämförelse med den fonologiska koden, vilket tillåter ljudlig information att i högre utsträckning än visuell information sparas och återkallas i arbetsminnet.
Ginns (2005) metastudie om modalitetseffekten vid instruktionsdesign visade på en
modalitetseffekt hos en stor mängd åldersgrupper och instruktionella material. Enligt Ginns påverkas modalitetseffekten av komplexiteten hos materialet, där högre komplexitet leder till en större modalitetseffekt. Studien visade också på att om en person fick studera material i sin egen takt minskade modalitetseffekten i jämförelse med om informationen presenterades i en takt som personen själv inte fick välja.
Modalitetseffekten har enligt Hollender et al. (2010) inte någon motsvarighet inom människa- dator interaktion. Hollender et al. spekulerar att det kan bero på att principen är alltför
specifik för inlärning.
10
3 Problemprecisering
Reflexiv interaktion möjliggör en framtid där vardagliga interaktioner med datorenheter kan ske på ett naturligt sätt inte helt olikt hur vi interagerar med den analoga världen. Om teknologier ska kunna möjliggöra reflexiv interaktion krävs det förståelse för de olika aspekter som måste behandlas för att utvecklingen av gränssnitt som använder sig av reflexiv interaktion ska lyckas. Kognitiv belastning är centralt för all perifer interaktion, om en sekundär uppgift skapar för hög kognitiv belastning i relation till den primära uppgiften kan detta göra det omöjligt för interaktionen att äga rum, eller skapa situationer där misstag sker eller en negativ användarupplevelse framkommer. Modalitetseffekten har inom
instruktionsdesign använts för att underlätta inlärning genom att utöka arbetsminnets kapacitet och därmed minska risken för kognitiv överbelastning. Teorierna bakom effekten menar att arbetsminnet kan utvidgas när både det visuo-spatiala skissblocket och den fonologiska loopen används, istället för bara en av dem. Flera andra principer från instruktionsdesign har motsvarigheter inom människa-datorinteraktion, men modalitetseffekten är utan motsvarighet (Hollender et al. 2010).
Det jag vill undersöka är om de teorier som ligger bakom modalitetseffekten också kan appliceras vid interaktion med en sekundär uppgift, om arbetsminnet kan utvidgas genom att använda både det visuo-spatiala skissblocket och den fonologiska loopen. Enligt litteratur inom både perifer interaktion och reflexiv interaktion krävs det att den primära uppgiften bidrar med låg kognitiv belastning för att den sekundära uppgiften ska kunna interageras med. Men om en person kan utöka sina kognitiva resurser vid reflexiv interaktion på så sätt som modalitetseffekten visar vid inlärning kan det tillåta högre komplexitet vid
huvuduppgiften, vilket kan möjliggöra fler appliceringsområden för reflexiv interaktion.
För att påbörja undersökningen på om de teorier som ligger bakom modalitetseffekten kan appliceras vid människa-datorinteraktion har följande frågeställning tagits fram:
Hur påverkas den kognitiva belastningen när en användare under interaktion med en visuell primär uppgift på en skrivbordsdator får och svarar på en ljudlig notifikation respektive en
likvärdig visuell notifikation i användarens periferi?
En undersökning av denna frågeställning kan bidra till förståelse om hur valet av notifikation påverkar en persons kognitiva belastning och hur den upplever den kognitiva belastningen.
Svaret kan också möjligtvis leda till vidare forskning för att få en djupare förståelse om arbetsminnet och möjligtvis skapa en motsvarighet till instruktionsdesigns modalitetseffekt inom människa-datorinteraktion. Med en likvärdig notifikation menar jag en notifikation som under en situation då kognitiva belastningen är väldigt låg svaras på med samma effektivitet och samma kognitiva belastning som en annan notifikation.
Jag väljer att avgränsa mig till att inte undersöka resultatet om användaren har flera svarsmöjligheter på notifikationen, eftersom jag främst vill undersöka den kognitiva
belastningen av notifikationen i sig. Jag avgränsar mig också till att utföra undersökningen i en kontrollerad miljö, där risken för stimuli irrelevant för uppgiften som stör deltagarnas prestation är lägre. Jag väljer också att inte undersöka andra typer av notifikationer såsom
11
vibrationer, delvis för att modalitetseffekten enbart behandlar ljudlig och visuell information, men också för att undvika för hög komplexitet i undersökningen.
12
4 Metod
I det här kapitlet presenteras först den metod som användes för att svara på studiens frågeställning, sedan presenteras hur metoden genomfördes och sist hur den data som samlades in under genomförandet analyserades.
4.1 Val och utformning av metoder
I bakgrundsdelen togs två sätt upp för att mäta kognitiv belastning, subjektiv mätning genom självskattning på hur mentalt krävande en uppgift var och genom en sekundär uppgift där reaktionstiden används för att mäta kognitiv belastning. För att svara på frågeställningen i denna rapport användes både en sekundär uppgift och subjektiv mätning.
Eftersom notifikationers påverkan på den kognitiva belastningen är det som undersöks i denna studien var det naturligt att använda notifikationerna som en sekundär uppgift på så vis som tidigare studier använt ljudligt och visuellt stimuli för att mäta kognitiv belastning (Marcus et al. 1996.; Brünken et al. 2002.; Brünken et al. 2004).
Den subjektiva mätningen genom självskattning användes eftersom att den är väldigt enkel och icke-påträngande att använda (Paas 1992). Genom att mäta både den sekundära uppgiften i notifikationer och användning av den subjektiva skalan kunde den kognitiva belastningen mätas med två olika metoder, vilket kan öka studiens validitet och reliabilitet (Borg & Westerlund 2012).
Borg och Westerlund (2012) beskriver kvantitativa metoder som väl lämpade för att
undersöka om det finns en effekt mellan olika betingelser. En kvantitativ metod valdes därför för att undersöka hur olika typer av notifikationer påverkar en persons kognitiva belastning.
4.1.1 Experimentets variabler
Enligt Graziano och Raulin (2014) kan variabler kategoriseras enligt sina egenskaper och hur de används i en studie. Beteendevariabler är en observerbar respons från en organism, en stimulusvariabel är en miljöfaktor som påverkar organismens respons, och
deltagarvariabler som är karaktärsdrag hos deltagaren.
Variabler definieras också av hur de används i en studie. Oberoende variabler är det som manipuleras av forskaren för att se hur variabeln påverkar andra variabler. En beroende variabel är det som hypotiseras påverkas av den oberoende variabeln. Externa variabler är variabler utöver den oberoende variabeln som kan påverka den beroende variabeln i studien (Graziano & Raulin 2014).
I denna studie används en oberoende stimulusvariabel, notifikationen från mobilen i den sekundära uppgiften, och två beroende beteendevariabeler, deltagarens prestation på den sekundära uppgiften, och deltagarens självskattade upplevda kognitiva belastning.
Deltagarvariabler var inte relevanta eftersom att studien var inomindividsdesign (Graziano &
Raulin 2014).
13
För den första beroende variabeln mäts tiden mellan stimulits presentation och deltagarens första tecken på en respons. Den andra beroende variabeln mäts med en likertskala där deltagaren bedömer på en skala 1-9 hur mentalt krävande testet var.
4.1.2 Hypoteser
Fyra hypoteser togs fram för att svara på studiens frågeställning. Alternativhypoteserna är utformade med antagandet att i en situation där den primära uppgiften är visuell, kommer deltagarna prestera bättre på den sekundära uppgiften när den är ljudlig, eftersom att den ljudliga kanalen då kommer vara tom på information enligt Baddeleys modell för
arbetsminnet (Baddeley 1983). Det hypotiseras också att deltagarna kommer att uppleva testet med ljudliga notifikationer som mindre mentalt krävande än de visuella
notifikationerna, eftersom att arbetsminnet inte kommer överbelastas eller komma lika nära arbetsminnets maximala kapacitet när notifikationerna presenteras ljudligt, vilket kommer att kännas mindre ansträngande för deltagarna.
Hypotes 1
- H1: Reaktionstiderna ökar under corsitesternas gång.
Hypotes 2
- H1: Reaktionstiderna för notifikationer med ljussignal är långsammare än de med ljudsignal.
Hypotes 3
- H1: Reaktionstiderna ökar mer när notifikationerna är ljussignaler än när de är ljudsignaler.
Hypotes 4
- H1: Deltagarna upplevde att testerna med visuella notifikationer var mer mentalt krävande än de med ljudliga notifikationer.
4.1.3 Experimentsdesign
För att svara på frågeställningen genom ett experiment valdes en inomindividsdesign. Vid inomindividsdesign mäts samma deltagare under olika betingelser och resultaten för betingelserna jämförs sedan för varje individ.
Valet av inomindividsdesign kom av ett antal olika anledningar. Metoden lämpar sig väldigt bra för undersökningar där till exempel prestation under olika betingelser är det som mäts (Borg & Westerlund 2012). Flera tidigare studier har med framgång använt sig av
inomindividsdesign för att mäta kognitiv belastning med en dual task metod och
reaktionstider som mått (t.ex. Brünken et al. 2004). Inomindividsdesign är väl lämpad för mätning av reaktionstider eftersom att reaktionstider i sig är väldigt individuella (Brünken et al. 2002). När individuella skillnader är stora i en population ökar fördelarna med en
inomindividsdesign jämfört med en mellanindividsdesign (där deltagare upplever olika betingelser och jämförs mot varandra) eftersom metoden tar bort all varians som skapas av individuella och slumpmässiga skillnader mellan individer, vilket möjliggör ett statistiskt starkare resultat. Då deltagarna jämförs mot sig själva är de också jämlika i början av studien (Graziano & Raulin 2014).
14
Vid en inomindividsdesign krävs det vanligtvis färre deltagare för att uppnå statistisk säkerhet. Om en studie ska utföra ett experiment med två betingelser med 20 deltagare i varje betingelse krävs det 40 deltagare totalt. I en inomindividsdesign krävs det endast 20 deltagare för de två betingelserna. Vid en inomindividsdesign kan det till och med vara så att det krävs ännu färre deltagare per betingelse än i en mellanindividsdesign, eftersom att metoden är mer känslig för den oberoende variabelns påverkan på individer (Graziano &
Raulin 2014). I denna studie var denna fördel en viktig aspekt i varför en inomindividsdesign valdes. När studien utfördes hade Högskolan i Skövde bytt från undervisning på plats i skolan till distans på grund av coronaviruset Covid-19. Detta bidrog till ett mycket lägre antal personer som vistades i högskolan, vilket gjorde det svårare att rekrytera deltagare till experimentet, som utfördes i högskolan. Det skulle dock fortfarande ha varit lämpligt att utföra experimentet med inomindividsdesign om antalet deltagare varit fler, på grund av tidigare beskrivna fördelar.
Självskattningen med den subjektiva skala som användes utfördes också genom
inomindividsdesign, eftersom att den utfördes samtidigt som testet med reaktionstider. Den främsta anledningen till att detta gjordes var för att samla in en större mängd data om den upplevda kognitiva belastningen hos deltagarna.
Alla deltagare upplevde båda betingelser för den oberoende variabeln (se figur 2). Den beroende variabeln för prestationen på den sekundära uppgiften upprepades flera gånger under varje test för att kunna se korrelationer under tid, mellan betingelser och mellan deltagare. Den beroende variabeln för upplevd kognitiv belastning mättes totalt två gånger per deltagare, en gång per den oberoende variabelns betingelse.
En nackdel med inomindividsdesign är att det kan skapa confoundings på grund av sekvenseffekter, alltså i vilken ordning betingelser utförs i. Deltagare kan bli trötta under experimentets gång, eller bli bättre på den uppgift som de utför. I en inomindividsdesign kan detta till viss grad kontrolleras genom att variera den ordning som betingelser utövas av deltagarna (Graziano & Raulin 2014). I denna studie kontrollerades detta genom att den typ av notifikation som deltagaren började med avgjordes genom slumpen. Nio deltagare började med visuella notifikationer och tio med ljudliga notifikationer.
Figur 2, Visualisering av experimentet för beroende variabel reaktionstid.
15
4.1.4 Deltagare
Studien utfördes med totalt 19 deltagare, 9 män och 10 kvinnor med medelåldern 29 år (standardavvikelse=7). 16 deltagare var studenter på Högskolan i Skövde, med stor
variation i studieinriktning. De resterande 3 deltagare jobbade i högskolan eller i närliggande företag.
Deltagarna valdes genom ett bekvämlighetsurval, de rekryterades i Högskolan i Skövdes lokaler och majoriteten av deltagarna rekryterades i samma byggnad som testet utfördes i.
Deltagarna tillfrågades muntligen om de kunde tänka sig att delta i ett experiment för ett examensarbete, med belöning för deltagande i form av godis eller fika. Om deltagarna svarade ja på att delta i testet frågades de om de hade några allvarliga syn eller hörselfel, vilket ingen av de tillfrågade deltagarna hade. Deltagarna fick veta mycket lite om studiens syfte, när de frågade vad studien handlade om fick de berättade för sig att den var för ett examensarbete inom User Experience Design, utan ytterligare detaljer, för att undvika att deltagarna försökte prestera bättre på vissa delar av testet, vilket de möjligen skulle gjort om de visste vad det var som mättes.
Deltagarnas uppgift var att under tiden som de utförde en primär uppgift svara på
notifikationer från en extern mobiltelefon, som en sekundär uppgift. Matthies et al. (2019) menar att en notifikation i en reflexiv interaktion ska svaras på med en naturlig gest, deltagarna fick därför själva välja hur de svarade på notifikationen, de behövde dock svara på samma sätt på under båda betingelser. De vanligaste svarsmetoderna var vink med handen, nick med huvudet och verbalt svar i form av ett “ja”, eller “där”. Varje testdeltagare utförde testet under två olika betingelser, där den enda skillnaden var typen av notifikation i den sekundära uppgiften.
4.2 Material
Studien använder sig av en så kallad dual task metod, där användare utför två simultana uppgifter (Sweller et al. 2011). För den primära uppgiften valdes ett corsitest, som lämpar sig mycket väl till frågeställningen då testet orsakar en ökad kognitiv belastning i arbetsminnets visuella del.
4.2.1 Den primära uppgiften
Corsitest är en beprövad metod för att mäta en individs visuospatiala arbetsminne och har tdigare använts mycket inom psykologi (Kessels et al. 2000). Testet fungerar som så att nio kuber ligger på en bräda, testledaren berör med sitt pekfinger kuberna i en viss ordning, testdeltagaren ska sedan beröra kuberna i samma ordning som testledaren efter att testledaren utfört hela sekvensen. Testet börjar med en sekvens på två beröringar, två omgångar sker per sekvenslängd och varje sekvens är unik. Om en av de två omgångarna lyckas (testdeltagaren berör kuberna i samma ordning som testledaren) går testet vidare till nästa omgång, där en till beröring läggs till. Detta fortsätter tills testdeltagaren misslyckas på båda omgångarna av en viss sekvenslängd (Kessels et al.). På så sätt ökar den kognitiva belastningen för det visuospatiala arbetsminnet under testets gång. Enligt Ginns (2005) ökar modalitetseffekten när uppgiften ökar i komplexitet, corsitestet är av bland annat den
16
anledningen en lämpligt primär uppgift i denna studie, då komplexiteten ökar under testets gång och då möjligheterna för en observerbar modalitetseffekt.
En digitaliserad version av Kessels et al.:s (2000) standardiserade corsitest användes för denna studie. Testet utfördes via programmet Psychology Programming Language (PEBL) (The PEBL Project 2019), ett program med öppen källkod skapat för psykologitester. Inom PEBL finns ett stort antal psykologiska tester att använda, däribland programmet “Corsi Blocks”. I det digitaliserade corsitestet visar datorskärmen 9 blå kuber med en svart bakgrund, kuberna är i en slumpmässig konstellation på skärmen (figur 3). Datorn agerar testledare genom att istället för att beröra kuber i ordning, låta dem blinka i en ljusgul färg i en sekvens. När den sista kuben har blinkat använder testdeltagaren datormusen för att klicka på kuberna i den ordning som de blinkade. Programmet ger deltagaren instruktioner i hur testet kommer att utföras och vad deltagarens uppgift är. Deltagaren leds också av programmet genom en kort testomgång där uppgifterna är enkla och deltagaren kan lära sig hur testet utförs utan att detta används i någon mätning.
Alla tester utfördes på samma stationära dator, kopplad till en 24” 1920x1080 skärm satt på ett skrivbord.
Figur 3. Hur Corsi Blocks ser ut när deltagaren ska klicka i rätt ordning.
4.2.2 Den sekundära uppgiften
Notifikationer från en Asus Zenfone 6 mobiltelefon användes för den sekundära uppgiften.
Mobiltelefonen var uppsatt med ett stativ så att mobilskärmen var precis utanför den nedre delen av datorskärmens vänstra kant (se figur 4).
17
Figur 4. Mobilens position med notifikationens färg bredvid corsitestet där en sekvens visas för deltagaren.
Valet av notifikationens position och typ kom av Hau Chua et al.:s (2016) studie om visuella notifikationer som i sin undersökning kom fram till att deltagarna föredrog enkla notifikationer i periferin, även fast notifikationer i mitten av synfältet bidrog med lägre reaktionstid.
Notifikationer ska enligt Matthies et al. (2019) bidra med minimal störning för den primära uppgiften i en reflexiv interaktion.
Notifikationerna simulerades genom appen Tasker (João Dias 2010), en applikation där användare kan programmera uppgifter som appen själv utför. Den visuella notifikationen simulerades genom att mobilens skärm ändrades från svart till rosa (hex #FF0099) under 300ms. För de ljudliga notifikationerna var mobilskärmen också svart, men istället för ett färgskifte i skärmen spelade mobilen upp en signal. Signalen var 300ms lång med
frekvensen 4000Hz, ljudnivån var 50% av Asus mobiltelefonens maximala ljudstyrka. Enligt Luce (1986) påverkas personers reaktionstid av ett stimulus styrka, ett svagare stimuli, i detta fall en ljussignal och en ljudlig signal, leder till sämre reaktionstid. Relationen mellan ett stimulus styrka och en persons reaktionstid är dock inte linjär, efter att ett stimuli nått en viss nivå avtar reaktionstidens ökning i relation till styrkan hos stimulit. Valet av en tydlig och hög ljudsignal samt en stark och synlig ljussignal valdes därför för att nivån på stimulit inte skulle påverka reaktionstiderna.
För att samla in data under testets gång krävdes det att notifikationerna presenterades flera gånger. Tiden mellan notifikationerna kunde inte vara konstant eftersom att det då kunde ske inlärning för tiden mellan notifikationer, vilket kunde påverka testet. Ett slumpmässigt intervall på 5-20 sekunder valdes så att deltagarna inte kunde förutse när nästa notifikation skulle komma.
Valet av intervall för notifikationerna är baserat på tidigare studier av kognitiv belastning där reaktionstid till ett stimuli har varit måttet för prestation på en sekundär uppgift. Brünken et al. (2004) använde ett intervall på 5-10 sekunder, medan Marcus et al. (1996) använde 5-20 sekunder. Eftersom att denna studie är menad för att undersöka notifikationer för reflexiv interaktion ansågs ett intervall på 5-10 sekunder för lågt, eftersom att frekvensen då blir så pass hög att den primära uppgiften blir väldigt störd, vilket går emot vad Matthies et al.
(2019) menar att notifikationer i en reflexiv interaktion ska göra. 5-20 sekunder kan dock
18
också anses lågt, ett större intervall skulle kunna till högre grad likna notifikationer i en verklig situation, men på grund av studiens begränsade omfång valdes ett slumpmässigt intervall på 5-20 sekunder för att få en tillräcklig mängd insamlad data från varje deltagare.
4.2.3 Likertskala för subjektiv mätning av kognitiv belastning
För att mäta den upplevda kognitiva belastningen hos deltagarna användes ett subjektivt mått för mental ansträngning. Deltagarna fick svara på en 9-punkts likertskala enligt Paas (1992) metod för mätning av kognitiv belastning, där 1 är Väldigt, väldigt låg mental ansträngning och 9 är Väldigt, väldigt hög mental ansträngning (se bilaga 1).
Vid forskning om kognitiv belastning inom instruktionsdesign kan skalan användas vid olika tillfällen under ett test. Vissa studier använder sig av skalan kontinuerligt under en
inlärningscykel, medan andra endast använder den i slutet av cykeln (Sweller et al. 2011). I denna studie svarar deltagarna på skalan vid två tillfällen, efter att den första testomgången har tagit slut, och efter att den andra testomgången är slut. Anledningen till detta var att den uppgift som deltagarna utförde inte kunde stoppas under testets gång och uppgiften var för krävande för att deltagaren skulle kunna svara på skalan samtidigt som testet utfördes.
4.3 Forskningsetiska aspekter
Vetenskapsrådet (2002) beskriver fyra huvudkrav på forskning utifrån individskyddskravet.
Dessa är informationskravet, samtyckeskravet, konfidentialitetskravet och nyttjandekravet, vars syfte är att skydda individer från kränkningar, förödmjukelse och skada.
Informationskravet hanterar aspekter gällande deltagarens rättighet att bli informerad om forskningens syfte, deras uppgift i undersökningen och att de har rätt att avbryta
medverkandet när som helst. Deltagaren ska också få ta del av all information som kan tänkas påverka dennes villighet i att delta i undersökningen. I denna studie fick deltagarna endast nödvändig information innan testets början, eftersom att för mycket information om studiens syfte och de variabler som mättes kunde påverka deltagarnas prestation under experimentet. Deltagaren fick dock förklarat för sig efter experimentet vad studiens syfte är och hur deras deltagande kommer att bidra till undersökningen.
Samtyckeskravet hanterar aspekter om deltagarens samtycke för deltagande i studien.
Deltagarna ska enkelt utan påtryckningar från något håll kunna avsluta sitt deltagande i studien. Deltagarna fick själva välja om de ville delta i experimentet då de blev tillfrågade.
Om personen som tillfrågades svarade nej till deltagande orsakade detta inte några negativa konsekvenser för personen. Deltagaren fick förklarat muntligen och skriftligen att de när som helst kunde avsluta deltagandet utan att detta bidrog med några negativa konsekvenser för deltagaren. Deltagarna samtyckte genom att skriftligen bekräfta deras deltagande och kunskap om de villkor som deltagandet medförde (se bilaga 2 för hela formuläret).
Konfidentialitetskravet hanterar aspekter om hur deltagarens personuppgifter hanteras.
Uppgifter från en studie ska hanteras på ett sådant sätt att utomstående omöjligen kan identifiera enskilda deltagare i studien. Deltagarna undertecknade skriftligen att de var medvetna om att deras deltagande skulle spelas in genom både ljud och video. Dessa inspelningar har endast observerats av ansvarig person med syfte att samla data om
19
deltagarnas reaktionstider. När individuella deltagares data presenteras görs detta inte med deras riktiga namn utan ett slumpmässigt ID i sifferform.
Nyttjandekravet menar att uppgifter som samlas från deltagare enbart får användas inom forskning. Den information som samlas in får inte säljas eller lånas ut. Denna aspekt beaktas genom att inte låna ut eller sälja den data som samlats in under studien. Efter att arbetet är godkänt kommer videoinspelningarna och ljudinspelningarna att raderas.
4.4 Genomförande
Studien utfördes i användbarhetslabbet vid Högskolan i Skövdes Institution för informationsteknologi. Användbarhetslabbet är ett rum som avspeglar en avslappnad hemmiljö och innehåller en soffa, tv, skrivbord med dator, kök och hyllor. Vid den ena väggen finns det också en envägs-spegel med ett observationsrum bakom.
Testdeltagarna satt på en kontorsstol framför ett skrivbord med datorskärmen på. Riktad mot deltagaren är också tre kameror, en på vardera sida 50-150 cm snett bakom datorskärmen och en kamera uppsatt på en hylla snett till höger om testdeltagarens rygg (se figur 5).
Figur 5. Användbarhetslabbet
4.4.1 Pilottest
Ett pilottest utfördes med en deltagare. Under pilottestet framkom ett antal punkter som justerades innan resterande tester utfördes. Val av primär uppgift var det främsta som ändrades, under pilottestet undersöktes flera olika primära uppgifter såsom bilsimulatorer och actionspel online, det var svårt att hitta spel som passade deltagare med olika bakgrund och erfarenhet inom spel. Det var också svårt att säga vilka delar av arbetsminnet vissa spel använde sig av. Corsitestet valdes eftersom att det i stor utsträckning använts inom
20
forskning och det finns dokumenterade resultat om hur testet påverkar det visuospatiala arbetsminnet (Kessels et al. 2000). Testet möjliggör också bättre kontroll över den kognitiva belastningen och hur denna ökar under testets gång, vilket är något som den andra testade primära uppgifterna inte gjorde.
Den visuella notifikationen ändrades också efter pilottestet, det visade sig svårare att
uppfatta de visuella notifikationerna i just den miljö mobiltelefonen befann sig i om färgen för notifikationen smälte in i miljön, den rosa notifikationen valdes eftersom att den stack ut från bakgrunden.
4.4.2 Huvudtester
Testerna utfördes under fyra tillfällen mellan den femte och fjortonde maj 2020.
Testdeltagarna fick följa med ned till användbarhetslabbet och göra sig bekväma inne i rummet. De svarade på ett formulär med grundläggande information såsom ålder och sysselsättning och godkände skriftligt villkoren för sitt deltagande som tas upp i kapitel 4.3 Forskningsetiska aspekter (Se bilaga 2 för formuläret). Deltagarna satte sig därefter framför skrivbordet på en kontorsstol och läste instruktioner på datorskärmen för corsitestet.
Deltagarna fick därefter utföra två korta inbyggda övningssekvenser av corsitestet. Efter övningen fick deltagarna förklarade för sig att de skulle svara på en notifikation från
mobiltelefonen bredvid dem, de fick veta vilken typ av notifikation det skulle vara, samt att de själva fick välja hur de ville svara på den. Sedan sattes testet igång och testledaren lämnade rummet så att testdeltagaren var ensam.
Varje testomgång tog mellan 2-4 minuter, beroende på hur långt testdeltagaren lyckades komma i corsitestet. Efter testdeltagaren var klar med en omgång av corsitestet var
testomgången slut, notifikationer som kom efter corsitestets slut ignorerades av deltagarna och användes inte i analysen av reaktionstider. Deltagaren svarade på hur mentalt krävande omgången var på ett papper med den subjektiva skalan för självskattning av kognitiv
belastning. Efter detta fick deltagarna förklarat för sig att de skulle utföra testet igen, fast med den andra notifikationstypen. När denna omgång var slut svarade testdeltagaren igen på den subjektiva självskattningsskalan för den omgången, sedan var testet slut. Deltagaren tackades för deltagande och fick välja godis eller fika som belöning för att de deltagit.
4.5 Analys av data från testerna
Den data som samlats in under experimentet behövde bearbetas och analyseras med en metod lämplig för den data som samlats in. I detta kapitel beskrivs först hur datan
hanterades, och sedan hur statistiska modeller användes för att få ett resultat för de hypoteser och frågeställning som studien har som grund.
4.5.1 Bearbetning av data från den sekundära uppgiften
Reaktionstiderna samlades genom tre kameror och en mikrofon som spelade in varje test.
Varje test gicks sedan igenom bildruta för bildruta för att identifiera reaktionerna till
notifikationerna. Tiden mellan att notifikationerna började och testdeltagarens första rörelse eller ljud (beroende på vilket typ av notifikationssvar testdeltagaren valt) var det mått som användes för att bestämma reaktionstiden. Reaktionstiderna sparades i ett dokument, där
21
varje enskild reaktionstid kategoriserades efter deltagare, betingelse och ett nummer baserat på den kronologiska ordningen av reaktionstider inom varje enskild betingelse.
4.5.1.1 Extrema värden och saknade värden
Baayen och Milin (2010) rekommenderar att reaktionstider som är extremt korta eller väldigt långa exkluderas från analys. Luce (1986) menar dock att om de extremt höga värdena finns i slutet av distributionen av datan kan borttagandet av dessa värden ta bort eller reducera effekten av det som studien försöker mäta vid den statistiska analysen.
Vid analys av den data som samlats in i denna studie togs beslutet att inte ta bort de höga värden som befann sig i slutet av distributionen av värden. Anledningen till detta är att dessa värden framkom då den primära uppgiften skapade som störst kognitiv belastning hos deltagaren, och reaktionstiderna på den sekundära uppgiften hypotiserades påverkas som mest.
Det var möjligt under testets gång att deltagare missade helt att svara på en notifikation, vilket kan vara svårt att hantera i en studie som denna. Om de saknade värdena ignoreras kan viktig data utebli, eftersom att det är troligt att missen kom som orsak av den höga kognitiva belastningen från den primära uppgiften. Valet gjordes att markera saknad data med N/A på den notifikation som missen tillhörde. Under analysen kunde sedan detta värde behandlas i den modell som valdes, där den saknade värdets relation till värden i samma test skapade ett förväntat värde på det saknade värdet, därmed förlorades ingen data från undersökningen och risken för missvisande data minskades (Baayen & Milin 2010).
4.5.2 Val av statistisk modell för analys av reaktionstider
För att analysera den data som samlats in om deltagares reaktionstid för olika notifikationer kunde flera statistiska modeller användas. Tidigare studier för mätning av kognitiv belastning med hjälp av en sekundär uppgift har använt sig av medelvärden av de observerade
reaktionstiderna under en viss betingelse, för att sedan utföra en variansanalys med
upprepade mätningar (RM-ANOVA) (Brünken et al. 2002; Brünken et al. 2004). Vissa studier har inte beskrivit om medelvärden eller alla värden användes för analysen, eller vilken typ av analys som användes i studien (t.ex. Marcus et al. 1996).
Reaktionstider är ett mått som i stor utsträckning används inom psykologi, många studier använder sig av medelvärden av reaktionstider för att analysera sin data, men om varje reaktionstid istället behandlas som ett enskilt värde finns det ett antal fördelar, främst större möjligheter för ett lägre p-värde och lägre risk för att den insamlade datan feltolkas (Baayen
& Milin 2010). En statistisk modell som kan analysera reaktionstider där varje reaktionstid ska ses som en egen datapunkt är mixed-effects models. Baayen och Milin (2010) beskriver att mixed effects models kan analysera enskilda observationer i relation till observation bakom dem i tid. I denna studie innebär detta att alla enskilda observationer för en deltagare kan analyseras i relation till varandra. Denna relation kan också jämföras mot relationen i observationer för den andra betingelsen.
Mixed-effects models beskrivs av Blozis och Harring (2018) som ett väldigt bra verktyg för analys av data där skillnader över tid är en faktor eftersom att modellerna fokuserar på individer och deras skillnader mellan varandra, och det finns en stor flexibilitet i hur
22
modellerna specificeras. I modellen går det att bestämma så kallade random effects, en funktion som tillåter olika faktorer att variera mellan varandra. Detta är passande för en studie i reaktionstider där individuella skillnader är stora. Modellen kan då anpassa sig efter dessa skillnader och tillåta varje deltagares intercept (den punkt en variabel först passerar y- axeln) att börja på olika plats, i detta fall den första reaktionstiden under en testomgång.
Modellen tillåter också skillnader i hur observationer ändras över tid mellan deltagare, denna funktion kallas för random slopes, och innebär att data där skillnaden över tid varierar mellan deltagare kan analyseras (Blozis & Harring 2018). Vanligare modeller för att mäta skillnad över tid såsom linjära regressionsmodeller tillåter inte denna skillnad mellan enskilda faktorer, vilket gör den typ av modell till ett mindre passande val när reaktionstider ska analyseras (Baayen & Milis 2010).
En mixed-effects model kan ha många olika former och utföras på flera olika sätt för flera olika typer av data. Meteyard och Davies (2020) menar att detta kommer att bli ett problem i framtiden då de resultat som framställs genom mixed effects models kommer att vara svåra att tyda. Meteyard och Davies har därför tagit fram riktlinjer för hur användandet av en mixed effects model ska rapporteras. Dessa riktlinjer har följts i följande presentation av modellen utformning och användning i denna rapport.
4.5.3 Analys av reaktionstider med en mixed effects model
Den insamlade datan analyserades med programmeringsspråket R via plattformen RStudio (Version 1.3.1056, RStudio Team 2020). Paketet nlme (Pinheiro et al. 2020) användes för att forma och utföra den mixed effects model som användes för analys av reaktionstiderna.
Mixed effects models har förutsättningar som den data som ska analyseras måste uppfylla för att de resultat som modellen ger ska vara korrekta. Om förutsättningarna inte finns för den data som analyseras kan modellens resultat och p-värde leda till felaktiga slutsatser (Field 2018).
För att uppnå de förutsättningar mixed effects models har behövde den data som samlats in för deltagarnas reaktionstider transformeras. I sin originalform mötte datan för
reaktionstiderna inte de antaganden om normalitet inom ett dataset som en mixed effects model kräver (Field 2018). Baayen och Milin (2010) skriver att det inte finns en enskild metod som är bäst för att transformera data, utan flera transformeringar bör göras för att hitta den som bäst passar den data som ska analyseras. För att kunna möta modellens antaganden transformerades datan till flera olika format för att hitta det format som passade bäst. Den slutgiltiga transformeringen var genom en log-normal transform, vilket möjliggjorde analys genom en mixed effects model.
4.5.3.1 Modellens uppbyggnad
För att en mixed effects model ska kunna användas på ett dataset krävs det att variabler och effekter definieras och appliceras i modellen(Meteyard & Davies 2020). Hur väl de olika aspekterna från datan passar i modellen kan mätas med bland annat Aikaike’s information criterion (AIC) eller Schwarz’s Bayesian criterion (BIC) (Field & Wright 2011). I byggandet av den modell som användes i den här studien användes AIC, på grund av att måttet är mer lämpat för studier där datamängden är låg (Field & Wright 2011).
