Tillämpning av persuasive design på kursvärderingsverktyg

Uppsala Universitet

Inst. för informatik och media

Tillämpning av persuasive design på kursvärderingsverktyg

Jens Bleckert och Viktor Birgander

Kurs: Examensarbete Nivå: C

Termin: VT-21 Datum: 9/6-2021

Förord

Stort tack till samtliga personer som deltog i utvärderingen av kursvärderingsverktygen och vår handledare Franck Tétard.

Sammanfattning

Vid Institutionen för informatik och media vid Uppsala Universitet (IM) används ett digitalt kursvärderingsverktyg (IMKV) som en central metod att samla in feedback från kursdeltagare som underlag för kvalitetsarbete och för reflektion åt kursdeltagaren. Vid IM är svarsfrekvensen låg och således är underlaget för kvalitetsarbete lågt och IMKV riskerar visa på resultat som inte är reliabla eller representativa. Syftet med arbetet var att utveckla en it- artefakt som alternativ till IMKV med stöd från empirin om användarbeteende och persuasive design, följt av en utvärdering om huruvida denna prototyp skulle kunna förbättra användarupplevelsen och på så vis höja svarsfrekvensen. Problemet om låg svarsfrekvens med IMKV analyserades utifrån följande modeller om beteende: Foggs beteendemodell (FBM) som beskriver hur motivation och förmåga påverkar ett målbeteende, samt Technology Acceptance Model (TAM) och Hedonic-Motivation System Adoption Model (HMSAM) som beskriver hur användarbeteende styrs av användarupplevelse och den upplevda nyttan i användande. En klon av IMKV skapades (se bilaga 1) och en webbaserad prototyp (se bilaga 2) av ett nytt kursvärderingsverktyg togs fram ur designprinciper för persuasive design där förbättringar i användarupplevelse och ökad upplevd nytta låg i fokus. Deltagare i studien delades slumpmässigt i två grupper där ena testade IMKV-klonen och andra prototypen och sedan utvärderade respektive version med det webbaserade verktyget AttrakDiff som kvantifierar användarupplevelsen. Datan analyserades med t-test. IMKV analyserades utifrån teori om persuasive design och beteende. Möjliga problem identifierades där persuasive design skulle kunna förbättra användarupplevelsen. Designprocessen började med brainstorm, sedan iterativ utveckling. I samtliga t-test påvisades en statistisk signifikant skillnad mellan grupperna, där de som testade prototypen hade en bättre användarupplevelse. Att utnyttja principer för persuasive design kan ge stor effekt på användarupplevelsen vid webbaserad kursvärdering och i längden eventuellt öka deltagandet. Resultaten i denna studie skulle kunna bidra vid framtida utveckling av kursvärderingsverktyg.

Nyckelord: Persuasive design, kursvärdering, Fogg, Persuasive System Design, användarupplevelse

Innehållsförteckning

1. Inledning 3

1.1 Bakgrund 4

1.2 Problembeskrivning 5

1.3 Syfte 6

1.4 Avgränsning 7

2. Teori 8

2.1 Persuasive design 8

2.1.1 Fogg Behavior Model 8

2.1.2 Designprocess för persuasive technology 9

2.1.3 Influerande genom social cues 9

2.1.4 Designprinciper för Persuasive Design 10

2.2 Att påverka användarbeteende 11

3. Metod 13

3.1 Vald forskningsstrategi 13

3.2 Tillämpning av forskningsstrategi 13

3.2.1 Awareness 14

3.2.2 Suggestion 14

3.2.3 Development 14

3.2.4 Evaluation 15

3.2.5 Conclusion 16

4. Design och utveckling av prototyp 17

4.1 Om designarbetet 17

4.2 Analys av nuvarande implementation 17

4.3 Designval för prototyp 18

4.3.1 Layout 18

4.3.2 Frågeelement 20

4.3.3 Motiverande element 23

5. Resultat och analys 27

5.1 Utvärderingsresultat 27

5.2 Analys av utvärderingsresultat 29

5.3 Analys av designarbetet 30

6. Slutsats, begränsningar och framtida forskning 33

6.1 Slutsats 33

6.2 Avslutande diskussion om studien, dess begränsningar och framtida forskning 33 6.2.1 Studiens förhållande till riktlinjer för design science 33

6.2.2 Begränsningar och framtida forskning 34

7. Referenser 36

4

1. Inledning

I detta kapitel presenteras arbetets bakgrund, problembeskrivning, syfte, kunskapskaraktärisering och avgränsning.

1.1 Bakgrund

Kursvärderingar är ett viktigt instrument för lärosäten för att samla in information om sina utbildningar från sina studenter (Nulty, 2008). Enligt Uppsala Universitets enhet för kvalitet och utvärdering (2021) fyller kursvärderingar två huvudsakliga funktioner; att skapa underlag för kvalitetsarbete genom att samla in återkoppling från kursdeltagare samt att ge deltagarna möjlighet till reflektion. Utöver att vara en tillgång för universitet och högskolor är det enligt lag (Högskoleförordningen, 1993:100) tvingande att erbjuda kursvärdering som en möjlighet för alla studenter som deltagit att kunna dela med sig av sina synpunkter.

Innan den enorma digitala utvecklingen som skett sedan slutet av 90-talet utfördes kursvärderingar fysiskt med papper och penna (Morrison, 2013). Med den nya digitala tekniken följde möjligheten att utföra kursvärderingar digitalt, asynkront och på distans. Med denna möjlighet följde fördelar kopplade till resurs-, tids- och kostnadseffektivitet. Digitala kursvärderingar anammades av lärosäten världen över och är idag sker kursvärderingar nästan uteslutande digitalt (Morrison, 2013).

Redan innan kursvärderingar övergick till att vara digitala fanns en problematik med lågt deltagande, men efter övergången sjönk svarsfrekvensen ytterligare (Avery et al. 2006; Nulty, 2008). Numera är problem med låg svarsfrekvens vid kursvärderingar ett stort och utbrett problem för lärosäten (Leamon och Fields, 2005; Nulty, 2008) . En låg svarsfrekvens leder till ett sämre och mindre generaliserbart underlag för det kvalitet- och förbättringsarbete som lärosätena bedriver och därigenom är det önskvärt att eftersträva en högre svarsfrekvens (ibid.).

Vad som är en acceptabel svarsfrekvens vid kursvärderingar är ett omdiskuterat ämne utan ett entydigt svar (Nulty, 2008). Nulty (2008) redogör för att en acceptabel svarsfrekvens varierar beroende på populationens storlek och vilken statistisk säkerhet som efterfrågas. Nulty lyfter dessutom att beroende på vad den insamlade informationen ska användas till kan det vara olika viktigt att den är helt representativ. Nulty argumenterar vidare för att beräkning av en acceptabel svarsfrekvens för kursvärderingar är svårt då populationen för kursvärderingen ej är ett slumpmässigt urval, och de som svarar på kursvärderingar skiljer sig från de som inte gör det (Nulty, 2008). Inom enkätundersökningar inom sociologi har generellt sett en svarsfrekvens på 50% ansetts som en lägsta gräns och det finns stora likheter mellan sådana enkätundersökningar och kursvärderingar (Nulty, 2008) .

Gerbase et al. (2015) presenterar att en svarsfrekvens på 48% vid onlinebaserade kursvärderingar krävs för att få ett tillförlitligt resultat. En svarsfrekvens på ungefär 50% vid kursvärderingar kan ses som en riktlinje för att få ett användbart underlag (Nulty 2008; Gerbase et al. 2015).

Anledningar till varför problemet med låg svarsfrekvens förekommer är många och omdiskuterade (Goodman et al. 2015; Morrison, 2013). Exempel som lyfts är att tid för

5 genomförandet ej är avsatt för kursdeltagare, att utförandet inte är samlat till en gemensam plats med övervakande ledare, att kursdeltagare glömmer bort att genomföra värderingen, att kursdeltagare får ej själva ta del av vinsten av att besvara kursvärderingen, låg motivation eller inget incitament till att delta m.fl. (Goodman et al. 2015; Morrison, 2013). Just bristen på motivation till eller incitament för kursdeltagare att utföra kursvärderingar är ett problem som återkommande lyfts i litteraturen (Goodman et al. 2015; Morrison, 2013).

En lockande lösning kan vara att göra kursvärderingar till obligatoriska moment för kursdeltagare så att ett godkänt betyg ej kan uppnås utan genomförd kursvärdering. Detta skulle då kunna leda till en 100-procentig svarsfrekvens och enligt Nulty (2008) leder högre svarsfrekvens till en högre tillförlitlighet. Dock visar en studie av Aoun Bahous et al. (2018) att höjandet av svarsfrekvens med auktoritära medel kan hota en kursvärderings validitet och inte heller garantera en högre tillförlitlighet än en frivillig enkät. Även i sin artikel om Hedonic- Motivation System Adoption Model argumenterar Lowry et al. (2013) med mängder av empirisk evidens att faciliterande av inre motivation ger ett starkare och mer långsiktigt resultat än motivation från yttre omständigheter.

Vid institutionen för informatik och media (IM) är deltagandet kursvärderingar lågt. Enligt utdrag från kursrapporter under de senaste fyra åren har kurser som hållits vid IM haft en genomsnittlig svarsfrekvens på ca 25-30%, vilket är lägre än vad litteraturen menar är en acceptabel lägsta svarsfrekvens på ca 50% (Gerbase et al. 2015; Nulty, 2008). Genom att svarsfrekvensen är under vad som kan räknas som acceptabel svarsfrekvens kan reliabiliteten hos vissa kursvärderingar vid IM kunna ifrågasättas (Leamon och Fields, 2005; Nulty, 2008).

Försök att påverka människors beteende genom olika typer av medier är ingenting nytt men i och med digitaliseringens framfart och de interaktiva produkter som följt med den utvecklingen har förutsättningarna för att lyckas med detta fullständigt förändrats (Interaction Design Foundation, 2021). Genom interaktiva produkter kan man påverka användarens attityd och beteende genom egenskaperna hos en produkt eller tjänst (ibid.).

Design som fokuserar på att påverka användarens attityd och/eller beteende kallas persuasive design (Fogg, 2003). Teknologi där persuasive design appliceras kallas persuasive technology (ibid.). Persuasive design appliceras ofta i sammanhang där användare behöver engageras över en längre tidsperiod. Exempel på appliceringsområden är inom e-handel eller självhjälpsteknologi (Interaction Design Foundation, 2021).

Persuasive design är tätt sammankopplat med användarupplevelse, och persuasive design är till stor del design för användarupplevelse (Fogg, 2003). En bättre användarupplevelse leder i de flesta fall leder till en större potential till beteendeförändring (ibid.).

1.2 Problembeskrivning

Vid institutionen för informatik och media vid Uppsala Universitet används ett webbaserat kursvärderingsverktyg (IMKV). IMKV är det enda anonyma och strukturerade sättet som IM använder för att inhämta feedback från kursdeltagare gällande kursernas innehåll och utförande. Denna feedback används som underlag för förbättringsarbete för kurserna. En kortsiktig konsekvens av ett lågt deltagande är att IM begränsas i sin förmåga att justera en kurs från ett kurstillfälle till nästa. Om det finns missnöjen hos kursdeltagare gällande en viss aspekt av undervisningen så är det av intresse för IM att få återkoppling genom kursvärdering.

6 På sikt kan IM begränsas i sin förmåga att upprätthålla en relevant och högkvalitativ undervisning om problem med utbildningen ej uppmärksammas. Då kursvärderingar också ska fylla funktionen att ge möjlighet till reflektion hos kursdeltagare kan ett lågt deltagande i kursvärderingar begränsa kursdeltagarnas möjlighet till att omsätta kursinnehållet till kunskap (Uppsala Universitet, 2019).

Baserat på Foggs (2009a) beteendemodell (FBM) (se 2.1.1), dvs. hur motivation och förmåga i kombination med triggers kan stärka ett önskat beteende, kan potentiella problem gällande motivation och/eller förmåga vid beteendet kursvärdering identifieras. För att uppnå det önskade beteendet krävs en viss förekomst av både motivation och förmåga (Fogg, 2009a). För att praktiskt kunna genomföra en kursvärdering krävs läs- och skrivförmåga samt en digital enhet (dator, mobil eller surfplatta). Då IM undervisar och forskar om just media och informationssystem antas det kunna uteslutas att en betydande andel av kursdeltagare vid IM skulle ha en begränsad praktisk förmåga att genomföra en webbenkät. Däremot kan det inte uteslutas att IMKVs nuvarande design inte begränsar andra förmågor så som att koncentrera sig, uttrycka och artikulera åsikter eller reflektera.

Enligt två modeller som förklarar användarbeteende (se teoriavsnitt 2.2) hedonic-motivation system adoption model (HMSAM) (Lowry et al. 2013) och technology acceptence model (TAM) (Davis, 1989) kan graden av nytta som användare upplever och/eller upplevelsen som en interaktion förmedlar vara sådana att de hämmar användarbeteendet. Baserat på detta kan potentiella problem för kursvärdering identifieras. Graden av upplevd nytta hos kursdeltagare skulle kunna vara låg på grund av att de kvalitetsförbättringar som insikter från kursvärderingar kan ge upphov till endast blir till gagn för framtida kursdeltagare. Däremot kan enligt samma modeller både en låg upplevd nytta och det slutgiltiga beteendet stärkas med en användarupplevelse som framkallar någon grad av glädje, nyfikenhet och känsla av kontroll.

Problemet som detta arbete fokuserar på är att IMKV misstänks inte i tillräckligt hög grad stödja kursdeltagares motivation och/eller förmåga samt upplevda nytta.

1.3 Syfte

Syftet med detta arbete är att skapa och utvärdera en prototyp där persuasive design används för att förbättra användarupplevelsen vid kursvärdering och därmed öka studenternas motivation att delta i den. Arbetet avser undersöka huruvida tillämpning av persuasive design kan förbättra användarupplevelsen under kursvärdering. Detta är intressant då om användarupplevelsen förbättras kan det potentiellt sett resultera i en förändring av kursdeltagares inställning till kursvärdering och i längden leda till ett ökat deltagande. Utöver prototypen och den kunskap den medför avser detta arbete även belysa designprocessen där persuasive design tillämpas. Ingen tidigare litteratur hittades på ämnet om persuasive design och låg svarsfrekvens bland kursvärderingar och detta arbete kan då bidra till att fylla det kunskapsgapet. Genom att belysa de utmaningar och insikter som infann sig under designprocessen för detta arbete kan framtida tillämpning av persuasive design i nya kontexter underlättas.

Forskningsfrågan detta arbete avser besvara och som styr arbetet är

- Hur kan implementation av persuasive design i kursvärderingsverktyg påverka användarupplevelsen vid kursvärderingar?

7

1.4 Avgränsning

Det antogs att omständigheterna som påverkar svarsfrekvensen för kursvärderingar vid IM inte är unika utan till stor del kan förklaras med stöd från litteraturen ur ämnesområdet. Detta antagande grundade sig i att låg svarsfrekvens är ett utbrett problem vid lärosäten (Avery et al.

2006; Nulty, 2008) där kursvärderingar inte är obligatoriska moment. Till följd av detta fokuserade inte detta arbete på de bakomliggande orsakerna till den låga svarsfrekvensen specifikt vid IM, utan snarare på de kartlagda faktorer från litteraturen som kan påverka och hur de kan motverkas, för att höja svarsfrekvensen.

Prototypen som producerats under detta arbete kommer vara riktade mot kursdeltagare vid IM och prototypen kommer utvärderas av studenter vid IM. Denna avgränsning är motiverad då designen av den nya prototypen baseras på de typer av frågor som används i den nuvarande implementationen av kursvärdering vid IM.

Prototypen kommer enbart bestå av ett nytt fungerande användargränssnitt med tillämpning av persuasive design. Denna avgränsning är gjord då exempelvis vidareutveckling av back-end som stödjer vissa element i prototypen ej är nödvändig för att utvärdera användarupplevelsen för verktyget.

Triggers, vilka beskrivs i FBM, kommer inte behandlas i prototypen då triggers redan finns implementerat idag i form av påminnelser via mejl och på studentportalen.

8

2. Teori

I kapitlet beskrivs de teorier för design, beteende och användande som det här arbetet grundar sig i.

2.1 Persuasive design

Persuasion eller övertygande är ett begrepp som kan definieras som “ett försök att ändra attityder, beteenden eller bådadera” (Fogg, 2003). Persuasive design är design som fokuserar på att påverka attityd och beteende hos användarna vid interaktion med en produkt. Med persuasive technologies avses teknologi som implementerar persuasive design (Fogg, 2003).

2.1.1 Fogg Behavior Model

Fogg Behavior Model (FBM) är den modell som B.J. Fogg (2009a) presenterade och som till stor del ligger som grund för persuasive design. Modellen beskriver tre faktorer som driver på mänskligt beteende: motivation, förmåga och triggers. Fogg beskriver vidare i sin modell att för att framdriva ett önskat beteende att ske måste dessa tre vara närvarande. Ju högre motivation och förmåga, desto högre sannolikhet att det önskade beteendet inträffar vid en trigger. Fogg gör tydligt att utan en passande trigger riskerar det önskade beteendet att inte inträffa. En trigger måste märkas, kunna associeras med det önskade beteendet och ske vid ett tillfälle då användaren är motiverad och har förmåga att utföra beteendet beskriver Fogg. För olika önskade beteenden som har olika förutsättningar placeras det önskade beteendet olika i förhållande till motivation och förmåga (se figur 1) (Fogg, 2009a).

Fogg (2009a) framför att det är design för att öka motivation, förmåga och implementation av triggers som persuasive design fokuserar på. För att öka motivation beskriver Fogg att designers kan försöka designa för att förkroppsliga njutning, smärta, hopp, rädsla, social acceptans och avvisande. För att öka förmåga bör designers försöka designa för enkelhet, vilket man kan se ur sex olika perspektiv: tid, pengar, fysisk insats, tankekraft, socialt avvikande och rutin redogör Fogg för. Att vid rätt tillfälle använda rätt trigger är en viktig del av persuasive design (Fogg, 2009a).

9 Fig. 1 The Fogg Behavior Model (Fogg, 2009a)

2.1.2 Designprocess för persuasive technology

Design av av persuasive technology är komplext och det är inte ovanligt att sådana projekt misslyckas (Fogg, 2009b). För att skapa de bästa förutsättningarna att lyckas med design av persuasive technology har Fogg (2009b) skapat och presenterat en modell för rekommenderat tillvägagångssätt. Genom att följa denna modell skapas de bästa förutsättningarna för att lyckas med implementationen av persuasive technology (Fogg, 2009b).

Fogg (2009b) beskriver att designers bör:

- välja ett målbeteende som ej är för komplicerat - välja en målgrupp som är mottaglig

- identifiera vad som förhindrar utförandet av målbeteendet

- välja en teknologi som passar målgruppen, problemet och designers

- identifiera exempel på persuasive teknologi som är applicerbar på problemet och målgruppen

- basera designen på andra lyckade persuasive design-projekt - testa och iterera designen

- bygg vidare på sådant som fungerar.

2.1.3 Influerande genom social cues

Människor svarar på input från omgivningen, särskilt från sådant som uppfattas som levande (Fogg, 2003). Detta gäller inte minst datoriserade system vilka i människors ögon kan uppfattas som sociala aktörer. Genom att datoriserade system uppfattas som sociala aktörer av människor öppnas möjligheter att socialt influera människor genom interaktionen med systemet (Fogg, 2003).

10 Fogg (2003) presenterade fem typer av social cues genom vilka datoriserade produkter kan påverka och övertyga sina användare: fysiska, psykologiska, språkliga, socialdynamiska och sociala roller. Av dessa typer är de tre första applicerbara för detta arbete. Socialdynamiska- och sociala roller-cues är inte direkt applicerbara för detta arbete då den sociala interaktion som de bygger på ej är en del av kursvärderingsprocessen. Fysiska cues handlar om hur den datoriserade produkten ser ut, mer visuellt attraktiva produkter är mer övertygande (Fogg, 2003). Psykologiska cues handlar om att förmedla att produkten har känslor, såsom empati eller tacksamhet, då ju mer produkten uppfattas som levande desto mer mottaglig för social influens blir användaren (ibid.). Språkliga cues handlar till stor del om att förse användaren med beröm, vilket är ett mycket effektivt för att övertyga och influera användare i såväl analoga som digitala sammanhang (Fogg, 2003).

2.1.4 Designprinciper för Persuasive Design

I sitt ramverk Persuasive System Design (PSD) presenterar Oinas-Kukkonen och Harjumaa (2009) principer för hur man implementerar persuasive design i mjukvara. Ramverket bygger till stor del på de sociala cues som Fogg presenterar samt FBM, men till skillnad från Fogg framhäver Oinas-Kukkonen & Harjumaa att de försöker beskriva hur persuasive design konkret bör implementeras i systemdesign. Design av persuasive system sträcker sig över flera olika områden av systemdesign och är väldigt brett, exempelvis måste attraktivitet, användbarhet, bekvämlighet, responsivitet m.fl. tas i åtanke (Oinas-Kukkonen & Harjumaa, 2009).

Det är lättare att ändra ett beteende genom att implementera flera följande persuasive element än att försöka ändra ett beteende genom ett stort element vid ett tillfälle (Oinas-Kukkonen &

Harjumaa, 2009). För att lyckas med övertygande är det viktigt att ha en god förståelse av kontexten inom vilket målbeteendet utförs inom (ibid.).

Principerna i PSD delas upp i fyra kategorier för att tydliggöra vad de olika principerna avser uppnå. Den första kategorin, Primary Task Support, behandlar designprinciper som stödjer användaren i att utföra den huvudsakliga uppgiften med interaktionen. Den andra kategorin, Dialogue Support, behandlar designprinciper om hur användardialog för persuasive design bör implementeras. Den tredje kategorin, System Credibility Support, behandlar designprinciper om hur solid och trovärdig design som gör användaren mer mottaglig för beteendeförändring implementeras. Den fjärde och sista kategorin, Social Support omfattar designprinciper rörande sociala element för persuasive design. (Oinas-Kukkonen & Harjumaa, 2009)

Oinas-Kukkonen och Harjumaa (2009) presenterade 28 riktlinjer i PSD. Av dessa användes tolv riktlinjer i detta arbete, av dessa valdes tolv ut som var särskilt tillämpliga inom kontexten kursvärdering. Nedan presenteras de tolv riktlinjer som användes inom detta arbete.

I kategorin Primary Task Support finns bland andra principerna:

- Reduction: System som minskar komplexiteten av uppgifterna som utgör det önskade beteendet för användarna minskar insatsen som krävs av användarna.

- Tunneling: System som guidar användarna genom processen kan lättare rikta interaktionen i den beteendeförändrande riktningen.

- Tailoring: System där information är specifikt anpassat till användargruppen kommer vara mer övertygande.

11 - Personalization: System som har innehåll med personlig koppling till användaren är

mer övertygande.

- Self-monitoring: System som tydliggör för användaren hur interaktionen går stödjer användaren i interaktionen.

I kategorin Dialogue Support finns principerna:

- Praise: System som ger användaren beröm gör användarna mer mottagliga för övertygelse.

- Suggestion: Förser systemet användaren med förslag som är relevanta och passande för användaren så övertygas användaren lättare.

- Liking: Visuellt attraktiva system som faller användarna i smaken är mer övertygande.

I kategorin System Credibility Support finns principerna:

- Trustworthiness: System som upplevs som trovärdiga är mer övertygande. System som framstår att ha lagts mer tid på framstår som mer trovärdiga.

- Surface credibility: Ett bra visuellt första intryck ökar förtroendet och leder till en större chans att övertyga användaren.

- Real-world feel: implementation av element från organisationen eller personer inom organisationen som ansvarar för innehållet gör systemet mer trovärdigt.

I kategorin Social Support finns principen:

- Social comparison: användare blir mer motiverade att utföra ett beteende om de kan jämföra sitt utförande med andras. (Oinas-Kukkonen & Harjumaa, 2009)

2.2 Att påverka användarbeteende

Fred Davis (1989) beskrev en numera väletablerad modell som försöker förklara vad som styr beteendet hos en systemanvändare. Modellen, döpt technology acceptance model (TAM), beskriver hur de två faktorerna perceived usefulness och perceived ease of use hos en individ avgör det slutgiltiga användarbeteendet (ibid.) (se figur 2).

Davis (1989) definierar i sin första artikel om TAM perceived usefulness som “the degree to which a person believes that using a particular system would enhance his or her job performance” och perceived ease of use som “the degree to which a person believes that using a particular system would be free of effort.” Med andra ord är det enligt TAM avgörande för faktisk användning av ett system att individen upplever en nytta genom användning och användandet i sig ska kännas enkelt och smärtfritt (Davis, 1989).

Fig 2. Technology acceptance model.

12 Sedan 1989 har modellen omvärderats, modifierats och expanderats i olika riktningar (Lai, 2017). En sådan variant föreslås av Lowry et al. (2013), Hedonic-Motivation System Adoption Model (HMSAM, figur 3). HMSAM utforskar begreppet perceived ease of use i större utsträckning än förfadern TAM. Begreppet bryts ned till curiosity, joy, immersion och control.

De menar att faktorer i systemdesign som frambringar nyfikenhet, glädje, inlevelse och en känsla av kontroll hos användaren faciliterar människans inneboende motivation till användning. Lowry et al. (2013) beskriver att inom IT begås ofta misstaget att förbise den här typen av faktorer till förmån av det funktionella och ändamålsenliga. Jämförelsen görs till dataspelsbranschen där liknande modeller applicerats i decennier för att just stärka spelglädjen och inlevelsen hos användare för att skapa en positiv upplevelse och menas vara direkt överförbart till annan systemanvändning utanför spelvärlden (Lowry et al. 2013).

Fig 3. Hedonic-Motivation System Adoption Model

13

3. Metod

Kapitlet beskriver vad forskningsstrategin design science är och hur det tillämpats i arbetet.

Metodavsnittet är uppdelat enligt Oates (2006) faser för DSR och i avsnittet redogörs datainsamlingsmetod, dataanalysmetod och generellt tillvägagångssätt för.

3.1 Vald forskningsstrategi

Detta arbete tillämpar forskningsstrategin design science (DSR). Oates (2006) beskriver design science som en forskningsstrategi som fokuserar på skapandet av IT-artefakter. Genom att skapa dessa IT-artefakter utforskas och presenteras vilka möjligheter som skapas med hjälp av digital teknik (ibid). Hevner et al. (2004) beskriver att Design Science handlar om att lösa problem genom att skapa och utvärdera IT-artefakter som är designade för att lösa problemet.

Syftet med detta arbete är att skapa en prototyp för att undersöka om persuasive design kan vara en del av lösningen på problemet med låg svarsfrekvens för kursvärderingar. Prototypen kom att bestå av ett nydesignat gränssnitt som tillämpar persuasive design. Efter att prototypen skapades utvärderades den och jämfördes med en klon av IMKV. Då syftet var att skapa en prototyp som implementeras i ett digitalt system för att illustrera och testa nya användningsområden för teorier var en designorienterad forskningsstrategi den bäst lämpade forskningsstrategin för detta arbete.

Slutprodukten av denna studie, IT-artefakten, skulle ta formen av en fungerande front-end- applikation av en webbaserad kursvärdering. Det finns olika typer av IT-artefakter som kan skapas, instansiering är en sådan och innebär att ett fungerande datoriserat system eller applikation skapas för att försöka implementera teorier, idéer, modeller m.m. (Oates, 2006).

IT-artefakten blev ett fungerande system, och därigenom faller denna IT-artefakt in under kategorin instansiering.

Oates presenterar fem faser för design science research: i) awareness-fasen där ett problem identifieras och beskrivs, ii) suggestion-fasen där design science forskaren utgår från de problem som identifierats i föregående fas för att presentera en preliminär åtgärd eller lösning på problemet, iii) development-fasen där lösningar eller åtgärder som framkommit i suggestion- fasen implementeras, iv) evaluation-fasen där artefakten som producerats under development- fasen utvärderas genom lämplig metod och v) conclusion-fasen där resultatet av arbetet, ny kunskap och eventuella vidare forskningsbehov om ämnet identifieras och sammanställs (Oates, 2006). Dessa faser har legat som grund för detta arbete.

3.2 Tillämpning av forskningsstrategi

Nedan beskrivs den metod som använts i detta arbete och hur den tillämpats. Metoden är strukturerad utifrån Oates (2006) fem faser för design science research som redogjorts för ovan.

14 3.2.1 Awareness

Författarna har under sin utbildning vid IM själva upptäckt problemet med låg svarsfrekvens vid kursvärderingar med IMKV. För att fördjupa sig i problemet kontaktades en person i ledarställning vid IM som har insyn i kursvärderingsprocessen för att få mer detaljkunskaper om problemet. Litteratur om låg svarsfrekvens studerades därefter där det framkom att det är vanligt förekommande vid webbaserade kursvärderingar och ej är unikt för IM utan är utbrett vid lärosäten världen över. Enligt teorin började svarsfrekvens dala betydligt i samband med övergången från analoga kursvärderingar till datoriserade och webbaserade kursvärderingar, vilket antyder att mediet som kursvärderingen utförs via har en viktig inverkan.

3.2.2 Suggestion

Enligt litteraturen kan den låga svarsfrekvensen bero på flera olika variabler, men just brist på motivation hos kursdeltagare till att delta i kursvärderingar var mycket frekvent återkommande (Goodman et al. 2015; Morrison, 2013; Ogden och Ogden, 2018). Persuasive design handlar om hur man designar för att få en målgrupp att utföra ett önskat beteende (Fogg, 2009a). Inom persuasive design fokuserar man på tre aspekter för att designa för: förmåga, motivation och triggers. Då brist på motivation beskrivs som ett stort problem i litteraturen och problemet behandlar ett önskat beteende identifierades en potentiell åtgärd i form av tillämpning av persuasive design.

Teorierna TAM och HMSAM (se teoriavsnitt 2.2) beskriver att det finns en koppling mellan användarupplevelse och inställning till användning av teknik. Persuasive design och interaktionsdesign är tätt sammankopplade och påverkar användarupplevelsen. Genom detta identifierades en potentiell förbättring i form av en ny design för användargränssnittet för kursvärderingen vid IM som fokuserar på användarupplevelsen och som tillämpar persuasive design. Genom att förbättra användarupplevelsen hypotiserades det att en ny design av verktyget skulle leda till en positivt påverkad inställning till användandet, vilket i sin tur potentiellt sett kan leda till ett ökat deltagande vid kursvärderingar.

3.2.3 Development

Denna fas inleddes med brainstorming. De fyra variabler som stärker användarbeteenden enligt HMSAM: glädje, nyfikenhet, upplevd nytta och kontroll användes som inspiration och frågan som ledde det initiala designarbetet löd “Var i IMKV finns utrymme att framhäva de fyra HMSAM-variablerna?”. Inget hos IMKV gick att peka på under brainstormingfasen som bidrar till glädje för användaren. Gränssnittet var i allra största utsträckning utan både färg och avsiktlig formgivning eller med någon vidare eftertanke vad gäller interaktionen. Det fastslogs här att prototypen skulle innehålla minst ett element som inte fyller någon funktion för kursvärderingen annan än att frambringa glädje för användaren (detta beskrivs i större detalj i designdagboken, bilaga.

Då ett problem med kursvärdering är att den är till störst nytta för framtida deltagare. Det diskuterades hur användarupplevelsen kunde locka fler användare genom nyfikenhet om vad andra tyckte om samma kurs. Det resulterade i två idéer: den ena att presentera diagram över hur kursvärderingen från pågående år ställer sig mot föregående och andra att efter genomförd

15 kursvärdering visa för användaren vad andra har svarat (den senare implementerades i prototypen). Resonemanget var att användaren skulle få bättre möjlighet att få kontext till sin egen upplevelse och ge mer material till reflektion över kursupplevelsen och därmed uppleva en nytta i att utföra kursvärderingen.

För att stärka känslan av kontroll hos användaren togs förslag upp om en framstegsindikator, andra typer av inputelement som analoga sliders istället för femgradiga skalor. Det lyftes en idé om en ‘snabbkursvärdering’ för den användare som gärna vill göra sin röst hörd men som inte vill svara på mer än en, två eller tre frågor. Det fastslogs att inputelementen skulle göras om så att gränssnittet känns mer responsivt och aktivt. Efter ett par iterationer av brainstorming prioriterades idéerna och valdes ut efter dess potentiella effekt på problemet och som ansågs vara genomförbara inom tidsramen för arbetet.

Prototypens olika element skissades digitalt och arrangerades om för att kunna se hur en viss struktur skulle se ut. Här uppstod idén som senare implementerades, om att tillämpa en uppdelning av frågor med hjälp av en karusellvy där enkätinnehållet är uppdelat enligt frågekategori i fyra vyer som kan bläddras sidledes med en navigationsmeny. Utvecklingen av prototypen och en klon av IMKV (se nästa avsnitt “evaluation”) skedde med hjälp av JavaScript-biblioteket React som är framtaget för att snabbt skapa återanvändbara användargränssnittskomponenter för webbapplikationer.

Under utvecklingen fattades beslut om hur de idéer som valts skulle implementeras tekniskt.

Googles UI-ramverk Material användes till flera av inputelementen, Matter JS till det som blev

‘bollhavet’ (se avsnittet “4.2.3 Motiverande element” eller bilaga 4) och Apex Charts till staplarna på resultatsidan.

3.2.4 Evaluation

Utvärdering av prototypen skedde genom A/B-tester som utfördes av studenter vid IM.

Studenterna rekryterades med ett missivbrev (bilaga 5) till tre skilda studentgrupper som studerar vid IM: en facebookgrupp för de systemvetenskapsstudenter som examineras 2021, en facebookgrupp för de systemvetenskapsstudenter som examineras 2022 och en grupp masterstudenter inom MDI. Studenterna fick antingen testa den nya prototypen eller den nuvarande implementationen.

Efter genomförd kursvärdering ombades testpersonerna att genomföra en utvärdering av användarupplevelsen. Det totala antalet deltagare i utvärderingen uppgick till 35 där 18 deltagare utvärderade IMKV och 17 deltagare utvärderade prototypen. För detta användes enkätverktyget AttrakDiff som mäter användarupplevelse och användbarhet genom att respondenten värderar en UI-design efter 28 st ordpar (Hassenzahl et al., 2015). Orden i varje par står ungefär i motsats till varandra och är i varsin ände av en sjugradig ordinalskala som respondenten får ta ställning till. Ordparen är indelade i fyra kategorier: i) Upplevd pragmatisk kvalitet (förkortas “PQ”); exempel “Technical - Human”, d.v.s. praktiska egenskaper och värderar hur lätt ett UI är att använda. ii) hedonisk kvalitet: stimulans (förkortas “HQ:S”);

exempel “Dull - Captivating”, d.v.s. känslomässiga egenskaper med fokus på hur stimulerande användandet är. iii) Hedonisk kvalitet: identifiering (förkortas “HQ:I”); exempel “Alienating - Integrating”, d.v.s. känslomässiga egenskaper med fokus på UIts identitet och vad det förknippas med. iv) Attraktivitet (förkortas “ATT”); exempel “Ugly - Attractive” d.v.s.

16 utseendemässiga kvaliteter (Hassenzahl et al., 2015). Oates (2006) beskriver att enkätverktyg är ett lämpligt sätt att utvärdera artefakter inom DSR då kvantitativ data eftersöks.

Den kvantitativa datan som AttrakDiff genererade var en siffra per ordpar och deltagare och sattes till ett värde mellan 1-7 beroende på hur deltagaren värderade upplevelsen mellan det

“negativa” ordet (värde 1) eller det “positiva” ordet (värde 7). Independent samples t-test med signifikansnivån .05 användes. Independent samples t-test används för att undersöka huruvida det finns en signifikant skillnad i medelvärde mellan två underliggande populationerna (Oates, 2006). I detta arbete var de två populationerna personer när de använder IMKV och personer när de använder prototypen. I detta arbete togs medelvärdet inom varje frågekategori och jämfördes mellan grupperna. Nollhypotesen var att de underliggande populationernas medelvärden i frågekategorierna inte skiljde sig och alternativhypotesen att de skiljde sig. På så sätt undersöktes huruvida det fanns en statistisk signifikant skillnad i användarupplevelse mellan prototypen och IMKV.

Oates (2006) beskriver även hur dokument kan utgöra en datainsamlingsmetod och delar in dokument i två typer: funna dokument och dokument som genereras av forskare. I design science är dokument som genereras av forskare intressant då sådana dokument är av vikt för att kunna presentera tillvägagångssätt, avvägningar, skisser etc. när arbetet ska redogöras för i skrift (Oates, 2006). För att säkerställa att de diskussioner, tankar och avvägningar som annars kan återfinnas sporadiskt efter ett genomfört design science-projekt har författarna av detta arbete fört dagbok över sitt arbete. En sådan dagbok skrevs och användes som underlag för analysen av designarbetet i kapitel 5.3

3.2.5 Conclusion

Denna fas inleddes när utvärderingen av prototypen avslutats och resultatet fastslagits. Arbetet tog sig form av att skriva avsnitt 5-6 av detta arbete för att på ett tydligt sätt kunna presentera resultatet för läsaren. Diagram, tabeller och figurer skapades för att på ett tydligt sätt presentera arbetets resultat. Analys om resultatet formulerades och presenterades in kapitel 5. I kapitel 6 diskuterades detta arbetes förhållningssätt till design science enligt de designriktlinjer Hevner et al. (2004) har tagit fram (se 6.2.1), begränsningar med detta arbete samt potentiell framtida forskning inom ämnesområdet.

17

4. Design och utveckling av prototyp

Design- och utvecklingsprocessen beskrivs i detta kapitel med bildjämförelser mellan det nuvarande kursvärderingsverktyget och prototypen samt motiveras utifrån teorin.

4.1 Om designarbetet

Utförandet av designarbetet bedrevs enligt den metod presenteras i avsnitt 3. Arbetet lades upp likt beskrivet upp utifrån Oates (2006) faser för DSR och arbetet följde de faserna.

Prototypen och de element som utgör denna har baserats på den teori som presenterats i teoriavsnittet av denna uppsats. De designval som gjorts har sin grund i det material som presenterats i teoriavsnittet, dvs. FBM (Fogg, 2009a), Influerande genom sociala cues (Fogg, 2003), PSD (Oinas-Kukkonen & Harjumaa, 2009), TAM (Davis, 1989) och HMSAM (Lowry et al. 2013). Designval som tagits under designprocessen kommer motiveras i samband med att dessa redogörs för nedan och i slutet av detta kapitel presenteras en översikt av samtliga element och dess motiveringar (se tabell 1).

Inledningsvis insamlades och bearbetades litteratur angående ämnet svarsfrekvens vid kursvärderingar för att få en god förståelse för problemet från empirin. Hur kursvärderingar fungerar, varför kursvärderingar är viktiga, varför låg svarsfrekvens vid kursvärderingar är ett problem och vad man bör eftersträva för svarsfrekvens undersöktes. Vidare insamlades mer information om problemet med låg svarsfrekvens specifikt vid IM in genom inhämtning av statistik samt ett möte med en person vid IM med stor insyn i kursvärderingsprocessen vid IM.

Uppsala Universitets underlag för utformning av kursvärderingar undersöktes också. Alltefter problemet med låg svarsfrekvens vid kursvärderingar generellt och specifikt vid IM blivit tydligt började arbetet alltmer övergå till att ta fram ett förslag på en idé. Denna del av arbetet som beskrivits ovan är enligt förfarandet som Oates (2006) beskriver awareness-fasen.

Författarna av detta arbete är båda studenter vid IM och är därigenom bekanta med IMKV. En misstanke om att UI:t inte stödjer användarupplevelsen i tillräckligt hög grad började fästa sig men huruvida detta kunde ha en påverkan på användandet var oklart. Teorierna TAM och HMSAM vilka båda beskriver förhållandet mellan användarupplevelse och användarbeteende gav vägledning till att identifiera potentiella problem med designen hos IMKV.

4.2 Analys av nuvarande implementation

Designarbetet inleddes med en genomgång av IMKV för att kunna identifiera potentiella brister eller förbättringsmöjligheter. Baserat på PSDs designprinciper samt TAM, HMSAM och FBM identifierades förbättringsmöjligheter vilka sedan låg som i samband med utvecklingen av prototypen.

Visuellt upplevdes IMKV ha en föråldrad design. En föråldrad design är sannolikt inte utformad från de stilmässiga riktlinjer och tankar om UI- och interaktionsdesign som används idag. Vidare var det tydligt att IMKV främst fokuserat på de funktionella aspekterna av

18 interaktionen då responsiviteten och känslan vid interaktionen upplevdes vara bristande.

Element för att skapa någon typ av motivation till deltagande eller de delar som enligt HMSAM påverkar påverkar människans motivation till användning (nyfikenhet, glädje, inlevelse och kontroll) kunde inte identifieras.

4.3 Designval för prototyp

I detta avsnitt presenteras de designval som gjordes under arbetet utifrån kategorierna layout, frågeelement och motiverande element. För tabellöversikt för detta avsnitt se tabell 2 i slutet av detta kapitel. Vissa av principerna i PSD var vägledande vid alla designbeslut och nämns inte specifikt vid varje element i avsnitten nedan. Exempel på dessa är surface credibility som handlar om vikten av att göra ett bra visuellt första intryck, liking som handlar om att skapa visuellt attraktiva system och trustworthiness som handlar om skapa övertygande och förtroendeingivande system.

4.3.1 Layout

Med layout avses i detta arbete generella element och dess placering såsom navigering, uppdelning av information etc. Baserat på FBM var målsättningen att skapa layout som både motiverar och underlättar användandet av verktyget, för att i större utsträckning få deltagarna att utföra målbeteendet kursvärdering. Design som är motiverande men som inte offrar användarvänlighet hamnade i fokus, och i de fall där det blev en konflikt mellan dessa gjordes en avvägning.

Till skillnad från IMKV, där alla frågor visas löpande uppifrån och ned på samma sida, gjordes ett val att dela upp frågorna över flera sidor med olika kategorier av frågor som användaren kan växla emellan (se figur 4 nedan). Genom att begränsa informationen som visas vid ett och samma tillfälle för användaren blir innehållet mer överskådligt och får ett större fokus. Vidare blir det genom att dela in frågorna i kategorier tydligare för användarna vad frågorna behandlar och försätter användarna i ökad kontroll och förståelse för var i interaktionen användaren befinner sig. Användarna kan navigera mellan de olika sidorna av frågor antingen genom en meny av kategorier eller genom att trycka på föregående eller nästa.

Layouten som beskrivs ovan motiveras av i) design för förmåga enligt FBM, ii) designprinciperna reduction, tunneling och self-monitoring från PSD och iii) hur en användares känsla av kontroll har inverkan på avsikt att använda tekniken enligt HMSAM.

19 Fig 4. Exempelbild på innehåll

När användaren kommer till sista delen av kursvärderingen, Skicka in, ser användaren om den besvarat eller avstått alla frågor. Idén med detta element är att motivera användarna att besvara alla frågor eller aktivt ta ställning till deltagande. Om några frågor ej besvarats visas under vilken kategori av frågor som de obesvarade frågorna finns och hur många de är (se figur 5) samt så visas en varningssymbol för att symbolisera att något ej är färdigställt. Om alla frågor är besvarade visas istället en grön bock för att tydliggöra att användaren är färdig. Detta element ska vara vägledande i den mån att göra tydligt för användaren hur denne bör gå tillväga för att slutföra interaktionen på bästa sätt. Genom att presentera för användaren vad som inte är besvarat försätts användaren i högre grad av kontroll och minskar risken att någpn del av interaktionen missas.

Skicka-in-elementets utformning motiveras av i) Förmågadimensionen av persuasive design enligt FBM, ii) språkliga cues enligt Foggs social cues, iii) designprinciperna tunneling, self- monitoring och suggestion, iv) hur användarens känsla av kontroll har en inverkan på avsikt att använda tekniken enligt HMSAM.

20 Fig 5. Bild av skicka-in-element

4.3.2 Frågeelement

Frågetyper

Genom att prototypen ska stödja kursvärderingar utförda vid IM, som är en del av UU, har de frågetyper som finns beskrivna i UU:s material för kursvärderingar (2021) varit ledande i arbetet med design av input för frågor. De tre typer av frågeelement som används vid kursvärderingar vid UU och IM är: i) Radioknappar för svar efter ordinalskala (se övre del av figur 6), ii) Checkruta vid flervalsfrågor (se övre del av figur 7) och iii) Fritextsvar för öppna frågor (se övre del av figur 8).

Frågeelementen hos IMKV är sparsamt stylade bortom den inbyggda stilen i html-elementen.

Funktionaliteten hos dessa element kan betraktas som hög då de endast är designade för att kunna ta input från användaren.

Ordinalskala

För input av data på ordinalskala togs beslutet att även i prototypen använda sig av radioknappar, då det är ett funktionellt element för syftet och en större omdesign sannolikt ej skulle bidra till syftet i någon högre grad. För att förbättra detta inputelement togs beslutet att ändra på utseendet från defaultutseendet som radioknappar har samt att implementera en högre responsivitet i form av animation och förändring av färg vid markering. Det blanka svarsalternativet Vet ej/Vill ej svara/Ej aktuellt på ordinalskalorna vid IMKV togs bort och ersattes med att möjligheten att avstå en fråga. Detta för att framhäva de ställningstagande svarsalternativen och att förenkla gränssnittet (se figur 6).

Designbeslutet för ordinalskalefrågor motiveras av: i) motivationsdimensionen av FBM, ii) fysiska social cues av Fogg’s social cues.

21 Fig 6. Ett vanligt förekommande element i kursvärderingar är ett påstående som användaren får ta ställning till

genom att besvara efter en ordinalskala. IMKV (övre) och prototyp (nedre).

Flerval

För input av flervalsfrågor togs designbeslutet att omdesigna inputelementen från en traditionell fyrkantig checkruta till rundade inputelement som innehåller texten för flervalsalternativet och anpassar sin storlek utifrån det. Dessa inputelement designades med en högre grad av responsivitet i form av skuggning, en lekfull animation och färgförändring vid interaktion. Vidare är layouten för de olika alternativen annorlunda från NI för att bättre utnyttja platsen och göra alternativen mer överskådliga (se figur 7).

Designbeslutet för flervalsfrågor motiveras av: i) motivations- och förmågadimensionen av FBM, ii) fysiska social cues av Fogg’s social cues, iii) designprincipen reduction från PSD och iv) hur ökad kontroll påverkar användarbeteende enligt HMSAM och TAM.

22 Fig 7. Ett frågeelement där användaren får klicka i om ett visst eller flera ord kan beskriva kursens

huvudintryck. IMKV (övre) och prototyp (nedre).

Fritext

För input av fritext togs designbeslutet att likt vid IMKV använda ett textarea-element då det är ett funktionellt element och det inte finns något uppenbart bra alternativ. Ett designbeslut om annan styling för att skilja sig från defaultutseendet hos textarean togs och implementerades för att ge en ökad känsla av kvalitet (se figur 8). Detta motiveras främst av de överhängande designriktlinjerna från PSD vars roll redogjordes för i inledningen av avsnitt 4.3.

Fig 8. En fritextruta där användaren fritt får svara på en fråga eller uppmaning. IMKV (övre) och prototyp (nedre).

Avstå

För samtliga tre frågeelement togs beslutet att tillåta användaren att aktivt kunna avstå från att besvara en fråga. Detta implementerades genom en checkruta vilken kan bockas i varpå frågan dimmas ut. Detta designval motiverades av i) designprinciperna tunneling och self-monitoring från PSD och ii) hur kontroll påverkar inställningen till användning enligt HMSAM.

Kommentarer

Möjligheten för användaren att lämna en kommentar vid varje fråga togs bort. Syftet med detta var att förenkla gränssnittet och att minska den kognitiva bördan för användaren. Då slipper användaren repetitivt mötas av systemets förfrågan att få en kommentar på det senaste ställningstagandet. Detta designbeslut motiverades av: i) förmågadimensionen av FBM genom design för enkelhet och ii) designprincipen reduction.

23 4.3.3 Motiverande element

Med avstamp i FBM av Fogg (2009a) och misstanken om att motivation till att utföra kursvärderingar är låg (Goodman et al. 2015; Morrison, 2013) identifierades ett behov av ökad motivation. Utifrån detta behov formulerades idéer om hur motivation kan skapas hos användaren genom ett nytt verktyg för kursvärdering. De idéer som valdes ut beskrivs nedan.

Bollhav

Som ett interaktivt och motiverande element designades ett interaktivt bollhav, där varje boll representerar ett högskolepoäng som användaren avklarat (se figur 9 nedan). Användare kan dra runt, ordna, kasta eller på andra sätt leka med bollarna i bollhavet och interaktionen är kravlös. Interaktionen med bollhavet avsågs vara tillfredsställande och njutbar, vilket låg i fokus under utvecklingen av detta element. Känslor såsom tillfredsställelse, nyfikenhet och glädje eftersträvades.

Utöver interaktionen var idén med detta element att det kan vara motiverande att successivt se sitt bollhav växa kurs efter kurs. För att bollhavet skulle lyckas generera dessa känslor lades fokus på att interaktionen skulle vara mjuk och lekfull.

Fig 9: Ett nytt element utan någon funktion för kursvärderingen i sig. Vid rendering kastas bollar in från vänster där varje boll representerar ett kurspoäng som användaren har läst och vilka är färgkodade efter kurs.

Designen och utvecklingen av detta element motiveras av i) motivationsdimensionen av FBM, ii) fysiska och psykologiska cues enligt Fogg’s social cues, iii) designprinciperna tailoring, personalization, real-world feel från PSD och iv) HMSAM, vilken beskriver att nyfikenhet och glädje har en inverkan på avsikt att använda verktyget.

Resultatsida

Under brainstormingen av designidéer för motiverande element identifierades något som kan vara motiverande för användare och som skulle kunna implementeras digitalt: att få veta vad andra tycker och tänker. Ett designförslag för hur detta kunde implementeras i ett kursvärderingsammanhang genererades. Resultatet blev ett element som låter användare som skickat in sin kursvärdering se statistik över hur de själva och övriga kursdeltagare har svarat i den aktuella kursvärderingen. Detta element skulle visas först efter inskickad kursvärdering.

På så sätt kan användarna jämföra sina svar och reflektera över sina egna åsikter utan att det påverkar hur de svarar i kursvärderingen. Informationen presenteras för användaren genom staplar för ordinalskalefrågorna och för flervalsfrågorna. För fritextsvaren är det svar som är utvalda av kursadministratören som visas (se figur 10, 11 och 12).

Detta elements utveckling och utformning motiveras av i) motivationsdimensionen av FBM, ii) fysiska cues enligt Fogg’s Social Cues, iii) designprinciperna tailoring, real-world feel och social comparison och iv) HMSAM vilken beskriver att nyfikenhet har en inverkan på användares avsikt att använda en teknologi.

24 Fig 10. Ordinalfrågeinput-resultat där användarens svar är blåmarkerat

Fig 11. Flervals-resultat där användarens svar är blåmarkerade

25 Fig 12. Fritext-resultat där kursadministratören kan välja ut relevanta och konstruktiva fritextsvar

Tackmeddelande

Då användarna är en förutsättning för kursvärdering är det viktigt att de känner sig uppskattade.

Ett designbeslut i form av att utforma ett element i form av ett utförligt tackmeddelande togs och implementerades. Idén med detta element var att motivera användarna genom påtala att de gör skillnad och är uppskattade. Detta är särskilt viktigt då kursvärderingen inte skapar något värde för användaren. Vidare är det viktigt att skapa en medvetenhet om varför kursvärdering är viktigt vilket kan leda till en bestående motivation att delta i kursvärderingar.

Tackmeddelandet designades som en stängbar ruta som hamnar direkt i användarens synfält efter inskickad kursvärdering. Till skillnad från andra element har tackmeddelandet en annan bakgrundsfärg för att sticka ut från det resterande innehållet och framhäva dess vikt (se figur 13).

Elementet med tackmeddelandet som beskrivs ovan motiveras av i) motivationsdimensionen av FBM, ii) fysiska, psykologiska och språkliga cues från Foggs social cues, iii) designprinciperna praise och real-world feel från PSD och iv) upplevd användbarhet enligt TAM och HMSAM.

Fig 13. Tackmeddelande som visas för användaren vid inlämnad kursvärdering

Designelement i prototypen Önskad effekt Designprinciper från PSD

26 Uppdelning av frågor och

navigationsmeny

Ökad överskådlighet Ökad känsla av kontroll

reduction tunneling self-monitoring

Skicka in-vy med status Ökad överskådlighet Ökad känsla av kontroll

tunneling self-monitoring

Frågeelement Ökad tydlighet

Mer tilltalande gränssnitt

reduction

surface-credibility

Avstå-knapp Ökad tydlighet reduction

Inga kommentarsfält Mer städat gränssnitt reduction

Bollhav Ökad känsla av glädje och

nyfikenhet

real-world feel personalisation tailoring

Resultatsida Ökad känsla av nyfikenhet Ökad reflektion

real-world feel social comparison tailoring

Tackmeddelande Ökad känsla av uppskattning praise

real-world feel Tabell 1. Motiveringar för designval

27

5. Resultat och analys

I detta kapitel presenteras resultatet från utvärderingen av prototypen, analys av utvärderingsresultatet samt analys av designarbetet.

5.1 Utvärderingsresultat

För att utvärdera den nyutvecklade prototypen genomfördes som beskrivet i metoddelen ett A/B-test där kursdeltagare vid IM antingen fick testa IMKV eller den nyutvecklade prototypen.

Efter att ha testat ett av verktygen fick deltagarna utvärdera det med enkätverktyget AttrakDiff.

Enkätsvaren presenteras i figur 14, figur 15 och tabell 2 nedan.

◼︎ Prototyp ◼︎ IMKV

Fig 14. Noderna på respektive linje (blå för prototypgruppenoch orange för IMKV-gruppen ) representerar det genomsnittliga värdet i respektive frågekategori (se metodavsnittet 3.2.1). Ett högre tal enligt skalan till vänster

är ett bättre resultat enligt AttrakDiff.

28

◼︎ Prototyp ◼︎ IMKV

Fig 15. Noderna på respektive linje (blå för prototypgruppenoch orange för IMKV-gruppen ) representerar det genomsnittliga värdet i varje ordpar (se metodavsnittet 3.2.1). I varje ordpar presterade prototypen bättre än

IMKV enligt AttrakDiff.

29 För att testa huruvida det fanns någon skillnad i användarupplevelse mellan de två verktygen genomfördes oberoende parvisa t-test mellan deltagargrupperna inom var av de fyra kategorierna. Medelvärdet av varje deltagares svar inom respektive kategori användes i testen (se bilaga 3 för r-script). Testen baserades på hypotesen att det finns en signifikant skillnad i användarupplevelsen mellan verktygen i varje kategori.

Klass av ordpar t p Estimat* 95% konf.int.

PQ 4.93 <0.001 1.45 (0.85, 2.04)

HQ-I 8.96 <0.001 3.26 (2.52, 4.00)

HQ-S 6.96 <0.001 2.42 (1.71, 3.12)

ATT 9.76 <0.001 3.78 (2.99, 4.57)

Tabell 2. Resultat av t-test. *Den uppskattade skillnaden i genomsnitt i den underliggande populationen.

I samtliga fyra kategorier av ordpar kan nollhypotesen - att grupperna inte skiljde sig - förkastas och det fastställdes med >99.9% säkerhet att det finns en skillnad i användarupplevelsen i varje kategori: Poängen för PQ, HQ-I, HQ-S och ATT uppskattades vara 1.54, 3.42, 2.58 och 3.93 högre i prototypen än i IMKV i respektive kategori.

5.2 Analys av utvärderingsresultat

Den nyutvecklade prototypen presterade bättre än klonen av IMKV i samtliga fyra kategorier av användarupplevelse som undersöks av AttrakDiff. Den förbättrade användarupplevelsen uppnåddes genom design baserat på teori om persuasive design och användarbeteende. Således har det visats att implementationen av persuasive design vid kursvärderingsverktyg har en positiv inverkan på användarupplevelse för kursvärdering vid IM.

Syftet med detta arbete var att skapa en prototyp av ett kursvärderingsverktyg med tillämpning av persuasive design för att förbättra användarupplevelsen och eventuellt öka deltagandet vid kursvärderingar. TAM beskriver hur upplevd användbarhet och upplevd lätthet till användande har en positiv inverkan på attityd till användande och i längden till beteendet att använda en teknologi (Davis, 1989). HMSAM bygger på TAM men redogör för de delar som utgör begreppet upplevd lätthet till användande, dvs. joy, curiosity, control och immersion (Lowry et al. 2013). Upplevd användbarhet och upplevd lätthet till användande är båda en del av användarupplevelsen, och användarupplevelse utgörs av både den pragmatiska (PQ), den attraktivitetsmässiga (ATT) och de hedoniska kategorierna (HQ-I och HQ-S) som frågorna i AttrakDiff undersöker. Då prototypen ger en förbättrad användarupplevelse i samtliga kategorier bör prototypen leda till en positiv förändring av attityd till användandet av tekniken samt en positiv förändring av beteendet att använda tekniken enligt TAM och HMSAM (Davids, 1989; Lowry et al. 2013). Då kursvärdering sker genom användningen av ett tekniskt verktyg bör attityden och beteendet till användning kunna ha en inverkan på deltagande i kursvärdering.

Bristande motivation identifierades under awareness-fasen som en bidragande faktor till varför låg svarsfrekvens är ett utbrett problem (Goodman et al. 2015; Morrison, 2013). Bristen på motivation inspirerade utvecklingen av de motiverande elementen i prototypen då Fogg

30 (2009a) framhäver motivationens påverkan på beteende i FBM. Utvärderingen av prototypen med hjälp av AttrakDiff undersökte inte motivation i sin helhet, men en av frågorna i AttrakDiff låter deltagaren ange på en skala hur motiverande verktyget var. På frågan om hur motiverande verktygen var på en skala 1-7 presterade prototypen ett genomsnittligt svar på 6,29 (17 deltagare) och IMKV ett genomsnittligt svar på 2,5 (18 deltagare). Emellertid är endast en fråga om motivation i en utvärdering som inte främst fokuserar på motivation sannolikt inte ett optimalt sätt att dra några definitiva slutsatser. Detta skulle behöva undersökas ytterligare men kan ses som en indikation på att den nya prototypen är mer motiverande än IMKV. Hade specifikt motivation undersökts ytterligare hade svaret på forskningsfrågan stärkts ytterligare.

I figur 15 presenteras genomsnittet för varje ordpar för respektive verktyg. Ordparet undemanding - challenging sticker ut för prototypen gentemot resterande frågor då det är den enda frågan där prototypen presterar ett genomsnittsvärde lägre än noll. Ordparet undemanding - challenging är en del av kategorin Hedonic Quality Stimulating (HQ-S). En utmanande interaktion skulle eventuellt kunna vara eftersträvansvärt i sammanhang såsom datorspel där stimulansen ligger i att lösa ett problem. I kursvärderingssammanhang kan det vara så att utmaning inte är eftersträvansvärt och att varken prototypen eller IMKV upplevdes som utmanande. Ser man till kategorin i sin helhet presterar prototypen bättre än IMKV för HQ-S.

Ordparet undemanding-challenging kanske ligger utanför sitt rätta sammanhang i denna studie, men påverkar inte resultatet avsevärt då den var ungefär lika för båda versionerna.

5.3 Analys av designarbetet

I detta avsnitt analyseras designarbetet baserat på resonemang som skrevs ned i designdagboken som författarna förde under arbetet med designen och utvecklingen av prototypen. Exempel på ett utdrag från designdagboken återfinns i bilaga 4.

Persuasive design för kursvärdering

Persuasive design för kursvärderingsverktyg och enkäter i stort är akademiskt sett ett näst intill outforskat område. För att skapa de bästa förutsättningarna för att lyckas med persuasive design utgick arbetet från Denna avgränsning är gjord då målgruppen (se 2.1.1). Samtliga delar av modellen var inte tillämpbara för just detta arbete men skapade en bra grundstruktur för designarbetet.

Baserat på designriktlinjerna från PSD (Oinas-Kukkonen & Harjumaa, 2009), teori om persuasive design från FBM (Fogg, 2009a) och Fogg’s social cues (Fogg, 2003) i kombination med lärdomar från TAM (Davis, 1989) och HMSAM (Lowry et al. 2013) blev det under designprocessen tydligt att persuasive design är tillämpligt på kursvärderingsverktyg. Trots att persuasive design främst används i andra sammanhang var riktlinjerna och teorin intuitiv och enkel att applicera för kursvärderingar.

Det är naturligtvis alltid viktigt att förstå vilka användarna är och vad de vill få ut genom interaktion med en produkt, men under designarbetet som denna uppsats redogör för har det blivit tydligt att det är extra viktigt när man applicerar design i en ny kontext. Det är vanligt att i produkter där persuasive design tillämpas så får användaren personligen ut något av interaktionen, t.ex. viktnedgång och de hälsofördelar som följer med det, eller ett bredare socialt nätverk med fler kontakter. För kursvärdering finns inget motsvarande utöver möjligheten för reflektion som Uppsala Universitets enhet för kvalitet och utvärdering (2021)