Antal koder/teman Problem KOD ANTAL
5.3.3 Placering och Utseende
Några deltagare hade även problem med placeringen och utseendet av
textblocken, de upplevde att de behövde mer plats bakom sig i VR för att kunna få en bra överblick över textblocken eller att de var för stora i båda versioner av spelet. Tanken var att deltagaren skulle behöva röra på huvudet för att
textblocken skulle bli en del av VR-miljön och inte endast en 2D-bild. Detta kan åtgärdas genom att minska textblocken något, inte så att deltagaren inte
behöver titta omkring i miljön men så att de inte är så pass stora som de är idag. En mer levande design kan även behövas där textalternativen/blocken följer användarens blick/joystick för att titta runt då de idag är statiska. Detta behöver dock utformas på ett sätt som inte gör användaren yr eller ger dem ansträngda ögon.
Fler tester behöver utföras för att avgöra om textblocken behöver göras om eller inte då få deltagare nämnde att blocken var för stora och få ville ha mer plats bakom sig. En annan orsak till att fler tester behöver utföras för att undersöka storleken av textblocken är att spelsessionerna inte observerades så om
deltagaren testade att gå bakåt för att se mer eller inte är okänt. Ett test med fler deltagare skulle även visa om fler kommentarer som dessa uppges.
5.3.4 Speldesign
Många deltagare uppgav, som tidigare nämnt, problem med att veta vad textalternativens utfall eller mål var. Detta ledde till svårigheter att välja ett alternativ eller att det inte gav den valfrihet som hade önskats. Några hade även problem med att veta vad som hände ur bild, till exempel när något skedde med dörren. Utformningen av textalternativen upplevdes även som för stora av några få deltagare eller att synligheten av dem endast var bra om de stod längst fram i klassrummet eftersom textalternativen inte följer med läraravataren. Ett fåtal nämnde även att det var svårt att veta om de skulle göra mer än att endast svara på frågorna. En förklaring till detta kan vara att spelets mål inte var tillräckligt tydligt för deltagarna.
Ett fåtal deltagare visste inte att det var elever utanför klassrummet som väntade på att få komma in i klassrummet och ett fåtal deltagare blev utestängda från klassrummet när de gick ut i hallen. Gällande det förstnämnda problemet så kan detta bero på att läraravataren står i klassrummet när spelet påbörjas, men audion med en kvinnlig röst beskriver att läraren kommer till klassrummet och låser upp dörren samt att det står elever i hallen som läraren hälsar på. Gällande det andra problemet så beror detta på att dörren hålls öppen i olika scenarion i spelet, tiden för hur länge dörren hålls öppen varierar. I efterhand är det tydligt att dörren behövde hållas öppen en längre tid. Om den spelliknande
simulationen ska användas måste en trigger sättas omkring klassrumsdörren så att dörren alltid öppnas eller hålls öppen när spelaren står nära dörren.
6. Diskussion
Denna studie hade som syfte att ta reda på om Game User Experience
Satisfaction (GUESS) skiljde sig mellan VR i jämförelse med på skärm. Studien avsåg även att ta reda på vilka problem användaren stötte på när de spelade respektive spel. Motivationen till studien var att två tidigare studier hade utförts med GUESS för att ta reda på om Game User Experience Satisfaction var högre i VR i jämförelse med skärm. Studiernas resultat pekade dock åt olika håll.
För att undersöka studiens syfte och frågeställningar användes fritextfrågor i kombination med den relativt nya psykometrisk validerade skalan Game User Experience Satisfaction Scale (GUESS) som mätinstrument. GUESS innehåller 9 subskalor; Usability/Playability, Narratives, Play Engrossment, Enjoyment, Creative Freedom, Audio Aesthetics, Personal Gratification, Social Connectivity, Visual Aesthetics. Studien valde bort subskalan Social Connectivity då den inte var applicerbar på den spellikande simulationen.
Den spelliknande simulationen som skulle utvärderas är en klassrumssimulation som heter SimProv. Spelet utgår från att användaren är en lärare i ett klassrum där olika konfliktbaserade händelser sker med eleverna i klassrummet.
Användaren som spelar lärare får sedan ta beslut utifrån fyra alternativ (textalternativ) för att hantera situationen som har uppstått med hjälp av en Xbox-kontroll.
Inomgruppsdesign användes som testmetod med 30 deltagare. Hälften av deltagarna fick börja med att spela den spelliknande simulationen i VR och den andra hälften fick börja med att spela på vanlig datorskärm. Detta gjordes för att undvika ordningseffekten. För att analysera resultaten användes t-tester samt en tematisk analys. Innan deltagarna godkändes för att vara med i testet fick de säkerhetsinformation om att använda VR, de fick till exempel inte ha epilepsi eller ha fått någon typ av anfall tidigare. Säkerhetsinformationen hämtades från
Oculus. Givet att deltagaren läst igenom informationen och säkerställt att de inte är inom riskzonen för de problem som kan uppstå vid användning av VR
godkändes deras deltagande.
Nedan beskrivs studiens frågeställningar med en kort framläggning av svaren på dem:
- Finns det någon skillnad mellan VR- och skärm-versionen av spelet med avseende på Game User Experience Satisfaction?
Resultaten från den inferentiella statistiken visade ingen signifikant skillnad i totala GUESS.
- Vilka problem stöter användarna på när de spelar?
Många deltagare ansåg att svarsalternativen var begränsande samt att det var svårt att avgöra utfallet av ett svarsalternativ. Många deltagare hade även problem med att höra en dörryckning i ett av scenarierna, vilket ledde till förvirring, några (2 deltagare) blev även utestängda från klassrummet. Några kände att de hade mer kontroll (5 deltagare) med handkontrollen och kände sig mer fria (5 deltagare) med denna när de spelade på skärm.
- Hur skiljer sig GUESS-värdena i sin helhet
Vid beräkning av det totala GUESS-värdet rekommenderas det att
medelvärdet av alla frågorna per subskala räknas ut. Medelvärdet för varje subskala slås sedan samman för att få ut de fullständiga poängen för GUESS. Med 8 subskalor, som användes i denna studie, är lägsta
medelvärdet för GUESS är 8 och högsta är 57. VR fick medelvärde 41 och skärm fick medelvärde 39. De sammanlagda poängen mellan de två modaliteterna var därav nära varandra.
- Hur skiljer sig GUESS-värdena i sina subskalor?
Resultaten från den inferentiella statistiken visade endast signifikant skillnad i subskalan Play Engrossment (p<0.001) med medium till stor effektstorlek med Cohens’d (d=0,7). För denna subskala föredrogs VR. Orsaken till att denna denna subskala fick en signifikant skillnad kan, som tidigare nämnt, bero på att immersion är del av VR-upplevelsen och detta upplevdes som positivt av deltagarna.
- Hur skiljer sig problemen användaren stöter på i VR och på skärm?
Fritextfrågorna visade att majoriteten av deltagarna föredrog VR (16 deltagare). Orsaken kan vara att immersion och fokus var ett kodord som ofta förekom vid analysen av fritextfrågorna. Många (7 deltagare)deltagare påpekade dock att påfrestning i VR ledde till exempelvis illamående, yrsel, eye-strain. Detta kan ha berott på att grafiken upplevdes som pixlig och att några deltagare gick i spelet. Att gå i spelet avråddes, men användaren var fri att gå omkring om de så önskade.
Likt det som framkommer i Studie 2 (Yildirim, Carroll, Hufnal, Johnson & Pericles, 2018) antas det att inmatningsmetod absolut påverkat UES-upplevelsen då upplevelsen kan bli främmande för användaren när de inte kan se sina händer och använda dem på ett naturligt sätt, särskilt när det faller naturligt för
människor att använda dator och mus, något som även Studie 2 påpekar (Yildirim et al. 2018).
GUESS-resultaten visade signifikant skillnad för en subskala; Play Engrossment. Denna subskala blev även signifikant i Studie 1 (Shelstad, Smith & Chaparro, 2017), men inte i Studie 2 (Yildirim et al. 2018). I denna studie visade resultat att Play Engrossment var högre i VR. På grund av att VR tillåter användaren att bli totalt eller delvist försjunken (eng. immersed) i spelvärlden kan detta vara en förklaring till varför denna subskala blev signifikant (Shelstad, Smith & Chaparro, 2017;
Bockholt, 2017; Furht, 2008). Fler deltagare kan ha behövts då Studie 1 använde 40 deltagare och Studie 2 använde 48 deltagare. Deltagarna var relativt olika, även om de var i samma ålder, och det kan ha påverkat resultaten. SimProvs målgrupp är lärarstudenter, en spelsimulation som SimProv är då mer logisk för en
lärarstudent. Detta beror på att lärarstudenten kan sätta sig in i deras roll som lärare och spela lärare i ett simulerat klassrum. Denna upplevelse upplevs då eventuellt inte som ett spel utan som ett mål för att hantera situationer de en dag eventuellt kommmer att ställas inför. De två andra studierna använde även
endast studenter (Shelstad, Smith & Chaparro, 2017; Yildirim et al. 2018).
Att påfrestning blev så hög i fritextfrågorna var väntat då VR-teknologi lätt leder till simulatorsjuka. (Oculus, 2017) En tanke som uppstod gällande detta var dock om simulatorsjuka kan minskas med bättre utrustning som till exempel Valve Index som har en betydligt för uppdateringsfrekvens (Epstein et al,
2019.;Stapleton, 2019; Pino, 2019) än VR-headsetet, Oculus Rift, som användes i denna studie samt om deltagarna inte gick i spelet.
De två tidigare studierna (Shelstad, Smith & Chaparro, 2017; Yildirim et al. 2018) nämnde inte någonting om att deltagarna fick simulatorsjuka, Studie 1 nämnde dock att simulatorsjuka är en nackdel vad gäller VR. Denna studie hade en deltagare som påverkades av simulatorsjuka så pass mycket att spelsessionen behövde avbrytas. Detta var ett nytt resultat i jämförelse med de två andra
studierna som denna studie jämfördes med. VR har en nackdel i att det finns folk som blir illamående vid användning av VR och det är därför viktigt att ha detta i åtanke vid utveckling av spel för VR. Illamående, eye-strain och yrsel var även något som återkom hos många deltagare (sju deltagare) i fritextfrågorna. Genom att använda fritextfrågor blev det tydligt vad för typ av problem deltagarna hade. Det kan därför vara fördelaktigt att använda fritextfrågor eller intervjuer vid användning av GUESS som mätinstrument.
Resultaten från denna studie visar att ett spel som SimProv inte må vara lämpligt för VR. Detta framkom även i ett fåtal av svaren från fritextfrågorna (se 5.2.2
Spelupplevelse). Om den spelliknande simulationen vidareutvecklas så att den blir interaktiv och så fler deltagare kan spela tillsammans kan VR dock vara av värde för lärarstudenter då de kan utöva sin roll som lärare och diskutera valen med andra lärarstudenter i VR-versionen, såsom SimProv används idag på vanlig datorskärm (Nordvall, Arvola & Samuelsson, 2014; Arvola & Nordvall, 2016). Då blir den spelliknande simulationen mer levande, lärarstudenterna kan diskutera valen tillsammans i VR-miljön och reflektionshöjden för spelet i VR i jämförelse med skärm kan då även mätas. Värdet av reflektion och diskussion med personer inom samma framtida yrke förloras dessvärre i denna version av SimProv.
Målet med denna studie var dock att endast undersöka om personer föredrog VR i jämförelse med skärm, därför kan det anses att deltagarna inte behöver vara lärarstudenter. Kanske var VR nära signifikant skillnad då immersion gav ett mervärde för en spelliknande simulation som inte var inom deltagarens yrke, men som ändå bidrog till en upplevelse av att vara en lärare i ett klassrum där de behövde ta sig igenom konflikter som uppstår och hantera dem. I efterhand framgår det dock att det hade varit värdefullt med endast lärarstudenter. Detta tar dock inte ifrån alla insikter som framkom under denna studie då alla deltagare gav värdefull information som ledde till denna slutsats och mer om var och när VR är lämplig att använda.
En notering som dök upp medan de vanligaste utvärderingsmetoder som används för spel lästes var att inga av dessa enkäter mäter användbarheten av spelet som undersöks. (Poels, De Kort & IJsselsteijn, 2007; Jennett, Cox, Cairns, Dhoparee, Epps, Tijs, Walton. 2008; Ryan & Rigby, 2006)
GUESS (Phan, Kebbler & Chapparro, 2016) visade sig vara ett värdefullt redskap för att mäta User Experience Satisfaction. Skalan hade många frågor, men de var av relevans för att utvärder upplevelsen på djupet. Det var även fördelaktigt att två
subskalor kunde tas bort. Subskalan, Social Connectivity, som togs bort i denna studie hade varit relevant och intressant att använda om spelet hade utvecklats så att fler deltagarna kunde prata och se varandra som spelkaraktärer i
VR-versionen av spelet. Nackdelen med detta är dock att det blir en högre kostnad för utvecklarna av SimProv då två eller fler VR-headsets behövs. En lösning kan vara att göra en CAVE-simulation (Furth, 2008) där två eller fler lärare kan stå bredvid varandra och diskutera alternativet som ska väljas.
Denna studie bidrog, utöver delar som står ovan, till forskningen genom att utföra en till studie där VR jämförs med skärm genom att använda GUESS och fyller därigenom på informationen om användningen av GUESS. Att en av studierna, Studie 1, fick signifikanta resultat med VR kan, som de själva skriver, bero på typen av spel, ett strategispel (Shelstad, Smith & Chaparro, 2017). Studie 2 påpekar
detsamma, de menar att en orsak till varför de inte fick signifikanta skillnader kan ha berott på typen av spel som de använde, ett FPS-spel (Yildirim et al. 2018). Varför fler spel behöver testas för att se vilka som är lämpliga att utvecklas för VR då hypen av VR kan leda till att spel utvecklas i onödan utan att VR-upplevelsen bidrar till en bättre spelupplevelse och därav eventuellt bättre UES/mer
tillfredsställande användarupplevelse än om spelet endast hade utvecklats till att spelas på vanlig datorskärm. GUESS kan till exempel visa var spelet brister för att förbättra dessa delar eller visa att VR är redundant för vissa typer av spel. Studie 2 som använde ett FPS-spel kom fram till att VR kan ha varit överflödigt då denna typen av spel redan höjer användarens immersion enligt forskarna. Detta behöver dock inte vara sant för alla typer av FPS-spel, varför fler studier med GUESS som mätinstrument behövs. Olika typer av spel kan alltså vara orsaken till att forskare får olika resultat. Samtidigt som fler studier behövs där bättre VR-utrustning används. Denna studie bidrog även till forskningen genom att testa och utvärdera om SimProv ska utvecklas för VR eller inte; vad dess fördelar och
nackdelar kan vara och var det finns förbättringsmöjligheter i spelet som helhet.
6.1 Metodkritik
Denna studie hade först som avsikt att utföra testerna med lärarstudenter, detta gick dessvärre inte att åstadkomma. I efterhand anses det ha varit fördelaktigt om rekryteringen hade utförts annorlunda genom att gå fram till lärarstudenter och försöka rekrytera dem genom direktkontakt istället för över internet. Det testades att gå fram till andra typer av studenter mot slutet av testerna, när antal utförda tester nästan var klara, och insåg inte förrän dess att denna metod var möjlig och enkel att genomföra.
Faktorer som kan ha påverkat svaren är att en utomstående person var
närvarande i rummet genom hela spelsessionen. Denna närvaro kan ha påverkat spelupplevelsen och därav UES och svaren trots att deltagaren fick information om att det inte tittades på skärmen när de spelade eller svarade på formulären. En annan aspekt som kan ha påverkat resultaten var att spelet var i
prototypstadie, detta kan dock accepteras då det var samma spel jämfördes i VR och på skärm. Något som hade kunnat göras annorlunda vad gäller
spelutvecklingen är att speltestning skulle ha utförts med deltagare medan spelet vidareutvecklades. Detta hade dock blivit tidskrävande, men hade varit förmånligt för att skapa ett så bra spel som möjligt med feedback från användare. Andra bidragande faktorer som kan ha påverkat studien är typen av VR-headset,
inmatningsenhet och att immersion kan ha påverkats av vetskapen om att en utomstående person var närvarande i samma rum när de spelade.
Studien undersökte vad den ämnade att undersöka; om Game User Experience Satisfaction skiljer sig mellan VR i jämförelse med på skärm samt vilka problem som användaren stötte på under spelsessionen. Detta gjordes genom att använda GUESS-formuläret som mäter Game User Experience Satisfaction och fritextfrågor som innehöll frågor som svarade på vilken version de föredrog, varför de föredrog versionen de valde samt vilka problem och svårigheter de stötte på i respektive spel. Analysmetoderna tvåsidig hypotesprövning med t-test och en tematisk analys ledde till att studien fick resultat som stämde överens med vad studien avsåg att mäta och undersöka. En annan faktor som kan styrka
validiteten av studien var att pilottester utfördes innan de riktiga testerna
utfördes. Dessa bidrog till att ta reda på behov, problem och delar av studien som behövde ändras innan testsessionerna påbörjades. Pilottesterna ledde även till vetskapen om att rörelse i spelet kunde bidra till illamående och kunde därför berätta detta för deltagarna och avråda från gående i spelet. Deltagarna fick välja att gå i spelet om de ville det, men var då förvarnade om att illamående kunde ske samt att de kunde avbryta testsessionen när som helst utan förklaring.
Gällande reliabilitet använde studien GUESS som mätinstrument för att ta reda på Game User Experience Satisfaction. Skalan är ny, den är dock väl
genomarbetat och psykometriskt validerad och kan därför anses ha god reliabilitet. Inom kvalitativa studier används vanligtvis tematisk analys för att analysera intervjuer eller som i detta fall fritextfrågor. Textsvaren lästes igenom många gånger för att säkerställa att kodorden/temana som togs fram är korrekta och en opartisk person fick även gå igenom och dubbelkolla så dessa tolkades på samma sätt och diskuterades även grundligt fram till dess att två Legends kunde skapas; en för problem i respektive spel samt en för problem i spelet som helhet. Alla tester utfördes på exakt samma sätt och GUESS-delen av testet var utformat enligt rekommendationer från skaparna av GUESS. Den tematiska analysen utfördes även likadant för respektive deltagare.
6.1.1 Generaliserbarhet
Studien är svår att göra en allmän generalisering på då resultaten kan variera beroende på användargruppen som deltar, varför en studie med lärarstudenter som är målgruppen för SimProv kan vara intressant att utföra. Studien utfördes med människor med olika bakgrund och upplevelser, därför är det svårt att generalisera den kvalitativa data som framkommit. Den kvantitativa delen är även svår att generalisera för denna studie då, som tidigare nämnt, användarna var spridda menat att det inte var en specifik målgrupp som deltog. Om det skulle skrivas att denna studie är allmänt generaliserbar så betyder det att studien kan generaliseras för alla människor, vilket inte är sannolikt. Detta behöver dock inte betyda att studien inte alls är generaliserbar utan att den är måttligt generaliserbar eller att generaliserbarheten är låg. Tillvägagångssättet för alla testerna utfördes på exakt samma sätt så studien är replikerbar, men resultaten kan variera. Med en specifik målgrupp kan resultaten, med samma tillgångssätt som i denna studie, ge resultat som är generaliserbara. En studie med till exempel lärarstudenter eller personer som ofta spelar spel. En
rekommendation vore då att använda ett större antal deltagare för att kunna säkerställa att resultaten som framkommer inte har uppkommit av en slump.
Denna studie utfördes med VR-headset och med datorskärm. VR är i sig en upplevelse som är svår att åstadkomma med hjälp av andra metoder.
Tillvägagångssättet för studien med GUESS och fritextfrågor anses dock kunna appliceras på andra system som till exempel CAVE-system.