Metod

5.2.1

Användartester

På grund av COVID-19 bedrevs samtliga användartest över videokonferensprogram. Detta gjorde det lättare att differentiera användarunderlaget avseende ålder och kön, eftersom testen inte var knutna till Linköping eller universitetet. Dessutom ledde detta till att an- vändarna gjorde testet på sin egen dator med sin egen webbläsare. Webbläsaren och an- vändarens system ligger inte inom testets ramar och validiteten kan därför initialt under testen ses som hög då användaren inte påverkas av en ny webbmiljö. Att bedriva testen över videokonferensprogram bidrog dock även negativt till användartesten. En central del i CTA och användartest i stort är att läsa användarens kroppspråk och yttringar. Även i samband med Smith’s formel för vilsenhet [45] behövs ofta mer data än användarens inter- aktion med applikationen. Eftersom testen bedrevs över videokonferensprogram framkom bara användarens verbala tankar som var starka nog att aktivera mikrofonen. Små uttryck av irritation och kroppspråk som kan användas för att avgöra vissa utfall av Smith’s formel [45] missades lätt av inspelningen och gjorde därför bedömningen av vilsenheten svårare. Dessutom upplevdes det på grund av mötesformen svårt att bidra till användarens fortsat- ta verbala tankegång via back-channels, vilket behövs för att göra konversationen naturlig för användaren [42].

Något som kan påverka validiteten av rapporten markant är utformningen och formule- ringen av uppgifterna i användartesternna. I kontexten av denna rapport är målet med uppgifterna att mäta navigerbarheten. Därför sätts användarnas lösningsgång i relation till den kortaste möjliga för att lösa uppgiften. Svårigheten ligger i att formulera uppgif- terna så det tydligt framgår vad användaren förväntas göra eller hitta. Det framgick under ett flertal användartest att användarna feltolkade uppgifterna, vilket resulterade i att de navigerade suboptimalt i förhållande till den uppgift de förväntades lösa. I enlighet med Smith’s formel för vilsenhet [45] uppfattades användaren därför vilsen, och navigerbarheten sämre. Uppgifterna lämnade på grund av sin utformning tolkningsutrymme för användaren och därför kan både validiteten och reliabiliteten av testet ifrågasättas.

Med utgångspunkt i rapportens resultat (avsnitt 4.2) kan en snarlik webbapplikation ut- vecklas, och på den kan användartest bedrivas med uppgifter beskrivna i rapportens metod (avsnitt 3.3.1). Replikerbarheten av användartesten anses därför hög.

5.2.1.1 Vilsenhet

För att kvantifiera resultaten från användartesten har Smith’s formel för vilsenhet [45] använts. Formeln i sig använder endast data som enkelt kan samlas in och är därför rent

5.2. Metod 63

objektiv och kvantitativ. Det faktum att moderatorn, i de flesta fall, inte behöver tolka resultatet bidrar till hög replikerbarhet och reliabilitet. När utfallet från Smith’s formel hamnar i gränslandet 0,4-0,5 måste däremot moderatorn försöka göra en objektiv bedöm- ning av användarens vilsenhet [45]. Detta gör att reliabiliteten av testen kan ifrågasättas. Två olika moderatorer kan göra två skilda bedömningar av en användares kroppspråk. Det- ta anses dock vara ett inneboende problem hos Smith’s formel och således något som inte går att påverka. Fördelarna och enkelheten hos formeln överstiger i de flesta fall nackde- larna och gör att den överlag bidrar till replikerbarheten och reliabiliteten av rapporten.

5.2.1.2 Concurrent Think Aloud (CTA)

Rapportens användartest bedrevs med formen CTA. Detta för att kontinuerligt samla in användarens tankar och utmaningar de mötte. CTA anses passande för att besvara fråge- ställningen och i samklang med vilsenhet eftersom datat från CTA kan underbygga gräns- fallen i Smith’s formel [45]. Ett möjligt alternativ hade varit att istället utföra användartest av typen RTA. Fördelarna med CTA som beskrivs i teorin är dock övertygande och CTA anses därför lämpligare i rapportens kontext. Särskilt gynnsam var tidseffektiviteten hos CTA.

5.2.1.3 Retrospective Probing (RP)

Den retrospektiva sonderingen användes som komplement till CTA och resulterade i fle- ra viktiga kommentarer gällande webbapplikationens design. Frågorna som formulerades saknar vetenskaplig grund och utformades utifrån rapportförfattarnas egna tankar. Rap- portförfattarna valde frågor som enligt deras tycke skulle uppdaga kommentarer som inte framkom under CTA-delen av användartesten. Detta kan ha medfört att deras mängd och utformning blivit suboptimala. Resultatet av RP-sessionerna anses alltjämt tillräckligt till- fredsställande för den givna frågeställningen då frågorna bidrog med diskussionsmaterial och RP endast använts som komplement till CTA.

5.2.1.4 Testanvändare

I enlighet med teorin [52] bedrevs första användartestet med 10 användare för att hitta en absolut majoritet av felen hos webbapplikationen. Till följd av tidsbrist och läglighet sjönk antalet användare till 8 vid andra användartestet. Detta kan ha gjort att färre fel hittades hos webbapplikationen och slutprodukten blev sämre. Till det avslutande användartestet sjönk antalet användare ytterligare och endast 7 personer gjorde testet. Detta kan ha på- verkat kvantifieringen av vilsenheten. Testens resultat räknas som testets alla användares genomsnittliga vilsenhet och ett mindre underlag gör att varje användare har större inver- kan på resultatet. En konsekvens av differentieringen av användarna var deras varierande internetvana. Detta var inte något rapporten tog i beaktande och därför kan inga slutsatser dras om huruvida internetvana påverkade testens validitet.

64 Kapitel 5. Diskussion

5.2.2

Enkätundersökning

Enkäten som skickades ut var utformad på så sätt att respondenterna fick se ett bildpar i taget där varje bildpar bestod av en originalversion som hade utformats för att skapa en, enligt teorin, så tillförlitlig webbapplikation som möjligt samt en manipulerad version som motsade teorin. Till varje bildpar fanns det två frågor som undersökte hur tillförlitlig varje version upplevdes på en skala 1 till 5. Det här upplägget gjorde att enkäten fick en tydlig och konsekvent struktur vilket förmodligen förenklade och förkortade tiden för enkätprocessen. En fördel med denna typ av upplägg är att fler respondenter då förmodligen väljer att genomföra hela enkätprocessen jämfört med om enkäten hade haft en mer komplicerad struktur och därmed tagit längre tid att genomföra [55].

En nackdel skulle å andra sidan kunna vara att respondenterna genomskådar enkäten och därmed svarar på det de tror ska vara det ”korrekta” svaret. Eftersom varje bildpar undersöker tillförlitligheten för respektive bild finns det en stor risk att respondenterna inser att det är just tillförlitlighet som enkäten behandlar och därmed rangordnar den ena bilden som väsentligt sämre än den andra, trots att personen egentligen inte tycker att skillnaden i tillförlitlighet är speciellt stor. Ett sätt att försöka motverka den här risken var genom att slumpa vilken av versionerna som visades först respektive sist för de olika bildparen.

En annan åtgärd skulle kunna vara att införa ytterligare frågor till enkäten som behandlar ämnen som inte är relevanta för att besvara frågeställningen. Dessa frågor skulle således endast vara till för att göra enkätens syfte otydligare för respondenterna vilket skulle kunna leda till att det blir svårare för dem att inse vad enkäten egentligen är menad att undersöka. Det här var ett förslag som diskuterades bland forskningsgruppen innan enkäten skickades ut. Med bakgrund i U. Jakobsson & A. Westergrens studie [55] som togs upp i avsnittet ”Metodteori” togs beslutet att ytterligare frågor skulle göra enkäten väsentligt mer tidskrävande vilket dels skulle kunna medföra att färre väljer att genomföra hela enkäten samt att respondenterna tröttnar och därmed ger mindre genomtänkta svar på bildparen som behandlas i slutet av enkäten. Någonting som skulle kunna försämra studiens validitet.

Det faktum att enkäten är uppbyggd med bildpar bestående av två olika versioner av samma webbapplikation som sedan jämförs skulle också kunna leda till att respondenterna rankar skillnaden i tillförlitlighet som större just eftersom de syns bredvid varandra. Ifall respondenterna exempelvis enbart hade sett den manipulerade versionen utan att också ha sett originalversionen är det möjligt att de då skulle uppskatta den manipulerade versionen som mer tillförlitlig än vad de gjorde nu eftersom de då inte skulle ha haft en annan version att jämföra med. Fördelen med att jämföra versionerna sida vid sida är att det blir tydligare att mäta om specifika attribut påverkar tillförlitligheten. Detta genom att endast göra små förändringar, exempelvis genom att införa annonser på webbapplikationen. Nackdelen skulle däremot kunna vara att vissa aspekter tolkas som att de har en mycket större påverkan på tillförlitligheten än vad de egentligen har vilket skulle kunna leda till att fokus vid utvecklandet av en webbapplikation läggs på att åtgärda och undvika saker som egentligen inte har en stor inverkan på tillförlitligheten. För att få ett tydligare resultat som på ett bättre sätt representerar den faktiskt upplevda tillförlitligheten för en viss aspekt skulle enkätundersökningen kunna delas upp i två versioner. Hälften av respondenterna skulle då kunna få se bilder på originalversionen och den andra hälften skulle kunna få se bilder på den manipulerade versionen. Därefter skulle respondenterna i respektive grupp få rangordna de olika bilderna efter hur tillförlitliga de upplever att dessa är.

5.2. Metod 65

Hos vissa av bildparen är det mer än en sak som skiljer dem åt och detta gör det svårt att dra slutsatser om exakt vad det är som påverkar tillförlitligheten. Exempelvis skiljde sig färg, centrering och positionering av länkar åt i enkätens första bildpar. Skillnaderna mellan bilderna var dock alltid begränsade till en av kategorierna design, innehåll eller misstag. För att få mer specifika resultat hade det krävts en mer utförlig enkät med fler frågor och bilder där enbart en detalj skiljde dem åt. En avvägning gjordes där undersökningens detaljnivå jämfördes med enkätens komplexitet. Beslutet blev att tillåta flera förändringar mellan bilderna eftersom det innebar en högre förväntad svarsfrekvens.

Forskningsgruppen är i efterhand nöjda med valet av att använda en enkätundersökning för att undersöka hur en webbapplikation ska utformas för att upplevas som tillförlitlig. Eftersom begreppet tillförlitlighet är ett subjektivt begrepp lämpar sig en enkätundersök- ning då den kan kvantifiera en respondents upplevelse och således på effektivt sätt jämföra resultat. Detta leder förmodligen till att reliabiliteten för studien styrks jämfört med om exempelvis användartester hade använts för att undersöka tillförlitligheten. Vidare är det ett effektivt verktyg för att möjliggöra en hög grad av replikerbarhet då enkäten kan bifogas som en bilaga i rapporten, se bilaga D.

En nackdel med att använda enkätundersökningar, vilket också upptäcktes under utföran- det, är att det saknas möjlighet att säkerställa att respondenterna har förstått frågorna. Det här märktes tydligt för bildpar 8 i enkäten där många respondenter bedömde de två versionerna som olika tillförlitliga på grund av att rullgardinsmenyn i bilderna gick åt olika håll för de olika versionerna, trots att det egentligen inte var det som skulle undersökas. Den här typen av misstag kan leda till att studiens validitet försämras avsevärt. Den här risken var någonting som identifierades innan enkäten skickades ut och därför lades en fritextsfråga efter bildparet som undersökte varför respondenterna värderade tillförlitlig- heten som de gjorde för de olika versionerna. På så sätt kunde feltolkningarna identifieras och studiens validitet stärkas.

En annan nackdel med enkätundersökningar som ett verktyg för att studera tillförlitlig- het av en webbapplikation är att användaren inte har möjlighet att själv röra sig fritt på webbapplikationen. Det gör att det exempelvis blir svårt att undersöka hur en webbappli- kations användbarhet påverkar tillförlitligheten. Eftersom just användbarhet är en faktor som har visat sig ha en stark korrelation till tillförlitlighet [31] är det någonting som skulle kunna vara intressant att undersöka vidare. I det fallet skulle användartester förmodligen vara ett bättre verktyg att använda istället för en enkätundersökning.

5.2.3

Källkritik

I studien har totalt 69 källor använts och av dessa är majoriteten vetenskapliga publikatio- ner. Detta för att garantera att teorin som studien grundar sig på kommer från granskade och pålitliga källor. Vidare har det även hämtats information från ett fåtal hemsidor. I de fall har det säkerställts att informationen kommer från en pålitlig källa för att garan- tera att informationen är tillförlitlig. Några av de hemsidor information hämtats från är institutioner som Statisktiska Centralbyrån (SCB) och Sveriges Riksbank.

I rapporten har ansträngningar gjorts för att använda så aktuella källor som möjligt. Detta för att rapporten ska bygga på nyligen publicerad forskning och data. I vissa fall har en avvägning krävts då det varit brist på nyutgivna, högkvalitativa studier. Bristen var mest påtaglig inom områdena navigerbarhet och tillförlitlighet. En förmodad anledning till

66 Kapitel 5. Diskussion

svårigheten att hitta nyutgivna studier inom dessa områden är att denna typ av forskning förmodligen ansågs vara mest relevant då internet fortfarande var ett relativt nytt fenomen. De underliggande och grundläggande faktorerna som gör att en webbapplikation upplevs som navigerbar och tillförlitlig har möjligen inte förändrats betydande sedan dessa studier gjordes och därför saknas nyare forskning inom området.

Vidare har rapporten strävat efter att underbygga källor genom hitta flera källor som har undersökt samma eller liknande aspekter och oberoende av varandra kommit fram till samma slutsatser. På så sätt säkerställs källornas reliabilitet och att slutsatserna är korrekta. Ett exempel på teori i rapporten som underbyggs av flera källor är den gällande att estetiskt tilltalande design leder till en högre upplevd tillförlitlighet. Denna teori är underbyggd med fyra olika källor som alla kommit fram till samma slutsats. Detta gör att påståendet med stor sannolikhet kan antas vara korrekt.

I rapporten har någon vidare hänsyn till kontexten av de vetenskapliga källor den använt inte tagits. De element, sidstrukturer och övriga hjälpmedel som gynnar en webbappli- kations navigerbarhet anses gynna den oavsett webbapplikationens kontext. Detsamma gäller tillförlitligheten. Utöver de kopplingar som gjorts till e-handel anses teorin gällande tillförlitlighet vara så brett applicerbar att källornas kontext inte behöver beaktas.