Resultaten från fallstudiens tester ska tolkas med varsamhet eftersom resultaten inte är generaliserbara. Både Kuniavsky (2003) och Bryman (2011) påpekar att resultaten från studier med ett litet antal personer inom ett visst geografiskt område varken är generaliserbara eller statistiskt representativa. Dock ger resultatet en uppfattning och indikation på hur produkten uppfattas av olika typer av användare.
Desmet & Hekkert (2007) nämner att användarens upplevelse påverkas av omgivningen som interaktionen inträffar i, vilket betyder att resultatet skulle kunna bli ett annat om testerna utfördes i en annan typ av miljö, exempelvis användarens hem. Av den anledningen kan resultaten för fallstudien inte generaliseras till alla typer av miljöer. Dock utfördes båda testerna i liknande miljöer för att jämförelser mellan testen skulle kunna göras. Det som även måste
90 (100)
beaktas är moderatorns påverkan på användaren. Enligt Kuniavsky (2003) är moderatorns uppgift bland annat att se till att användaren är bekväm. Om moderatorn misslyckats med att få användaren bekväm kan användaren ha uttryckt andra känslor, åsikter eller tankar i samband med användbarhetstestet eller intervjun, än vad användaren hade gjort om personen känt sig bekväm i testsituationen.
Tullis & Albert (2013) skriver att det är svårt för människor att berätta vad de känner för en främling och att deltagare ofta säger vad de tror att moderatorn vill höra. Detta kan i allra högsta grad ha påverkat studien och skulle då kunna leda till missvisande resultat. Känslor är även tillfälliga och i konstant förändring, vilket gör det svårt att mäta känslor (Agarwal & Meyer, 2009). Användningen av känslokorten ledde dock till att användaren tvingades analysera sin egen känsla vid en viss tidpunkt strax efter interaktionen, vilket rimligtvis bör representera en av känslorna som användaren fick i samband med interaktionen även om vissa uttryckte flera olika känslor verbalt. Detta skulle innebära att resultaten av känslokorten är en sammanställning av vissa känslor som framkallats av produkten, men med största sannolikhet inte alla känslor.
Som Rosenberg & Navarro (2018) påpekar är det svårt för forskare att välja relevanta adjektivpar till en semantisk differentialskala. Adjektivparen som valdes för studien valdes utifrån tidigare forskning och för att de ansågs mest relevanta för denna studie. Om andra adjektivpar hade valts hade resultatet för testerna kunnat leda till andra numeriska värden. På samma sätt skulle antalet adjektivpar också kunna påverka resultatet, då fler eller färre adjektivpar skulle kunna leda till antingen högre eller lägre värden.
En stor brist i studien som påverkar validiteten är att det är svårt att jämföra test 1 och test 2, eftersom det första testet är gjort på en fullt fungerade produkt medan det andra testet är gjort på en digital prototyp där alla funktioner ej fungerade. Den digitala prototypen som testades på en surfplatta med pekskärm gav inte samma fysiska återkoppling till deltagaren som den ursprungliga produkten. Detta medförde att deltagarna varken kunde känna luftflöde, höra fläkthastighet eller ljudet från när en knapp aktiverades. Dock var det största problemet under det första testet att knapparna upplevdes för svåra att aktivera, vilket var ett problem som helt eliminerades under det andra testet. Av dessa anledningar kan resultatet vara missvisande och en fullt fungerande prototyp med liknande knappar som för den ursprungliga produkten kan därför medföra ett annat resultat. En annan brist är att de två första deltagarna för test 1 fick vara testpiloter och därför gjordes inga videoinspelningar, vilket ledde till att information om exakta antal knapptryckningar inte kunde erhållas. Av den anledningen kunde heller inte effektiviteten räknas ut för dessa deltagare. Detta kan ha påverkat den totala effektiviteten för den ursprungliga produkten.
En annan sak som kan ha påverkat var att alla testdeltagare var svensktalande, vilket resulterade i vissa svårigheter för de engelska uttrycken som fanns på kontrollpanelen. Dessa svårigheter som ledde till fel knapptryck hade troligtvis inte uppstått om deltagarna hade haft engelska som modersmål. Dessa fel kan även ha påverkat användarens känsla och då även användarens upplevelse av produkten.
91 (100)
7 DISKUSSION
Den här studien riktade sig till att identifiera metoder som kunde komplettera användbarhetstest med att erhålla information om användares känslor. De metoder som valdes att studera är metoder framtagna av forskare inom ämnesområdet, som inkluderar känslors påverkan på användarupplevelsen i interaktion med produkter. En avgränsning som gjordes var att de kompletterande metoderna inte fick vara dyra att testa, vilket gjorde att några metoder för att mäta känslor uteslöts. Metoder som inte är själv-rapporterande men som ändå mäter känslor finns, där utrustning används för att bland annat mäta användarens puls och andra fysiska reaktioner. En sådan testmetod hade kunnat vara ett bra komplement till användbarhetstest, just för att den inte är beroende av att användaren rapporterar om sina känslor, utan för att de mäts systematiskt via maskiner.
Under testerna genererade metoderna känslokort, semantisk differentialskala och intervju ungefär liknande information. Men eftersom känslokort valdes före intervjun under testerna, kan känslokorten ha öppnat upp för reflektion om känslor hos deltagarna, vilken kan ha påverkat svaren på intervjun. Detta innebär att samma resultat från intervjun kanske inte hade erhållits om känslokorten inte hade använts. För att veta det bör tester göras där intervjun hålls före deltagaren får välja känslokort. På så vis blir det tydligt om metoderna kan generera liknande information, eller om känslokort gör att deltagarna får en ny synvinkel.
Fler tester bör göras för känslokorten för att säkerställa validiteten av metoden. Även om metoden genererar information om användarens känslor behövs känslokortens bilder ses över, då många deltagare hade svårt att urskilja vilken känsla som respektive kort representerade. Men trots att deltagare hade svårt att tolka känslokorten, gjorde känslokorten att deltagarna började reflektera över olika sorters känslor. Deltagarnas verbalt uttryckta i känsla i samband med valt känslokort kan också ordnas systematiskt efter Russels (1980) ”Circumplex model of affect”, om bilderna inte ses över och deltagarna har svårt att urskilja vilket kort som representerar vilken känsla.
Informationen som den semantiska differentialskalan genererade, hade möjligtvis kunnat genereras via en intervju, om frågor om samma adjektiv ställdes. Dock blir inte data mätbart genom en intervju, vilket det blir via den semantiska differentialskalan, vilket påverkar hur sammanställningen av informationen kan göras.
Trots att den semantiska differentialskalan och intervjun gav information om vad deltagaren
kände för olika saker, var det bara känslokorten som genererade information om exakt vilken känsla som deltagaren kände. Till exempel så kunde deltagare uttrycka vid den semantiska
differentialskalan att ”den känns inte så modern”, medan vid känslokort sa deltagaren ”jag känner mig besviken”. Båda sorters information är värdefull, men ger olika saker.
Om data från känslokort och semantisk differentialskala hade tagits bort så hade troligtvis produktutvecklingen blivit annorlunda, främst baserat på informationen som erhölls från den semantisk differentialskala om specifika adjektiv. Det som deltagarna uttryckte i samband med
92 (100)
att de kryssade i formuläret gav mycket information om hur produkten kunde bli till exempel mer modern eller pålitlig. Om den informationen inte hade tagits emot hade troligtvis kontrollpanelen och fjärrkontrollen sett annorlunda ut idag.