Kandidatuppsats
Digital Design och Innovation 180 hp
Att skapa en upplevelse av god svarskvalitet i VAPA
Informatik 15 hp
Halmstad 2021-06-02
Förord
Vi vill tacka vår handledare för arbetet, Esbjörn Ebbesson för feedback och stödet genom arbetet. Vi vill även tacka våra respondenter som deltagit i studien som har offrat sin egen tid för att hjälpa oss samt gett oss goda och viktiga insikter till studien.
Filip Kumlin Tim Börjesson
Abstrakt
Voice-activated personal assistants (VAPA) har på senare tid blivit allt vanligare i dagligt bruk för individer. Då VAPA används som sökmotorer är det viktigt att de kan leverera ett svar som användaren upplever är av god kvalitet. Tidigare studier har genomfört kvantitativa tester för att undersöka svarskvaliteten i VAPA där användarens upplevelse inte tagits hänsyn till. Vi presenterar en studie ämnad för att fylla denna kunskapslucka. Genom en
litteraturstudie togs fem grundteman fram, relevans, trovärdighet, läsbarhet, aktualitet och rikhet på innehåll, som ligger till grund för upplevelse av god svarskvalitet. Genom en intervjustudie med nio respondenter har deras upplevelse av VAPAs svarskvalitet undersökts baserat på litteraturstudiens teman. Utkomsten av studien är: (1) Studien visade på ett
komplext samband mellan dessa teman, där några teman var beroende av andra teman. (2) Rikhet på innehåll visades ha motsatt effekt i en VAPA jämfört med traditionella sökverktyg, detta då rikheten i VAPA önskades vara kort och koncist snarare än att visa mycket innehåll.
(3) I VAPA bör svaren vara i rätt svarsform för den ställda frågan, därmed bör svaren vara enkla, tydliga och inte innehålla onödig information såsom annonser som kan störa
användaren i sökandet av ett svar. (4) Svarens trovärdighet är beroende av källornas rykten och användarens kunskap om källan, där vissa användare upplever blind tillit till vissa källor.
Nyckelord
VAPA, Användarupplevelse, Upplevd kvalitet, Svarskvalitet, Sökmotorer
Abstract
Voice-activated personal assistants (VAPA) have recently become more common in daily use for individuals. Because VAPAs are used as search engines, it is important that they can deliver an answer that the user feels is of good quality. Previous studies have conducted quantitative tests to examine the response quality in VAPA where the user experience has not been taken into account. We present a study intended to fill this knowledge gap. Through a literature study, five base themes were developed, relevance, credibility, readability,
timeliness and richness of content, which is the basis for the experience of good response quality. Through an interview study with nine respondents, their experience of VAPA's response quality was investigated based on the literature study's themes. The results of the study are: (1) The study showed a complex relationship between these themes, where some themes were dependent on other themes. (2) Richness in content was shown to have the opposite effect in a VAPA compared to traditional search tools, as the richness in VAPA was desired to be short and concise rather than to show a lot of content. (3) The answers in VAPA should be in the correct form of answer for the question asked, thus the answers should be simple, clear and not contain unnecessary information such as advertisements that could disturb the user in the search for the answer. (4) The credibility of the answers depends on the sources' rumors and the user's knowledge of the source, where some users experience blind trust in certain sources.
Keywords
VAPA, User experience, Perceived quality, Answer quality, Search engines
Innehållsförteckning
1 Introduktion 1
1.1 Bakgrund 1
1.2 Avgränsningar 2
1.3 Syfte 3
2 Relaterad litteratur 4
2.1 Voice activated personal assistant (VAPA) 4
2.2 Upplevd svarskvalitet 4
2.2.1 Relevans 5
2.2.2 Rikhet på innehåll 5
2.2.3 Aktualitet 6
2.2.4 Trovärdighet 6
2.2.5 Läsbarhet 6
2.3 Summering av litteratur 7
3 Metod 9
3.1 Val av ansats 9
3.2 Litteraturstudie 9
3.3 Urval 10
3.4 Genomförande 11
3.5 Pilotstudie 13
3.6 Analysmetod 13
3.7 Metoddiskussion 14
4 Resultat 16
4.1 Relevans 16
4.2 Rikhet på innehåll 17
4.3 Aktualitet 18
4.4 Trovärdighet 19
4.5 Läsbarhet 21
4.6 Sammanfattning av resultat 22
5 Analys och diskussion 24
5.1 Temanas roll i god upplevelse av svarskvalitet 24
5.2 Relevans 24
5.3 Kort och koncist 25
5.4 Aktualitet 25
5.5 Trovärdighet 26
5.5.1 Hållbarhet 26
5.6 Presentation 26
5.7 Komplexiteten inom teman 27
5.8 Självkritik och felkällor 27
5.8.1 Onlinestudier 27
5.8.2 Behov av vidare undersökningar 28
6 Slutsatser 29
Referenslista Bilagor
Bilaga 1: De frågor användarna ställt till Google Assistant Bilaga 2: Intervjuguide
1 Introduktion
1.1 Bakgrund
Konversationsagenter har blivit allt vanligare som söktjänster i vardagligt bruk där information presenteras genom dialog (Burbach et al., 2019; Kepuska & Bohouta, 2018;
Subhash et al., 2020). Agenterna har även förändrat människors sätt att interagera med teknologi i hemmet då de kan föra konversation med användaren, samt att agenterna kan koppla samman andra smarta artefakter i hemmet (Burbach et al., 2019; Chowdhury et al., 2018; Subhash et al., 2020). Framgångar inom artificiell intelligens (AI), deeplearning, tillgångar till datorkraft och större mängder data har lett till nya generationer av dialogsystem och konversationsgränssnitt, exempelvis digitala personliga assistenter, smarta högtalare och chatbots (Subhash et al., 2020).
En form av konversationsagent är voice-activated personal assistants (VAPA) där de mest populära assistenterna är Google Assistant (GA), Siri, Alexa och Cortana (Burbach et al., 2019; Subhash et al., 2020; Zhao et al., 2019). VAPA används i dagligt bruk för många olika aktiviteter styrda primärt av användarens röstkommandon men även genom textinmatning (Burbach et al., 2019; Subhash et al., 2020; Zhao et al., 2019). VAPA ger användaren möjligheten att utföra aktiviteter som exempelvis att kunna skicka meddelanden, sätta på musik, se över vädret och att söka information (Hoy, 2018; Lazic et al., 2018; Tulshan &
Dhage, 2019). VAPA används primärt till mobila enheter inom smarta hem, såsom tv-skärmar, mobiler och högtalare, där användaren kan koppla samman olika smarta artefakter med assistenten (Burbach et al., 2019; Tulshan & Dhage, 2019).
En av de huvudsakliga användningsområden i VAPA är att agera som sökmotor (Burbach et al., 2019). Användaren kan använda sig av röstaktivering för att ställa frågor till sin VAPA som i sin tur kommer att söka upp ett svar och presentera det för användaren (Burbach et al., 2019). VAPA kan presentera informationen på olika sätt beroende på den information som efterfrågas samt de svar som VAPA hittar kopplat till sökningen (Burbach et al., 2019). Det har visats att VAPAs presenterar information annorlunda jämfört med traditionella
webbsöktjänster även om båda är baserade på samma sökmotor (Strzelecki & Rutecka, 2020).
Vid en traditionell webbsökning får användaren själv delvis filtrera vilken information som de anser vara relevant och trovärdig (Strzelecki & Rutecka, 2020). VAPA söker däremot själv efter svaret på användarens frågor och gör därmed en egen bedömning av vad som är relevant att visa för användaren (Burbach et al., 2019). Detta leder till att VAPA behöver designas för att tillfredsställa användarnas förväntningar på vilken information som presenteras, samt hur den presenterar informationen.
Användare måste kontinuerligt prioritera vilken information som är intressant för dem samt om de anser att informationen är trovärdig och av god kvalitet (Hilligoss & Rieh, 2008). Det är därmed viktigt att skapa förståelse kring hur pålitliga olika typer av informationskällor är och bilda en uppfattning av vad som är god svarskvalitet och ej (Hilligoss & Rieh, 2008).
På grund av att falska informationskällor har populariserats av dagens media finns det motiv till att vidare undersöka söktjänster när det kommer till informationssökning (Guo et al., 2020).
Ökningen av röstsökning och VAPAs driver utvecklingen av söktjänster (Zhao et al., 2019).
Pradhan et al. (2020) skriver att VAPAs används mycket inom informationssökning,
exempelvis kopplat till hälsa, vilket gör det viktigt att förstå användarens upplevelse kopplat till svarskvaliteten. Zhao et al. (2019) skriver också att det finns ett behov av att undersöka svarskvalitet hos VAPA. Föregående studier har utvärderat kvaliteten på webbsöktjänster (ex.
Google Search, Bing och Yahoo) och hur de svarar på olika typer av frågor (Beg, 2005;
Lewandowski & Höchstötter, 2008; Zhao et al., 2019). Dessa studier har antagit ett
kvantitativt förhållningssätt och därmed ej inkluderat användarens upplevelse kring VAPAs svarskvalitet.
VAPAs använder dialogsystem för att besvara användares frågor (Burbach et al., 2019). Detta visar på att kontexten skiljer sig åt jämfört med traditionella söktjänster. En förändrad kontext kan även innebära en förändrad upplevelse av svarskvalitet, vilket leder till att upplevelsen kan skilja sig mellan traditionella söktjänster och VAPA. Användarens upplevelse av hur ett system fungerar är viktig att ta hänsyn till vid design av artefakter (Cooper et al., 2014).
VAPA är fortfarande ett relativt nytt ämne inom forskning och det finns därmed ett behov av att undersöka området, detta då det hjälper designers att förstå vilken riktning som ska tas för att förbättra framtida VAPAs (Kiseleva et al., 2016). Därmed är det väsentligt att förstå användarens upplevelse kring informationskvalitet så att framtida VAPAs kan utvecklas med så god svarskvalitet som möjligt.
Studien är därför ämnad att besvara följande forskningsfråga:
Vad bidrar till en upplevelse av god svarskvalitet i interaktionen med en voice activated personal assistant?
1.2 Avgränsningar
Studien är avgränsad till VAPA på mobiltelefoner, detta för att VAPAs smarthögtalare inte kan ge respondenterna en helhetsupplevelse där både visuella och ljudbaserade svar presenteras. Undersökningen fokuserar specifikt på VAPA som informationskälla och söktjänst, således inkluderas inte andra funktioner som en VAPA erbjuder.
1.3 Syfte
Målet med undersökningen är att utföra en kvalitativ studie för att ta fram djupgående data om vad som skapar god upplevelse av svarskvalitet för användaren i interaktionen med VAPAs. Denna kunskap kommer gynna designers vid design av framtida VAPAs kopplat till söktjänster. Förslaget är främst riktat åt VAPAs dialogbaserade sätt att presentera information på mobiltelefoner.
2 Relaterad litteratur
2.1 Voice activated personal assistant (VAPA)
VAPA är en röstbaserad tjänst som använder AI för att stötta användaren i olika typer av ärenden där Cortona, Siri, Alexa och GA är några av de mest populära VAPAs på marknaden (Burbach et al., 2019). VAPAs har vissa tekniska skillnader baserat på hur effektiva de är på att känna av röster och dialekter (Tulshan & Dhage, 2019). Trots att VAPAs skiljer sig åt har de ett antal liknelser som definierar en VAPA (Kepuska & Bohouta, 2018). En primär
funktion i VAPAs är att de kan svara i dialogform, där användaren kan chatta med assistenten (Kepuska & Bohouta, 2018).
Ett av målen för VAPA är att framföra naturliga konversationer med användare (Kepuska &
Bohouta, 2018). Dialogsystem är en vanlig teknik som många företag använder för att utforma och förbättra sitt nya system (Kepuska & Bohouta, 2018). Detta utförs primärt med röstkommandon men dialoger kan även uppnås med text (Kepuska & Bohouta, 2018). Dialog uppnås med hjälp av question & answer (QA) där användaren kan ställa frågor som VAPAn besvarar (Kepuska & Bohouta, 2018). Då VAPAs är självlärande AI tar de även hänsyn till föregående frågor och interaktioner för att ge mer personifierade svar till användaren (Kepuska & Bohouta, 2018). Detta för att göra användare mer engagerade i interaktion med VAPAs och skapa mer mänskliga upplevelser i form av konversationer (Kepuska & Bohouta, 2018).
För att sammanställa sökresultat till mer mottagliga svar använder sig sökmotorer av snippets (Strzelecki & Rutecka, 2020). Snippets är svarskort som ger användaren ett mer kompakt svar där VAPA kan läsa av dessa snippets och presentera dem för användaren i dialogform (Strzelecki & Rutecka, 2020). Strzelecki och Rutecka (2020) påvisar att det finns skillnad på hur VAPA och webbsöktjänster presenterar snippets då samma frågor kan ge olika svar.
Samma frågor kan generera olika svarsmetoder beroende på om de ställts till VAPA eller webbsöktjänsten, där exempelvis en av sökmotorerna presenterar information som en snippet och den andra inte gör det (Strzelecki & Rutecka, 2020).
2.2 Upplevd svarskvalitet
Psykologiguiden (2021) beskriver upplevelse som något som påverkar individens sätt att vara, känna samt tänka. Upplevelse syftar oftast till att vara med om något och inte endast höra talas om det (Psykologiguiden, 2021). Det ses ofta som en kognitiv process där individen varit med om något och fått kännedom om ett område (Psykologiguiden, 2021).
Den upplevda svarskvaliteten betonar hur användaren upplever att ett svar är av god kvalitet (Zhao et al., 2019). Svarskvalitet kan förbättras på många olika sätt (Zhao et al., 2019).
Sökträffarna i söktjänster är en central del i hur användare upplever svarskvalité
(Lewandowski & Höchstötter, 2008). Sökmotorer bör därför ge en snabb presentation av svaret med ett tydligt designat svarsfält för att skapa en god upplevelse av svarskvalitet (Lewandowski & Höchstötter, 2008). Användare tenderar även att föredra svar som är relaterat till den frågan som ställts samt visar på en viss nivå av relevans i svaren
(Lewandowski & Höchstötter, 2008; Zhao et al., 2019). För att undersöka svarskvaliteten av informationen som presenteras i VAPAs kan olika teman användas vilket bidrar till en förståelse av svarskvaliteten i en generell kontext. Temana är som följande:
Tabell 1. Visar de teman som beskrivs i litteraturstudien samt referens till varför de är relevanta
Teman Referenser
Relevans (Huffman & Hochster, 2007; Zhao et al., 2019) Rikhet på innehåll (Oh & Worrall, 2013)
Aktualitet (Lewandowski & Höchstötter, 2008) Trovärdighet (Pradhan et al., 2020; Shah et al., 2020) Läsbarhet (Oh & Worrall, 2013; Zhu et al., 2009)
2.2.1 Relevans
Enligt Huffman och Hochster (2007) finns det ett korrelation mellan relevans och tillfredsställelse av sökning för användaren, vilket tyder på att relevans har betydelse för svarskvaliteten. Zhao et al. (2019) definierar relevans efter systemets förmåga att svara på en ställd fråga med den information som önskas av frågeställaren. Zhao et al. (2019) beskriver även relevans som ett komplicerat och subjektivt område. Generellt är relevans problematiskt att undersöka då subjektiviteten gör det svårt att definiera (Zhao et al., 2019). Hirschman och Gaizauskas (2001) presenterar justification som ett värdeskapande tema i söktjänster.
Justification innebär att användaren får medlen att själv skapa sig en uppfattning om varför svaret är relevant eller inte (Hirschman & Gaizauskas, 2001).
Enligt Lewandowski (2008) är mängden relevanta resultat viktigt för att avgöra god
upplevelse av svarskvalitet. Relevans kan ökas om sökresultatet länkar eller refererar till ett annat dokument som är relevant (Lewandowski & Höshstötter, 2008). Detta går att bedöma utifrån justification genom upplevelse av svaret (Hirschman & Gaizauskas, 2001).
2.2.2 Rikhet på innehåll
Oh och Worrall (2013) påpekar att det finns ett samband mellan svarslängd och upplevelse av svarskvalitet. Svarets längd och antal ord har visat sig vara betydelsefull för att förutsäga svarens kvalitet (Oh & Worrall, 2013). Flertal studier pekar på att rikhet på innehåll är
väsentligt för att karaktärisera innehållskvaliteten inom söktjänster (Fishamn, 2011; Oh &
Worrall, 2013; Zhu et al., 2009). Rikhet på innehåll har även betydelse när det kommer till användares uppfattning om svarets trovärdighet; längre och utförligare svar är mer trovärdigt än om de vore kortare och bristande på information (Oh & Worrall, 2013). Rikhet på innehåll har även visat sig vara viktigt för användarens upplevelse av svarskvalitet, då längre svar gör användaren mer nöjd (Lewandowski & Höchstötter, 2008). Rikhet på innehåll bedömer hur mycket svaret täcker den givna frågan och till vilken nivå av informativitet och detalj som presenteras (Zhu et al., 2009).
2.2.3 Aktualitet
Lewandowski och Höchstötter (2008) skriver att sökmotorer med god svarskvalitet förhåller sig till aktualitet, alltså hur uppdaterat ett svar är. Däremot presenterar inte VAPA och
webbsöktänster data på samma sätt, vilket har betydelse för användarens uppfattning om hur god aktualitet sökresultaten har (Strzelecki & Rutecka, 2020). Lewandowski och Höchstötter (2008) påstår att hemsidor uppdateras frekvent och att aktualitet är en väsentligt del i att uppehålla kvaliteten hos sökmotorer. Aktualitet kan bedömas genom att undersöka när informationen i dokumentet senast blivit uppdaterat; användaren upplever nyligen uppdaterade källor mer trovärdiga och aktuella än gamla källor (Shah et al., 2020).
2.2.4 Trovärdighet
Pradhan et al. (2020) skriver att det finns ett behov av att undersöka VAPAs trovärdighet på grund av att VAPAn används för att söka information om allvarliga ämnen, exempelvis angående hälsa. Trovärdighet är ett subjektivt tema och kan därmed bedömas olika av olika personer (Pradhan et al., 2020). Trots detta finns det aspekter som har betydelse för
trovärdigheten i söktjänster (Shah et al., 2020). Trovärdighet är beroende av ett flertal teman (Shah et al., 2020). Det första temat är Auktoritet. Auktoritet kan bedömas genom att
undersöka om det finns en riktig person eller organisation som står bakom dokumentet och att det inte är en anonym användare som står bakom det (Shah et al., 2020). Nästa tema är
Professionalitet. Xu et al. (2021) beskriver professionalitet som ett mått att undersöka expertisen hos källan samt hur väl de kan kommunicera dess färdighet. Det tredje och sista temat är Opartiskhet. Opartiskhet, även kallat objektivitet, undersöker huruvida innehållet i texten är objektivt eller subjektivt (Zhu et al., 2009). Användare föredrar att svaren ej är sponsrade eller marknadsförda då detta de som ligger bakom svaret har något att tjäna på att användaren tar del av informationen, vilket kan ha negativ inverkan på relevansen och trovärdigheten i svaren (Lewandowski & Höchstötter, 2008). Ett objektivt dokument försäkrar att informationen i dokumentet inte utgår efter författarens känslor eller egen bias (Zhu et al., 2009).
2.2.5 Läsbarhet
Läsbarhet baserar sig på hur väl söksystemet presenterar läsbar information och hur förståelig den är till användaren (Oh & Worrall, 2013). Korrekt stavning och grammatiskt korrekt formulerade meningar är ett minimum för att förstärka svarets läsbarhet, således att svaret
använder versaler rätt och punkterar meningar rätt (Zhu et al., 2009). Om svaret använder sig av förkortningar och slangord som användaren inte begriper försämrar det läsbarheten (Zhu et al., 2009). Zhu et al. (2009) påstår även att enkelt språk bidrar till god läsbarhet, vilket
förutsätter att svaret inte kan använda allt för komplexa uttryck. Därmed skriver även Zhu et al. (2009) att lämplig kunskapsnivå förbättrar upplevd läsbarhet.
2.3 Summering av litteratur
VAPA bidrar med ett nytt sätt att interagera med en sökmotor till individer för dagligt bruk.
VAPA kan presentera svar till användarens frågor genom söka på internet samt välja den källa som är bäst lämpad för att svara på användarens fråga.
Den upplevda svarskvaliteten hos söktjänster är beroende av ett flertal teman. De teman som presenterats i litteraturstudien är relevans, rikhet på innehåll, aktualitet, trovärdighet och läsbarhet. Litteratursökningen har visat på att det existerar fler teman inom ämnet, men de utvalda temana ansågs kunna appliceras på kontexten “upplevelse av god svarskvalitet i VAPA” med ett kvalitativt förhållningssätt. De teman som valdes ut behövde därmed bidra till att svara på forskningsfrågan med hjälp av en kvalitativ ansats. Ett exempel på ett tema som valts bort av denna anledning är korrekthet. Detta tema är liknande trovärdighet men mäts till skillnad från trovärdighet på ett kvantitativt sätt. Skillnaden mellan trovärdighet och
korrekthet är att trovärdighet är baserat på en hur användaren upplever informationen medan korrekthet är baserat på fakta där information antingen kan vara korrekt eller icke-korrekt.
Temat korrekthet samt andra liknande teman har därmed valts bort då de inte hanterar användarens upplevelse och/eller har ett kvantitativt förhållningssätt till data.
Mycket av den information som har tagits fram ur litteraturstudien har varit kopplat till söktjänster generellt och inte specifikt för VAPA. Därmed kan kontexten se annorlunda ut när det kommer till upplevd svarskvalitet inom VAPA. Kontexten kommer därför vidare
undersökas över hur dessa teman förhåller sig till upplevelse av svarskvalitet inom VAPA.
Dessa teman kommer att användas som underlag i undersökningen för att gå djupare in på användares upplevelse av svarskvalitet i VAPA:
Tabell 2. Visar en sammanställning av teman beskrivna i litteraturstudien
Teman Upplevd svarskvalité inom VAPA
Relevans Det finns ett samband mellan relevans och god upplevelse av svarskvalitet i sökning för användaren. Användarens upplevelse av svarskvalitet baseras på hur relevant svaret är på den ställda frågan.
Rikhet på innehåll
Längre svar bidrar till en bättre upplevelse av rikhet på innehåll. Det finns ett samband mellan svarsmängd och upplevelse av svarskvalitet.
Aktualitet Användaren upplever nyligen uppdaterade källor mer trovärdiga och aktuella än icke-uppdaterade källor.
Trovärdighet Trovärdighet kan brytas ut i olika teman för att bedömning: Auktoritet, Professionalitet och opartiskhet. Trovärdighet är subjektivt och kan upplevas olika beroende på individ.
Läsbarhet Hur väl användaren upplever att svaret är förståeligt och lämpligt för sin egen kunskapsnivå har betydelse för användarens upplevelse av
svarskvalitet.
3 Metod
3.1 Val av ansats
För att besvara frågeställningen “Vad bidrar till en upplevelse av god svarskvalitet i
interaktionen med en voice activated personal assistant?” har en kvalitativ ansats valts där undersökningen går in mer på djupet kring respondentens tankar och upplevelser av VAPA.
En kvalitativ studie ger forskaren större möjlighet att undersöka åsikter och känslor hos användare (Bryman, 2012), därmed passande för denna studie. Detta då studien var ämnad att ta reda på vad som ligger till grund för användares upplevelse av god svarskvalitet. Studien kommer även ge insikter om hur information bör presenteras i VAPAs för att skapa god upplevelse av svarskvalitet.
För att undersöka användares åsikter kopplat till VAPA och dess svarskvalitet har en
intervjustudie genomförts. Intervjuerna har varit arbetets primära sätt att generera data på och har genomförts i samband med att användarna fått ställa frågor till GA. Detta för att ge respondenten och intervjuaren en gemensam situation kopplat till VAPA att diskutera i intervjun samt för att försäkra att respondenten svarar på intervjufrågorna baserat på deras upplevelse med aktuell information.
Datan som genereras ur intervjustudien om GA kan senare generaliseras till VAPA. Detta då datan genererad ur den djupgående kvalitativa studien går in på användares generella
upplevelse om svarskvalitet, vilket därmed går att applicera på VAPA generellt och är inte exklusivt applicerbar på GA.
3.2 Litteraturstudie
En litteraturstudie utfördes för att ta fram tidigare forskning om VAPAs kopplat till vilka QA teman som kan appliceras på dem. Litteraturstudier används för att generera kunskap om vad tidigare forskare har kommit fram till inom ämnet (Bryman, 2012). Med litteraturstudier genereras kunskap inom ett efterfrågat undersökningsområde, således kan kunskapen användas för vidare forskning (Watson & Webster, 2020). Litteraturstudien genererar även kunskap om hur tidigare forskare har undersökt området, därmed vilka misstag som kan undvikas, samt teoretiska och metodologiska tillvägagångssätt för forskningsområdet (Bryman, 2012).
Vi utförde en strukturerad litteraturstudie i undersökningen. Strukturerad litteraturstudie innebär att sökningen utgår ifrån riktlinjer vilket hjälper forskaren att ta fram litteraturen som är av god kvalitet och relevant till undersökningsområdet (Bryman, 2012; Watson & Webster, 2020). I vår litteraturstudie satte vi upp tre riktlinjer, dessa riktlinjer är följande: (1)
Litteraturen som används ska vara peer-reviewed. (2) Sökmotorer så som IEEE Xplore, ACM, ScienceDirect och Scopus används för att söka efter litteratur (3) Bakåtsökning ska användas. Bakåtsökning används för att hitta mer litteratur i citeringar som bygger vidare på
tidigare granskat material (Watson & Webster, 2020). Bakåtsökning kan även användas för att gå in på litteraturens citering för att säkerställa att material som används är relevant och av god kvalitet (Watson & Webster, 2020).
Framtagandet av sökord var utforskande där nya sökord dök upp parallellt med
litteratursökningen. Bryman (2012) skriver att sökord (keywords) är något som kan användas experimentellt med sökmotorer för att ta fram relevant litteratur. Sökorden var baserade på de delar av undersökningsområdet som ansågs vara viktigast. Sökorden har använts i par med varandra för att generera mer specifik information. Sökorden var som följande:
“Intelligent virtual assistant”, IVA, “Intelligent personal assistant”, IPA, “Software agent”,
“Personal Digital Assistant”, “Voice activated personal assistant”, VAPA, “Answer*”,
“Question-answering”, “Question type”, “Answer quality”, “Quality”, “Search engine”,
“Search result*”, “Perceived”, “Experience”.
Litteraturstudien anses vara klar när inga nya koncept över undersökningsområdet kan identifieras (Bryman, 2012). Litteraturstudien avslutades därmed när tillräcklig litteratur samlades in. Således granskades (läst abstrakt minimum) totalt 65 antalet artiklar. Artiklar gallrades bort beroende på hur användbar och relevanta innehållet var. Slutliga antalet artiklar blev 21.
Tabell 3. Visar antalet artiklar som hanterats
Totala antalet artiklar Antal artiklar som gallrades bort
Slutliga antalet artiklar
65 44 21
3.3 Urval
Urvalet för undersökningen har varit ett bekvämlighetsurval där vi valt ut nio personer i vår närhet för att underlätta kontakten med respondenterna samt ger oss möjligheten att välja de respondenter som passar för studien. Hälften av respondenterna var nya användare av VAPA och den andra halvan var användare som var mer bekanta med systemet. Detta på grund av att nya användare av system visar olika sökbeteenden jämfört med erfarna användare, därmed upplever svarskvaliteter olika (Lewandowski & Höchstötter, 2008). Vi har fokuserat på att variera kön i undersökningen för att inte skapa ett bias till ett kön. Vi har därför utfört studien på fyra kvinnor och fem män. Se bilaga 3 för fullständig lista över deltagande respondenter.
Tabell 4. Beteckning av respondenter
Beteckning Kön Bekant med VAPA Längd på intervju
P0 (Pilotstudie) Man Nej 50 min
R1 Man Nej 40 min
R2 Kvinna Ja 35 min
R3 Kvinna Ja 45 min
R4 Kvinna Ja 35 min
R5 Man Nej 50 min
R6 Man Ja 40 min
R7 Man Ja 60 min
R8 Kvinna Nej 40 min
R9 Man Nej 70 min
3.4 Genomförande
För att undersöka upplevelsen av VAPAs svarskvalitet har en lista med teman skapats. De teman som definierats är grundade på tidigare litteraturstudier kopplat till webbsöktjänster och dess svarskvalitér, där ett antal teman har gallrats bort då de inte var passande eller lämpliga för VAPA. Temana är som följande: relevans, rikhet på innehåll, aktualitet, trovärdighet och läsbarhet.
Med dessa teman som grund har en intervjustudie genomförts för att vidare undersöka upplevd svarskvalitet hos VAPA. Intervjufrågorna skapades med litteraturens teman som grund för att se till att intervjustudien hanterade dessa områden. Frågebatteriet består av fem förutbestämda frågor, där varje fråga är baserat på ett av temana hämtade ur litteraturstudien (Se även bilaga 2). I intervjustudien har vi intervjuat nio respondenter om deras upplevelse av svarskvalitet i GA. Under intervjun var respondenterna ombedda att ställa frågor till GA för att få fram diskussionsmaterial där respondenten får reflektera över samt beskriva hur de upplever kvaliteten på GAs svar på frågorna. Varje fråga respondenten ställt till GA har följts av ett fåtal frågor om respondentens upplevelse av det svar de fått. I intervjun var
respondenterna ombedda att diskutera svaren de fått av deras fem frågor till GA utifrån de teman som presenterats i litteraturstudien. Respondenterna har sedan även fått presentera sina övergripande uppfattningar om vad de tycker om svaret som presenterats för att försäkra att teman överensstämmer med respondenternas åsikter.
Efter detta har respondenten fått diskutera de teman som presenterats i litteraturstudien utefter deras egen uppfattning om hur viktiga temana är för att bidra till god svarsvkalité. Detta gjordes genom att låta respondenter rangordna temana samtidigt beskrev varför de placerade temana som de gjorde. Detta gjordes för att för att skapa en dialog där vi kunnat undersöka varför de tycker att ett tema är viktigt eller inte. Detta skapade en intressant dialog där respondenterna gav mycket av sina egna åsikter om hur de önskar att svaren ska presenteras.
Respondenterna har ställt fem förutbestämda frågor till GA där frågornas komplexitet samt områden har varierats för att skapa variation i de svar som presenteras i GA. Variationen ser till att GA inte svarar på liknande sätt vid varje fråga, för att utreda respondenternas
upplevelse av svarskvalitet behöver upplevelsen varieras för att få ut nyanserade svar från GA. Detta ger även respondenterna möjligheten att ge svar baserat på varierande upplevelser då de har fått olika svar från GA. I GAs svar på respondenternas frågor har rikheten på innehåll varierats för att än en gång variera respondenternas upplevelse. Frågorna valdes ut med noggrannhet för att (1) inte inkräkta på respondenternas privatliv (2) inte röra
kontroversiella eller etiskt stötande ämnen.
Frågorna är baserade på Text Retrieval Conference (TREC, 2019), vilket är en databas som innehåller frågor för QA undersökning. Frågorna är sedan översatta till svenska och
modifierade för att uppnå tidigare nämnd variation i upplevelse. De frågor som
respondenterna ställer till GA presenteras i bilaga 1 och intervjufrågorna som ställdes till respondenterna presenteras i bilaga 2. Frågebatteriet i intervjuguiden har repeterats 5 gånger, en gång för varje fråga som respondenterna ställt till VAPA.
Respondenterna informerades om att de kommer att behöva ha tillgång till en GA och godkänna användarkraven för att använda tjänsten. Respondenterna informerades innan intervjun började om att: (1) deras fullständiga anonymitet respekteras och att inget ska kopplas till intervjupersonens identitet, arbetsplats eller boende. (2) informationen endast kommer användas till studien, vi frågar även om de är okej med hur vi använder deras information. (3) vi kommer att spela in intervjun ifall de godkänner det. (4) respondenten får hoppa över frågor eller avsluta intervjun när de önskar (Se även bilaga 1 & 2).
De teman som presenterats i litteraturstudien har legat till grund för intervjuguiden. Detta för att få en förståelse för hur dessa kan skapa kvalitet i svaret från GA. För att tillämpa läsbarhet till GA kommer temat även inkludera andra former av svar än bara text, och snarare hantera presentationen av svaret oavsett format. Semistrukturerad intervju valdes då det ger
intervjuaren möjligheten att ställa följdfrågor samt anpassa intervjun mer till dialogen med respondenten (Bryman, 2012). Vi utförde sedan en tematisk analys för att sedan sammanställa och diskutera det material vi kom fram till (Se analysmetod för mer utförlig beskrivning).
3.5 Pilotstudie
En pilotstudie har genomförts för att avgöra hur väl datainsamlingsmetoderna förhåller sig till att besvara forskningsfrågan. Vi har använt en intervjuguide (bilaga 1;2) som
datainsamlingsinstrument.
Pilotstudien utfördes online tillsammans med en respondent som passade in i vårt urval. En av oss tog rollen som intervjuare som gav respondenten frågor att ställa till GA, samt att ställa uppföljningsfrågor till respondenten kring upplevelsen. Den andra tog rollen som antecknare och spelade in intervjun. Vi spelade in intervjun med respondentens godkännande för att senare kunna utvärdera pilotstudien och därmed se förbättringsmöjligheter till
kommande intervjuer.
Intervjun i sin helhet gick bra och skapade en diskussion mellan oss som intervjuare och respondenten där respondenten kunde uttrycka sin uppfattning om svarskvalitet i GA.
Respondenten talade mycket om upplevelsen och var bekväm med både intervjun och de frågor som respondenten fick ställa till GA.
De förändringar som gjorts efter pilotstudien är en utbytt fråga som respondenten ställer till GA då vi ansåg att frågan genererade för lika svar vilket ledde till att respondenten inte fick en varierad upplevelse. Frågan som ändrades var “Vad är titlarna på alla album med Jay-Z?”.
Detta för att den ansågs vara för lik frågan “Vilka karaktärer var med i "Harry Potter och den flammande bägaren"?” i hur svaret presenterades. Respondenten gav inga nya åsikter på denna frågan och hänvisade till svaret på tidigare fråga då båda generade liknande svar.
Frågan byttes därmed ut till “Vilka bryggeri gör stout beer?”.
Utöver detta reviderades även intervjufrågorna för att vara mer lättförstådda för respondenten och språkvalet i frågorna byttes ut till ett mer vardagligt språk för att underlätta
kommunikationen samt tydligheten. Vi utvecklade även informationen som presenterades för respondenten innan intervjun av etiska samt praktiska skäl. Detta genom att informera
respondenten innan intervjun att de måste ha GA tillgänglig på mobil, vi informerar även om att de behöver godkänna GAs användarkrav för att inte tvinga dem ta det beslutet i stunden.
3.6 Analysmetod
Intervjuerna har spelats in och sedan transkriberats för att underlätta analys. Utifrån
transkriberingarna har kodord tagits fram som sedan tematiseras för att skapa en uppfattning om vad det är som är, eller inte är, grundläggande för en god upplevelse av svarskvalitet hos VAPA som informationskälla.
En tematisk analys har genomförts på de transkriberade intervjuerna där målet var att undersöka vad som skapar en upplevelse av god svarskvalitet för användaren i kontexten VAPA. Med hjälp av den tematiska analysen har koder, korta meningsbärande enheter (Bryman, 2012), brytits ut för att sedan tematiseras. Ett problem med kodning är att
kontexten kan tappas då data fragmenteras (Bryman, 2012). Detta har undvikits genom att använda förutbestämda huvudteman i analysen kopplat till litteraturen. Huvudteman syftar på de teman som togs ut ur litteraturstudien (relevans, rikhet på innehåll, aktualitet, trovärdighet och läsbarhet). Därefter skapades underteman inom dessa huvudteman, dessa underteman har baserats på analysen av intervjustudiens resultat. Undertemana användes för att underlätta förståelsen av hur respondenten upplevde svaren och huvudtemana användes för att förstå svarens kontext. Exempelvis fick huvudtemat “Relevans”, som hämtades ur litteraturstudien, undertemat “Svarar på frågan”, som hämtades ur analysen av intervjuerna (se även tabell 4).
Kodning av det transkriberade materialet skedde i en iterativ process. Den iterativa processen innebar att vi kodade materialet flera gånger och sedan sammanställde alla iterationer till ett.
Detta för att försäkra att vi inte har missat något viktigt eller missförstått något. Vi har utgått från de 5 huvudtemana som grund för den tematiska analysen. Vi har sedan använt det empiriska materialet när vi tematiserade. Med hjälp av den tematiska analysen har nya underteman skapats för att bilda en förståelse för vad respondenterna upplever skapar god svarskvalitet hos en VAPA.
3.7 Metoddiskussion
Tracy (2010) skriver om hur det går att försäkra att de metoder som används inom kvalitativa ansatser är av god kvalitet. Tracy (2010) skriver även att det är viktigt att datan kommer tillbringa studien tillräcklig med meningsfull och signifikant grund för analys och diskussion.
Därmed ansågs 9 respondenter, tillsammans med djupgående intervjufrågor, tillräckligt för att få betydelsefull data kring upplevd svarskvalitet. God kvalitativ forskning är relevant,
betydelsefull eller intressant (Tracy, 2010). Tracy (2010) skriver att forskning bör skapa ett värdigt bidrag till redan existerande kunskap och tillföra något nytt. Vår ansats utmanar den existerande kunskapen om VAPAs genom att undersöka användares upplevelse av god svarsvalité. Då det har visat sig att VAPAs kan svara på olika sätt beroende på vilken fråga som ställs (Strzelecki & Rutecka, 2020), skapar det ett intressant område att utforska.
Tracy (2010) skriver att en etiskt korrekt studie bidrar till en förbättrad kvalitet i studien. Etik kan även ses som ett kvalitetsskapande mål med studien (Tracy, 2010). Studien förhåller sig därför till etiska och moraliska riktlinjer, hämtade ur Tracy (2010), Bryman (2012) och Vetenskapsrådet (2002). Detta hjälper oss att undvika händelser som respondenterna kan anse är obekväma, kränkande eller inkräktar på deras privatliv. Bryman, (2012) och Tracy (2010) skriver att intervjuare ska respektera respondenternas åsikter och inte inkräkta på saker som respondenterna inte är bekväma med att dela med sig av. Respondenter ska inte heller komma till skada, ska inte luras eller bli framtvingad till samtycke (Bryman, 2012; Tracy, 2010;
Vetenskapsrådet, 2002). Intervjuaren bör ta hänsyn till olika kontexter och etniska skillnader (Tracy, 2010). Intervjuaren ska även vara medveten om hur deras intryck och handlingar kan påverka respondenterna (Tracy, 2010). Intervjuaren ska heller inte dela data utan tillstånd, därmed ska respondenternas data respekteras och inte visas på ett vinklat sätt (Bryman, 2012;
Tracy, 2010; Vetenskapsrådet, 2002).
Med hjälp av dessa kriterier har följande beslut tagits för att försäkra en etiskt korrekt studie.
Respondenterna har informerats om vad deltagandet i studien kommer att leda till samt vad som krävs av dem för att delta i studien. Information om att respondenterna behöver installera GA samt godkänna dess användarkrav har kommunicerats i förhand för att ge respondenterna möjligheten att tacka nej till att delta i studien om de inte samtycker om GAs krav. Vidare har respondenternas samtycke om inspelning av intervjun efterfrågats innan intervjun för att försäkra att respondenterna är okej med att intervjun spelas in och sparas. Vidare har de informerats om vad datan som samlats in kommer att användas till. Det är viktigt att försäkra att respondenterna är trygga i att dela med sig av den information som de bidrar med till studien samt att de vet vad informationen kommer att användas till (Bryman, 2012).
Utöver detta har frågorna som respondenterna ställer till GAs valts ut med noggrannhet så att de inte kan anses kränkande för respondenterna. Områden såsom religion eller sexuell
läggning har därmed valts bort för att inte göra respondenterna obekväma.
4 Resultat
Resultatet av studien genererade en ny förståelse av de huvudteman som presenterats i litteraturstudien. Denna förståelse är byggd på vad respondenterna förmedlade genom intervjustudien. Följande del beskriver hur respondenterna upplevt svarskvaliteten i VAPA samt vad som skapar god svarskvalitet för dem.
4.1 Relevans
I undersökningen visades att den viktigaste delen av ett svar för att skapa god svarskvalitet var att VAPA svarade på frågan. I fråga 1 (“Hur dog Irving Berlin?”) fick respondenterna inte ett svar på den ställda frågan. Istället fick de svaret när han dog samt lite information om Irving och hans liv. Detta gjorde att samtliga respondenter kände sig missnöjda med relevansen i svaret då det inte adresserade frågan i sig utan gav kringliggande information istället. Liksom många andra respondenter svarade respondent 1 följande på den första frågan:
“Den säger inte hur han dog utan bara när han dog. Jag får inte svar på det jag frågade, om jag inte går in på artikeln. Så nej jag skulle inte säga att svaret är relevant för frågan” (R1)
Vidare framkom det att respondenterna inte var intresserade av att använda sig av annonser som informationskälla trots att de var relaterade till ämnet. Detta då det finns en
bakomliggande organisation eller person som har något att vinna på att informationen presenteras som den gör. Respondenterna upplevde därmed svarskvaliteten mer negativt då annonserna ansågs vara mindre trovärdiga källor och i vägen för svaret de letade efter.
Annonsen sågs inte som en del av svaret där innehållet för de mesta ignorerades. Här har relevansen även koppling till svarets trovärdighet. Respondenterna 8 och 9 uttryckte följande angående annonser:
“Svaret är bra, men annonsen räknar jag inte som ett svar” (R8)
“Ja jag litar mindre på det (annonsen) för att de har något att vinna på att jag klickar på deras “add”. De tjänar ju på att ge mig den här informationen” (R9)
Några respondenter poängterade vikten vid att den relevanta informationen skulle stå ut tydligt från resten av informationen. Detta skapar en koppling mellan relevans samt läsbarhet där det läggs vikt vid att just svaret på frågan ska stå ut tydligare än den kringliggande informationen för att snabbt och enkelt kunna finna den information som söks. Respondent 5 och 9 uppmärksammade att markering av svaret på fråga 4 (“Vilken medicin används mot Borrelia?”) bidrog till ett tydligare svar.
“Den gav många olika alternativ [...] Men den highlightar ju antibiotika, alltså i bold, så kanske skulle ta den ” (R5)
“Antibiotika är i fetstil, så det markerar ju svaret” (R9) 4.2 Rikhet på innehåll
De flesta respondenterna ansåg att ett svar borde vara avgränsat, relevant, snabbt och tydligt där användaren inte behöver leta runt för mycket för att få svar på frågan. Respondenterna upplevde att informationen som presenteras bör vara relevant och tillräcklig för att svara på frågan, därmed kan rikhet på innehåll kopplas till relevans. Respondent 5, likt många andra respondenter, uppmärksammade att ett relevant svar var grundläggande för att avgöra om svaret gav tillräckligt med information:
“Den säger ju ‘när’ men det var ju inte det jag frågade så man kan ju säga att den inte gav mig tillräckligt med information.” (R5)
Många respondenter ansåg att mycket innehåll inte är nödvändigt och kan även störa användaren. Respondent 4 och 7 uttryckte detta:
“Behöver inte veta ursprunget av borrelia om jag frågor om hur man botar det. Namn på medicin och hur många dagar är bra, annan info är irrelevant.” (R7)
“Jag behöver inte mycket information så länge jag får reda på det jag söker efter.”
(R4)
På grund av att respondenterna läste svaren på mobiltelefoner upplevde de att svaret bör vara tillämpat responsivt för små skärmar. För mycket information med liten skärm upplevdes inte vara en bra kombination.
“[...] inte för mycket information eftersom att det är en liten skärm. Kort och koncist hellre än för långt.” (R8)
Respondenterna ansåg att en viss mängd av information krävs för att svara på den ställda frågan, övrig information ansåg vara onödigt. Därmed upplevdes rikt på innehåll inte var lika viktigt som relevans och trovärdighet, vilket respondent 7 uppmärksammade:
“Alla kräver en viss mängd med innehåll. Så länge relevans och trovärdigheten är hög så spelar inte rikheten någon roll.” (R7)
Däremot uttryckte respondenterna att flera alternativ i svaret var något viktigt både för trovärdigheten men även för att själv ha möjligheten att läsa vidare om ämnet. Många alternativ ger även användaren möjligheten att välja själv vilken informationskälla de är intresserade att ta del av. Detta bygger på justification då användaren själv kan avgöra vilka resultat i listan som de anser vara relevant. Respondent 9 uttryckte följande i frågan:
“Jag tycker det är viktigt att ha fler källor så att man vet att det inte bara är en som säger det. Det känns mer som fakta då. Då kan man ju även välja den man litar mest på”
(R9)
4.3 Aktualitet
Många av respondenterna upplevde att aktualitet var beroende av referensen. Med koppling till trovärdigheten upplevde respondenterna att aktualiteten är beroende av referensens rykte som källa. Starkt tillit för Google som söktjänst bidrog till en bättre upplevd aktualitet.
Respondent 6, likt många andra respondenter, uppmärksammade sin tillit för Google som söktjänst:
“Jag litar på Google. De kommer genuint uppdatera informationen även fast det står ex. 2013. Jag har tillit.” (R6)
Respondenter upplevde att aktualitetens väsentlighet i svaren varierade beroende på vilken typ av fråga som blev ställd. Exempelvis upplevdes frågan om medicin mer viktig att innehålla uppdaterat innehåll jämfört med andra frågor. Några respondenter upplevde att datumet på fråga 4 (“Vilken medicin används mot Borrelia?”) gjorde svaret mindre aktuellt, därmed mindre trovärdigt. Medan andra respondenter upplevde att svaret fortfarande var aktuellt och antog att svaret förmodligen är uppdaterat. Respondent 9 och 6 sa följande om fråga 4:
“Skulle säga att det spelar större roll för datum än ex. rubiks kub eller karaktärer eller Erving. Vilken medicin som används behöver vara mer aktuellt. Medicin utvecklas mer så behöver uppdateras mer. Skulle kunna komma ny medicin.” (R9)
“De ska vara noggranna med medicin för att inte sprida misinformation. Det ska uppdateras varje sekund.” (R6)
Icke-medicinska frågor upplevdes vara svåra att tolka aktualiteten i. Detta på grund av att det inte fanns mycket indikation på hur uppdaterat eller aktuellt ett ämne var i GA.
Respondenterna uttryckte osäkerhet i hur uppdaterade svaren var. Därmed tolkade
respondenterna svaren som att de förmodligen var aktuella då de antog att inte mycket kan ha förändrats sedan svaret släpptes, vilket respondent 1 uttryckte:
“Filmen har ju inte förändrats så det stämmer nog fortfarande.” (R1)
Fråga 4 ("Hur löser man en rubiks kub?") visade sig innehålla datum på när videorna var släppta, däremot spelade detta ingen roll i hur aktuellt respondenten upplevde svaret.
Detta på grund av att de antog att lösningen på rubiks kub inte kommer att förändras över tid.
Några respondenter tyckte även att aktualiteten inte spelar någon roll alls så länge den svarar på frågan. Respondent 9 pratade om hur ett uppdaterat svar inte var relevant för fråga 4:
“[...] finns väl lite olika sätt lösa rubiks kub. Så länge man får den löst så är det tillräckligt. Därmed inte viktigt för mest uppdaterade svaret.” (R9)
4.4 Trovärdighet
Källkritik i svaret var en väsentlig beståndsdel som respondenterna oftast refererade till när det kom till trovärdighet. Igenkännbara källor, såsom Wikipedia, Imdb och statliga referenser, ansågs vara mer trovärdiga än icke-igenkännbara källor, trots att icke-igenkännbara hade potentiellt bättre svar i andra aspekter såsom relevans, rikhet på innehåll och aktualitet.
Respondenterna poängterade att källornas rykten spelar roll i hur de upplever trovärdighet i svaren. På fråga 4 (“Vilken medicin används mot Borrelia?“) upplevde respondent 3 och många andra respondenter att SBU som källa inte var trovärdigt på grund av att de inte kände till SBU. 1177 upplevdes som en trovärdig källa då de visste att källan var statlig.
“[...] hade velat veta vilka SBU är, om det vore 1177 hade jag nog förlitat mig på det.” (R3)
En annan igenkännbar aspekt för respondenterna var Google. Då GA använder sig av Google sökmotor, upplevde några av respondenterna att tjänsten blev mer trovärdig. Respondenterna är mindre noggranna med trovärdigheten i svaren om det kommer från något de är bekanta med. Två av respondenterna uttryckte även en stor tillit för Google:
“Jag har blint tillit för Google, på grund av att den har med tidigare erfarenheter nästan alltid gett mig rätt svar.” (R8)
“Jag litar på Google. De kommer genuint uppdatera informationen även fast det står ex. 2013. Jag har tillit.” (R6)
En annan aspekt av igenkännbarhet förekom i fråga 2 (“Vilka karaktärer var med i "Harry Potter och den flammande bägaren"?”) där respondenterna upplevde mer tillit för svaret eftersom de hade sett filmen innan och kände igen karaktärerna som visades i listan. Detta gjorde att de kunnat bekräfta informationen de fått i svaret med egna kunskaper liksom respondent 6 gjorde:
“Eftersom jag sett filmen och jag känner igen karaktärerna, så ja jag förlitar mig på svaret. Jag vet ju att det är rätt.” (R6)
Detta tyder på att deras egna kunskap om ämnet ligger till grund för hur de upplever trovärdigheten i ett svar. Användares egna kunskap om källorna ligger även till grund för trovärdigheten. Exempelvis när respondenterna fick SBU som en källa för fråga 4 ("Vilken medicin används mot Borrelia?") litade de först inte på svaret, men när vi informerade dem efteråt om att SBU är statligt fick respondenterna genast mer förtroende för svaret.
“Hade jag vetat det i förhand hade jag absolut tyckt det var pålitligt.” (R3) Antalet källor visade sig också vara viktigt för upplevd trovärdighet. Många respondenter menade på att de ville ha möjligheten att läsa vidare om svaret inte var tillräckligt eller gjorde användarna osäkra. Detta för att kunna ställa källorna mot varandra och dra korsreferenser för att stämma av om källorna pekar på samma svar. Mycket relaterat information kring ett ämne förhindrar därmed bias i svaren då respondenterna hade möjligheten att dubbelkolla svaren.
Rikhet på innehåll kan därmed kopplas som en beståndsdel av temat trovärdighet då många källor i samma svar anses skapa trovärdighet.
Respondenterna upplevde även att god relevans, aktualitet och rikhet på innehåll i svaren förbättrade trovärdigheten. Svaret måste vara relevant och svara på frågan korrekt, samt bör svaren vara någorlunda uppdaterade och aktuella för förbättra trovärdigheten.
“[...] hur dog han fick jag inte svar på. Svårt att förlita sig något jag inte fick. Annars går det att förlita på sig på det.” (R3)
Många respondenter upplevde att svaret på fråga 4 inte var tillförlitligt på grund av att informationen lades ut 2013 och ansåg att mycket kan ha hänt under den tiden. Respondent 5 uttryckte följande:
“[...] 2013 släpptes informationen så det kan ha hänt mycket sedan dess.” (R5)
Däremot upplevde andra respondenter att aktualiteten inte spelade någon roll för
trovärdigheten i fråga 4 då de antog att svaret inte har uppdaterats på grund av att det inte har kommit någon ny information.
“Att svaret är antibiotika är ganska rakt på saken och om de kommit på en “cure” för 8 år sen så har väl det inte förändrats sedan dess.” (R1)
Ett intressant beteende från respondenterna skedde när vi ställde fråga 4. Respondenterna hade en relativt mild källkritisk ställning till svaren innan denna fråga blev ställd. Efter denna fråga blev respondenterna mer kritiska mot källorna och frågorna de ställde. Vi noterade även att medicinfrågan oftast var den första frågan där respondenterna reagerade på att datumet var föråldrat, där vissa respondenter poängterade att detta försämrade trovärdigheten.
4.5 Läsbarhet
Respondenterna poängterade att läsbarheten var beroende av kontext och att frågan avgjorde vilken svarsform som önskades. Då frågorna som respondenterna fått ställa till GA varierats har även svarsformen sett olika ut beroende på vilken fråga som ställts. Detta har gjort att respondenterna kunnat ställa de olika svarsformerna mot varandra. Med hjälp av detta har insikten av att den svarsform som önskas är beroende av den kontext det befinner sig i.
Många respondenter kommenterade på att GA presenterade fråga 3 (Hur löser man en rubiks kub) i videoformat men kom vid senare eftertanke fram till att det var det svaret de skulle önskat när de sökt efter den frågan.
“Som sagt, är det praktiskt så borde det vara videos. Dödsdatum vill man ju inte ha i video. Videon är ju istället för en text-guide. Show rather than tell.” (R8)
Många respondenter poängterade dessutom att de uppskattade de bilder som presenterats i svaren. De beskrev att bilderna överlag var ett trevligt sätt att visa vem eller vad som presenterades i svaret. Bilderna visades extra viktiga i fråga 2 (“Vilka karaktärer var med i
"Harry Potter och den flammande bägaren"?”) där bilderna användes för att presentera karaktärerna i filmen i ett listformat. Där förklarade respondenterna att bilderna var viktiga för att skapa en förståelse för vilken karaktär som är vilken i filmen.
“Det var tydligt, man får se dem i sina roller. Får se karaktärernas namn och skådespelarnas namn, samt porträtt.” (R6)
Det visade sig även att respondenterna ansåg att det var viktigt att se hur VAPA tolkat frågan.
Det var viktigt att se den frågan som respondenterna ställt för att försäkra respondenten om att GA har tolkat frågan rätt. Detta för att användaren ska kunna ställa om frågan eller formulera om frågan ifall den inte tolkas korrekt av VAPA.
“Jag kan inte se hela min fråga (fråga 2) vilket inte gör att jag inte ser om den har fattat rätt [...] det är viktigt att se hela frågan så att jag kan rätta till det om den fattat fel”
(R7)
4.6 Sammanfattning av resultat
Det har visat sig att samtliga av de huvudteman som beskrivits i litteraturstudien haft
betydelse för användarens upplevelse av svarskvalitet genom intervjustudien. Trots detta har teman såsom relevans, och trovärdighet visats vara mer grundläggande för användarens upplevelse än läsbarhet, aktualitet och rikhet på innehåll, där rikhet på innehåll visade sig vara viktig på ett annorlunda sätt i kontexten VAPA jämfört med traditionella söktjänster. Det var viktigare att svaret var kort och koncist snarare än att ha rikt innehåll. Samtidigt har det visats att temana inte existerar i ett vakuum utan är beroende av varandra. Till exempel är temat relevans beroende av temana rikhet på innehåll och aktualitet och kan därmed inte förstås utan dessa beståndsdelar.
Teman tagna från litteraturen har visats sig vara beroende av olika underteman. Därmed har det visat sig att några huvudteman är kopplade till andra huvudteman.
Tabell 5. Visar sammanställning av resultat
Teman Underteman
Relevans - Svarar på frågan
- Annonser räknas inte som information - Svaret ska visas tydligt / märkas ut Rikhet på innehåll - Kort och koncist
- Liten skärm, inte för mycket information - Bra för korsreferera
Aktualitet - Behov beroende på ämnet
- Visar när informationen är uppdaterad - Koppling till trovärdighet
Trovärdighet - Användaren är bekant med informationen - Referensens rykte
- Tillit för statliga källor
- Blind tillit av vissa källor (Ex. Google)
- Många svarsalternativ med liknande svar (rikhet på innehåll) - Koppling till relevans, aktualitet och rikhet på innehåll Läsbarhet - Utförligt presenterat
- Responsivitet
- God kommunikation i svaren
- Visa frågan användaren ställde - Markerar svaret
- Enkelhet i svaret - Avgränsat
- Inga komplexa meningar / begrepp - Snabbt och tydligt
- Logisk ordning
- Anpassa svarsformen efter frågan - Bilder, texter och videoklipp
5 Analys och diskussion
Vi har presenterat resultat från en intervjustudie angående vad som bidrar till upplevelse av god svarkvalitet. Denna kunskap kommer att gynna framtida utveckling av VAPAs då användarens upplevelse ligger till grund för konversationsagenter. I följande avsnitt kommer vi diskutera materialet från litteraturen och resultatet från intervjustudien, där vi även
kommer att presentera vad som bidrar till upplevelse av god svarskvalitet i VAPA. Till sist kommer vi att diskutera svagheter med studien samt förslag till framtida studier.
Den generella upplevelsen av svarskvalitet inom VAPA var liknande mellan alla
respondenter. Vi kan därför inte påvisa att det finns en skillnad mellan hur erfarna användare kontra nya användare upplever svarskvaliteten i VAPA. Det samma gäller även för könen.
5.1 Temanas roll i god upplevelse av svarskvalitet
Vi har upptäckt att undersökningsområdet kring upplevd kvalitet är mycket mer komplext än först tänkt. Litteraturstudien visade på ett mer enkelt perspektiv på vilka temaområden som anses vara väsentliga kring upplevd kvalitet inom informationssökning. Däremot har det visat sig genom intervjustudien att många av dessa teman har en mer komplex koppling mellan varandra i kontexten VAPA. Huvudtemana fungerar som beståndsdelar för andra huvudteman vilket gör dem mer beroende av varandra. Litteraturen påvisade inga starka samband mellan dessa teman, utan enbart några få kopplingar.
5.2 Relevans
Zhao et al. (2019) pekar på att svaren bör vara relevanta till frågan, vilket även
respondenterna påpekade många gånger under intervjustudien. Alla respondenterna upplevde även att svaret bör minimum svara på den ställda frågan för att de skulle godtas som ett bra svar inom VAPA. Hirschman och Gaizauskas (2001) visar på att justification var viktigt för svarets relevans och trovärdighet, detta visades även i intervjustudien då respondenterna ville ha möjligheten att bilda egna uppfattningar om svaret med hjälp av många alternativ.
I intervjustudien upplevde respondenterna att ett fokuserat och enklare svar bidrog god relevans i VAPA. Därmed upplevde respondenterna att svaren bör vara tydligt markerat i VAPAn, detta förekom inte i litteraturstudien. Detta kan bero på kontexten då VAPA används i smarttelefoner som har mindre skärmar, därmed kräver tydligare markerad text för att användaren ska snabbt kunna hitta svaret på frågan.
Respondenter upplevde, likt vad Lewandowski och Höchstötter (2008) pekar på, att annonser inte var relevanta till frågan. Trots att annonsen visade på information kring ämnet ansågs det irrelevant och icke-trovärdigt därmed ignorerades av respondenten. Detta kopplas till
trovärdighet och vad Shah et al. (2020) skriver om opartiskhet då informationen tappar värde om användaren vet att det finns en bakomliggande vinning för de som står bakom
informationen. Annonser och marknadsföring kan anses vara problematiskt för framtida VAPAs då det har visat sig förstöra svarskvaliteten. Därmed bör utvecklare av framtida VAPA vara varsamma med hur de implementerar information som tolkas vara störande i
användarens mål att hitta ett relevant svar på sin fråga.
5.3 Kort och koncist
Det nya temat kort och koncist har ersatt rikhet på innehåll som huvudtema i studien.
Det går att tolka det som att några delar av rikhet på innehåll bidrar mer till god svarskvalitet.
Flera alternativ och möjligheten att läsa vidare är mer viktigt än att svaret i sig har långt svar.
Detta på grund av att längre svar inte bidrar med trovärdighet i svaret, medan flera alternativ och möjlighet till vidare läsning gör. Användare vill ha många alternativ i sina svar från VAPA men svarens innehåll ska vara korta och koncisa. På så sätt lever temat rikhet på innehåll kvar men inte på det sättet Oh och Worrall (2013) presenterat, utan istället baserar sig på justification där användaren får många svarsalternativ och själv kan välja vilken information de vill ta del av. Många alternativ gör det även möjligt för användaren att korsreferera mellan källorna i svaret vilket också visats bidrar till god upplevelse av trovärdighet. Sammanfattningsvis kan kort och koncist svar ses som en viktigt beståndsdel för relevans, där svar med många alternativ kan ses som en viktig beståndsdel för
trovärdighet.
5.4 Aktualitet
Shah et al. (2020) pekar på att användaren upplever uppdaterade källor mer aktuella, därmed mer trovärdiga. Detta stämmer bra in med hur respondenterna upplevde aktualitet i
intervjustudien. Däremot förekom det inte ofta i GA att svaret visade när informationen i svaret släpptes eller var senast uppdaterat. Detta är problematiskt då det gör användare osäkra över hur aktuellt ämnet faktiskt är vilket kan påverka trovärdigheten i svaret. Det finns en risk att vissa användare förlitar sig blint på den information Google ger, andra blir osäkra på om datumen stämmer. I fallet med allvarliga frågor som fråga 4 (“Vilken medicin används mot Borrelia?”) bör svaret tydligt visa om det finns ny information kopplat till ämnet.
Aktualiteten kring allvarliga ämnen är ett område som kan förbättras i utvecklingen av framtida VAPAs. Respondenter upplevde att mindre allvarliga ämnen inte var i lika stort behov av att veta hur uppdaterat svaret är, då de antog att svaren inte kommer förändras mycket exempelvis i hur användarna löser en rubiks kub.
5.5 Trovärdighet
Fråga 4 (“Vilken medicin används mot Borrelia?”) stod ut mest i intervjustudien då svarstemana varierade som mest inom detta ämne. Det har visats sig att när användaren ställer frågor kring ämnen som är mer känsliga eller allvarliga bryr de sig mer om hur trovärdiga svaren är, därmed mer villiga att dubbelkolla svaren med andra källor. Trots att några respondenter upplevde blind tillit för Google var de ändå mer kritiska mot
medicinfrågans trovärdighet. Pradhan et al. (2020) beskriver behovet av att undersöka VAPAs trovärdighet på grund av den information om allvarliga ämnen som finns tillgänglig,
exempelvis medicinska ämnen. I intervjustudien visade sig att VAPA bör svara mer noggrant inom medicinska ämnen och inkludera information som endast är nödvändig för att bidra till god relevans och trovärdighet. Exempelvis på medicinfrågan bör svaret förtydliga att inget har förändrats i forskningen om svaret visar årtal som kan upplevas vara föråldrat.
Det visades i intervjustudien att respondenterna var mer benägna att lita på källor som uttryckte professionalitet. Detta var extra tydligt i fråga 4 där respondenterna var tveksamma till att förlita sig på SBU som källa. Detta förändrades när vi förklarade vilka SBU var vilket i nästan alla fall fick respondenten att helt ändra åsikt i deras uppfattning om svaret. Detta kan kopplas till vad Xu et al. (2021) skriver om att professionaliteten kan bidra till trovärdighet i ett svar, alltså hur väl användaren upplever källans expertis.
5.5.1 Hållbarhet
Intervjustudien visade på trovärdighetens vikt för att presentera svar som användaren
upplever är av god kvalitet. Källkritik är något som har blivit allt viktigare i dagens samhälle på grund av mängden information som är tillgänglig på söktjänster (Guo et al., 2020;
Vosoughi et al., 2018). Intervjustudien visar på att användare kan uppleva trovärdighet kopplat till hur källornas igenkännbarhet och rykten. För ett socialt hållbart samhälle är det viktigt att förtydliga var informationen kommer ifrån och även ge användaren alternativ källor så de kan bilda egna uppfattningar om vad som är trovärdig information (Guo et al., 2020). Användares blinda tillit till Google som trovärdig söktjänst är oroväckande då det ger Google mycket utrymme för att sprida misinformation som användaren blint litar på.
Intervjustudien visar på stort utrymme för förbättring inom VAPAs trovärdighet.
5.6 Presentation
Det nya temat presentation har ersatt läsbarhet för att vidare anpassas för kontexten VAPA, där läsbarhet fortfarande är en viktig del i temat presentation. Respondenternas upplevelse av presentationen av svaret verkade stämma in i med hur Oh och Worrall (2013) beskrivit god läsbarhet. Oh och Worrall (2013) pekar på att läsbarheten baseras sig på hur förståelig svaret är till användaren, vilket stämde in i intervjustudien. Intervjustudien nämnde även att
läsbarheten är beroende av vilken svarsform VAPAn ger dig för den frågan som blev ställd.
Därmed uppstod det aldrig några grammatiska felaktigheter i VAPAs svar vilket gjorde det svårt att avgöra i intervjustudien om grammatik och felstavning spelar roll när det kommer till läsbarhet. Vi tolkar det som att grammatisk korrekthet och rättstavning är ett minimum för
VAPAs söktjänster att uppehålla och är inget som användaren lägger märke till om inget är fel. Därpå ska VAPAn presentera den svarsformen som är mest lämplig för frågan,
exempelvis en lista när användaren frågar om karaktärer i en film, eller att visa videoklipp och bildinstruktioner när det kommer till att förklara mer komplexa frågor. Temat
presentation är det nya temat som bygger på tidigare kunskap om läsbarhet. Presentation som tema täcker in former av svar mer än bara text, och snarare hantera presentationen av svaret oavsett format. Presentation fokuserar på VAPAs svarskvalitet baserat på struktur, läsbarhet och svarsformat.
5.7 Komplexiteten inom teman
Oh och Worrall (2013) samt Lewandowski och Höchstötter (2008) skriver att rikhet på
innehåll har kopplingar till både läsbarhet och trovärdighet. Enligt Oh och Worrall (2013) och Lewandowski och Höchstötter (2008) skulle ett utförligare (läsbarhet) och längre svar (rikhet på innehåll) bidra till en bättre upplevelse av trovärdighet. Däremot visade intervjustudien att kopplingen mellan rikhet på innehåll och trovärdighet handlade om mängden svarsalternativ och inte hur långt svaret var i sig. Rikhet på innehåll visade sig vara mindre viktigt i god upplevelse av svarskvalitet än tidigare tänkt, därmed kan även försämra andra delar av upplevelsen på grund av försämrad relevans och läsbarhet. Det visade sig vara viktigare att avgränsa resultatet med endast lämplig information och inget utöver frågan som ställdes.
Däremot anser vi att en del av rikhet på innehåll bör appliceras i svaren, specifikt att svaret bör innehålla flera alternativ och möjligheten att läsa vidare. Detta för att bidra till en god upplevelse av trovärdighet, där användaren får möjligheten att bilda en egen uppfattning om vilken information de vill ta del av inom ämnet. Därpå ska läsbarheten prioriteras över rikhet på innehåll för att förbättra användarupplevelsen av VAPAs söktjänster.
5.8 Självkritik och felkällor
Genom vårt arbete har vissa problem visats som inte tagits hänsyn till i planeringen av studien. Detta är problem som kan ha påverkat studiens resultat på olika sätt. De kommer nedan att beskrivas samt vad som kan göras för att undvika dessa problem i framtida studier.
5.8.1 Onlinestudier
Denna undersökning har skett på distans på grund av rådande pandemi vilket har påverkat kontakten med respondenterna. Detta har gjort att vi inte kunnat se respondenten och hur de reagerar på de svar de fått. Vi kan inte heller se de svar som de fått och i de fall de fått svar som inte liknar de andra respondenternas svar har de behövt beskriva sina svar för oss. Detta är viktig information som vi går miste om för att förstå kontext samt känslor såsom irritation eller nöjdhet.
5.8.2 Behov av vidare undersökningar
Denna studie har endast använt GA som underlag vid intervjustudien. Detta kan påverka resultatet då det kan finnas aspekter som varken vi eller respondenterna tagit hänsyn till som inte visas i ett test med GA men som skulle kunna visas i test med andra VAPAs. Det kan därmed finnas fler teman som inte visats i undersökningen med GA som kan bidra till god upplevelse av svarskvalitet. Respondenternas tillit för Google som söktjänst har påverkat respondenternas upplevelse av trovärdighet och aktualitet. Respondenterna förmedlade att denna tillit för Google är på grund av att det är en välbekant tjänst som har funnits länge, respondenterna har därmed upplevt över en längre tid att Googles sökmotor har varit
pricksäker i sina svar. VAPAs såsom Siri, Alexa och Cortana har inte denna fördel, användare må vara bekanta med dessa VAPAs men inte på samma nivå som Google. Vidare
undersökning på andra VAPAs bör genomföras för att kringgå denna bias.
