Vårterminen/Spring 2021 | LIU-IDA/KOGVET-G--21/016--SE
Konversationsagenters(CAs) påverkan
på användarupplevelsen av digitala
tjänster
Hjalmar Norell
Handledare - Peter Berggren Examinator - Björn Johansson
Upphovsrätt
Detta dokument finns tillgängligt på Internet – eller dess framtida ersättare – 25 år från publiceringsdatum under förutsättning att inga extraordinära omständigheter uppstår. Tillgång till dokumentet innebär tillstånd för var och en att läsa, ladda ner, skriva ut enstaka kopior för enskilt bruk och att använda det oförändrat för ickekommersiell forskning och för
undervisning. Överföring av upphovsrätten vid en senare tidpunkt kan inte upphäva detta tillstånd. All annan användning av dokumentet kräver upphovsmannens medgivande. För att garantera äktheten, säkerheten och tillgängligheten finns lösningar av teknisk och
administrativ art. Upphovsmannens ideella rätt innefattar rätt att bli nämnd som upphovsman i den omfattning som god sed kräver vid användning av dokumentet på ovan beskrivna sätt samt skydd mot att dokumentet ändras eller presenteras i sådan form eller i sådant
sammanhang som är kränkande för upphovsmannens litterära eller konstnärliga anseende eller egenart. För ytterligare information om Linköping University Electronic Press se förlagets hemsida http://www.ep.liu.se/.
Copyright
The publishers will keep this document online on the Internet – or its possible replacement – for a period of 25 years starting from the date of publication barring exceptional
circumstances. The online availability of the document implies permanent permission for anyone to read, to download, or to print out single copies for his/hers own use and to use it unchanged for noncommercial research and educational purposes. Subsequent transfers of copyright cannot revoke this permission. All other uses of the document are conditional upon the consent of the copyright owner. The publisher has taken technical and administrative measures to assure authenticity, security and accessibility. According to intellectual property law the author has the right to be mentioned when his/her work is accessed as described above and to be protected against infringement. For additional information about the
Linköping University Electronic Press and its procedures for publication and for assurance of document integrity, please refer to its www home page: http://www.ep.liu.se/.
Sammanfattning
På grund av stora framsteg som gjorts inom den digitala domänen de senaste åren har utvecklare lyckats replikera mänsklig dialog bättre än någonsin tidigare. Detta har gjort det lättare för företag och institutioner att ersätta sin tjänstepersonal med konversationsagenter av olika slag. Den här plötsliga förändringen tycks dock ha påverkat användarupplevelsen för vissa av dessa tjänster, speciellt inom vårdsektorn. Syftet med denna studie var att att undersöka och utforska användarupplevelsen av konversationsagenter i relation till traditionella gränssnitt. Genom resultatet av ett UEQ-test och en tematisk analys av 6 semistrukturerade intervjuer identifierades effektivitet och förtroende som två områden där deltagarna upplevde att konversationsagenten skiljde sig mest i förhållande till det
traditionella gränssnittet. Resultatet från intervjuerna visade även att delning av persondata ur ett patientperspektiv tenderade att skapa oro hos ett antal deltagare. En övergripande slutsats var att aspekter som bör utvecklas för liknande system är att skapa tillit och minska
komplexitet vid användning av konversationsagenter.
Abstract
Due to the great advances made in the digital domain in recent years, developers have succeeded in replicating human dialogue better than ever before. This has made it easier for companies and institutions to replace their service staff with conversation agents of various kinds. However, this sudden change seems to have affected the user experience for some of these services, especially in the healthcare sector. The purpose of this study was to investigate and explore the user experience of conversation agents (CAs) in relation to traditional
interfaces. Through the results of a UEQ test and thematic analysis of 6 semi-structured interviews, effectiveness and trust were identified as two areas where participants felt that the CA differed most in relation to the traditional interface. The results from the interviews also suggested that sharing personal data from a patient perspective tended to create concern among some of the participants. An overall conclusion was that aspects that should be developed for similar systems are to create trust and reduce complexity when using conversational agents.
Innehållsförteckning
1 Introduktion ...……….. 1
1.1 Syfte ………...….……….………2
1.2 Avgränsning ..……….……….……….…2
2 Teoretisk bakgrund ………....……….. 3
2.1 Användarupplevelse och användbarhet ……….. 3
2.2 Traditionellt gränssnitt ……….………4
2.3 Konversationsagenter ...………... 5
2.4 Design av konversationsagenter ……….. 6
2.5 Testa användbarhet och användarupplevelse av CAs ………..……… 7
2.6 Förkroppsligade och icke-förkroppsligade agenter ….……… 7
2.7 CAs inom vårdsektorn ………...……….. 8
2.8 Frågeställningar ………...…….... 9 3 Metod ………...……….. 11 3.1 Design …....……….………. 11 4.2 Deltagare …....………...………. 11 4.3 Material …...………...………. 11 3.4 Transkription ………….………...………. 12 3.5 Prototypbeskrivning ……...……….……… 12
3.5.1 Det traditionella gränssnittet ……...……….……….……… 13
3.5.2 Konversationsagenten ……...……….…………..….……… 14 3.5.2 Uppgiftsutformning ……...………....…………..….………. 14 3.6 Apparatur ………...……….……… 16 3.7 Intervjumetodik ………..……….……… 17 3.8 Procedur ………..……….………...… 17 3.9 Analys ………... ……….……….... 18 3.10 Etik ………...……….………...…….. 19
4 Resultat ………....………... 21 4.1 UEQ resultat ……...……….. 21 4.2 Tematisk analys …...………..………... 22 4.2.1 Effektivitet …...…..…….….………...…………... 23 4.2.2 Utformning …...………...………...…………... 23 4.2.3 Förtroende …...………..………...…………... 24 4.2.4 Sammanfattning …...………..…………...………...…………... 25 5 Diskussion ………....……….. 27 5.1 Metodkritik ..………..………... 30 5.2 Framtida studier ………..……….. 31 6 Slutsats ………....……… 33 Referenser ………..…………....………. 34 Bilagor ……….……....………..………. 38
1. Introduktion
De senaste åren av teknisk utveckling har möjliggjort en diskussion om en idé lika gammal som den första datorn. Idén om att skapa en dator som simulerar beteendemönstret av en människa. Det har varit en central del inom forskningsområdet human-computer interaction (HCI) som ämnar att utforska hur vi människor interagerar med datorer (Dix et al., 2003). Och även fast det finns en uppsjö utvecklingsområden inom ramen av HCI där mänskligt beteende utforskas (hushållsrobotar, självkörande bilar eller text-to-speech script) finns det en grundpelare som fortfarande väcker mycket intresse och uppmärksamhet inom
forskningsvärlden. Området av datorer som efterliknar mänsklig dialog. Ända sedan Joseph Weizenbaum skapade ELIZA (1965), datorprogrammet som kunde svara på input från dess användare med förvånansvärt hög pricksäkerhet, har fascinationen av en dator som
människolik dialogpartner aldrig riktigt svalnat. Och även fast vi under de 55 åren sen ELIZA introducerades skapat allt från telefoner som kan styra våra bilar till bilar som kan styra våra telefoner har vi fortfarande problem med att skapa agenter som känns naturliga att interagera med.
Ett område där en stor ökning av dessa typer av agenter ökat är inom kundservice. Enligt en studie från 2019 använder sig idag 52% av telekombolag sig av någon typ av
konversationsagent och den siffran tenderar att fortsätta öka kraftigt (Gartner). En anledning till den stora ökningen menar han beror på att det idag ofta finns ett tydligt mål med
konversationen. Användaren har en uppgift denne vill ha löst och systemet har de nödvändiga verktygen för att hjälpa användaren att lösa den uppgiften. En annan anledning till ökningen är att tekniken möjliggör mer personliga bemötanden och ett område där många resurser läggs på just personlig service är vårdsektorn. På grund av områdets hittills begränsade livslängd har ingen praxis skapats för hur dessa typer av gränssnitt ska benämnas. Inom ramen av denna studie går olika typer av chattbottar under samlingsnamnet CA
(conversational agent) eller den svenska översättningen konversationsagent.
I covid-19 pandemins spår har efterfrågan av digitala vårdtjänster ökat raketartat. Både vårdgivaren och vårdtagaren har haft tydliga incitament att förflytta vården från fysiska platser till digitala. Färre fysiska möten innebär en minskad risk för smittspridning. För att minska belastningen på vårdpersonalen har många företag valt att inledningsvis bemöta deras
patienter med en digital assistent. Ett av företagen som valt att använda just en sådan har dock mötts av stor kritik. Läser man omdömena verkar kritiken komma från olika håll men det finns ett tema som genomgående tas upp. Deras användare verkar ha upplevt ett stort missnöje med att använda deras deras digitala assistent. En recension från den 17:e maj 2021 lyder: “Horribel chatt-service! Omöjligt att formulera fråga och du tvingas till irrelevanta kategorier. Ger mig ett mycket dåligt helhetsintryck av ...”
Men det verkar inte bara vara själva interaktionen med dessa typer av system som skapar misstycke hos användare. I en studie från 2019 upptäckte forskarna att några av de vanligaste orsakerna till oro kring diagnostiserande genom konversationsagenter handlar om delning av persondata och tillit till systemet (Laumer et al.). De kunde dessutom se tendenser till att det inte finns någon hedonistisk motivation till att använda CAs. Fortsatt forskning inom det här området kan potentiellt leda till en snabbare acceptans och utveckling av CAs i vårdsektorn. Detta skulle i sin tur möjliggöra vård till fler personer under fler timmar om dygnet till en lägre kostnad (Barak et al., 2009).
Men är samhället redo för denna sorts typer av tjänster? Eller skapar traditionella gränssnitt utformade ur Nielsens 10 heuristiker (1994) eller Shneidermans åtta gyllene regler
(Shneiderman et al., 2016) fortfarande mer kompletta användarupplevelser? Detta område av HCI är vad studien ämnar att undersöka genom att fokusera på appliceringen av
konvesrationsagenter i vårdsektorn ur ett patientperspektiv.
1.1 Syfte
Syftet med denna studie är att undersöka användarupplevelsen av ett traditionellt gränssnitt och jämföra det med ett gränssnitt drivet av en konversationsagent för att öka förståelsen av hur människor upplever användningen av konversationsagenter.
1.2 Avgränsning
Denna studien ämnar att undersöka användarupplevelse hos en konversationsagent i jämförelse med ett traditionellt gränssnitt. Fokus ligger därför på subjektiv upplevelse och mäts följaktligen genom metoder som utvärderar deltagarnas uppfattning av respektive gränssnitt. Detta ämne ligger inom ramen av UX design research som är en del av området human-computer interaction.
2. Teoretisk bakgrund
Den teoretiska bakgrunden går inledningsvis genom skillnaden och innebörden av begreppen användbarhet och användarupplevelse. Därefter beskrivs studiens definition av traditionellt gränssnitt. Efter det förklaras vad en konversationsagent är och vilka utmaningar det finns med att mäta användbarhet och användarupplevelse av konversationsagenter i relation till traditionella gränssnitt. Slutligen går den in på ämnet av CAs inom vårdsektorn och beskriver ger en utläggning om studier som genomförts på ämnet samt fördelar med fortsatt forskning inom området.
2.1 Användarupplevelse och användbarhet
En viktig distinktion att göra när man pratar om design av digitala tjänster och produkter är skillnaden mellan användarupplevelse och användbarhet. Användarupplevelse beskriver det holistiska intrycket användaren får av systemet. Don Norman och Jakob Nielsen summerar det i en artikel från 2006 som “User experience encompasses all aspects of the end-user's interaction with the company, its services, and its products.”. Då användarupplevelse kretsar kring användarens personliga uppfattning om systemet är vanliga sätt att mäta detta genom intervjuer eller frågeformulär.
Användbarhet berör istället hur lätt ett system är att använda och lära sig. Jakob Nielsen har delat in användbarhet i 5 olika komponenter (2012):
- Learnability: Hur lätt är det för användaren att utföra simpla uppgifter första gången denne använder systemet?
- Efficiency: När användaren väl lärt sig designen, hur snabbt kan denne utföra uppgifter?
- Memorability: Om användaren kommer tillbaka till systemet efter en period, hur lätt är det att få tillbaka färdighet?
- Errors: Hur många fel gör användaren, hur stora är felen och hur lätt är det att reparera?
- Satisfaction: Hur tillfredsställande är designen?
Det finns olika metoder för att undersöka ett systems användbarhet. De vanligaste metoderna är genom att testa om användaren lyckas utföra några utvalda uppgifter samt hur lång tid det tar för deltagaren att genomföra dessa.
2.2 Traditionellt gränssnitt
Inom området av HCI finns det många olika typer av gränssnitt. Några av de mest förekommande är: Command Line Interface: Ett gränssnitt där du endast skriver in kommandon och får tillbaka loggmeddelanden helt utan visuell feedback. Menu-Driven Interface: Ett gränssnitt där en semi-dynamisk menu konstant täcker skärmen. En bankomat är ett exempel på ett system som har ett Menu-Driven Interface. Graphical User Interface: Ett fullt dynamiskt gränssnitt där du kontrollerar systemet genom en mus, trackpad eller
touch-rörelser och får kontinuerlig feedback på processer som sker i systemet (Falk, 2014). En majoritet av systemen som designas och används idag är av typen graphical user
interfaces (GUIs) och det finns därför ytterligare underkategorier inom den kategorin. Skillnader i utformning beror då ofta på vilka principer som gränssnittet har designats efter. Några av de vanligaste principerna som används i dagsläget är Nielsens 10 heuristiker (1994). Inom dessa ingår bland annat synlighet av systemstatus, enhetlig och standardiserad design samt hjälp och dokumentation.
Några andra vanligt förekommande designprinciper för GUIs benämns Shneidermans åtta gyllene regler (Shneiderman et al., 2016). Dessa innefattar följande regler (Tabell 1).
Tabell 1: Shneidermans åtta gyllene regler (Shneiderman et al., 2016)
Nr Namn Förklaring
1 Strive for consistency Sträva efter konsekvens i gränssnittets valmöjligheter, terminologi och grafiska design.
2 Cater to universal usability Sträva efter gränssnitt som kan användas av personer med olika erfarenhet, ålder, funktionshinder eller arbetsuppgifter.
3 Offer informative feedback Handlingar en användare utför ska ge respons. Responsen ska vara avvägd till hur vanlig eller viktig handlingen är.
4 Design dialogs to yield closure
Sekvenser av handlingar ska vara grupperade med början och slut. När en grupp handlingar avslutats ska systemet ge användaren återkoppling som bekräftar att sekvensen är avslutad.
5 Prevent errors Gränssnittet ska vara uppbyggt så att det förebygger
inte ska användas vid en viss tidpunkt eller bara tillåta formulär att ta data i rätt format.
6 Permit easy reversal of actions
Användaren ska enkelt kunna ångra sina misstag och återställa systemet till det tillstånd det var i innan misstaget begicks.
7 Support internal locus of control
Utforma gränssnittet så att användaren känner att det är hon som styr vad som händer i systemet (se kontrollfokus).
8 Reduce short-term memory load
Undvik att belasta användarens korttidsminne, till exempel genom att undvika situationer där
användaren måste komma ihåg information från en vy till en annan.
Det traditionella gränssnittet som utformades för denna studie följde dessa 8 regler. När det i studien refereras till ett traditionellt gränssnitt innebär det alltså att ett Graphical User Interface som följer Shneidermans åtta gyllene regler.
2.3 Konversationsagenter
Konversationagenter har kommit i en rad olika varianter under åren som tekniken varit tillgänglig. Variationen sträcker sig från den virtuella assistenten du möts av på telefon när du ska boka tid hos din bank - till kompanjoner som hjälper dig att klara av nästa uppdrag i ditt favoritspel. Oavsett vilket har en sak blivit tydlig, användningen av dom har växt
exponentiellt. Denna tillväxt har varit tydlig inom tech-världen. Av de 3 största företagen inom USAs tech industri (Fortune 500, 2021) har samtliga utvecklat egna digitala assistenter. Amazon har Alexa (2015), Apple har Siri (2011) och Google har deras egna Google Assistant (2012). Denna snabba utvecklingstakt ledde till att år 2016 beskrevs som “The rise of the chatbots” (WUoP).
På grund av det stora antalet variationer av konversationsagenter som finns idag är det viktigt att skilja dem åt. En definition av hur olika typer av konversationsagenter fungerar beskrev Michael McTear genom 3 olika typer av klassificeringar för dialogsystem (2002). Dessa var: 1. finite state-based systems;
3. agent-based systems.
Det första, ett finite state-based system innebär ett sekventiellt system där användarens input inte har någon påverkan på flödets utformning. Det andra, ett frame-based system är inte sekventiellt utan ändrar form i relation till vilken input användaren ger. Systemet har alltså viss information som den ämnar att få ut från användaren men det finns ingen satt struktur för i vilken ordning det ska ske. Det sista och det mest avancerade, agent-based system är gjort för att lösa komplexa problem som inte har en linjär progression. Agent-baserade system har tidigare varit ovanliga men då teknologin börjat bli så pass bra att ramen för interaktion inte behöver vara begränsad till en viss input från den digitala agentens sida har man börjat se en större utbredning av dessa typer av system. Då denna studie ämnar att undersöka
användarupplevelsen av en vårdtjänst ur ett patientperspektiv - en situation där systemet endast är ute efter en viss typ av information klassificeras det som ett frame-baserat system.
2.4 Design av konversationsagenter
På grund av den dialog-liknande utformningen av CAs föreslog Cameron et al. (2018) att metodiken skiljer sig för att utveckla dessa i jämförelse med traditionella gränssnitt. I studien ges exempel av hur traditionella gränssnitt ofta testas genom prototyper men att design av CAs istället fokuserar på konversationsmodellering eller analys av chattloggar. Det innebär att principer inom området användbarhet som exempelvis Nielsens 10 Heuristiker (1994) inte går att applicera på samma sätt då chabottars övergripande mål är att efterlikna mänsklig dialog. Men detta innebär inte att det inte finns principer att följa vid utveckling av dessa typer av system. Ett exempel på några av dessa kommer från Robert Moore som utformat 3 designprinciper för CAs, samt 4 olika konversationstyper (Moore et al, 2017) (Tabell 2 & 3).
Tabell 2: Basic conversation design principles (Moore et al. 2017).
Princip Beskrivning
Mottagar-design Skräddarsy konversationen för att matcha användarens nuvarande förståelse
Minimering Håll konversationen så kort och simpel som möjligt
Reparering Underlätta för användaren att göra om då misstag sker
Tabell 3: Main conversation types (Moore et al. 2017)
Typ av konversation Beskrivning
Vanlig konversation Lättsam och obegränsad (ex. småprat) Service konversation Begränsad av regler och roller (ex.
kundservice)
Utlärande konversation Uppstår mellan lärare och elev. Läraren ger information, eleven hämtar information Rådgivande konversation Person använder rådgivare för att fråga om
råd
2.5 Testa användbarhet och användarupplevelse av CAs
Testning av digitala tjänster och system följer generellt sett standardiserade processer och använder standardiserade verktyg för att utföra dem. Exempel på sådana är som tidigare nämnt “think aloud”-protokoll eller standardiserade test som system usability scale (Brooke, 1996). Men på grund av CAs utformning har diskussioner om hur sådana system bör
utvärderas varit återkommande. Olika forskare och organisationer har därför försökt definiera standardiserade processer för att testa både användbarhet och användarupplevelse av just dessa typer av system. År 2018 genomförde Nielsen Norman Group en studie där syftet var att identifiera olika aspekter av CAs som bör utvärderas för att testa dess UX. Enligt studien är faktorer som påverkar användarupplevelsen och användbarheten stilspråk (knappar och länkar vs. text input), konversationsflöde, språk och integritet (Budiu, 2018). Även fast organisationer som Nielsen Norman Group genomför dessa typer av studier finns det fortfarande en efterfrågan av tydliga principer för utvärdering av CAs. Det är alltså ett växande område inom ramen av HCI där ytterligare forskning efterfrågas.
2.6 Förkroppsligade och icke-förkroppsligade agenter
Något som även bör nämnas är att det finns två typer av konversationsagenter.
Förkroppsligade (embodied) eller icke-förkroppsligande (disembodied). Att en agent är förkroppsligad innebär att den har en virtuell kropp som i många fall efterliknar en
människas. Med hjälp av denna förkroppsling öppnas en rad kommunikationsmöjligheter upp som tidigare inte är möjlig för en agent utan kropp. Verktyg som till exempel handrörelser, distans, eller ansiktsuttryck kan användas för att möjliggöra en mer holistisk interaktion.
Icke-förkroppsligade agenter har istället endast möjlighet att kommunicera med text, tal eller symboler.
Det har genomförts studier som undersökt uppfattningen om just dessa två olika typer av CAs. Ett exempel på det är en studie från 2009 som visade att icke-förkroppsligade agenter generellt sett upplevs som mer användbara. Men det fanns tillfällen, speciellt i mån om problemlösning då deltagarna upplevde att förkroppsligade agenter medförde positiva sociala konsekvenser (Krämer et al., 2009).
2.7 CAs inom vårdsektorn
Mycket av den tidigare forskningen som gjort på CAs kommer från vårdsektorn. En stor anledning till det är för att framsteg inom denna sektor har potential att bidra till utveckling av samhällsnyttiga tjänster som exempelvis personlig service dygnet runt utan
personalkostnad (Fadhil & Gabrielli, 2017). Genom den tidigare forskningen som gjorts på ämnet har positiva tendenser inom området hittats. Ett exempel av det är en studie som visade att CAs förmåga att visa empati och reagera på patientens känslor verkade få patienten att under användningen bli mer öppen för terapeutiska tjänster (Barak et al., 2009).
I den teoretiska bakgrunden har begreppen användbarhet och användarupplevelse beskrivits och definierats. Även begreppet konversationsagent och olika grenar inom dess kategori har utforskats. Olika sätt att mäta användarupplevelsen och användbarheten av CAs har beskrivits samt utmaningarna och potentiella svårigheter med dessa. Slutligen beskrivs hur dessa typer av systems används inom vårdsektorn upp och vilka eventuella fördelar det finns med att utöka forskningen och kunskapen inom området.
2. 8 Frågeställningar
Frågeställningarna i studien är baserade på tidigare studier om användarupplevelse av CAs i vårdsektorn ur ett patientperspektiv. Syftet med denna uppsats är att undersöka
användarupplevelsen av CAs i relation till traditionella gränssnitt. Syftet konkretiseras i följande frågeställningar.
(1) Hur skiljer sig användarupplevelsen mellan en CA och ett traditionellt gränssnitt?
(2) Hur accepterade är CAs ur ett patientperspektiv inom vården idag?
(3) Vilka utmaningar finns det för att få CAs användarvänliga i nuvarande system?
Frågeställningar kommer att besvaras med hjälp av resultaten från användartesten. Hur användarupplevelsen skiljer sig mellan gränssnitten undersöks genom ett User Experience Questionnaire (UEQ) och en tematisk analys av semistrukturerade intervjuer som genomförs på ett urval av studien deltagare. Resultatet från den tematiska analysen används även för att besvara frågeställningen om acceptans av CAs inom vårdsektorn idag ur ett patientperspektiv. Vilka utmaningar som finns för att göra CAs mer användarvänliga ämnas att besvaras genom en förening av resultatet från UEQ-testet och resultatet från den tematiska analysen.
3. Metod
3.1 Design
Det här var en kvasi-experimentell studie som testade användarupplevelse hos en CA genom att jämföra den med ett traditionellt utformat gränssnitt. Betingelse A var ett traditionellt gränssnitt utformat ur konventionella designprinciper (se avsnitt 3.5.1). Betingelse B var en konversationsagent designat utifrån Moores principer av chattbots-design (2017) (se avsnitt 3.5.2). För att undersöka användarupplevelsen antogs en mixad ansats genom
semi-strukturerade intervjuer och ett användartest. Den kvalitativa forskningsintervjun används för att upplevelser ur den intervjuade personens eget perspektiv (Kvale, 1997). Detta är ändamålsenligt med studiens syfte vilket var att undersöka deltagarnas personliga
upplevelse av gränssnitten. I syfte att skapa en tydligare bild över vilka områden av systemen som deltagarna ansåg som positiva/negativa utförde samtliga deltagare ett UEQ-test. Studien använde sig av en inomgruppsdesign.
3.2 Deltagare
Totalt 16 deltagare rekryterades genom ett bekvämlighetsurval. Det var 7 kvinnliga och 9 manliga deltagare, alla i åldern 19-25 med en medelålder av 23 (SD 2). Samtliga deltagare studerade det kognitionsvetenskapliga programmet vid Linköpings Universitet. Av dessa valdes 6 slumpmässigt deltagare ut för att svara på 4 frågor om deras användarupplevelse. Av dessa var 3 män och 3 kvinnor.
3.3 Material
Frågeformuläret (UEQ) användes som ett verktyg för att mäta användarupplevelsen av de två olika gränssnitten. UEQ består av 26 artiklar som mäter sex faktorer: attraktivitet, tydlighet, effektivitet, pålitlighet, stimulering och innovation. Attraktivitet utvärderas utifrån 6 frågor medan resten använder 4. UEQ är ett validerat och väl testat (Laugwitz, Held & Schrepp, 2008) frågeformulär med mål att undersöka användares omdöme om ett utvalt gränssnitt. UEQ-formulären för de två gränssnitten var utformade i Google Forms och skickades till deltagaren innan testet startade. UEQ-formuläret i svensk översättning kan hittas i Bilaga 4.
3.4 Transkription
De semistrukturerade intervjuerna genomfördes med hjälp av en intervjuguide (Bilaga 1), spelades in genom samtalstjänsten Zoom och transkriberades därefter enligt Per Linells metodik inom området transkription av samtal och tal (Linell, 1994). Enligt Linells metodik är det ibland nödvändigt att formulera vissa yttranden enligt talspråksformer, alltså “som det låter” (Linell, 2011). Det innebär att tillfällen då talaren använder ett uttryck som e istället för
är transkriberades det just som e. Då analysen fokuserade på innehållet av vad deltagarna sa
och inte hur det sades användes transkriptionsnivå III vilket innebär att transkriptionen omfattar det väsentliga innehållet i vad som sägs. Det innebär alltså att skratt, harklingar och liknande yttranden utesluts i transkriptionen (Linell, 1994).
3.5 Prototypbeskrivning
De två gränssnitten som användes i testet var gjorda i prototyp-programmet Figma. En funktion inom programmet är möjligheten att kunna skicka prototyper digitalt vilket möjliggjorde en fullständig testning på distans. På grund av tidsbegränsningar skapades endast ett flöde för respektive uppgift. Det innebär alltså att endast ett svar godkändes för att utföra de deluppgifter som presenterades (se avsnitt 3.5.3 uppgiftsutforming).
3.5.1 Det traditionella gränssnittet
Det traditionella gränssnitten, betingelse A, designades med grund i Shneidermans åtta gyllene regler (Tabell 1). Ett exempel av hur några av dessa regler applicerades går att hitta i Figur 1.
Figur 1. Det traditionella gränssnittet som testades designat utifrån Shneidermans åtta gyllene regler (Shneiderman et al., 2016).
3.5.2 Konversationsagenten
Konversationsagenten, betingelse B, designades utifrån Moores principer för chattbot-design (Moore et al., 2017). Exempel på hur några av dessa principer beaktades går att hitta i Figur 2
Figur 2. Gränssnittet med konversationsagenten som testades designat baserat på Moores principer för chattbot-design (Moore et al., 2017).
3.5.3 Uppgiftsutformning
3 olika uppgifter genomfördes för att skapa variation i deltagarnas användarupplevelse. Dessa var utformade med inspiration från en växande vårdtjänst som använder sig av just en digital assistent. Till varje uppgift fick deltagaren ett scenario med syfte att guida deltagaren till vilken interaktion denne skulle utföra. På grund av begränsningar av prototyp-programmet ombads deltagaren att svara muntligt vid tillfällen då fritext skulle varit den mest
representabla metoden för samtliga gränssnitt. Utformningen för respektive scenario och uppgift såg ut som liknande (rätt svar i fet stil och scenarierna i kursiv):
Uppgift 1
10 minuter efter ett getingstick märker du en svullnad kring det angripna området. Du har inte ont men det känns ömt. Som tillägg vill du säga att du inte tidigare upplevt liknande problem.
Fråga 1. Vilken typ av bett vill du ha hjälp med?
- Insektsbett
- Fästingbett - Bett från djur - Annat
Fråga 2. När blev du stungen/biten? - Mindre än 5 minuter sen
- Ca 10 minuter sen
- En halvtimme sen - Mer än en timme sen
Fråga 3. På en skala 1-10 . Hur ont har du just nu?
- 0-3
- 3-6 - 6-9 - 10
Fråga 4. Är det något du vill lägga till? - Nej
- Annat (ombeds sen att muntligt ange tillägget)
Uppgift 2
Du precis börjat känna av en ny typ av huvudvärk. Du känner dig inte akut sjuk, verkar inte ha feber och har inga motoriska svårigheter. Det är dock en väldigt stark värk och du känner dig illamående och lite svag i musklerna.
Fråga 1. Vad passar bäst in på dina besvär? - Huvudvärk du haft tidigare
- Ny typ av huvudvärk
- Skada/olycka mot huvudet - Annat
Fråga 2. Känner du dig akut sjuk, har hög feber eller svårt att böja huvudet framåt?? - Ja
- Nej
Fråga 3. På en skala 1-10 . Hur ont har du just nu? - 0-3
- 3-6
- 6-9 - 10
Fråga 4. Har något av följande plötsligt nytillkomna symtom? - Känselbortfall
- Svaghet i muskler - Illamående / kräkning
- Yrsel / balansproblem - Svårt att tala / svälja - Är gravid
Uppgift 3
Du har börjat äta adalpen för att motverka din akne och efter en veckas användning har inget märkbart resultat visats. Det mest angripna området är runt ansiktet. Du vill lägga till att medicinen du äter nu påverkat din aptit.
Fråga 1. Hur länge har du haft besvär? - 1 dag
- 1 vecka
- 4 veckor eller mer Fråga 2. Var har du besvär??
- Ansikte
- Rygg
- Bröst / mage
Fråga 3. Äter du någon medicin för att motverka akne i dagsläget? - Bensoylperoxid
- Adapalen
- Azelainsyra - Nej
Fråga 4. Är det något du vill lägga till? - Nej
- Annat (ombeds sen att muntligt ange tillägget)
3.6 Apparatur
I studiens användes samtalstjänsten Zoom 2021 version 5.6.5 (823) för utförandet av testen och intervjuerna. Samtalen spelades in genom Zooms inbyggda inspelningstjänst. Testen utfördes genom prototyp och sketch-programmet Figma. Respektive deltagare använde en laptop eller skrivbordsdator under genomförandet av testet och den alternativa intervjun.
Google Sheets användes för strukturering av den tematiska analysen och utformning av tabellerna.
3.7 Intervjumetodik
Intervjuerna som genomfördes var av semistrukturerad karaktär. Det innebär att intervjuaren följer en intervjuguide men har friheten att ställa följdfrågor eller be intervjuobjektet att utveckla svaret. Den här typen av intervju är användbar för att undersöka komplexa beteenden som känslor, åsikter och affektion. Det är viktigt att både intervjuaren och intervjuobjektet genomför intervjun i en miljö där båda parterna känner sig bekväma
(Longhurst, 2003). Då samtliga intervjuer skedde på distans försäkrade sig forskningsledaren om att deltagaren kände sig bekväm genom att muntliga fråga om stressinducerade aspekter som tid och närliggande miljö.
3.8 Procedur
Ordningen för vilket av gränssnitten som testades först var balanserat för att minska inlärningseffekter Alltså testade hälften av gruppen betingelse A först, för att sen testa
betingelse B. Den andra delen av gruppen testade istället betingelse B först, för att sen testa betingelse A. Innan testet inleddes gavs information om studiens omfång, syfte och potentiell
publicering.
Användartesten som utfördes var utformade som följande:
(1) Deltagaren blev informerad om studiens omfång och ombads att ge både muntligt och digitalt samtycke om dennes deltagande genom en samtyckesblankett (Bilaga).
(2) Deltagaren fick en länk till prototypen samt två UEQ-formulär (Bilaga 2) för respektive gränssnitt
(3) Testledaren läser upp instruktionerna för testet.
(4) Deltagaren utförde 3 olika uppgifter med betingelse A / betingelse B (se avsnitt 4.11 uppgiftsutformning).
(5) Deltagaren svarade på UEQ-formuläret som representerade det gränssnittet som precis använts.
(6) Deltagaren utförde därefter samma 3 uppgifter med betingelse B / betingelse A.
(7) Deltagaren svarade på UEQ-formuläret som representerade det gränssnittet som precis använts.
(9) Intervjuerna spelades in och transkriberades därefter enligt Linells metodik (2011).
3.9 Analys
Analysen av UEQ-testet baserades på det officiella Excel verktyget för deskriptiv statistik av UEQ-resultat(Schrepp et al., 2014). Deskriptiv statistik i studien innebar att beskriva datats egenskaper utifrån läge, spridning och form genom grafisk illustration (Gellerstedt, 2008). Enligt Schrepps metodik skapades en grafisk representation av resultatet i frågeformuläret (Figur 3). I den reducerades de 26 artiklarna från formuläret till 6 faktorer av
användarupplevelse som representerades av 6 staplar för respektive gränssnitt. Dessa faktorer innefattar (se Bilaga 4 för tillhörande frågor):
- Attraktivitet - Tydlighet - Effektivitet - Pålitlighet - Stimulering - Nymodighet
Tematisk analys användes för att analysera resultatet från de semistrukturerade intervjuerna. Det är en av de vanligaste analysmetoderna för kvalitativ data och innefattar att identifiera, analysera och presentera teman i data (Braun & Clarke, 2006). Det sker i en iterativ process och innefattar 6 steg:
1. Bekanta sig med insamlad data.
2. Tilldela preliminära koder till datan för att beskriva innehållet. 3. Leta efter mönster och teman i koderna mellan olika intervjuer. 4. Utvärdera teman.
5. Definiera och sätt ord på dem. 6. Publicera.
Den tematiska analysen i den här studien var teoretisk vilken innebär att den var deduktiv och drevs av studiens syfte och frågeställningar. En semantisk approach antogs vilket betyder att intervjuerna tolkades ordagrant.
För att arrangera datan från invervjuerna användes Brymans (2018) ramverk för tematisk analys vilket är en matrisbaserad metod för att strukturera och sammanställa data genom att
skapa centrala teman och subteman. Denna metod visualiseras ofta i en tabell för att få en överblick över analysen (Tabell 4). Då du skapar teman och subteman rekommenderar Bryman att leta efter retoriska fenomen som: repetitioner, likheter och skillnader, analogier samt teori-relaterat material. Han beskriver även hur mönster som hittas inte behöver som ett team eller subtema. För att ett tema ska skapas krävs det att det finns en tydlig koppling till studiens syfte och frågeställningar. Därför valdes vissa mönster och upprepningar i den här studien bort under den tematiska analysen.
Tabell 4. Exempel av hur en tematisk analys kan se ut utifrån Brymans (2018) ramverk.
Koder Subteman Teman
TV-reklam Influencers Affischer
YouTube-reklam
Digital annonsering
Fysisk annonsering Marknadsföring
3.10 Etik
Då rapporten inte innehåller konfidentiell eller hemlighetsstämplad information har endast grundläggande etiska aspekter beaktats. Dessa aspekter lyder som följande:
Informationskravet
Detta innebär att forskningsledaren upplyser respektive deltagare om vad deltagandet innebär, att denne kan avbryta testet när den vill, samt hur den insamlade datan ämnas att användas inom ramen av studiens syfte (Vetenskapsrådet, 2002). I studien uppfylldes
informationskravet genom muntlig uppläsning av ovanstående information.
Samtyckeskravet
Detta innebär att forskningsledaren har som skyldighet att hämta in deltagarens samtycke vilket innebär att deltagaren själv har makt att bestämma över sin medverkan i studien (Vetenskapsrådet, 2002). I studien uppfylls detta krav genom en samtyckesblankett som delades ut innan testet genomfördes. Då blanketten var i digital form kunde ingen fysisk underskrift ges. Därför ombads deltagaren ge muntligt samtycke vilket spelades in samt fylla i en digital blankett där deltagaren hade möjlighet att läsa om studiens innebörd samt ge samtycke i form av en kryssfråga (Bilaga 1).
Konfidentialitetskravet
Innebär att personuppgifter ska förvaras på ett säkert sätt och att inget testresultat ska kunna spåras till den berörda deltagaren (Vetenskapsrådet, 2002). I den här studien genomfördes detta genom att respektive deltagare blev tilldelad ett deltagar-ID istället för att identifieras genom namn eller personnummer.
Nyttjandekravet
Innebär att uppgifterna från studiens inte får användas utanför studiens forskningssyfte (Vetenskapsrådet, 2002). Kravet uppfylls genom att inte dela eller använda det använda materialet utanför studiens omfång.
4. Resultat
4.1 UEQ resultatOne-Way repeated measures ANOVA test utfördes för att undersöka om signifikanta resultat inom respektive UEQ-kategori kunde hittas mellan det traditionella gränssnittet och
gränssnittet med konversationsagenten. Greenhouse-Geisser-rättningar användes då Mauchlys test inte uppnådde ett signifikant värde (p<0.05) (Navarro & Foxcroft., 2019). Utifrån de utförda testen kunde endast ett signifikant resultat hittas vilket var inom kategorin effektivitet (F(1,16)=3.67, p=0.0403). Inom resterande kategorier gick inga signifikanta
resultat att hitta (Tabell 5). Figur 3 visar en grafisk representation av UEQ-resultatet.
Tabell 5. Resultat från One-Way repeated measures ANOVA test med data från UEQ-formuläret.
Beroendemått F-värde Signifikans CA M(SD) Trad M(SD)
Attraktivitet F(1,15)=2.04 NS 0.69(0.41) 0.57(0.64) Tydlighet F(1,15)=1.54 NS 0.58(0.52) 0.73(0.65) Effektivitet F(1,15)=4.08 p=0.02 0.22(0.41) 0.76(0.37) Pålitlighet F(1,15)=3.01 NS 0.48(0.5) 0.52(0.64) Stimulering F(1,15)=2.2 NS 0.23(0.43) 0.52(0.62) Nymodighet F(1,15)=1.92 NS 0.6(0.52) 0.35(0.49)
Figur 3. Resultat från UEQ-formuläret för de båda gränssnitten. Staplarna representerar medelvärdet för respektive gränssnitt och spridning tecknet representerar standardavvikelsen.
4.2 Tematisk analys
Här presenteras resultatet från de semistrukturerade intervjuerna som genomfördes med 6 utvalda deltagare. Tre grundteman som identifierades var: effektivitet, utformning och förtroende. Dessa presenteras i en matris som som utgår från Brymans (2018) ramverk för struktur av tematisk analys (Tabell 6). Under respektive tema tillkommer en kort diskussion om koderna, subtemana och olika sätt dessa är relevanta för studiens övergripande syfte.
Tabell 6. Tematisk analys utifrån Brymans (2018) ramverk.
Koder Subteman Teman
Lång tid att utföra uppgifter Svårt att förstå inledningsvis Vana Tid Komplexitet Effektivitet Seriositet Lekfull Anpassning Röstvariation Personlighet Utseende Utformning Delning av data Bemötande Trygghet Tillit Integritet Förtroende
4.2.1 Effektivitet
I detta tema ingår uttalanden som på något sätt rör upplevelsen av CAs effektivitet. I 4 av de 6 intervjuades hittades koder som kunde kopplas till subteman tid och komplexitet vilket i sin tur summerades till effektivitet. Bland svaren fanns det en känsla av att CAs inte var lika effektiva som traditionella gränssnitt.
(Deltagare 4, rad 10)Det tar mycket längre tid för mig att läsa frågan och hitta rätt svar när jag använder det, så skulle mest kännas ineffektivt.
(Deltagare 3, rad 5) Jag tycker att det viktigaste är att det är effektivt och går snabbt. Men det är säkert
skillnad också om man är mer van vid att använda chattbottar.
(Deltagare 2, rad 6)Det var svårt att förstå om jag skulle skriva eftersom att det först inte visade sig några knappar men det är ju bara en vanesak.
Det övergripande temat effektivitet härleddes initialt genom koderna lång tid att utföra
uppgifterna, svårt att förstå och vana. Det faktum att vana, eller rättare sagt brist på vana i
relation till konversationsagenter, togs upp går att tolkas som en positiv inställning till dessa typer av gränssnitt. Vad deltagare 3 säger är att det inte är gränssnittet i sig som skapar problem, utan snarare deltagarens erfarenhet av liknande system. Samma tolkningar går att göra i relation till vad deltagare 2 säger om förståelse. Inledningsvis hade hen problem med att förstå hur gränssnittet var uppbyggt. Men när den insikten kom verkar det på sättet deltagaren pratar om systemet som att inställningen trots omständigheterna är positiv.
4.2.2 Utformning
Det här temat fångade hur viktig utseendet och formspråk som konversationsagenten använde. Positiva kommentarer kring studiens val av utseende uttrycktes hos 3 av de 6
deltagarna men resterande 3 uttryckte att utseendet kändes oseriöst eller för lekfullt. Men en genomgående åsikt var att utformningen påverkar hur man relaterar till olika typer
konversationsagenter. Två av deltagarna tog upp hur de ibland använder agenter som efterliknar deras egna utseende när de konverserar med deras vänner digitalt.
(Deltagare 3, rad 2) Det kändes mer personligt eftersom att det andra gränssnittet hade ett ganska definierat utseende.
(Deltagare 5, rad 20) Om jag själv kunde välja hur min assistent skulle se ut och prata med mig hade jag nog tyckt att det varit roligare. Speciellt om man kunde styra typ styra rösten och få meddelanden upplästa.
(Deltagare 1, rad 8) Jag hade nog velat sett en chattbot med ett mer seriöst utseende. Tyckte den här var lite för gullig för situationerna som presenterades.
Ser vi till koderna som bildade det övergripande temat utformning märks det tydligt hur just konversationsagentens utseende påverkar inställning till gränssnittet. Genom transkriptionen går det att urskilja hur viktigt det verkar vara att utseendet passar personen som använder systemet. Det verkar också finnas en inneboende strävan att själv kunna anpassa gränssnittets utformning efter sina egna preferenser. Både deltagare 5 och deltagare 1 uttrycker önskan om att kunna ändra och skräddarsy agenten som hen pratar med beroende på situation.
4.2.3 Förtroende
4 av de 6 av deltagarna reste frågor kring delning av data och bemötande som en viktig del av deras upplevelse i vårdsammanhang. Samtliga deltagare som tog upp ämnet visade sig inte ha förtroende för nuvarande digitala assistenter och det var något de värderade högt, speciellt inom området sjukvård. Känslan av att känna sig trygg och sedd var även det koder som kunde hittas i det transkriberade materialet.
(Deltagare 2, rad 11) Jag skulle aldrig dela med mig av mina hälsouppgifter eller journaler med en chattbot. Även om den typ skulle se ut som den tryggaste läkaren
någonsin har jag svårt att se att det skulle hända.
(Deltagare 1, rad 15) Det viktigaste är nog att göra dom mer förtroendeingivande. Just nu känns det nästan mycket som en gimmick.
Förtroende och pålitlighet är områden som tidigare studier om konversationsagenter snuddat vid tidigare så det var ingen överraskning att 4 av 6 deltagare uttryckte oro kring detta ämne. Koderna (delning av data, bemötande, trygghet) som lade grunden för huvudtemat är centrala för diskussionen om användningen av konversationsagenter. Undersöker vi citatet från deltagare 2 går det att se tendenser till varför misstanke kring att dela data med en chattbot ofta återkommer. Vad deltagaren säger är att anledningen till att denne inte litar på systemet är för att den försöker vara en läkare, men att den faktiskt aldrig kommer att nå dit. Detta går helt emot tesen företag och institutioner har i relation till att skapa tillit genom personifiering. I en situation som ett kundbemötande för en detaljhandel eller i en matbutik kanske ett gränssnitt som detta är mer accepterat än i en situation där känslig persondata behandlas.
4.2.4 Sammanfattning
Många av respondenterna har liknande upplevelser av konversationsagenten. I mån om jämförelse med det traditionella gränssnittet som testades i studien rörs ämnen som komplexitet och tid. Dessa två koncept har en tydlig koppling vilket skapade huvudtemat effektivitet. Attityden mot konversationsagentens utformning skiljde sig inom gruppen vilket i var ett av de tre huvudtemana. Vissa ansåg att det adderade till upplevelsen och gjorde den mer personlig medan andra ansåg att utformningen var för oseriös. Något som framgick var dock att anpassning av utformningen efterfrågades av båda parterna. Huvudtemat förtroende härleddes på grund av att 4 av 6 deltagare i någon form tog upp ämnen som att dela med sig av sina personuppgifter och att få ett förtroendeingivande bemötande.
5. Diskussion
På grund av rådande implementering av konversationsagenter i olika delar av samhällsskiktet har kritik riktats mot dessa typer av gränssnitt. Syftet med denna studie var därför att utöka förståelsen för användarupplevelsen av CAs i jämförelse med traditionella gränssnitt. En djupare förståelse inom detta område skulle möjliggöra en snabbare applicering av CAs i olika samhällsorgan, speciellt inom vården. Utökad användning av dessa typer av agenter skulle potentiellt innebära minskad belastning inom samhällskritiska organ som vårdsektorn då diagnostisering och bemötande hade kunnat automatiseras utan att förlora empatiska aspekter av vårdbesöket.
I studien utforskades användarupplevelsen genom ett UEQ-test som analyserades genom deskriptiv statistik och semistrukturerade intervjuer som analyserades genom tematisk analys med en teoretisk (deduktiv) approach. Resultatet från UEQ-testet och den tematiska analysen visade att deltagarna upplevde konversationsagenten som mindre effektiv och mindre pålitlig i relation till det traditionella gränssnittet. Detta överensstämmer med tidigare studier som gjorts på användarupplevelsen av konversationsagenter. Ett exempel av det är en studie som genomfördes år 2020 och testade 3 olika sätt att beställa mat på (Leung & Wen). En via person till person-kontakt, en genom en traditionell online-bokning och en genom en konversationsagent. Deltagarna fick testa respektive beställningsmetod för att sen utvärdera hur de upplevt de olika metoderna. Det visade sig att deltagarna inte bara ansåg att det traditionella gränssnittet upplevdes som mest effektivt utan det tog dessutom genomsnittligt kortare tid att beställa genom att använda det.
Ett tema som identifierades genom den tematiska analysen och vars resultat stod i linje med andra studier inom området var förtroende. Temat förtroende i denna studie härleddes genom sub-temana tillit och integritet. Integritet var ett av 4 kriterier som Nielsen Norman Group ansåg vara väsentligt vid användartestning av CAs (Budiu, 2018) vilket kan styrkas med resultatet från denna studie. Subtemat tillit är även det något som diskuterats i andra studier som gjorts på CAs. I en studie från 2018 testades användarupplevelsen av en CA inom området e-commerce. Genom användartestning och intervjuer visade det sig att många deltagare upplevde det var svårt att hitta förtroende och tillit när de använde CAs (Pricilla et al., 2018). Detta var även något som kunde utläsas av kriteriet pålitlighet från UEQ-testet där det traditionella gränsnittet betygsattes högre än konversationsagenten. Ytterligare studier har
visat att tillit till CAs är låg, speciellt för patienter inom vårdsektorn. I en studie från 2019 upplevde deltagarna att det inte kändes tryggt att dela med sig av känslig persondata till CAs, något som är centralt för att exempelvis en diagnostiering ska kunna ske (Laumer et al.). Studiens frågeställningar kan baserat på det observerade resultatet besvaras enligt följande:
(1) Upplevelsen av CAs skiljer sig främst i mån om effektivitet och förtroende.
Effektivitet då det signifikanta resultatet från UEQ-testet och den tematiska analysen visade att en majoritet av deltagarna ansåg att det var mindre effektivt att använda en CA i jämförelse med det traditionella gränssnittet. Förtroende då resultatet från UEQ-testet genomsnittligt mätte en högre poäng för det traditionella gränssnittet i kategorin pålitlighet. Det var även ett tema som identifierades med hjälp av den tematiska analysen och tidigare studier stärker denna tes.
(2) Acceptansen av CAs inom vårdsektorn från potentiella patienter är utifrån studiens resultat relativt låg. Detta undersöktes främst genom de semistrukturerade
intervjuerna och analysen av dem. Den aspekt av användarupplevelsen där acceptansen verkar brista är momentet av delning av persondata. Detta kan också styrkas genom tidigare studier av patienters attityd mot CAs inom vårdsektorn. (3) Utifrån resultatet från denna studie verkar effektivitet och pålitlighet vara de mest
centrala områden där CAs behöver förbättras innan de kan användas i större grad av patienter i vården. Utmaningar som området av CA står inför är utifrån resultatet från användartesterna att öka effektiviteten och tilliten till systemet. Genom att undersöka resultatet från den tematiska analysen återkommer där samma teman. För att personer ska börja använda CAs mer frekvent och med en bättre inställning krävs det för det första att de utformas på ett sätt som gör de effektiva att använda. Det andra
potentiella förbättringsområdet är utformning i relation till patientens inställning till CAs i vårdsektorn.
Det går dessutom att hitta kopplingar till varför deltagarna tyckte att konversationsagenten var mindre effektiv i subtemana som identifierades utifrån intervjuerna. Tid var ett tillhörande subtema som regelbundet återkom under intervjuerna. En fråga som är värd att undersöka är varför deltagarna tyckte att det tog lång tid att interagera med konversationsagenten. En tes skulle kunna vara att deltagarna hade mindre erfarenhet av att interagera med liknande system. Ett problem med innovation och experimenterande med nya gränssnitt är att de tvingas utanför konventionella designprinciper. Gränssnittet med konversationsagenten bryter
bland annat mot en av Shneiderman mest grundläggande regler vilket är regel nr 2: “Sträva efter gränssnitt som kan användas av personer med olika erfarenhet, ålder, funktionshinder eller arbetsuppgifter.” (Shneiderman et al., 2016). Men för att skapa nya system krävs denna typ av regelbrytande, frågan som man då kan ställa sig är hur mycket regelbrytande som bör ske och i vilken grad.
Komplexitet var det andra subtemat som gick under det övergripande temat effektivitet. Vad är det då som gör att konversationsagenten upplevs som mer komplex? Svaret kanske även här går att hitta bland designprinciper för traditionella gränssnitt. Heuristik 3 av Nielsen 10 användbarhets-heuristiker benämn “Help users recognize, diagnose, and recover from errors” med definitionen: “Error messages should be expressed in plain language (no error codes),
precisely indicate the problem, and constructively suggest a solution.” (Nielsen, 1994) Jämför
vi de två olika gränssnitten kan vi se att det traditionella gränssnittet vars design grundades på konventionella designprinciper tydligt visar hur ett fel korrigeras med hjälp av knapp och text. Ser man sen hur gränssnittet med konversationsagenten är utformat går det att
argumentera för att placeringen och handlingen inte lika tydlig i traditionella mått mätt (Figur 4).
5.1 Metodkritik
Även fast resultatet visade tendenser till att deltagarna upplevde det traditionella gränssnittet som mer användbart i 4 av 6 kriterier av UEQ är det viktigt att ställa sig kritisk mot resultatet i studien. Följande är punkter som är värda att ha i åtanke när man analyserar resultatet. För det första var deltagargruppen extremt homogen och lågt i antalet. Ett mer nyanserat resultat hade krävt en större deltagargrupp med mer variation i ålder, kompetens och tidigare erfarenhet av liknande system. Valet av att använda ett bekvämlighetsurval kan också
kritiseras i relation till hur representativ deltagargruppen var. Användningen av ett bekvämlighetsurval är fördelaktigt för ett mindre forskningsobjekt som detta då tid och tillgänglighet till monetär ersättning för deltagarna är begränsat. Men för att skapa en sådan representativ och spridd grupp som möjligt anser Denscombe att ett sannolikhetsurval där respondenter väljs slumpmässigt som den bästa metoden (2014). Ett sådant typ av urval med en mer representativ grupp hade skapat en bättre bild över hur folk som använder vårdtjänster agerar, speciellt med tanke på att det är en tjänst som berör alla.
En annan kritik som kan riktas mot studien är att det endast var en typ av situation som undersöktes i relation till de olika gränssnitten. Anledningen till att valet av situation blev en vårdtjänst var på grund av nuvarande system som används idag. Men för att få en tydligare bild över vilka områden av användbarheten av konversationsagenter som upplevs som positiva och negativa skulle fler situationer av användarflöden behövt testas. Studien testade dessutom endast en typ av konversationsagent och en typ av traditionellt gränssnitt. För att kunna dra större slutsatser om användbarheten av konversationsagenter hade fler typer av CAs behövt testas.
Kritik kan även riktas mot valet av metod. Kvalitativ forskning kritiseras ofta i mån om att det saknar både validitet och reliabilitet. Detta mycket på grund av att den endast går att generalisera till en väldigt liten och icke-representativ del av befolkningen i statistisk mening (Trost, 2005).
5.2 Framtida studier
För att fortsätta utöka förståelsen av konversationsagenters påverkan på användarupplevelsen av digitala tjänster bör framtida studier fokusera på att testa fler situationer där CAs är
applicerade. Jag skulle även föreslå att testa olika typer av CAs (ex. förkroppsligade vs icke-förkroppsligade) för att inom kategorin undersöka vad användare upplever är positivt och negativt. Framtida studier bör även fokusera på att gräva djupare i vad det är som gör att konversationsagenter upplevs som mindre effektiva och mindre förtroendeingivande. Om det går att lösa och skapa en större acceptans för konversationsagenter i vårdsektorn skulle det potentiellt kunna lösa många problem i mån om resurshantering.
6. Slutsats
I denna studie undersöktes användarupplevelsen av en konversationsagent i relation till ett traditionellt gränssnitt. Detta utforskades genom att totalt 16 deltagare utförde 3 uppgifter med respektive gränssnitt och besvarade därefter ett UEQ-formulär. För att ge en djupare bild av resultatet valdes 6 deltagare ut för att intervjuas efter testet var genomfört. Resultatet från UEQ-formuläret visade att deltagarna upplevde konversationsagenten som attraktiv och nymodig men det traditionella gränssnittet fick en poäng högre i resterande kategorier (tydlighet, effektivitet, pålitlighet och stimulering). Genom tematisk analys av de
semistrukturerade intervjuer identifierades 3 genomgående teman. Dessa var effektivitet, utformning och förtroende. Utifrån resultatet går följande övergripande slutsatser att fastslå. Användares upplevelse av konversationsagenter skiljer sig i jämförelse med gränssnitt utformade ur konventionella designprinciper för grafiska gränssnitt. De områden där
upplevelsen skiljer sig som mest är i mån om effektivitet och förtroende i form av delning av personuppgifter. Den generella attityden kring konversationsagenter är relativt positiv, men vidareutveckling krävs för att åtgärda de problem som användarna upplever idag.
Framtida studier bör gå in djupare på vad det är som gör att konversationsagenter upplevs som mindre pålitliga och mindre effektiva. Användbarhet hos konversationsagenter är även det ett område som kräver mer forskning för att kunna skapa en holistisk bild över hur användarupplevelsen skulle kunna förbättras. Genom en djupare förståelse av detta område skulle en snabbare implementering av CAs i vårdsektorn genomföras vilket i sin tur
Referenslista
Barak, A., Klein, B., & Proudfoot, J. G. (2009). Defining internet-supported therapeutic interventions. Annals of behavioral medicine, 38(1), 4-17.
https://doi.org/10.1007/s12160-009-9130-7
Budiu, R. (2018). The User Experience of Chatbots. NN Group.
https://www.nngroup.com/articles/chatbots/
Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative research
in psychology, 3(2), 77-101. London: Taylor & Francis.
Brooke, J. (1996). SUS: A quick and dirty usability scale. In Jordan, P.W., Thomas, B., Weerdmeester, B. A., McClelland, I. L. (Eds.), Usability Evaluation in Industry (pp.
189-194). London: Taylor & Francis.
Denscombe, M. (2014). The Good Research Guide: For Small-Scale Social Research
Projects [Elektronisk resurs]. McGraw-Hill.
Dix, A., Dix, A. J., Finlay, J., Abowd, G. D., & Beale, R. (2003). Human-computer
interaction. Pearson Education.
Fadhil, A., & Gabrielli, S. (2017). Addressing challenges in promoting healthy lifestyles: the
al-chatbot approach [Paper presentation]. In Proceedings of the 11th EAI international
conference on pervasive computing technologies for healthcare (pp. 261-265). Trento, Italy. https://doi.org/10.1145/3154862.3154914
Falk, C. (22 september 2014). Exploring the UI Universe: Different Types of UI. Altia.
https://www.altia.com/2014/09/22/different-types-of-ui/
Fortune Media IP Limited. (23 maj 2021). Fortune 500 list of companies. https://fortune.com/fortune500/2020/search/
Gartner. (2019). Gartner Survey Shows 37 Percent of Organizations Have Implemented AI in
Some Form. Hämtad 2020-05-21 från
https://www.gartner.com/en/newsroom/press-releases/2019-01-21-gartner-survey-shows-37-percent-of-organizations-have
Gellerstedt, M. (2008). Tillämpad statistik – att samla och sammanfatta data. Högskolan Väst. https://www.hv.se/globalassets/dokument/utbilda/laboration-deskriptiv-statistik.pdf
Gibson, A., McCauley, C., Mulvenna, M., Ryan, A., Laird, L., Curran, K., ... & Bond, R. (2016, October). Assessing usability testing for people living with dementia [Paper
presentation]. In Proceedings of the 4th Workshop on ICTs for improving Patients
Rehabilitation Research Techniques (pp. 25-31). Lisbon, Portugal. https://doi.org/10.1145/3051488.3051492
Cameron, G., Cameron, D., Megaw, G., Bond, R., Mulvenna, M., O’Neill, S., ... & McTear, M. (2018, July). Best practices for designing chatbots in mental healthcare–A case study on
iHelpr [Paper presentation]. In Proceedings of the 32nd International BCS Human Computer
Interaction Conference 32 (pp. 1-5). Belfast, UK. DOI: 10.14236/ewic/HCI2018.129 Krämer, N. C., Bente, G., Eschenburg, F., & Troitzsch, H. (2009). Embodied conversational agents: research prospects for social psychology and an exemplary study. Social Psychology,
40(1), 26-36. https://doi.org/10.1027/1864-9335.40.1.26
Kvale, S (1997) Den kvalitativa forskningsintervjun. Lund: Studentlitteratur.
Laugwitz B., Held T., Schrepp M. (2008) Construction and Evaluation of a User Experience
Questionnaire. In: Holzinger A. (eds) HCI and Usability for Education and Work. USAB
2008. Lecture Notes in Computer Science, vol 5298. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-540-89350-9_6
Laumer S., Maier C., & Gubler F. (2019). Chatbot acceptance in healthcare: Explaining user
adoption of conversational agents for disease diagnosis [Paper presentation]. In Proceedings
of the 27th European Conference on Information Systems (ECIS), Stockholm & Uppsala, Sweden, June 8-14, 2019. ISBN 978-1-7336325-0-8 Research Papers.
https://aisel.aisnet.org/ecis2019_rp/88
Leung, X. Y., & Wen, H. (2020). Chatbot usage in restaurant takeout orders: A comparison study of three ordering methods. Journal of Hospitality and Tourism Management, 45, 377-386. https://doi.org/10.1016/j.jhtm.2020.09.004
Lewis, J. R. (2018). The system usability scale: past, present, and future. International
Journal of Human–Computer Interaction, 34(7), 577-590.
https://doi.org/10.1080/10447318.2018.1455307
Linell, P. (1994). Transkription av tal och samtal : teori och praktik. Linköping : Univ., Tema kommunikation
Linell, P (2011): Samtalskulturer – Kommunikativa verksamhetstyper i samhället.
Volym I & II. Institutionen för kultur och kommunikation. Linköpings universitet.
Longhurst, R. (2003). Semi-structured interviews and focus groups. Key methods in
Luger, E., & Sellen, A. (2016, May). " Like Having a Really Bad PA" The Gulf between User
Expectation and Experience of Conversational Agents [Paper presentation]. In Proceedings
of the 2016 CHI conference on human factors in computing systems (pp. 5286-5297). San Jose, California, USA. https://doi.org/10.1145/2858036.2858288
McTear, M. F. (2002). Spoken dialogue technology: enabling the conversational user interface. ACM Computing Surveys (CSUR), 34(1), 90-169.
https://doi.org/10.1145/505282.505285
Moore, R J., Arar, R., Ren, G, & Szymanski, M H. (2017). Conversational UX Design
[Paper presentation]. In Proceedings of the 2017 CHI Conference Extended Abstracts on
Human Factors in Computing Systems, 492–497. Denver, Colorado, USA.
https://doi.org/10.1145/3027063.3027077
Navarro, J. D., & Foxcroft, D. R. (2019). Learning statistics with Jamovi: A tutorial for psychology students and other beginners (Version 0.70). Tillgänglig online:
http://learnstatswithjamovi. com [Hämtad 8 juni 2021]. https://doi.org/10.24384/hgc3-7p15
Nielsen, J. (1994). Enhancing the explanatory power of usability heuristics. In Proceedings of
the SIGCHI conference on Human Factors in Computing Systems, 152-158.
DOI: 10.1145/191666.191729
Pricilla, C., Lestari, D. P., & Dharma, D. (2018). Designing interaction for chatbot-based
conversational commerce with user-centered design [Paper presentation]. In 2018 5th
International Conference on Advanced Informatics: Concept Theory and Applications (ICAICTA) (pp. 244-249). IEEE. Krabi, Thailand. doi: 10.1109/ICAICTA.2018.8541320.
Schrepp, M., Hinderks, A., & Thomaschewski, J. (2014, June). Applying the user experience questionnaire (UEQ) in different evaluation scenarios. In International Conference of Design,
User Experience, and Usability (pp. 383-392). Springer, Cham.
Shneiderman, B., Plaisant, C., Cohen, M. S., Jacobs, S., Elmqvist, N., & Diakopoulos, N. (2016). Designing the user interface: strategies for effective human-computer interaction. Pearson.
Smestad, T. L., & Volden, F. (2018, October). Chatbot personalities matters. In International
Conference on Internet Science (pp. 170-181). Springer, Cham.
Tirkkonen-Condit, S. (1990). A Think-Aloud Protocol Study. In Learning, Keeping and
Using Language: Selected papers from the Eighth World Congress of Applied Linguistics, Sydney, 16 21 August 1987 (Vol. 2, p. 381). John Benjamins Publishing.
Vetenskapsrådet. (2002) Forskningsetiska principer inom humanistisk-samhällsvetenskaplig
forskning. Stockholm: Vetenskapsrådet
Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45. https://doi.org/10.1145/357980.357991
Wharton University of Pennsylvania. (2016). The Rise of the Chatbots: Is It Time to Embrace
Them?. Wharton. https://knowledge.wharton.upenn.edu/article/rise-chatbots-time-embrace/
Wilks, Y. (2010). Close engagements with artificial companions: key social, psychological,
Bilaga 2 Semistrukturerad intervjuguide
1. Kan du förklara vilket av gränssnitten som du föredrar och beskriva varför det är bättre än det andra?
2. Kan du beskriva vad du tycker är viktigast när du använder en digital servicetjänst?
3. Hur skulle du ställa dig till en större implementering av CAs i olika tjänster som du använder idag?
4. Hur skulle du ställa dig till att bemötas av en digital assistent när du är i behov av vård?
Bilaga 3. UEQ-formulär Gör din bedömning nu.
För bedömning av produkten, fyll i följande frågeformulär. Frågeformuläret består av par av kontrasterande attribut som kan gälla för produkten. Cirklarna mellan attributen representerar graderingar mellan motsatser. Du kan uttrycka din överenskommelse med attributen genom att kryssa i cirkeln som bäst speglar din intryck.
Exempel:
Detta skulle innebära att du betygsatte programmet som mer estetisk än oestetisk.
Bestäm spontant. Tänk inte för länge om ditt beslut att se till att du förmedla din ursprungliga intryck. Ibland kanske du inte vara helt säker på ditt avtal med en särskild egenskap eller du kanske upptäcker att attributet inte gäller helt till viss produkt. Ändå kryssa en cirkel i varje rad.
Det är din personliga åsikt som räknas. Kom ihåg: det finns ingen rätt eller fel svar!
Bilaga 4. UEQ-formulär i svensk översättning
Attraktivitet
Enligt mig är produkten i allmänhet tråkig ○ ○ ○ ○ ○ ○ ○ angenäm
dålig ○ ○ ○ ○ ○ ○ ○ bra otrevlig ○ ○ ○ ○ ○ ○ ○ trevlig
ovänlig ○ ○ ○ ○ ○ ○ ○ vänlig
Jag anser att produktegenskapen som beskrivs med dessa ord är Helt irrelevant ○ ○ ○ ○ ○ ○ ○ Mycket viktig
Effektivitet
För att nå mina mål anser jag att produkten är långsam ○ ○ ○ ○ ○ ○ ○ snabb ineffektiv ○ ○ ○ ○ ○ ○ ○ effektiv
opraktisk ○ ○ ○ ○ ○ ○ ○ praktisk oorganiserad ○ ○ ○ ○ ○ ○ ○ organiserad
Jag anser att produktegenskapen som beskrivs med dessa ord är Helt irrelevant ○ ○ ○ ○ ○ ○ ○ Mycket viktig
Tydlighet
Enligt mig är hanteringen och användningen av produkten oförståelig ○ ○ ○ ○ ○ ○ ○ förståelig svår att lära ○ ○ ○ ○ ○ ○ ○ lätt att lära komplicerad ○ ○ ○ ○ ○ ○ ○ enkel konfunderande ○ ○ ○ ○ ○ ○ ○ klar
Jag anser att produktegenskapen som beskrivs med dessa ord är Helt irrelevant ○ ○ ○ ○ ○ ○ ○ Mycket viktig
Pålitlighet
Enligt mig är produktens reaktion på mina inmatningar och kommandon
hämmande ○ ○ ○ ○ ○ ○ ○ stöttande osäker ○ ○ ○ ○ ○ ○ ○ säker uppfyller inte förväntningarna ○ ○ ○ ○ ○ ○ ○ uppfyller förväntningarna Jag anser att produktegenskapen som beskrivs med dessa ord är
Helt irrelevant ○ ○ ○ ○ ○ ○ ○ Mycket viktig Stimulering
Enligt mig är hanteringen av produkten och att arbeta med den ointressant ○ ○ ○ ○ ○ ○ ○ intressant
tråkigt ○ ○ ○ ○ ○ ○ ○ spännande undermåligt ○ ○ ○ ○ ○ ○ ○ värdefullt motivationssänkand
e ○ ○ ○ ○ ○ ○ ○ motiverande Jag anser att produktegenskapen som beskrivs med dessa ord är
Helt irrelevant ○ ○ ○ ○ ○ ○ ○ Mycket viktig Nymodighet
Enligt mig är tanken bakom produkten och dess utformning enformig ○ ○ ○ ○ ○ ○ ○ kreativ
sedvanlig ○ ○ ○ ○ ○ ○ ○ originell vanlig ○ ○ ○ ○ ○ ○ ○ på framkant konservativ ○ ○ ○ ○ ○ ○ ○ innovativ
Jag anser att produktegenskapen som beskrivs med dessa ord är Helt irrelevant ○ ○ ○ ○ ○ ○ ○ Mycket viktig
