3.5 Testing - Test av prototyp
4.5.5 Uppfattning om Alfred
Det fanns en del olika uppfattningar kring Alfreds personlighet, nästan alla var positiva. Många uppfattade agenten som hjälpsam och glad.
66 4.5.5.1 Antropomorphistisk tilldelning
Målet att blanda in antropomorphistiska drag ansågs lyckat då många deltagare refererade till Alfred med könsbundet pronomen och beskrev honom med antropomorphistiska beskrivningar (se citat 72 – 82).
72. “Va fint att han skriver också”
73. “Han va positiv, hjälpsam”
74. “Han var mån om att hjälpa, liksom inte bara hjälpsam, han ville hjälpa”
75. “Han va trevlig, positiv”
76. “Han var väldigt mån om att det skulle gå bra för mig”
77. “ Han va ball”
78. “ Han höll mig i handen”
79. “Han frågade hur det gick för mig”
80. “Han va skön haha”
81. “Kändes lite som en vanlig grabb”
82. “Kändes lite som: jag är här för din skull”
Vissa benämnde Alfred mer som en bot, genom att använda ordet bot eller att säga
“den” istället för “han” (se citat 83 – 85).
83. “Det va nice, personlig bot”
84. “Det var nog den trevligaste chatboten jag interagerat med faktiskt”
85. “Kan jag säga att den var lite skön?”
67 4.5.5.2 Språk och beteende
Vissa deltagare gillade språket (se citat 86 och 87).
86. “Glad och peppande vilket syns i emojis”
87. “Lite rapp och klämkäck”
Andra deltagare uttryckte däremot att den peppiga tonen kanske hade varit tröttsam i fel läge eller under en lång användning av appen (se citat 89 – 91). En deltagare uttryckte även en viss oro för att språket inte hade passat äldre lika bra (se citat 88).
88. “Kan tänka mig att språket kan vara lite för lekfullt för äldre”
89. “Hade jag använt den hela tiden hade jag kanske tröttnat på den härliga jargongen, bara säg vad jag ska göra liksom”
90. “Vet inte om jag hade diggat allt fluff om jag hade varit stressad”
91. “Ibland är det lättare om man bara kan säga ja eller nej”
4.5.5.3 Namnet
Det fanns en del olika uppfattningar kring namnet (se citat 92 – 95).
92. “Alfred är ju namnet på en gammal gubbe, han kan inte lära mig om teknik”
93. “Kul med Batman referensen”
94. “Gillar ju Emil i Lönneberga så det var ju lite kul”
95. “Gillar namnet också, påminner lite om Batman”
68 4.5.6 Slutsats
De mest uppskattade funktionerna ansågs vara animationer och förslagsknapparna.
Det mest problematiska ansågs vara när det uppstod mycket information på samma gång, och den misstro som fanns till Alfreds möjligheter att tackla en mer avancerad uppgift.
5 Diskussion
Här tas kritik angående studiens utformning upp. Kapitlet tar först upp generell kritik mot konversationsagenter för att sedan gå in på mer studiespecifika områden såsom metod- och resultatdiskussion.
5.1 Etisk problematik kring implementeringen
5.1.1 Skaparens fördomar
Som nämnt i metoddelen så finns det en viss problematik som uppstår vid skapandet av agenter. Trots att agenter är en typ av maskin kommer de ofta med en typ av etik, moral, samt fördomar då agentens skapare för med sina egenskaper, vilket formar dess beteende (Gheerawo, Poggi, & Spencer, 2018). Man kan argumentera för att detta amplifieras genom att endast ha en skapare, då fördomar, åsikter och
preferenser kan strömmas igenom utan filter. För att förhindra detta och göra agenten mer diversifierade kan man försöka inkludera flera kreatörer från olika kulturella och politiska riktningar. Viktigt i denna aspekt är även, som nämnt i metoden, att agenten representerar företagets värden och etiska riktlinjer.
5.1.2 Automatiseringens påverkan på arbetsmarknaden
Något som är kontroversiellt med automatisering såsom exempelvis AI är att de kan ersätta mänskligt arbete, vilket introducerades i Kritik mot konversationsagenter.
Automatiserade lösningar prefereras då de kan vara billigare i längden, vilket leder till att personen som tidigare utfört uppgiften kan förlora jobbet. I de fallen kan man argumentera kring huruvida implementeringen av konversationsagenter kommer
69 göra samhället bättre eller inte. I vissa fall kan dock automatisering assistera
människan snarare än att helt ersätta den. Denna vy hålls av Carter & Knol (2019) vilket argumenterar för att botar ännu inte blivit tillräckligt bra för att kunna utföra handlingar helt utan assistans. Här kan man dock argumentera för att det endast är en tidsfråga. Någon som däremot inte tror det är Yin (2019), som tar upp exemplet med framtagningen av bankomater på 60-talet. När bankomaten introducerades till marknaden trodde många företag att kunder inte skulle vilja använda automaterna, och istället föredra att använda sig av en bankman. Scenariot idag är istället att människor använder bankomater för enkla ärenden såsom att ta ut pengar och talar med en bankman när det gäller mer komplexa ärenden. Samma scenario skulle kunna bli aktuellt med konversationsagenter, där kunder har möjlighet att snabbt prata med en agent för enkla ärenden men sedan välja att tala med en människa när mer komplexa problem uppstår. Vilken av dessa scenarion som kommer bli sanning är väldigt svårt att säga, hur som helst verkar automatiseringen vara något som hela tiden blir mer utbrett i samhället.
5.1.3 Integritetsproblem
Carter & Knol (2019) tar i sin studie upp problematiken användaren känner kring chattbotars inkräktande på dess integritet. Detta tas även upp i Budiu &
Laubheimiers (2018) studie som en av de problem användarna upplevde med chattbotar. Dessa inkluderade bland annat inspelning av användaren, vilket är en funktion som finns tillgänglig i den prototyp som tagits fram i denna studie. Konceptet kring produkten innehåller även mönsterigenkänning, vilket även det potentiellt kan ses som inkräktande på användarens privatliv. Detta är ett problem som inte har en enkel lösning. Ett sätt att minska känslan av integritetsintrång skulle kunna vara att göra det tydligt för användaren vilken information som hämtas, när och var den hämtas, samt vad den kommer användas till och hur länge den kommer sparas.
Detta kombinerat med att göra det frivilligt och fråga användaren innan data hämtas kan göra datainsamlingarna mer transparanta, vilket kan öka trovärdigheten.
70
5.2 Metoddiskussion
Här tas problematik kring studiens metod och utförande upp.
5.2.1 Ensam designer
I en kreativ process kan det vara en till en fördel att vara flertalet personer, detta då många av de metoder som används till viss mån är utformade efter att kunna ha öppna diskussioner, vilket är svårt att ha själv. Detta märktes extra tydligt i Ideate-fasen då dessa metoder ofta rekommenderade olika former av diskussion. Denna kritik blir dock mindre relevant då testning inkluderades i studien, vilket då innefattar att designen får kritik och förslag från andra parter. Däremot kan man se det som problematiskt att dessa inte var med i tidigare faser i studien, vilket tas upp i nästa stycke.
5.2.2 Kontakt med slutkunder och deltagare
Det fanns en brist på direktkontakt med slutkunder under studien. Deras åsikter kom primärt fram genom datainsamlingar såsom befintliga studier och undersökningar.
Även om dessa datainsamlingar ansågs relevanta så fanns inte möjligheten att utforma egna frågor och diskussioner, vilket gör att informationen inte helt reflekterade de frågor som fanns i början av studien. Man hade även kunnat involvera deltagare tidigare i processen genom att exempelvis be om åsikter kring koncept eller låtit de testa en LoFi-prototyp. Detta hade kunnat göra att slutprodukten varit bättre formad efter användarnas åsikter.
5.2.3 Prototyp
Den prototyp som testades i studien var långt ifrån någon slutprodukt. Prototypen hade ingen språkprocessering utan följde en lista av regler på input och output.
Detta blev fallet då studiens syfte var att undersöka konversationsagenters
implementation från ett designperspektiv. Något som ska sägas är dock att detta till
71 viss del minimerar de fel som kan uppstå i testningen, vilket gör att man missar vissa fel som hade uppstått vid test av en fullskalig produkt.
Dessutom testades bara installationsprocessen. Denna process testar många grundfunktioner, men inte alla. Anledningen till att just installation testades var som tidigare nämnt för att detta ansågs vara en av de mest problemfyllda områdena. Test av fler funktioner hade krävt större tidsbudget för utveckling och test, vilket var något som inte prioriterades i denna studie. Utöver detta hade man även kunnat testa flera olika prototyper med lite mer drastiska skillnader i grundkoncept, såsom exempelvis chatt jämfört med endast röststyrning, vilket hade kunnat göra att man fått bättre insikt i vilka grundkoncept som är mest uppskattade.
5.2.4 Icke-generaliserbar testgrupp
Som tidigare nämnt fick prototypen ett SUS-värde på 90.3, vilket är ett högre värde än Connective-systemet i Hagelbergs (2018) studie där SUS-värdet rapporterades vara 52.1. Resultatet från testningen kan alltså ses som mycket positivt men det är svårt att säga mycket kring dess generaliseringsmöjligheter det då det testades en alldeles för homogen testgrupp. Det enda heterogena med gruppen var den delade könsfördelningen, vilket är bra, men inte tillräckligt. Det största problemet med gruppen var dess jämna och unga snittålder. Dessutom var ingen deltagare en smarta hem-användare, vilket betyder att testen inte inkluderade målgruppen.
Urvalet formades på detta sätt då Folkhälsomyndigheten under testningens period rekommenderade att inte träffa äldre personer samt att undvika resor.
5.2.5 Skillnader mellan deltagargrupper
För att på ett bättre sätt säkerställa att det inte fanns någon skillnaden mellan deltagargrupper och dess SUS-betyg hade statistiska test kunnat utföras.
5.3 Resultatdiskussion
Här görs en diskussion kring resultatet från användbarhetstestningen. Detta inkluderar potentiella anledningar till fel och möjliga lösningar.
72 5.3.1 Osäkerhet kring vad agenten klarar av
Deltagare uttryckte oro kring huruvida agenten skulle klara mer avancerad flöden och problem. Denna oro behöver nödvändigtvis inte vara direkt kopplat till testen och kan istället ses som ett tvivel kring botars begränsningar generellt (Ivanov &
Webster, 2017). Denna typ av osäkerhet är något som även reflekterades i en studie av Budiu & Laubheimier (2018). De identifierade att deltagare upplevde oro när de gjorde viktiga handlingar såsom köp eller arbetsrelaterade saker, då de fruktade vilka konsekvenser ett missförstånd eller fel skulle kunna orsaka. En potentiell lösning till detta är att tydligt presentera vad Alfred är kapabel till, samt till största möjliga mån vara transparant när ämnen som berörs är utanför Alfreds
kunskapsbas.
5.3.2 Språkanpassning
En del deltagare var skeptiska till att språket skulle passa alla situationer och människor. Detta hade kunnat förbättras genom att låta Alfred anpassa språket baserat på olika variabler. Detta hade kunnat varit profilvariabler såsom ålder, eller syfte med att använda systemet. Man hade även kunnat anpassa språket efter användarens input, exempelvis då om användaren är kort och tydlig så svarar Alfred i samma ton. En av deltagarna föreslog även att Alfred skulle kunna vara mer trevlig i början för att sedan övergå till en lite mer normal samtalston.
5.3.3 Mycket på en gång
Användare tyckte att det ibland kom upp lite för mycket på samma gång. Detta var ofta i samband med att flera meddelanden presenterades efter varandra i samband med en animation. Detta hade kunnat förbättras genom en algoritm som räknar ut fördröjning på nästa meddelande baserat på textmängden på det föregående meddelandet. Utöver det hade man även kunnat dölja animationen bakom en “visa animation”-knapp.
73 5.3.4 Använda färger för parning
En del användare var osäkra kring huruvida sensorn lyste gult eller grönt, vilket spelar roll då det ingår i parningsinstruktionerna. Detta kan ha uppstått när
användaren valt att läsa instruktionen snarare än att se på instruktionsanimationen.
För att minska bryggan mellan text och färg hade man kunnat färga de ord som innehåller en färg med samma färg (se Figur 47). Detta hade kunnat hjälpt användaren då de hade haft möjligheten att jämföra sensorns färg med den i det färgade ordet, och på så sätt lättare kunnat komma till en slutsats kring en passande handling.
Figur 47. Färgad ordbeskrivning
5.3.5 Uteblivna antropomorfitiska tilltal
En del deltagare tilltalade Alfred med “det” istället för “han”. Detta uppstod även i Budius & Laubheimers (2018) studie. Där förklarade en deltagare att den medvetet tilltalade agenten med “det” då den inte ville prata med agenten på samma sätt som en person, då den känner ett visst obehag kring AI. Detta finns det dock inga tecken på i denna studie då ingen av deltagarna uttryckte något obehag kring agenten.
Detta problem är något som är svårt att ge någon konkret lösning på. Det finns en möjlighet att användaren blir mer och mer bekväm med agenten ju längre
interaktionen pågår, men det är ingen säker sak.
5.4 Framtida studier
För framtida studier hade det först och främst varit intressant att testa prototypen på en mer spridd målgrupp där de äldre och mindre teknikvana inkluderas. Detta skulle man även kunnat inkludera ett mer utförligt test av prototypen, där fler funktioner och flöden testas. Här skulle man även kunnat kolla på tekniska och språkliga aspekter för att komma närmare en riktigt slutprodukt. Självklart skulle man även kunnat
74 vidare utforskat och korrigera de negativa aspekterna som uppdagades under
testningen i denna studie.
6 Slutsats
Målet med studien var att undersöka hur man bör implementera
konversationsagenter för att hjälpa smarta hem-användare. I studien görs ett försök att förstå detta genom undersökning av användare och marknad, insamling av teori och riktlinjer, framtagning av prototyp, samt testning av prototyp. Resultatet från studien blev en kombination av prototypen och de slutsatser som kan dras från testningen. Huruvida prototypens utformning var framgångsrik går ofta i dessa typer av studier att dra slutsatser kring från användbarhetstestningen. I denna studie var dessa resultat väldigt bra men den unga homogena målgruppen gör det
problematiskt att generalisera resultatet. Studien bidrar med insikter i smarta hem-användarens problem och mål, vad som gör denna typ av agentintegration unik, hur den kan utformas, samt hur den utformningen kan tas emot av potentiella
användare. Resultatet från testningen kan sammanfattas med att deltagarna var positiva till implementeringen och såg dess syfte samt hjälppotential. Denna studie visar att implementeringen av konversationsagenter ser ut att kunna hjälpa smarta hem-användare, däremot kan man argumentera för att facit inte finns förrän en riktig produkt finns ute på marknaden. Konversationsagenters etablerade plats inom teknikbranschen ser ut att ha potentialen att sträcka sig till smarta hem-branschen.
När detta sker återstår att se, men förhoppningsvis har denna studie inneburit ett litet steg på vägen.
Referenser
Apple. (2020). Human Interface Guidelines. Hämtad 2020-04-10 från https://developer.apple.com/design/human-interface-guidelines/
Arvola, M. (2014). Interaktionsdesign och UX - om att skapa en god användarupplevelse. Studentlitteratur AB
75 Akhtar, M., Neidhardt, J., & Werthner, H. (2019) The Potential of Chatbots: Analysis of Chatbot Conversations. IEEE
Bhutani, A., & Wadhwani, P. (2019). Global Chatbot Market worth over $1.34bn by 2024. Hämtad 2020-05-21 från https://www.gminsights.com/pressrelease/chatbot-market
Bond, R., Holmes, S., Moorhead, A,. Zheng, H., Coates, V., & McTear, M, (2019) WeightMentor, bespoke chatbot for weight loss maintenance: Needs assessment &
Development. IEEE
Brambilla, M., Riva, P., & Sacchi. S., (2015). Humanizing Machines:
Anthropomorphization of Slot Machines Increases Gambling. Journal of Experimental Psychology: Applied
Budiu, R. (2018). The User Experience of Chatbots. Hämtad 2020-04-12 från https://www.nngroup.com/articles/chatbots/
Budiu, R., & Laubheimer, P. (2018) Intelligent Assistants: Creepy, Childish, or a Tool? Users’ Attitudes Toward Alexa, Google Assistant, and Siri. Hämtad 2020-04-12 från
https://www.nngroup.com/articles/voice-assistant-attitudes/
Budiu, R., & Whitenton, K. (2018) The Paradox of Intelligent Assistants: Poor Usability, High Adoption. Nielsen Norman Group
(The Paradox of Intelligent Assistants: Poor Usability, High Adoption)
Budzinski, O., & Noskova, V., Zhang, X. (2018). The brave new world of digital personal assistants : benefits and challenges from an economic perspective.
Ilmenau Economics Discussion Papers. 24 (18)
Calvaresi, D., Calbimonte, J., Dubosson, F., Najjar, A., & Schumacher, M. (2019).
Social Network Chatbots for Smoking Cessation: Agent and Multi-Agent Frameworks. ACM
76 Carter, E., & Knol, C. (2019). Chatbots — an organisation’s friend or foe? Research in Hospitality Management. 9 (2)
Danielsson, M. (2016). Introduktion till teknisk psykologi. Studentlitteratur Lund
Dillet, R. (2018) Netatmo launches a chatbot to manage all your connected devices.
Hämtad 2020-05-20 från https://techcrunch.com/2018/01/07/netatmo-launches-a-chatbot-to-manage-all-your-connected-devices/
Gartner. (2019). Gartner Survey Shows 37 Percent of Organizations Have Implemented AI in Some Form. Hämtad 2020-05-21 från
https://www.gartner.com/en/newsroom/press-releases/2019-01-21-gartner-survey-shows-37-percent-of-organizations-have
Gheerawo, R., Poggi, J., & Spencer, J. (2018). Designing Out Stereotypes in Artificial Intelligence. Goodtechs '18: Proceedings of the 4th EAI International Conference on Smart Objects and Technologies for Social Good.
Gibbons, S. (2018). Using Prioritization Matrices to Inform UX Decisions. Hämtad 2020-04-05 från https://www.nngroup.com/articles/prioritization-matrices/
Gibbons, S. (2016). Design Thinking 101. Hämtad 2020-05-21 från https://www.nngroup.com/articles/design-thinking/
Google. (2020). Crazy 8's Sharing and Voting. Hämtad 2020-04-10 från
https://designsprintkit.withgoogle.com/methodology/phase3-sketch/crazy-8s-sharing-and-voting
Google. (2020). Material guidelines. Hämtad 2020-04-11 från https://material.io/.
Hagelberg, A (2018). Smart users, smart homes, and the search for a smarter application. Diva
77 Huang, F., Wan, & Wong 2020. The Influence of Product Anthropomorphism on Comparative Judgment. Journal of Consumer Research. 46(5)
Kaarma, J. (2018). How much does a chatbot cost? Hämtad 2020-05-10 från https://chatbotslife.com/how-much-does-a-chatbot-cost-783bf583ac4
Kaplan, K. (2017). Facilitating an Effective Design Studio Workshop. Hämtad 2020-04-01 från https://www.nngroup.com/articles/facilitating-design-studio-workshop/
Khan, R., & Das, A. (2018). Build Better Chatbots: A Complete Guide to Getting Started with Chatbots. Apress
Krauser, R. (2018). Storyboards Help Visualize UX Ideas. Hämtad 2020-05-10 från https://www.nngroup.com/articles/storyboards-visualize-ideas/
Kruger, S. (2014). Don't Make Me Think, Revisited: A Common Sense Approach to Web Usability. Amazon
Ivanov, S., & Webster, C. (2017). Adoption of robots, artificial intelligence and service automation by travel, tourism and hospitality companies – a cost-benefit analysis. Contemporary Tourism – Traditions and Innovations
Mitt i Stockholm. (2019). Vi testar AI-roboten som ska användas vid rekrytering i Upplands-Bro. Hämtad 2020-05-15 från
https://www.youtube.com/watch?v=jKhwclsIta0
Moran, K. (2017). The Aesthetic-Usability Effect. Hämtad 2020-03-20 från https://www.nngroup.com/articles/aesthetic-usability-effect/
Moran, K. (2019). Usability Testing 101. Hämtad 2020-04-17 från https://www.nngroup.com/articles/usability-testing-101/
Muentener, P., Strait, M., & Urry, H. (2019). Children's Responding to Humanlike Agents Reflects an Uncanny Valley. 14th ACM/IEEE International Conference
78 Nielsen Norman Group. (2017, 18 augusti). Jakob's Law of Internet User Experience.
Hämtad från https://youtu.be/wzb4mK9DiHM
Nielsen Norman Group. (2019, 13 september). The 3 Types of User Interviews:
Structured, Semi-Structured, and Unstructured. https://youtu.be/jy-QGuWE7PQ
Nielsen, J. (2012). Thinking Aloud: The #1 Usability Tool. Hämtad 2020-04-02 från https://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/
Nielsen, J. (2000). Why You Only Need to Test with 5 Users. Hämtad 2020-03-14 från https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
Nielsen, J. (1993). Usability Engineering (1st ed.). Morgan Kauffmann
Norman, A., D. (2005). Emotional Design: Why We Love (or Hate) Everyday Things.
Basic Books
Preece, J., Rogers, Y., Sharp, H. (2002). Interaction Design - Beyond Human-Computer Interaction. John Wiley & Sons, Inc
Proctor, W., R., & Schneider, W., D. (2018). Hick’s law for choice reaction time: A review. Quarterly Journal of Experimental Psychology
Rangkarasamee, C., & Yodmalai, K. (2019). SAP and Chatbots: Development and Integration. SAP Press
Regeringen.se. (2016). Agenda 2030 för hållbar utveckling. Hämtad 2020-03-14 från
https://www.regeringen.se/regeringens-politik/globala-malen-och-agenda-2030/agenda-2030-for-hallbar-utveckling/)
Richards, J. (2013). The Grammar of Interactivity. UX Booth. Hämtad 2020-03-14 från https://www.uxbooth.com/articles/the-grammar-of-interactivity/
79 Sauro, F. (2012). Applying the Pareto Principle to the user experience. Hämtad
2020-04-01 från https://measuringu.com/pareto-ux/
Sauro, F. (2018). 5 Ways To Interpret A SUS Score. Hämtad 2020-04-01 från https://measuringu.com/interpret-sus-score/
Schrader, D. (2017). Impact Mapping for Business Outcomes. Hämtad 2020-03-11 från https://elabor8.com.au/impact-mapping-for-business-outcomes/
Tidwell, J. (2010). Designing Interfaces. O´reilly
Usability.gov. (2020). System Usability Scale. Hämtad 2020-04-07 från
https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html
Walter, A. (2020). Principles of Product Design. Hämtad 2020-03-26 från https://www.designbetter.co/principles-of-product-design/guess-less
Weinschenk, S., S. (2011). 100 things every designer needs to know about people.
New Riders
Yin, S. (2019) Where chatbots are headed in 2020. Intercom
80
Bilagor
Bilaga 1. Samtyckesblankett för intervju
81
Bilaga 2. Intervjuguide
82
Bilaga 3. Formulär efter test
83