Utveckling av en FAQ -chatbot för frågor om ett program på ett universitet
Nemanja Gligorijevic Ilic
Systemvetenskap, kandidat 2021
Luleå tekniska universitet Institutionen för system- och rymdteknik
Sammanfattning
Det blir allt vanligare att implementera chatbotar som kundtjänst. Anledning till det är att chatbotar är tillgängliga för att besvara användarnas frågor dygnet runt. Att utveckla en chatbot handlar inte bara om att mata in frågor och bestämda svar. Kommunikationen med en chatbot bör, så mycket som möjligt, likna kommunikationen med en annan människa.
Syftet med detta arbete var att utveckla en chatbot som ska användas på Luleå tekniska universitet för att besvara frågor om det systemvetenskapliga programmet. Vidare var syftet att undersöka vilka befintliga designprinciper som bör implementeras, eventuellt konkretisera dem under utvecklingen och eventuellt komma fram till nya designprinciper.
Metoden som användes för att utveckla chatboten var Design Science Research Methodology (DSRM). DSRM lägger fokus på att lösa problem genom att utveckla en IT-artefakt, vilket i detta fall blir en chatbot.
Resultat av detta arbete blev en utvecklad chatbot och designprinciperna som implementerades under utvecklingsprocessen.
Nyckelord: Artificiell Intelligens (AI), chatbot, dialog, IBM Watson Assistant, kommunikation, universitet.!
Abstract
The implementation of chatbots and service services is becoming more common. The reason for this is that they are constantly available to answer questions, no matter what time it is. To make one chatbot is not just to write questions and specific answers. Communicating with one chatbot should, as much as possible, look like communicating with another human.
The purpose of this report is to create a chatbot that will be used at Luleå university of technology and that will answer questions about system science. Furthermore, the goal is to investigate which design principles should be implemented, their possible concretization, when making chatbots, and possibly coming to new principles.
The method used to make the chatbot is Design Science Research Methodology (DSRM). DSRM focuses on solving the problem by creating an IT artifact, which in this case is a chatbot.
The result of this work is a created chatbot and design principles that were implemented during the development process.
Keywords: Artificial Intelligence (AI), chatbot, dialogue, IBM Watson Assistant, communication, university.
Förord
Denna uppsats är en kandidatuppsats som utförts på utbildningen inom Systemvetenskap på Luleå tekniska universitet våren 2021.
Jag vill tacka alla som har hjälpt mig från början till slut. Ett stort tack till Ingemar Andersson och Jörgen Nillson som har varit mina handledare. Ett stort tack till alla mina opponenter som har gett mig konstruktiva kritiker och förslag på förbättringar. Ett stort tack till Isabella Södergren som har hjälpt mig med grammatiken.
Luleå 2021, Nemanja Gligorijevic Ilic
Innehållsförteckning
1. Inledning 1
1.1. Bakgrund 1
1.2. Problembeskrivning 1
1.2.1. Tidigare forskning 2
1.3. Syfte 2
1.4. Forskningsfråga 3
1.5. Avgränsningar 3
1.6. Definition av begrepp 3
2. Teori 4
2.1. Artificiell intelligens(AI) 4
2.1.1. Turing test 4
2.2. Chatbot 4
2.2.1. Chatbot som kundtjänst 5
2.3. IBM Watson Assistant 5
2.3.1.Watson Assistant struktur 5
2.4. Designprinciper för utveckling av en chatbot 5
2.6. Sammanfattning av designprinciperna för chatbots dialog 6
3. Metod 7
3.1. Design Science Research Methodology (DSRM) 7
3.1.1. Motivering av metod 8
3.2. Dataunderlag för utveckling av chatbot 9
3.2.1. Bearbetning av rådata 9
3.2.1.1. Målgrupp 10
3.3. Urval 10
4. Resultat 11
4.1. Utvecklingsprocessen 11
4.1.1. Identifiera problem och motivering 11
4.1.2. Definiera ett eller flera mål för lösning 11
4.1.3. Första iterationen 11
4.1.3.1. Mål med första iterationen 11 4.1.3.2. Fas 1 i första iterationen, design och utveckling 11
4.1.3.3. Utvärdering 14
4.1.3.4. Fas 2 i första iterationen, design och utveckling 14
4.1.3.5. Utvärdering 16
4.1.4. Andra iterationen 18
4.1.4.1. 18
4.1.4.2. Design och utveckling 18
4.1.4.3. Utvärdering 19
4.2. Arbetets bidrag 20
5. Diskussion och slutsatser 21
5.1. Metoddiskussion 23
5.2. Framtida studier 23
Referenser 24
6.1. Litteratur 24
6.2. Webb 25
6.3. Bilder 26
Bilagor 27
7.1. Bearbetning av data 27
7.1.1. Grupperna som skapades efter första iterationen 27 7.1.2. Grupperna som skapades efter andra iterationen 27
7.2. Frågor till informanter 27
1. Inledning
I det här kapitlet presenteras arbetets bakgrund, problembeskrivning, syfte, forskningsfråga, avgränsningar och viktiga begrepp.
1.1. Bakgrund
IT-system är en viktig del av våra liv. Datorer ger oss information, är ett stöd på arbetsplatser, samt hjälper oss på många olika sätt i vårt vardagliga liv. Användningen av IT-enheter ökar kontinuerligt.
I takt med ökad IT-användning utvecklas nya tekniker och produkter. En sådan teknik är artificiell intelligens (AI) (Dahiya, 2017). Den största utvecklingen kommer att ske de kommande 20 åren.
Man menar att den utvecklingen kommer att kännetecknas av en ”djupinlärning”, vilket betyder att den kommer att likna som när små barns lär sig nya saker. Den digitala revolutionen utnyttjar kraften hos datorer för att utföra mentala uppgifter som tidigare utförts av människor, det leder till förbättrad produktivitet och ytterligare lägre priser på arbetskraft. AI-revolutionens mål är att ersätta, komplettera och förstärka alla uppgifter som utförs av människor. Ett exempel på en bra användning av digitalisering, är skillnaden mellan två bolag som säljer olika saker, Walmart och Amazon. Walmart har nästan 8 gånger mer anställda än Amazon, men bara 4,5 gånger större inkomst. Det är bra exempel på effektiv användning av digitala teknologier och Internet (Makridakis, 2017).
Det som skiljer AI-teknologi från vanlig teknologi är att den har en viss förmåga att lära sig saker och inte bara att implementera förutbestämda åtgärder. Det betyder att AI-teknologier har, till en viss grad, mänskliga egenskaper. Ett exempel på en AI-teknologi är ASIMO, som kan röra sig genom olika miljöer. Det är omöjligt att programmera en robot som kan anpassa sig till alla möjliga miljöer, utan den måste ha en förmåga att tänka själv. AI-revolutionen kommer ännu mer att
utveckla produktiviteten och minska antal anställda. AI-teknologier kommer att påskynda antal uppgifter som maskiner och robotar kan utföra (Makridakis, 2017).
Chatbot är en AI-enhet, och är ett av de mest grundläggande och utspridda exemplem på en intelligent interaktion mellan en människa och en dator. Chatboten är ett datorprogram och agerar som en smart enhet. Man håller en konversation med chatboten genom text eller röst, och den förstår ett eller flera mänskliga språk. Chatbotar kan vara användbara inom flera olika områden, som till exempel utbildning, informationssökning, affärer och e-handel. De har blivit populära eftersom det finns många fördelar både för användare och utvecklare. En anledning till varför chatbotar används är att de snabbt ger praktiskt stöd i form av konkreta svar på kundernas/
användarnas frågor (Maglogiannis & Iliadis & Pimenidis, 2020).
1.2. Problembeskrivning
Användningen av chatbotar har bidragit till en ett nytt sätt för kommunikation mellan verksamheter och kunder. Genom att implementera chatbotar, möjliggör det för kunder att få svar på sina frågor oberoende av mänsklig arbetstid. En annan fördel med implementering av chatbotar är ekonomisk vinst. Organisationer kan minska kundtjänstavdelningens kostnader. Vidare minskar risken, att inte hinna svara på alla frågor, eftersom chatboten är tillgänglig efter dygnet runt. (Zumstein &
Hundertmark, 2017). Användning av chatbotar effektiviserar arbete, genom att ge svar på frågorna som, annars måste besvaras av en anställd person (Moonkyoung & Yoonhyuk & Seongcheol, 2021).
Man har sett att chatbotar kan besvara 40-80% av de rutinmässiga frågor som ställs till inom kundtjänst. De frågorna är ofta inte specifika och därför behöver de inte besvaras av en kundtjänstmedarbetare. Genom att frågorna besvaras av en chatboten kan servicekostnaderna minska med 30%. En undersökning, i USA, visade att en interaktion mellan en kund och
kundtjänstmedarbetare kostar mellan 35 och 50 dollar, medans en interaktion mellan en kund och en chatbot kostar mellan 8 och 10 dollar. Ifall att chatboten inte kan besvara frågan så hänvisas kunden till kundtjänst. I detta fall kan chatboten, med hjälp av den insamlade datan, hänvisa kunden direkt till rätt avdelning inom kundtjänsten. Att komma till fel avdelning, kan vara frustrerande för kunden, och det kan motverkas genom att använda en chatbot (Reddy, 2017).
Även om chatbotar har som huvudmål att underlätta konversationen mellan kunder och företag, visar det sig att det kan finnas ett visst motstånd mot den teknologin från användare. Det betyder att kunder föredrar kommunikation med mänskliga medarbetare istället för chatbotar. Det visar sig att design för en chatbots dialog är en avgörande faktor för att kunder ska vara nöjda efter
interaktionen med en chatbot (Araujo, 2018). Vid interaktion med en chatbot är det också viktigt att det finns förtroende hos användare. Förtroende är direkt kopplat med antropomorfism.
Antropomorfism i detta fall betyder att en chatbots dialog har vissa mänskliga egenskaper, vilket leder till att interaktion mellan användare och chatboten liknar kommunikationen mellan två människor (Przegalinska et al., 2019) .
1.2.1. Tidigare forskning
I en tidigare forskning som gjordes av Diederich, Brendel och Kolbe 2019, beskrevs en chatbots utvecklingsprocess, som resulterade i en IT-artefakt, samt designprinciper som implementerades vid utvecklingen.
Första designprincipen syftar på själva chatbotens förmåga att kommunicera. Det betyder att
chatboten bör ha en korrekt förståelse över vad användaren vill få svar på. Utifrån det bör chatboten ge ett meningsfullt svar som är relaterat till frågan. Andra designprincipen syftar på att en chatbot bör presentera sig på ett transparent sätt. Det är viktigt att användare vet vilka begränsningar chatboten har, och förstår att den är en maskin man pratar med, men att det finns ett stöd av mänskliga medarbetare om chatboten inte kan ge ett meningsfullt svar. En chatbot bör tydligt förklara vilka områden, den kan ge svar på. Den tredje designprincipen lägger felhantering i fokus.
En chatbot bör be användaren förklara eller omformulera sin fråga när den inte förstår. Vidare bör en chatbot vara utvecklad så att den kan iterativt lära sig kontinuerligt från konversationer. Det betyder att den kan lära sig från olika problem som uppkommer. Sista designprincipen syftar på att kommunikation med en chatbot ska likna en kommunikation mellan två människor, vilket betyder att det finns känslor, och att den är trevlig t.ex. att en chatbot använder beröm (Diederich et al.
2019).
1.3. Syfte
Arbetets syfte var att utveckla en IT-artefakt i form av en chatbot. Chatboten ska kunna svara på frågorna som handlar det systemvetenskapliga programmet och till del även de som handlar om programmet i digital tjänsteutveckling på Luleå tekniska universitetet. Syftet var också att
undersöka om man kunde tillämpa befintliga designprinciper för chatbotar, eventuellt konkretisera
dem under utvecklingen av en chatbot samt se om det eventuellt gick att komma fram till nya designprinciper.
1.4. Forskningsfråga
Hur bör en chatbots dialog vara utformad inför användning på ett universitetsprogram?
1.5. Avgränsningar
Chatboten kommer främst att besvara frågorna som handlar om systemvetenskapliga programmet på Luleå tekniska universitet. Anledning till att den kommer delvis att besvara frågorna som är relaterade till digital tjänsteutveckling är att de två programmen har flera gemensamma kurser. Det betyder att studenter från båda program läser samma kurs, gör samma examinationsuppgifter och tentamina. Chatboten ska använda svenska som språk både för input och output.
Det finns flera olika plattformar för utveckling av en chatbotar, för den här utvecklingen, valde Luleå tekniska universitet en plattform som heter IBM Watson Assistant.
1.6. Definition av begrepp
I den första tabellen presenteras arbetets viktigaste begrepp.
Tabell 1. Definition av viktiga begrepp.
Begrepp Definition
Artificiell Intelligens (AI) Ett program som kan imitera mänskligt beteende, stycke 2.1.
Chatbot Ett datorprogram som kan självständigt, med hjälp av AI,
kommunicera med människor, stycke 2.2.
Entitet Nyckelord, som hjälper en chatbot att förstå en fråga,
stycke 2.3.1.
Intent En fråga, stycke 2.3.1..
Maskininlärning Ett program lär sig genom inmatning av data.
Natural Language Processing Datorprogram som förstår mänskligt språk.
Nod Koppling mellan fråga och svar, stycke 2.3.1..
2. Teori
I det här kapitlet presenteras teori som ligger till grund för detta arbete. Teoridelen består av förklaring vad AI, Turing test, chatbot, Watsson är. Vidare finns det informationer om chatbotar inom kundtjänst, Watson Assistant inre struktur och designprinciper som används inom utveckling av chatbots dialog.
2.1. Artificiell intelligens(AI)
Första gång, begreppet ”artificiell intelligens” användes, var på Darthmouth-konferensen, 1956.
Kaplan och Haenlein definierade AI som förmåga för systematisk bearbetning av extern data och förmågan till inlärning från den bearbetningen för att uppnå specifika mål (Liu & Rong & Peng, 2020). Artificiell intelligens omfattar datorsystem som kan utföra uppgifter, vilka i normala fall kräver mänsklig intelligens, exempelvis visuell uppfattning, förmågan att kommunicera och att fatta beslut (Rusell & Norvig, 2020; Rossi, 2018). I artificiell intelligens simuleras mänskliga
intelligensprocesser av maskiner, som till exempel datorsystem. Processerna innefattar inlärning (förvärv av information och regler för användning), resonemang (användning av regler vid beslutsfattande) och förmåga att utföra åtgärder vid eventuella fel (Gillath & Ai & Branicky &
Keshmiri & Davison & Spaulding, 2021).
2.1.1. Turing test
År 1950 föreslog Alan Turin ett ”smart test” där man skulle testa om en maskin kan tänka. Testet kallas också för ”The Imitation Game”. Testet börjar med att personen som utför undersökningen, skriver med en man och en kvinna. Båda deltagarna är dolda. Undersökaren ska försöka förstå vilken av mottagarna som är kvinnan respektive mannen. Det görs genom att ställa valfria frågor.
Under konversationen ska antigen mannen eller kvinnan ersättas med en maskin. Men undersökaren är inte informerad om förändringen. Om man inte kan förstå att den man skriver med är en maskin, kan man konstatera att maskinen är smart. Vidare har det kommit nya versioner av Turings test. En version är att två dolda mottagare skriver med varandra och att man ska slå fast om den andra mottagaren är en människa eller en maskin. Ifall att man inte kan bestämma om den är en maskin eller en människa, och om det var en maskin, då säger man att maskinen är smart (French, 2000).
2.2. Chatbot
En chatbot är ett program som är designat för att simulera smart kommunikationer med antigen text eller röst. Chatboten känner igen användares inmatning, genom att hitta mönster med information som den själv besitter och använder för att ge förutbestämda svar (M. Dahiya, 2017). Chatboten är en intelligent agentteknik (eng: Intelligent agent techonology, IAT) som använder natural language processing (NLP) och maskininlärning för att kommunicera med användaren (Schneider, 2017).
IAT kännetecknas av interaktion med användaren, förmåga att skanna extern miljö, beslutsfattande, förmåga att söka information och lära sig från tidigare interaktioner, problemlösning (Kumar &
Dixit & Javalgi & Dass, 2016). Intelligenta chatbotar skiljer sig från andra self-service technologies (SST), eftersom de använder algoritmer för inlärning, medans andra teknologier utför uppgifter utifrån förutbestämda regler (Bakhshi, 2018; Metuer & Ostrom & Roundtree & Bitner, 2000).
Andra egenskaper hos intelligenta chatbotar är:
• Förmågan att förstå icke-strukturerad information
• Förmåga att resonera och lära sig efter varje interaktion (Meuter & Bitner & Ostrom &
Brown, 2005; Vargo & Lusch, 2008).
2.2.1. Chatbot som kundtjänst
Chatbotar kan besvara många vanliga frågor ifrån kunder. För att göra det använder chatboten sig av NLP. NLP kan definieras som en datorprocess som extraherar värdefull information från indata, vilket i det här fallet är frågorna, och producerar ett svar i form av en naturlig utdata. Eftersom chatboten använder sig av NLP, möjliggör det en konversation som liknar den mellan människliga interaktionen. Det betyder att man kan ställa likadana frågor till en chatbot som till en
kundtjänstmedarbetare. I detta fall är chatbotens utvecklare ansvarig hur konversationerna kommer att se ut, hur chatbot ska leda konversationen för att få rätt information och efter det att ge rätt svar.
Det leder till att chatboten kan lösa många vanliga kundtjänstproblem. Genom att chatboten använder ett enkelt språk, kan man motverka problemet med svåra begrepp som användaren inte känner till. Dessutom, kan utvecklaren undersöka konversationer och utifrån det förbättra
chatbotens svar och språk. Dessutom är chatboten alltid trevlig i konversationen med användaren.
Det är speciellt viktigt, när det är hög belastning, otrevliga kunder eller upprepade frågor med identisk information. En annan fördel med användning av chatbotar inom kundtjänst är att
användaren är helt privat. Det underlättar för personer som är blyga, som är rädda att deras frågor kan uppfattas som dumma frågor (McNeal & Newyear, 2013).
2.3. IBM Watson Assistant
IBM Watson Assistant använder teknik som maskininlärning och djupinlärning för att förstå hur den ska besvara användarnas frågor med hjälp av relativt små datamängder. Med hjälp av AI, som är i Watsons grund, kan chatboten identifiera permutationer som uppstår i verkliga interaktioner med användarna. Watson Assistant är utformad att vara lätt att träna och lär sig snabbt känna igen vad användarna vill ha. Watson Assistant har en teknik som heter AutoML. Med den tekniken försöker den, med olika algoritmer och kombinationer hitta det bästa resultatet för en given datamängd utan en mänsklig inblandning (IBM Watson Assistant).
2.3.1.Watson Assistant struktur
Chatbotens struktur, i Watson, består av Intent, Entity och dialog nod. Inom intent skriver man en fråga på olika sätt. Ju fler exempel finns desto lättare det blir för chatboten att förstå frågan. Entity är en valbar sak i Watson assistent och dess uppgift är att hjälpa chatboten att förstå frågorna som användarna ställer. I entity skriver man in olika begrepp som ligger i kärnan för frågorna. Förutom de begreppen lägger man till deras synonymer vilket underlättar chatbotens arbete ifall användarna använder synonymer i sina frågor. Node i Watson Assistant är kopplingen mellan frågorna som kommer från användarna och chabotens svar på dem. En större folder kan skapas och den kan omfatta flera noder som tillhör samma grupp (IBM Watson Assistant).
2.4. Designprinciper för utveckling av en chatbot
Det finns vissa designprinciper som man kan ta hänsyn till vid utveckling av en chatbot.
En användare bör alltid veta vad de kan förvänta sig i kommunikationen med en chatbot. Man bör alltid informera att han eller hon kommunicerar med en chatbot och inte med en människa.
Användaren måste medvetandegöras när chatboten inte förstår en fråga och att den frågan inte kan besvaras. Ett bra sätt att informera användare om eventuella svårigheter, säkerställer att
användarens förtroende för systemet finns kvar (Lebeuf & Storey & Zagalsky, 2018).
Interaktion mellan användare och chatbot bör optimeras. I börläget, betyder det att
kommunikationen går fram utan någon svårighet. Med en noggrann planering kan det vara möjligt att uppnå det. En chatbot kan upprepa ett kommando, en fråga eller en del av frågan för att
användare ska vara säker på att den förstår frågan. Chatboten bör ha förmåga att förstå när det uppstår problem i konversationen och råda användaren hur de ska gå vidare. Ett sätt att göra det är att chatboten använder några nyckelord som. ”hjälp”, ”gå tillbaka”, ”avbryt”, ”starta om”, ”avsluta”
(Lebeuf et al., 2018).
Även om det är bara en chatbot och användarna är medvetna om att det inte är en människa, bör chatboten ha mänskliga egenskaper. Tidigare forskning har visat att chatbotens personlighet påverkar användares sätt att interagera med den. Trots att en chatbot kan slutföra sina uppgifter på ett effektivt sätt, kan det vara möjligt att användare inte accepterar chatbotens respons, ifall den upplevs som tråkig. Chatbotens språk bör vara tillgängligt, vänligt och roligt. Å andra sidan bör språket inte vara för mycket personligt. Det ska, alltså finnas ett visst avstånd mellan chatboten och användare (Lebeuf et al., 2018).
Under kommunikationen mellan två deltagare bör det finnas ett sätt att ge feedback (Borkovich &
Noah, 2014). Eftersom kommunikationen mellan användare och chatboten innehåller två deltagare, är slutsatsen som dras är att det bör finnas någon kontroll, där användaren ska ge ett feedback på svaret.
En chatbot ska visa originalitet vilket betyder att den bör kunna också ta initiativ i samtal ibland.
Initiativtagande under samtalet kan speglas i form av ett förslag till relaterade teman (Morrissey &
Kirakowski. 2013).
2.6. Sammanfattning av designprinciperna för chatbots dialog
-
Chatboten ska tydligt informera användaren att det inte är en människa man kommunicerar med (Lebeuf et al., 2018).-
En chatbot bör informera användaren när den inte förstår en fråga (Lebeuf et al., 2018).-
Chatboten ska inte vara tråkig, språket ska vara vänligt, och inneha ett visst avstånd (Lebeuf et al., 2018).-
Interaktionen bör vara optimerad, enkel, och framskrida utan svårigheter (Lebeuf et al., 2018).-
Användaren ska kunna ge feedback om man har fått ett bra svar på sin fråga (Borkovich & Noah, 2014).-
En chatbot bör kunna ta initiativ i samtal ibland (Morrissey & Kirakowski. 2013).-
Användare bör alltid vara informerad om att det finns ett stöd av mänskliga medarbetare (Diederich et al. 2019).3. Metod
I det här kapitlet presenteras vilken metod användes för att utveckla en chatbot. Vidare finns det en beskrivning av bearbetning av rådata, som var underlag till chatbots dialog.
3.1. Design Science Research Methodology (DSRM)
DSRM syftar till att få fram en artefakt som ska lösa ett befintligt problem genom ett iterativt arbete (Peffers & Tuunanen & Rothenberger & Chatterjee, 2007). Design Science Research Methodology (DSRM). DSRM är en viktig faktor inom utveckling av en effektiv IT-artefakt. Att arbeta med Design Science Research Methodology betyder att man följer 6 steg under arbetets gång. De 6 stegen är:
1. Identifiera problem och motivering.
2. Definiera ett eller flera mål för lösning.
3. Design och utveckling.
4. Demonstration.
5. Utvärdering.
6. Kommunikation (Peffers et al. 2007).
Bild 1. DSRM Process Model (Hämtad från Peffers et al. 2007).
1. Identifiera problem och motivering
I detta steg ska problemet definieras. Man ska också försöka motivera eventuella lösningar på problemet som har definierats.
I det här steget, genomfördes möten, med ansvarig personal på Luleå tekniska universitet. På mötena definierades det nuvarande problem och det kom fram till en motivering varför detta problem borde lösas.
2. Definiera ett eller flera mål för lösning
I det här steget definierades målet med den lösningen på problemet. Målet definierades utifrån problembeskrivningen och kunskapen om vad som var möjligt att genomföra. Mål kan vara både kvantitativa och kvalitativa. Kvantitativa mål handlar om till exempel vara när den nya lösningen kan vara användbar jämfört med den befintliga. Kvalitativa mål handlar om till exempel en
beskrivning av hur den nya artefakten förväntades stödja lösningar på problem som har definierats, som hittills varit svåra att lösa.
På mötena definierades också vilka mål och förväntningar som finns med implementationen av den potentiella lösningen.
3. Design och utveckling
Under detta steg utvecklades en ny artefakt. Man bestämde artefaktens önskade funktionalitet, dess arkitektur och sedan skapades den. Det här steget bestod av flera iterationer. Chatboten utvecklades i Watson-Assistant-miljön.
4. Demonstration
Under det här steget presenterades hur artefakten löste ett eller flera problem. Ett sätt att visa hur artefakten löser problemet kan, till exempel vara genom simulering.
Efter varje iteration som utfördes inom design och utveckling demonstrerades den delen av artefakten till uppdragsgivaren, för att få en återkoppling på arbetet. Vidare demonstrerades artefakten, under första och andra iterationen, till utvärderingens deltagare. Demonstrationen var viktig inför nästa steg i DSRM, där utvärderingen gav återkoppling på chatbotens funktionalitet.
5. Utvärdering
Under detta steg ska man observera och mäta hur väl artefakten stöder en lösning på problemet. För att göra det ska man jämföra målen för en lösning med resultatet som har kommit från användning av artefakten under demonstationen. Ett exempel på utvärdering är att få feedback från kunden, användare etc.
I det här steget utvärderades chatbots förmåga att besvara frågor. Utvärdering gjordes av olika grupper som till exempel, ansvarig personal och potentiella användare. Utvärderingarna låg som grund till en ny iteration. Alla fel som hittades under utvärderingar, åtgärdades under nästa iteration.
6. Kommunikation
I sista steget ska man kommunicera med andra forskare och andra som är intresserade av en artefakt. Man ska förklara för andra problemet, varför problemet är viktigt, artefakt, dess användbarhet och nyhet, dess design och effektivitet (Peffers et al. 2007).
Kommunikationen sker i form av den här rapporten och en presentation på Luleå tekniska universitet.
3.1.1. Motivering av metod
DSRM syftar till att få fram en artefakt som ska lösa ett befintligt problem genom ett iterativt arbete (Peffers et al. 2007) .
Syftet med det här arbete är att få fram en IT-artefakt i form av en chatbot. För att utveckla chatbotens dialog gjordes 2 iterationer inom design, utveckling, och utvärdering, tills chatboten uppnådde en tillfredställande nivå. DSRM passade för att man kan iterera antingen hela arbetet eller vissa delar.
För att utföra detta arbete måste man hålla kontinuerlig kontakt med uppdragsgivaren, och det passade bra ihop med denna metod eftersom DSRM syftar till att lösa en problemen hos en organisation (Peffers et al. 2007).
3.2. Dataunderlag för utveckling av chatbot
De vanligaste frågorna och svaren användes som dataunderlag för den här utvecklingsprocessen.
Frågorna som har ställts till personalen på Luleå tekniska universitet, samlades i ett dokument tillsammans med tillhörande svar. Konversationen har gått via E-mail.
3.2.1. Bearbetning av rådata
Dokumentet med frågor och svar var rådata och därför behövde en bearbetning. En analys av dataunderlaget visade att det fanns många liknande eller identiska frågor, samt svar. Eftersom alla frågor var blandade med varandra, behövde de grupperas. Huvudsyfte med grupperingen var att skapa grupper, där varje grupp skulle ha frågor som är relaterade till samma område. Gruppering gjordes som ett iterativt arbete. Rådatan gicks igenom i flera omgångar tills man uppnådde en tillfredsställande nivå.
Under första omgången skapades flera stora grupper som bestod av samma typ av frågor, de var relaterade till samma avdelning på Luleå tekniska universitet, till samma ansvariga person eller så var specifika frågor som krävde ett specifikt svar, se bilaga 7.1.2..
Genom att gå igenom de frågorna upprepade gånger, upptäcktes frågor som kunde kopplas med varandra, i den stora gruppen. Under andra omgången skapades nya mindre grupper av frågor som tillhörde en och samma grupp. Utifrån de stora grupperna fick man fram 23 mindre grupper med frågor, se bilaga 7.1.3.
Efter att de mindre grupperna definierats, gjordes en ny genomgång av varje grupp. Fokus vid den tredje genomgången var att undersöka varje fråga och svar för sig självt och inom respektive grupp.
Rådatat som användes som underlag till chatboten, kom från mail-konversationer mellan studenter/
sökande/intresserade och ansvarig personal. Vissa frågor hade väldigt stora och omfattande, som inte var ett bra underlag. För att de skulle vara användbara, gjordes en bearbetning. Bearbetningen av stora och omfattande svar, handlade om att konkretisera svaren, samt att få fram det centrala och viktiga. Det var väldigt få frågor som var direkt användbara, och bearbetningen var stor del för att få rådatan användbar för chatboten.
Vid undersökningen upptäcktes det också att vissa frågor såg, antingen helt eller nästan helt,
identiska ut. Målet var inte att besvara likadana frågor flera gånger, eftersom det skulle vara onödigt och tidskrävande. Därför fortsattes arbete med att sammanställa likadana frågor till en gemensam fråga och ett gemensamt svar.
Frågor och svar hade samlats in under en längre period och när arbetet med utvecklingen påbörjade så det var viktigt att kontrollera att alla svar var fortfarande var relevanta. Under denna omgång kontrollerades också länkar som hänvisade till externa webbsidor. En grupp frågor som blev borttagna, var de om internationell profil, eftersom den inte längre existerar på systemvetenskap programmet. Många länkar som fanns i svaren var felaktiga, eftersom sidorna hade uppdaterats.
Därför var det viktigt att hitta nya länkar som skulle vara med i svaren till användarna.
3.2.1.1. Målgrupp
Målgrupperna för projektet har tagits fram utifrån de grupper av frågor som identifierats. Den primära målgruppen var sökande till systemvetenskapliga programmet på Luleå tekniska universitet. Sökande till detta program låg bakom den största delen av de frågor som låg till underlag till chatboten. Den sekundära gruppen skulle kunna delas i två mindre grupper. Övriga grupper var studenter som läser systemvetenskap och de som läser digital tjänsteutveckling på Luleå tekniska universitet. Den näst största gruppen av frågor i underlaget, kom från nuvarande studenter på systemvetenskapliga programmet. Anledning till att, digital tjänsteutvecklings- studenter var i den sekundära gruppen, är att det finns kurser på det programmet som är gemensamma med systemvetenskapliga programmet.
3.3. Urval
Som urval av personer för individuella intervjuer kan man välja mellan respondenter och
informanter. Personer som har direkt kännedom om ett fenomen, till exempel genom deltagande i en händelse, är respondenter. Å andra sidan är personer, som inte representerar gruppen som undersöks men som har goda kunskaper om fenomenet, är informanter (Jacobsen, 2017).
I DSRM är utvärdering en viktig del av arbetet. Under detta steg intervjuades informanter.
Anledningen till det var att de hade erfarenhet inom användning av chatbotar, men inte någon större kunskap om chatbotar. Vid urvalet var det viktigt att både nuvarande studenter och de som skulle söka ett program var deltagande inom utvärderingen.
4. Resultat
I det här kapitlet presenteras utvecklingsprocess. Den processen påbörjade med ett inledande möte och avslutade med en IT-artefakt i form av en chatbot. I slutet av detta kapitel presenteras arbetets bidrag i form av designprinciper.
4.1. Utvecklingsprocessen
4.1.1. Identifiera problem och motivering
För att förstå problemet genomfördes ett möte i början av projektet. På mötet diskuterades nuläget på Luleå tekniska universitet. Varje program på Luleå tekniska universitet har en programansvarig.
För eventuella frågor om antagningsprocessen till programmet, examinationer och andra frågor som är relaterade till programmet, kan man kontakta ansvariga lärare. Under antagningsperioden ökar antalet frågor som ställs till ansvariga läraren, vilket kräver mycket tid för att besvara dem. Vissa typer av frågor, som kräver ungefär samma svar, upprepas ofta.
Problemen kan definieras som:
-
Daglig frågeställning via mail till ansvariga lärare.-
Tidskrävande för att besvara alla frågor.-
De som ställer frågor behöver vänta på svar.4.1.2. Definiera ett eller flera mål för lösning
Istället för att ansvarig lärare, varje gång, besvarar samma frågor på ett ungefär likadant sätt, kan en chatbotsassistent göra det. Förväntningen är att implementationen av en chatbotsassistent kommer att minska belastningen i form av frågor som ställs direkt till de ansvariga lärararna. Istället för att användarna behöver vänta länge på svar, kan de som ställer frågor få svar snabbare.
Målen, med implementering av en chatbot, är:
-
Att minska antal frågor som ställs till ansvariga lärare.-
Att lägga mindre tid på att besvara alla frågor.-
Att få snabbare svar.4.1.3. Första iterationen
4.1.3.1. Mål med första iterationen
Mål med den första iterationen var att utveckla chatbotens inre struktur. Efter att strukturen byggdes upp fortsattes arbete med att utvärdera den strukturen med uppdragsgivare. Efter den utvärderingen fortsatts arbete med att utveckla dialogen mot användare.
4.1.3.2. Fas 1 i första iterationen, design och utveckling
Första fasen i första iterationen inom design och utveckling handlade inte om att börja bygga upp själva dialogen som skulle rikta sig mot användaren med implementerade designprinciper. Den första fasen handlade om att bygga upp strukturen som innehåller de beståndsdelar som har
beskrivits under teoridelen i stycke 2.3.1. Den strukturen baserades på dataunderlaget till chatboten.
Strukturen byggdes upp genom att försöka överföra grupperna från datadokumentet till chatbotens folder för noder. För varje frågegrupp, med respektive svar skapades en folder för noder i
chatbotens inre struktur. När alla folder var skapade, fortsatte arbetet med att börja utveckla noderna.
Att lägga till noder var andra steg i utvecklingen av artefaktens dialog. Arbetet började med att skapa ett intent och efter det koppla intetet med en nod, som skulle befinna sig i en folder, där det skulle vara ett bestämt svar. För att chatboent skulle kunna förstå vad användaren vill ha svar på måste en och samma fråga skrivas på olika sätt. Ju fler sätt finns, desto bättre chans att chatboten förstår frågan. Som minst antal var det 7 stycken formuleringar av varje fråga. Chatboten tränades upp genom att hitta nyckelbegreppen i frågorna.
Bild 2. Ett exempel på ett intent, en fråga som handlar om databaser 1. Inom detta intent finns det 20 stycken olika sätt, som frågan ställdes på.
För att underlätta arbetet skapades grupper i själva chatboten som var identiska med de i underlaget.
De små grupperna innehöll frågor som var relaterade till antingen Luleå tekniska universitet (allmänna frågor) eller systemvetenskap. Därför skapades två stora grupper som de skulle befinna sig i. Det var lättare att hitta en viss fråga då den måste göras om. De grupperna existerar inte i chatbotens struktur, utan fungerar som ett prefix i intents namn.
Bild 3. Skärmdump som visar de två stora grupperna som frågorna är relaterade till.
När en fråga skrevs in, var det dags att lägga till svar och bli färdig med en nod. Först skapades en nod i en bestämd folder och efter det matades ett svar in. För att underlätta eventuell felhantering så döptes alla noder till ett likadant namn som tillhörande intent hade. Vid skapandet av en nod, finns det en select option som heter ”If assistant recognizes”, där väljer man vilket intent som chatboten ska ge svar på. Det fungerar som en koppling mellan intent/fråga och svar. Vidare finns det
”Assistant responds” och det är svaret som chatboten ger. Där kan man välja olika format för svar.
Alla svar som denna chatbot ger är i textformat. Eftersom det bara var textformat, så räckte det att kopiera in svar från den bearbetade datan och klistra in under ”Assistant responds”.
Bild 4. Exempel på en nod som besvarar frågan om databaser 1 och som befinner sig i folder som heter ”Specifika frågor”.
Bild 5. Den här bilden visar hur en nod är strukturerad inuti.
Bild 6. Skärmdump som visar en del av folder som finns med i chatbotens struktur.
Arbetet upprepades tills de flesta frågor och svar var inmatade. Vissa frågor lämnades kvar till senare delen i utvecklingsprocessen. När data var inmatad, så var chatboten för sin första utvärdering.
4.1.3.3. Utvärdering
I den här fasen av arbetet gjordes inte någon utvärdering med användare. Tanken var att användaren inte är intresserad av chatbotens inre struktur och att det därför inte var relevant för dem. Däremot utvärderade man genom att gå igenom grupper och jämföra med de folders som fanns med i chatbotens struktur. Efter det så testades chatboten genom att utvecklaren ställde frågor till den.
Syftet var att gå igenom chatbotens struktur och se att allt var kopplat som det skulle vara. Det betydde att chatboten skulle ge rätt svar på en fråga och inte blanda frågor och svar, vilket skulle kunna hända om man gjorde misstag och kopplade ett intent med en fel nod. Vidare var det ett möte med uppdragsgivaren för att redovisa vad som hade gjorts och höra tankar för hur arbetet skulle fortsätta. Återkopplingen på själva strukturen var positiv och allt var redo inför nästa fasen, där designprinciperna skulle implementeras och chatboten skulle utvärderas mot användare.
4.1.3.4.
Fas 2 i första iterationen, design och utveckling
Under andra fasen påbörjades med utvecklingen av själva dialogen med designprinciperna som finns med under teoridelen under stycke 2.4. I data-dokumentet fanns frågor som hade länkar till externa webbsidor. Vissa webbsidor uppdateras kontinuerligt, vilket betyder att själva länkar förändras kontinuerligt. De frågorna skulle läggas till under andra iterationen eftersom de verkade vara mer tidskrävande och krävde ett annat arbetssätt. I första iterationen tränades chatboten upp på frågor som inte hade någon hänvisning till externa sidor.
I den här fasen försöktes med implementering av följande designprinciperna:
-
Chatboten ska tydligt informera användaren att det inte är en människa man kommunicerar med (Lebeuf et al., 2018).-
Chatboten ska inte vara tråkig, språket ska vara vänligt, och inneha ett visst avstånd (Lebeuf et al., 2018).-
En chatbot bör kunna ta initiativ i samtal ibland (Morrissey & Kirakowski. 2013).-
Interaktionen bör vara optimerad, enkel, och framskrida utan svårigheter (Lebeuf et al., 2018).Chatboten börjar alltid konversationen med: ”Hej och välkommen! Jag heter Anna och är en chatbot för Systemvetenskap. Jag är ny på jobbet och lär mig nya saker varje dag. Vad kan jag hjälpa dig med?” Chatboten börjar konversationen med att meddela användaren att den inte är en verklig människa. Enligt designprincipen, ska chatboten meddela användaren om det för att användaren ska vara medveten om att det inte är en människa och att man kan förvänta sig att inte få ett rätt svar om chatboten inte har lärts sig att besvara den frågan (Lebeuf et al., 2018). Chatboten meddelar också användare om att den är ny på jobbet och att den är under kontinuerlig utveckling, man ska vara medveten att problem kan uppkomma (Lebeuf et al., 2018). Det är viktigt eftersom en fråga kan verka lätt, men det kan det hända att den frågan inte har bearbetats under chatbotens utvecklingsfas, utan kommer vid behov att läggas till senare. Slutligen ställer chatboten en fråga till användaren,
”Vad kan jag hjälpa dig med?”. Vid utveckling av en chatbot är det viktigt att tänka på att den ska kunna hålla konversationen på ett trevligt sätt (Lebeuf et al., 2018), och denna mening verkar vara ett trevligt sätt att börja konversationen med.
Efter den inledande meningen kommer förslag med vanliga frågor som ställs ofta. Anledning till att det skulle finnas frågor, som man kan direkt få svar på, var att underlätta interaktion mellan
användaren och chatboten. Morrissey & Kirakowski (2013) nämner att en chatbot bör kunna ta initiativ i kommunikationen, och som förslag nämns att chatbot kan ge förslag på olika teman. Med hjälp av ”välj ett alternativt” kan chatboten spara tid för användare som har frågor som ställs ofta.
På det sättet får man en optimerad, lättsam interaktion/kommunikation mellan chatboten och användare. Ifall att man har en annan typ av frågor, som inte finns med på listan, måste man skriva in själv. Anledning till att just de frågorna befinner sig i listan, är att de kommer från
dataunderlaget, det vill säga rådatan. Där har många identiska frågor hittats, vilket betyder att de har ställts ofta och från olika personer. En annan anledning till att ha ”välj ett alternativ” är att
chatboten ska kunna tydliggöra för användare vilka typer av frågor den kan besvara, alltså ge ett översiktligt perspektiv.
Bild 7. Skärmdump av början av konversationen med chatboten.
4.1.3.5. Utvärdering
Efter att chatboten hade tränats på frågor och svar, gjordes en utvärdering i Watson-miljö.
Respondenterna som bestod av gymnasielever som är på tredje året, och nuvarande studenter som läser systemvetenskap fick chans att chatta med chatboten och utvärdera den. Efter att de
kommunicerat med chatboten fick de delge sina åsikter om chatboten och besvara förutbestämda frågor. Frågorna som ställdes till dem var baserade på designprinciper för utveckling av en chatbot.
De fick också möjlighet att berätta vad de tyckte om chatboten utöver de frågorna.
Chatboten lyckades uppfylla de designprinciper som säger att användare ska vara medvetna om att de kommunicerar men en chatbot och att den inte är verklig människa (Lebeuf et al., 2018). Vidare tyckte de att det var bra att chatboten informerar användaren om att den är ny på jobbet. Det minskar risken att man blir frustrerad under kommunikationen ifall att man inte får ett tillräckligt bra svar på sin fråga, eller inte får något alls. De tyckte att det var bra att berätta att svårigheter under kommunikationen skulle kunna uppkomma. Chatboten ska inte vara tråkigt att kommunicera med, det ska vara trevligt men med ett visst avstånd (Lebeuf et al., 2018), och därför tillfrågades deltagarna om upplevelsen av kommunikationen med chatboten. Återkopplingen var att början av konversationen var utformad på ett trevligt sätt, men att det var svårt att bestämma längre fram i konversationen eftersom de bara fick konkreta svar på sina frågor. I detta fall, kan man konstatera att den designprincipen, uppfylldes delvis.
Förutom det visade det sig att ”Select an option” var en bra början på konversation. De frågorna riktar sig mot chatbotens primära användargrupp, vilken är sökande till systemvetenskap. Den delen underlättade konversationen för dom som hade frågor som ställs ofta. Istället för att tänka på att formulera en fråga kunde man direkt få ett svar på sin fråga. Designprincipen säger att
konversationen med en chatbot bör vara optimerad, enkel (Lebeuf et al., 2018), men den säger inte på vilket sätt dialogen bör vara utformad för att detta krav ska uppfyllas. Vidare tyckte deltagarna att ”Select an option” var ett sätt att initiera konversation om olika teman. Som har redan nämnts, en chatbot bör kunna ta initiativ i samtalet (Morrissey & Kirakowski, 2013).
Utifrån den här utvärderingen kan man sammanställa designprinciperna, som säger att en chatbot bör underlätta konversationen och ta initiativ i samtal, till en och samma designprincip:
- Att en chatbot bör erbjuda en ”Select an option” funktion.
Själva kommunikationen med chatboten visade att den kan besvara ett antal frågor som ställdes.
Problemet uppkom när den inte kunde förstå frågan. Istället för att meddela användare om att den inte förstå frågan, så gav den ett konstigt svar. I den delen lyckades chatboten inte att uppfylla designprincipen som säger att användare ska vara informerad om att den inte förstår frågan. Vidare saknade chatboten en kontrollfunktion, där användaren skulle ge en återkoppling. Den kontrollen bör fråga användaren om man fick ett bra svar, där ska man svara med förutbestämda svar: ja eller nej. Kontrollen bör hjälpa till chatboten att förstå att användaren inte får tillräckligt bra svar och att problem uppstått under konversationen
Utifrån den första utvärderingen visade det sig att vissa designprinciper inte har uppfyllts och behöver bearbetas i den andra iterationen. De är:
-
En chatbot bör informera användaren när den inte förstår en fråga (Lebeuf et al., 2018).-
Användare ska kunna ge ett feedback om man har fått ett bra svar på sin fråga (Borkovich &Noah, 2014).
-
Vidare bör användare alltid vara informerad om att det finns mänskliga medarbetare som stöd (Diederich et al. 2019).Bild 8. Den här bilden visar brister av de två designprinciperna i chatbots dialog. Chatboten förstår inte frågan, ger ett fel svar, och sedan kontrollerar inte om användare är nöjd med svaret.
4.1.4. Andra iterationen 4.1.4.1.
Mål med andra iterationen var att implementera designprinciperna som saknades efter den första iterationen. Vidare var målet att konstruera svar som innehöll länkar till externa webbsidor på ett bra sätt. Efter att de svaren matades in var målet att utvärdera den lösningen och se om den var bra.
4.1.4.2. Design och utveckling
Under andra iterationen fortsattes arbetet baserat på utvärderingen från den första iterationen. Det betyder att man i den andra iterationen försökte implementera de två designprinciperna som chatboten saknade efter första iterationen. De två funktionerna som borde läggas till var att chatboten skulle be användaren omformulera sin fråga, om chatboten inte kunde förstå den, och hänvisa till LTU personal vid icke-tillräckligt svar. För att göra en kontrollfunktion så ställer chatboten fråga ”Jag är under upplärning. Fick du svar på din fråga?” För att svara på den frågan trycker man på antigen ”Ja” eller ”Nej”. Om man har fått svar på sin fråga och trycker på ”Ja” då svarar chatboten ”Jättebra att du fick svar på ding fråga! Finns det något annat jag kan hjälpa dig med idag?” Efter att chatboten har svarat med denna mening, är det upp till användare om
konversationen ska fortsätta. Om man inte har fått ett bra svar på sin fråga och svarar med ”Nej” på chatbotens fråga då svarar chatboten ” Ingemar Andersson är utbildningsledare på det
systemvetenskapliga programmet. Har du detaljfrågor som du inte hittar svar på under programsidorna eller i utbildningsplan, så kan ni nå honom via email på
Ingemar.Andersson@ltu.se. Om programmet: www.ltu.se/edu Välj utbildningar, Data/IT och välja sedan systemvetenskap.” Om chatboten inte förstår en fråga bör den informera användaren om det.
Den designprincipen saknades efter den första iterationen. När det händer, informerar chatboten användare om det på följande sätt ”Jag förstod inte. Kan du prova omformulera din fråga?” På det sättet kan chatboten både informera användaren om problem och samtidigt be användaren att omformulera sin fråga. Anledning till att det finns hänvisning till ansvarig personal, när chatboten inte förstår en fråga eller inte ger ett tillräckligt bra svar, ligger i designprincipen som säger att användare bör alltid vara informerad om att det finns ett stöd av mänskliga medarbetare (Diederich et al. 2019).
Andra delen av andra iterationen handlade om att träna upp chatboten att ge svar som innehåller hänvisningar till en extern webbsida. Som har redan nämnts, vissa av de webbsidorna uppdateras kontinuerligt, vilket leder till att länkar förändras.
Ett angreppssätt som ansågs vara bra, handlade om att lägga en klickbar länk till en yttre sida med beskrivningen hur man skulle ta sig vidare till just den sidan man behövde. Anledning till det här angreppsättet var att administratören inte behöver ha kontinuerligt koll på varje sida som finns med i något av chatbotens svar. Om det finns en länk som hänvisar direkt till en specifik sida, som kanske uppdateras ofta, måste chatbotens administratör ha koll när något på den sidan har
förändrats. Det kan vara tidskrävande och innebär en risk att missa någon sida som inte finns. Om administratören missar uppdatera ett svar, då blir det svaret icke-relevant, vilket kan orsaka en dålig användarupplevelse.
Designprincipen som testades här var:
- Att använda klick-bara länkar med navigeringar.
Bild 9. Skärmdump som visar resultatet på bearbetningen av svaret som innehöll en extern länk.
4.1.4.3. Utvärdering
Efter implementation av designprinciperna som saknades efter den första iterationen och upplärningen av frågorna som innehöll länkar i sina svar, var det dags för en ny utvärdering.
Utvärderingen i den andra iterationen skilde sig från utvärderingen i den första iterationen. I den första delen fick användare kommunicera med chatboten utan någon påverkan från utvecklaren. I den här delen testades de designprinciperna som saknades efter första iterationen och det visade sig att chatboten uppfyllde de designprinciperna:
-
En chatbot bör informera användaren när den inte förstår en fråga (Lebeuf et al., 2018).-
Användaren ska kunna ge ett feedback om man har fått ett bra svar på sin fråga (Borkovich &Noah, 2014).
-
Designprincipen som läggs på de två designprinciperna är den att användare bör alltid vara informerad om att det finns ett stöd av mänskliga medarbetare (Diederich et al. 2019).För att få återkoppling om svaren som innehöll länkar användes ett annat sätt för utvärdering. I den här delen var fokus på att utvärdera om det var tydligt beskrivet hur man skulle ta sig vidare till den sidan man ville, efter att man klickade på en klick-bar länk. Därför var deltagarna informerade om att det skulle finnas begränsningar i utvärderingen och att det skulle förekomma påverkan från utvecklaren. Utvecklarens påverkan handlade om att navigera deltagarna angående vilka frågor som skulle kunna ställas till chatboten för att få svar som innehöll en klick-bar länk. När de kom till den externa sidan var det viktigt att uppmärksamma om det var enkelt att hitta den sidan de ville. I det här fallet betyder det att namnet i chatbotens svar stämde överens med namnet på den sidan de befann sig på. Vidare var det viktigt att se om det skulle vara enkelt att hitta de nya knapparna för att komma till den önskad sidan.
I den här utvärderingen visade det sig att klick-bara länkar med följande navigeringar var ett bra sätt att hantera externa webbsidor som ett svar skulle kunna inkludera.
4.2. Arbetets bidrag
I tabell 2 presenteras designprinciperna som har implementerats under arbetet. De första tre designprinciperna kommer ifrån teoridelen och sista två designprinciperna är inte baserade på någon tidigare forskning utan de har kommit som resultat av det här arbetet.
Tabell 2. Den här tabellen visar bidraget med arbetet. Bidraget är designprinciperna som man bör ta hänsyn till vid utveckling av en chatbots dialog inför användning på ett universitets program.
Designprinciper Beskrivning
En chatbot bör informera användare om att den
är en chatbot. Innan man skriver in sin fråga bör man vara medveten om att det är en chatbot man kommunicerar med, och att svårigheter kan uppkomma (Lebeuf et al., 2018).
Om chatboten inte förstår fråga, då ska den informera om det och be användare omformulera sin fråga eller hänvisa till en ansvarig person.
Den här designprincipen byggs på den föregående
designprincipen. Användaren ska vara medveten att det inte är en verklig människa och att det kan hända att chatboten inte förstår en fråga. Ifall att chatboten inte förstår frågan så bör den informera användare om det, och be användare omformulera sin fråga, (Lebeuf et al., 2018), eller hänvisa till ansvariga
(mänskliga medarbetare) (Diederich et al. 2019).
Användare ska kunna ge en återkoppling,
kontroll om svaret är tillräckligt bra. När användare har fått ett svar så bör chatboten kontrollera om det är ett bra svar. Ifall användaren inte har fått ett bra svar så bör chatboten hantera fel, (Borkovich & Noah, 2014). Om användare inte är nöjd med svaret så bör chatboten hänvisa till en ansvarig person som kan besvara frågan (Diederich et al. 2019).
Efter den inledande meningen ska chatboten
erbjuda ”Select an option” För att underlätta konversationen och göra den snabbare, bör chatboten erbjuda ”Select an option” i början av konversationen.
”Select an option” bör bestå av mest frekventa frågor som ställs till chatboten.
Klick-bara länkar med navigeringar. När chatboten bör hänvisa till en extern webbsida som är kontinuerlig under uppdatering, så bör den ge en klick-bar länk till en yttre sida som inte uppdateras ofta, men en sida man kan ta sig vidare från till den önskade sida. För att man ska kunna komma fram, ska det finnas navigering i form av namn på olika knappar man ska klicka på. T.EX. www.ltu.se Välja sedan XXX
> XXX > XXX.
5. Diskussion och slutsatser
I det här kapitlet presenteras diskussion och slutsatser om arbetets resultat.
Syftet med detta arbete var att utveckla en IT-artefakt i form av en chatbot som skulle användas på Luleå tekniska universitet för att minska daglig frågeställning till ansvarig personal. Vidare var syftet att under utvecklingsprocessen undersöka vilka designprinciper man bör implementera vid utveckling av en chatbot som ska användas på ett universitet. Utifrån syftet definierades
forskningsfråga:
Hur bör en chatbots dialog vara utformad inför användning på ett universitets program?
Dialogens utveckling påbörjade med att lära upp chatboten frågor och svar från dataunderlag från ansvarig personal. Detta gjordes under första iterationen, då strukturen utvecklades. Diederich et al.
(2019) nämner att det är viktigt att chatbot förstår korrekt en fråga, vilket leder till att den ger ett meningsfullt svar. Den första iterationen syftade på att säkerställa att frågor och svar passade ihop.
Den designprincipen är inte med i tabell 2 eftersom det anses vara logiskt att frågor och svar bör passa ihop. Under den första utvärderingen märktes att interaktionen var ganska begränsad. Den var begränsad eftersom det var bara intent och svar som var inmatade.
För att utveckla dialogen borde designprinciperna implementeras. Designprinciperna som beskrevs i teoridelen var ytliga. Det betyder att de säger vad som bör göras, men inte på vilket sätt de ska uppnås. Därför måste själva utvecklare hitta ett sätt att konstruera dialogen så att den uppfyller designprinciperna.
Första designprincipen säger att en chatbot bör informera användaren om att den är en chatbot man kommunicerar med (Lebeuf et al., 2018). Diederich et al. (2019) bygger på den designprincipen med att en chatbot också bör informera användaren om eventuella begränsningar i form av frågor som den kan besvara. Utifrån arbetets resultat kan man konstatera att den designprincipen enkelt kan uppnås. Under utvärderingen visade det sig att det räcker med en kort inledning i
konversationen, där chatboten informerar användare att den är en chatbot, och informerar om sina begränsningar. Man kan konstatera att denna designprincip är generell och bör implementeras på alla chatbotar, inte bara på dom som ska användas på ett universitet.
Även om det är en chatbot, inte en människa, bör den vissa mänskliga egenskaper, vilket ska göra kommunikationen trevlig (Lebeuf et al., 2018). Diederich et al. (2019) nämner också att det bör finnas känslor i kommunikationen. Utifrån resultatet kan man konstatera att denna designprincip är ganska svårt att implementera, utöver det är det subjektiva upplevelser som är avgörande hur en kommunikation uppfattas. Det visar sig att det är svårt att implementera denna designprincip när kommunikationen mellan en användare och en chatbot är så konkret och begränsad. Dataunderlaget till denna chatbot bestod av konkreta frågor och svar och det hade varit svårt, eller knappt möjligt att konstruera alla svar på ett trevligt sätt. Å andra sidan, i chatbots delarna där man kunde vara mer flexibel, var det möjligt att implementera denna designprincip och utforma dialogen så att den skulle se trevligt ut.
Användaren ska alltid informeras när chatboten inte förstår en fråga (Lebeuf et al., 2018). Diederich et al. (2019) nämner också att det är viktigt att chatboten ska informera användaren och be
användare omformulera sin fråga. Vidare är det viktigt att det finns information om mänskliga
medarbetare som kan besvara en fråga som chatboten inte kan förstå (Diederich et al. 2019).
Designprincipen för felhantering implementerades i ett och samma svar. När chatboten inte förstå en fråga då informerar den användare, vidare ber den användare att omformulera sin fråga och slutligen hänvisar till en ansvarig som kan besvara frågan. Eftersom en chatbot har begränsad tillgång till data, så är det omöjligt att den kan besvara alla frågor, vilket betyder att det måste finnas en person som chatboten ska hänvisa till. Slutsatsen som kan dras är att alla chatbotar måste kunna hantera problem som uppkommer när de inte förstår en fråga.
Borkovich & Noah (2014) nämner att i en konversation mellan två deltagare bör det finnas ett feedback-lopp. Om den designprincipen överförs till kommunikation med en chatbot så betyder det att chatboten bör fråga användaren om man har fått tillräckligt bra svar på sin fråga. Den
designprincipen uppfylls genom att chatboten alltid ställer frågan om användare har fått ett bra svar där användaren svarar med förutbestämda alternativ JA eller NEJ. Om användare svarar med NEJ så bör chatboten hänvisa till en människa som kan besvara den frågan. Diederich et al. (2019) nämner att det är viktigt att chatboten kan hänvisa till en människa, och att chatboten kan lära sig från kommunikations problem, dock visas inte något konkret exempel på hur detta kan uppnås. Att ha ett feedback-lopp kan visa vilka brister i kommunikation chatboten har, och vilka delar kan förbättras.
Designprincipen som säger att en chatbot ska erbjuda en ”Select an option” visar sig vara
användbart när en chatbot ska användas på ett universitet. Den här designprincipen har inte någon bestämd teoretisk bakgrund som föregående designprinciperna, utan den kom som ett resultat av att försöka implementera designprinciperna som säger att en chatbot bör kunna ta initiativ (Morrissey
& Kirakowski 2013) och att konversationen bör vara enkel och optimerad (Lebeuf et al., 2018).
Vidare visar det sig att ”Select an option” underlättar konversationen för de som har frågor som är vanligt förekommande och som har ställts flest gånger. Dock är det inte möjligt att generalisera den här designprincipen. Anledning till det är att den här chatboten är anpassad bara till en liten del av en organisation. Det svårt att veta hur användbar den funktionen skulle vara om det hade varit en stor organisation med flera olika avdelningar och olika användare, då den funktionen måste täcka många frågor. Den funktionen visade sig användbar när den täcker ett specifikt område med specifika användare.
Vid hänvisning till en extern webbsida är det viktigt att säkerställa att användare verkligen kan komma fram till den sidan. Eventuella fel i den processen kan orsaka frustration och dålig användarupplevelse. I dataunderlaget till chatboten fanns ett antal svar med länkar till externa webbsidor. Redan under bearbetningsfasen insåg man att de flesta inte fungerade, vilket betydde att man inte kunde komma fram till någon webbsida. Informationen som uppdragsgivaren gav, var att sidorna uppdateras ofta vilket leder till att länkarna som hänvisar till dem förändras. Om det finns direkta länkar i svar så måste de ändras i chatboten varje gång en webbsida uppdateras. Det kan vara tidskrävande att ha alltid koll på vad som har ändrats. Vidare finns det alltid risk att man missar kontrollera en webbsida. Om de skulle hända, skulle det svaret direkt bli icke-relevant och
oanvändbart. Lösningsförslag var att använda en yttre webbsida, som inte uppdateras ofta eller inte alls, och navigera vidare till den webbsidan användare behöver komma fram. För att underlätta användarens interaktion valdes klick-bara alternativ för länkar. Utifrån utvärderingen visade det sig vara en användbar lösning på problemet med hänvisning till externa webbsidor som är kontinuerligt under uppdatering. Dock är det svårt att konstatera att den här designprincipen kan implementeras på alla chatbotar. En anledning till det kan vara att målgruppen för den här chatboten är studenter, vilket betyder att alla har haft kontakt via en dator, eller andra IT-enheter och beroende av dem
under sina studier. De flesta, om inte alla är vana vid användning av IT-enheter och internet, vilket i stor grad underlättar interaktionen med chatboten. Det är inte säkert att alla användare skulle kunna förstå den här typen av navigeringen.
Slutsatsen som kan dras är vissa designprinciper kan generaliseras, vilket betyder att de kan implementeras på alla chatbotar. De designprinciperna är:
• En chatbot bör informera användaren att den är en chatbot, inte en människa.
• Om chatboten inte förstår frågan, då ska den informera om det och be användare omformulera sin fråga eller hänvisa till en ansvarig person.
• Användare ska kunna ge ett feed-back, kontroll om svaret är tillräckligt bra. Vid icke-tillräckligt svar ska chatbot hänvisa till en ansvarig person.
Designprinciperna som är mer specifika till detta fall är:
• En chatbot bör erbjuda en ”Select an otpion” till användare.
• Vid hänvisning till externa webbsidor som uppdateras ofta ska användas en klick-bar länk med navigering, T.EX. www.ltu.se Välja sedan XXX > XXX > XXX.
Designprincip som delvis kan implementeras:
• En chatbot bör vara trevlig att kommunicera med.
5.1. Metoddiskussion
För att utföra detta arbete valdes Design Science Research Methodology (DSRM). Målet med DSRM stämde överens med målet med detta arbete, vilket var att utveckla en IT-artefakt.
Under utvecklingsprocessen utvärderades chatboten genom att respondenterna fick kommunicera med den och dela sina åsikter. Utvärderingen hade förmodligen blivit bättre om det hade varit flera respondenter. Ju flera respondenter deltar, får man ett bredare perspektiv på en produkt. Vidare hade kanske flera iterationer förbättrat chatboten. Under flera iterationer hade man kunnat undersöka små detaljer och förbättra dem.
Vidare kunde dataunderlaget påverka chatboten. Frågor och svar som låg som underlag till chatboten var ganska konkreta, vilket orsakade mindre flexibilitet i utvecklingen av dialogen.
5.2. Framtida studier
Utifrån slutsatsen kan framtida studier undersöka om ”Select an option” är alltid en bra början på konversationen och om klick-bara länkar med navigering är alltid en bra lösning vid hänvisning till externa webbsidor som är under uppdatering ofta. Utifrån de studierna skulle man kunna konstatera om de designprinciperna kan generaliseras eller inte. Vidare kan det vara intressant att undersöka hur en chatbotsdialog bör utformas för att den alltid ska vara trevlig.
Det kan också vara intressant att undersöka hur en chatbots dialog utvecklas efter att chatboten har implementerats och använts under en viss period.
Referenser
Här presenteras referenser till olika artiklar och webbsidor som har använts i denna rapport.
6.1. Litteratur
Adamopoulou E., Moussiades L. (2020) An Overview of Chatbot Technology. In: Maglogiannis I., Iliadis L., Pimenidis E. (eds) Artificial Intelligence Applications and Innovations. AIAI 2020. IFIP Advances in Information and Communication Technology, vol 584. Springer, Cham. DOI: https://
doi.org/10.1007/978-3-030-49186-4_31
Araujo, T. (2018) Living up to the chatbot hype: The influence of anthropomorphic design cues and communicative agency framing on conversational agent and company perceptions
Computers in Human Behavior, 85 pp. 183-189, 10.1016/j.chb.2018.03.051
Borkovich, D. J., & Noah, P. D. (2014). Big Data in the Information Age: Exploring the Intellectual Foundation of Communication Theory. Information Systems Education Journal, 12(1), 15-26.
Bakhshi, N. (2018). Chatbots Point of View. Deloitte Digital, 1-26.
Dahiya, M. (2017). A Tool of Conversation: Chatbot. International Journal of Computer Sciences and Engineering, vol 5(5): 158-161.
Diederich, S., Brendel, A.B. & Kolbe, L.M. Designing Anthropomorphic Enterprise Conversational Agents. Bus Inf Syst Eng 62, 193–209 (2020). https://doi.org/10.1007/s12599-020-00639-y
French, M.R. (2000) The TuringTest: the first 50 years. Trends in Cognitive Science, 4(3):115-122.
DOI: 10.1016/S1364-6613(00)01453-4.
Gillath, O. & Ai, T. & Branicky, M. & Keshmiri, S. & Davison, R. & Spaulding, A. (2021) Attachment and Trust in Artificial Intelligence. Computers in Human Behavior, vol.115, 106607 DOI: 10.1016/j.chb.2020.106607
Jacobsen, D.I. (2017) Hur genomför man undersökningar? (Upplaga 2). Lund: Studentlitteratur.
Kumar, V. & Dixit, A. & Javalgi, R.G. & Dass, M. - Research framework, strategies, and applications of intelligent agent technologies (IATs) in marketing, Journal of the Academy of Marketing Science, 44(2016), pp.24-45.
Lebeuf, C., Storey, M.-A. & Zagalsky, A., 2018. Software Bots. IEEE Software, 35(1), pp. 18-23.
Makridakis, S. (2017). Review: The forthcoming Artificial Intelligence (AI) revolution: Its impact on society and firms. Futures, 9046-60. DOI: 10.1016/j.futures.2017.03.006.
McNeal, M. L., & Newyear, D. (2013). Introducing chatbots in Libraries. Library Technology Reports, 49(8), 5.
