När beslut ska fattas om någon av de jämförda teknikerna ska implementeras bör aktörer först skapa sig en uppfattning kring huruvida någon av teknikerna verkligen passar med befintliga data, då dess språkliga struktur kan påverka den potentiella fördelen som kan komma med teknikerna.
Som studien visar tar träning av modeller vid användning av lemmatisation avsevärt längre tid, jämfört med en konfiguration som saknar tekniken. Vid användning av tekniker som nyttjar ordlistor bör därför övervägande ske för att avgöra om vinsten i form av större andel korrekta klassificeringar är värd den extra tid det tar att träna en modell. För att minska tidsåtgången kan investeringar i hårdvara alternativt molntjänster vara till nytta. Ur en miljömässig synvinkel måste investeringarna ske på ett sätt som säkerställer att infrastrukturen tar tillvara på överskottsvärme samt har en energieffektiv kylning för att minska klimatpåverkan. Vid användning av molntjänster i kombination med hantering av chathistorik, finns en lagstiftningsa-spekt att ta i beaktning då det kan få stora ekonomiska konsekvenser för aktören om kunddata händelsevis skulle integreras i en datamängd och därefter behandlas hos en molntjänstleverantör.
Under tester med engelska språket kunde studien inte finna något resultat som tyder på att stemming och lemmatisation ökar träffsäkerheten. Med den extra tidsåt-gången i åtanke finns det ingenting som motiverar användning av tekniken
lemma-tisation utifrån studiens resultat. När det kommer till tekniken stemming finns det
inte heller någon anledning att implementera tekniken, då resultatet inte visar att det sker en förbättring i träffsäkerhet. För det svenska språket kan däremot en im-plementation av tekniken stemming vara motiverad då andelen korrekta klassifice-ringar är högre i jämförelse mot prototyper utan tekniken och skillnad i tidsåtgång är ringa. Den marginella förbättringen i andel korrekta klassificeringar vid använd-ning av tekniken lemmatisation gör det svårt att motivera implementation med tanke på den avsevärt längre tid det tar att träna en modell.
Vid felaktiga klassificeringar, är det eftersträvansvärt att det sker med en så låg kon-fidens som möjligt, så att det går att fånga upp den felaktiga klassificeringen med
25 | ANALYS OCH DISKUSSION
hjälp av ett gränsvärde. Är konfidensen hög kommer det inte vara möjligt att för-hindra att chatboten presenterar ett felaktigt svar för användaren. I syfte att mini-mera situationer då felaktiga klassificeringar orsakar ett irrelevant svar till en använ-dare, bör det ske arbetsinsatser hos leverantörer av chatbotlösningar, som strävar mot att öka konfidens vid korrekt klassificering (True Positives), samt minska kon-fidens vid inkorrekt klassificering (False Positives och False Negatives). Utifrån gra-fer som presenteras i sektion 4.1.4 och i sektion 4.2.4 som visar distribution av klas-sificering-konfidens kan förvaltare bestämma ett adekvat gränsvärde som anger när klassificeringen från mönsterigenkänningsmotorn ska bedömas som tillförlitlig. Detta gränsvärde kan förhindra att chatboten levererar ett svar där systemet klassi-ficerat en text inkorrekt och istället möjliggör returnering av ett förutbestämt svar som exempelvis “Jag förstår inte din fråga, utveckla gärna?”. Utifrån den sociala aspekten skulle en hög tillgänglighet i kombination med hög träffsäkerhet minska stress för användare genom att utesluta långa samtalsköer och samtidigt kunna le-verera snabba och relevanta svar oavsett vilken tid på dygnet det är. Tillgång till chat-botsystem kan även minska stress för användare som ogillar att tala i telefon. Ur ett samhällsekonomiskt perspektiv skulle förbättrade chatbotsystem kunna leda till att arbetsmarknaden för kundtjänstmedarbetare förändras eftersom majoriteten av ärenden skulle kunna lösas av chatbotar och minska behovet av personal.
Optimering av chatbotsystem är ett komplext område på grund av dess tvärveten-skapliga natur där lingvistik och datavetenskap möts. Ur en förvaltares perspektiv krävs därför en tvärfunktionell arbetsgrupp som har kompetens att vidareutveckla alla ingående moduler. I kombination med detta bör även insikt finnas i hur den mönsterigenkännande delen kan förbättras i form av anpassning av test- och trä-ningsdata utifrån loggar genererade av riktiga användarinteraktioner. Det är en ba-lansgång för både organisationer som nyttjar tjänsten för sina kunder samt för aktö-rer som erbjuder chatbottjänster. Samtliga intressenter vill optimera i syfte att an-vändaren i slutänden får ett så korrekt och relevant svar som möjligt. Men för att kunna förbättra innehåll i tjänsterna med hjälp av data genererad av riktiga använ-dare - på ett integritetsriktigt sätt - krävs tydliga och fastställda rutiner som tar den etiska aspekten i beaktande. Exempelvis måste det finnas tydliga begränsningar kring hur lång tid loggar efter konversationer får sparas. Aktörer kommer med all säkerhet behöva betrakta chathistorik som färskvara eftersom den efter en viss tid sannolikt kommer behöva raderas ur systemen.
Utöver historik finns andra verktyg som kan användas av förvaltaren i syfte att kart-lägga vilka delar i träningsdata som orsakar felaktiga klassificeringar. Genom regel-bundna kartläggningar av avsikter som krockar med varandra kan förvaltare ändra på träningsmeningarna för dessa avsikter för att minska förvirring och sedan träna om en ny modell för att se om dessa avsikter fortfarande krockar. Som hjälpmedel för detta finns bland annat Confusion matrix som grafiskt visar en sammanställning över resultatet från en mängd klassificeringar.
27 | SLUTSATSER
6 Slutsatser
Under studiens gång har flertalet prototyper tagits fram och testats för både det svenska och det engelska språket med olika mängder test- och träningsdata. Tes-terna som utförts har bidragit till att målsättningen som är specificerad i sektion 1.3 uppfyllts.
Resultatet visar att prototyper som tagits fram för tekniken lemmatisation har fler antal korrekta klassificeringar och ett högre genomsnittligt F1-score för de båda språken i jämförelse med prototyper som nyttjar tekniken stemming vilket således innebär att studien lyckats besvara frågeställningen.
För prototyper utvecklade att användas för det svenska språket visar studien att tek-niken lemmatisation gav bäst resultat i jämförelse mot en prototyp som inte nyttjar någon av teknikerna. För det engelska språket visar resultatet att de använda tekni-kera inte ger en förbättring när det kommer till antal korrekta klassificeringar och ett genomsnittligt F1-score, jämfört med prototypen som saknar teknikerna, givet test- och träningsdata som nyttjats under studien.
Genom mätning av tidsåtgång för träning av mönsterigenkännings-modeller har prototyper som nyttjar lemmatisation visat sig - givet använd utrustning - ta mar-kant längre tid jämfört med prototyper som ej nyttjar ordlistor i bearbetningspro-cessen.