INOM
EXAMENSARBETE TEKNIK, GRUNDNIVÅ, 15 HP
STOCKHOLM SVERIGE 2021 ,
En tematisk analys av
Skatteverkets chatbot utifrån den statliga värdegrunden
A thematic analysis of the Swedish Tax Agency’s chatbot based on the public service ethos
NIKI SAMAKOVLIS ADAM SÄRNELL
KTH
SKOLAN FÖR ELEKTROTEKNIK OCH DATAVETENSKAP
EN TEMATISK ANALYS AV SKATTEVERKETS CHATBOT UTIFRÅN DEN STATLIGA VÄRDEGRUNDEN
A thematic analysis of the Swedish Tax Agency’s chatbot based on the public service ethos
Niki Samakovlis
KTH Royal Institute of Technology EECS Skolan för elektroteknik och datavetenskap
nikisam@kth.se
Adam Särnell
KTH Royal Institute of Technology
EECS Skolan för elektroteknik och datavetenskap
sarnell@kth.se
ABSTRACT
English
As a government employee at a Swedish authority, one’s work must be permeated by democratic values according to the public service ethos. Since 2018, the Swedish Tax Agency has used a digital employee: a chatbot called Skatti which answers common questions about national registration and income tax returns. At present, the use of artificial intelligence and chatbots is not common among Swedish public services. Therefore it is of interest to investigate which areas should be taken into account based on the public service ethos when authorities choose to implement chatbots in their operations.
To investigate this, 15562 messages sent to the chatbot Skatti from visitors to the Swedish Tax Agency’s website were analyzed using thematic analysis. During the course of the analysis, 184 codes were identified which resulted in 15 themes describing the examined data. These themes were later used to discuss whether Skatti had been developed with the public service ethos in mind.
The results of the study indicate that there are areas where Skatti in various ways does not fully follow the public service ethos and that it may be of interest to take these areas into account in the future development of Skatti.
Svenska
Som statligt anställd på en svensk myndighet ska ens arbete genomsyras av demokratiska värderingar enligt den statliga värdegrunden. Skatteverket har sedan 2018 använt sig av en digital medarbetare i form av chatboten Skatti som svarar på vanliga frågor om folkbokföring och inkomstdeklarationer. I dagsläget är användandet av artificiell intelligens och chatbotar inte vanligt förekommande hos svenska statliga myndigheter.
Därför är det av intresse att undersöka vilka områden som borde tas hänsyn till utifrån den statliga värdegrunden när myndigheter väljer att implementera chatbotar i deras verksamhet.
För att undersöka detta har 15562 st meddelanden till chatboten Skatti från besökare på Skatteverkets hemsida analyserats genom metoden tematisk analys. Under metodens gång identifierades 184 st koder som resulterade i 14 st teman vilka beskriver den undersökta datan. Dessa teman användes sedan för att diskutera huruvida Skatti utvecklats med den statliga värdegrunden i åtanke.
Studiens resultat indikerar att det existerar områden där Skatti på olika sätt inte följer den statliga värdegrunden till fullo och att det kan vara av intresse att ta hänsyn till dessa i den framtida utvecklingen av Skatti.
Nyckelord
Chattbot; Skatteverket; Den statliga värdegrunden.
1. INTRODUKTION
Enligt Regeringskansliet ska Sverige vara världsledande inom nyttjandet av digitaliseringens möjligheter [1]. På uppdrag av Regeringskansliet har därmed Sveriges innovationsmyndighet Vinnova genomfört en analys där de menar på att det svenska samhället genomsyras av en hög grad av digitalisering med en väl etablerad och framstående teknisk infrastruktur [2]. Med det menas att digitaliseringen i arbetslivet har utvecklats väl samt att en majoritet av den svenska befolkningen dels har tillgång till internet och dels besitter stor IT-vana [2].
Syftet med Vinnovas analys var att kartlägga hur väl artificiell intelligens (AI) och maskininlärning kommer till användning i bland annat den offentliga sektorn. Enligt Vinnova definierar de AI som förmågan hos en maskin att efterlikna mänskligt beteende.
I analysen presenteras det att endast 6% av de 171 undersökta svenska statliga myndigheterna har ett pågående arbete med att genomföra projekt med AI-teknik [2]. I en rapport från Jämställdhetsmyndigheten [3] konstateras det att när svenska statliga myndigheter utvecklar digitalisering och använder AI-teknik bör verksamheten vila på den statliga värdegrunden.
Det innebär att när statliga myndigheter ska använda sig utav AI i sitt arbete måste de ta hänsyn till de principer som ska genomsyra allt statligt arbete: demokrati, effektivitet och service, legalitet, respekt, objektivitet och fri åsiktsbildning. Här understryks bland annat att implementationer av AI måste följa lagar, vara transparenta och öppna för granskning, respektera allas lika värde och motverka diskriminering. [3, 4]
En statlig myndighet som i dagsläget använder AI är Skatteverket, bland annat genom deras chatbot “Skatti”. Enligt Skatteverket är Skatti en digital medarbetare som kan svara på allmänna frågor om folkbokföring och inkomstdeklarationer dygnet runt [5]. Efter att ha fått ta del av intern statistik där Skatteverket analyserat 13,3% av konversationerna med Skatti under 2020 visade det sig att Skatti inte kunnat förstå eller svara på 11% av dessa.
Ytterligare visade statistiken att 7.73% av konversationerna innehöll meddelanden som inte var direkt kopplade till Skatteverkets verksamhet.
I det här arbetet kommer det därmed undersökas vad för typer av konversationer Skatti inte kan svara på samt vilka ämnen som förekommer i de meddelanden som inte är kopplade till myndighetens verksamhet. Analysen kommer att genomföras med hjälp av metoden Tematisk Analys på konversationer med Skatti under tidsperioden januari 2021. Vidare kommer det att diskuteras huruvida dessa analyserade konversationer är relevanta att ta hänsyn till utifrån den statliga värdegrunden.
1.1 Syfte och problemformulering
Eftersom att digitaliseringen hos svenska statliga myndigheter är ett faktum samtidigt som användandet av AI fortfarande är lågt är det viktigt att belysa vilka typer av meddelanden som kan inkomma till en statlig myndighet när de, såväl i nuläget som i framtiden, väljer att använda sig av chatbotar. Detta eftersom det kan finnas ett intresse i att anpassa chatboten utifrån den statliga värdegrunden.
Den frågeställning vi vill undersöka är därmed:
“Finns det områden som inte är relaterade till Skatteverkets huvudsakliga verksamhet men som ändå är relevanta att ta hänsyn till utifrån den statliga värdegrunden i den pågående utvecklingen av chatboten Skatti?”
1.2 Avgränsningar
I det här arbetet har vi valt att avgränsa oss till en svensk statlig myndighet. Underlaget för detta arbete ges av konversationer med Skatteverkets chatbot Skatti.
En ytterligare avgränsning är antalet analyserade konversationer då tidsramen för detta arbete begränsar den möjliga kvantiteten.
Därför kommer enbart konversationer från januari 2021 att analyseras.
2. TEORI OCH
RELATERAD FORSKNING
I denna sektion presenteras teori och bakgrund som ligger till grund för detta arbete. Hur chatbotar används i den offentliga sektorn, hur Skatteverkets chatbot fungerar, tidigare relaterad forskning samt bakgrund för metoden tematisk analys.
2.1 Chatbotar och Skatti 2.1.1 Olika typer av chatbotar
En bot kan ses som en digital version av en mekanisk robot, en mjukvara som automatiserar virtuellt arbete eller simulerar mänskligt beteende. En chatbot är en bot som försöker simulera mänskliga konversationer [6].
I artikeln “Chatbots, Humbots, and the Quest for Artificial General Intelligence” från 2019 slår Jonathan Grudin och Richard Jacques fast tre huvudsakliga typer av konverserande botar:
virtual companions, intelligent assistants och task-focused chatbots [7]. Målet med de två första typerna är att kunna hantera vilket ämne som helst fast med olika längd och djup på konversationerna. Assistenten ska snabbt kunna leverera den hjälp som efterfrågats medan en virtual companion förväntas kunna hålla längre samtal. Den sistnämnda typen, “uppgiftsfokuserade chatbotar”, har ofta ett huvudsakligt område där konversationerna tillåts bli mer avancerade, även om de hålls relativt korta för att snabbt uppfylla sitt syfte. De implementeras antingen direkt i en app eller på en hemsida [7].
Chatbotar som digitala medarbetare i en kundtjänst tillhör typen uppgiftsfokuserade chatbotar. Det är en chatbot som i textform interagerar med människor i en chattruta och assisterar dessa på olika sätt. Hädanefter kommer därmed ordet chatbot i det här arbetet att syfta på uppgiftsfokuserade chatbotar.
2.1.2 Chatbotar i den offentliga sektorn
Chatbotar menas kunna reducera den administrativa bördan för offentliga sektorer och främja kommunikationen mellan myndigheter och medborgare inom tillhandahållandet av offentliga tjänster [8]. I detta syfte används chatbotar av flera myndigheter runt om i världen. Till exempel använder North Carolinas regeringskontor, Staden New York och regeringen i Singapore chatbotar för att svara på vanliga frågor [9].
I Sverige är däremot denna typ av chatbotar inte lika vanligt förekommande i den offentliga sektorn som i resten av världen. I Vinnovas analys presenterades det att endast 6% av de undersökta 171 statliga myndigheterna har pågående projekt med AI-teknik, där chatbotar bara är en av flertalet möjliga implementationer [2].
I samma analys framgår det att 37% av de tillfrågade myndigheterna anser att AI skulle bidra till bättre service, kvalitet, effektivitet och arbetsmiljö i ganska eller mycket hög grad.
Däremot anser 78-80% av de undersökta kommunerna och landstingen att AI har hög potential [2]. I dagsläget använder 12 kommuner chatboten Kommun-Kim för att svara på medborgarnas vanligaste frågor dygnet runt [10].
2.1.3 Den digitala medarbetaren Skatti
I en intervju med Skatteverkets AI-tränare Jens Granat berättar Granat att Skatti är skapad med hjälp av plattformen boost.ai: en skalbar, AI-baserad tjänst som låter verksamheter implementera en egen chatbot anpassad efter deras behov. Genom att använda en färdig produkt kan Skatteverket fokusera på att skräddarsy Skatti till att hantera skatteärenden, istället för att lägga stora resurser på de bakomliggande tekniska områdena [11].
Till stor del bygger den här typen av chatbot på supervised learning, ett koncept inom maskininlärning där människor tränar mjukvaran till att kunna kategorisera inputs till fördefinierade kategorier [12]. Att träna mjukvaran innebär att den ges exempel på flera inputs, i chatbotens fall träningsmeningar, där den motsvarande outputen är angiven. Maskininlärningen utgår sedan från dessa givna träningsexempel och lär sig hur den bör kategorisera framtida inputs från användare [12]. Om en ny input inte faller under en befintlig kategori så kan chatboten svara användaren att den inte förstår.
Uppgiftsfokuserade chatbotar baseras ofta på en trädstruktur [7].
Granat förklarar att i Skattis fall identifieras övergripande områden högre upp i trädet, t.ex. “folkbokföring” och underkategorier definieras löpande nedåt i trädet tills det landar i en tydlig fråga som kan besvaras, ett så kallat intent. Dessa intents har oftast en stark koppling till Skatteverkets uppgift som myndighet, t.ex. “Vad kostar det att ändra efternamn?”, men det finns även intent med svagare koppling, t.ex. “Vem är Sveriges statsminister?” [11].
I intervjun berättar Granat att AI-tränarna skapar upp till 30 stycken träningsmeningar för varje intent. Dessa träningsmeningar hjälper Skatti att förstå en ställd fråga, där samma fråga kan ställas
på olika sätt med varierande ordval och grammatik beroende på avsändaren. Varje intent har till sist ett eller flera förutbestämda svar som återges till användaren. Alla fraser som Skatti använder är alltså konstruerade av människor, i kontrast till botar som använder teknik som tillåter boten att konstruera egna meningar baserat på vad den lärt sig från användarna, till exempel genom unsupervised learning [11].
2.2 Människa-bot interaktion
I en studie av Jenkins et al. analyseras människors förväntningar på en chatbot och hur människor interagerar med chatbotar i jämförelse med hur de interagerar med andra människor [13].
Resultaten visar att användare förväntar sig att chatbotar ska bete sig och kommunicera på ett liknande sätt som människor. Om chatboten påminner om en maskin anses boten vara av låg standard. Å ena sidan är det förväntat att chatboten ska ha samma ton, känslighet och beteendemönster som en människa. Å andra sidan är det förväntat att chatboten ska kunna processa mer information än en människa samt kunna fungera som en sökmotor.
En ytterligare upptäckt från studien var att det förekommer lika mycket småprat med chatboten som med en människa vilket enligt studien visar på att det finns en stark efterfrågan på sociala interaktioner när en människa kommunicerar med en chatbot [13].
I en annan artikel har Brahnam och De Angeli [14] analyserat konversationer mellan människor och chatboten “Jabberwacky”.
Studien visar att 10% av konversationerna bestod av grovt eller kränkande språk. Ytterligare 11% av de analyserade konversationerna bestod av meddelanden som innehöll sexuellt språk. Studien visade även att användarna uttryckte ett behov av att definiera både sin egen identitet som människa men även chatbotens identitet som maskin. Utöver detta var användarna nyfikna på att förstå de kognitiva förmågorna hos chatboten [14].
Detta tar även Jenkins et al. upp i sin studie där de upptäckte att användarna ibland delade med sig av opåkallad personlig information som ett sätt att testa chatboten [13].
2.3 Den statliga värdegrunden
Skatteverket är en förvaltningsmyndighet. De anställdas förhållningssätt och beteenden på en sådan myndighet utgör den så kallade förvaltningskulturen, ett begrepp som frekvent används av Statskontoret – den statliga myndighet som har i uppdrag att utvärdera andra myndigheter [4]. Enligt Statskontoret är en god förvaltningskultur baserad på den statliga värdegrunden, som i sin tur utgörs av sex principer: demokrati, legalitet, objektivitet, fri åsiktsbildning, respekt samt effektivitet och service.
Myndigheterna och de statligt anställda bör enligt Statskontoret aktivt arbeta för att upprätthålla en god förvaltningskultur [4].
I en rapport från Vinnova, Sveriges innovationsmyndighet, konstateras det att när myndigheter implementerar AI i verksamheten bör även den digitaliserade verksamheten formas av den statliga värdegrunden [2]. I följande underavsnitt presenteras den statliga värdegrundens sex principer [4].
2.3.1 Demokrati
Demokratiprincipen bygger på regeringsformen, den grundlag som anger utgångspunkterna för hur Sverige ska styras.
Regeringsformen anger att all offentlig makt utgår från folket. Till följd av detta innebär det att statliga myndigheter ingår i en demokratisk ordning, där den anställda är en del av det allmänna och den demokratiska styrkedjan. Som anställd innebär det att verka för de principer som Sveriges grundlagar lägger fast samt att upprätthålla demokratiska värden.
Förutom att verka för demokrati ska den offentliga makten utövas med respekt för alla människors lika värde samt för den enskilda människan frihet och värdighet. Den enskildes personliga, ekonomiska och kulturella välfärd ska värnas om. En hållbar utveckling ska främjas. Ytterligare ska det verkas för att alla människor ska kunna uppnå delaktighet och jämlikhet i samhället samt att barns rätt tas till vara. Tillslut ska det samiska folkets och etniska, språkliga och religiösa minoriteters möjligheter att behålla och utveckla ett eget kultur- och samfundsliv främjas.
2.3.2 Legalitet
Legalitetsprincipen bygger också på regeringsformen och innebär att myndigheternas verksamhet måste ha stöd i lagar och förordningar. Principen innebär även att den statsanställda bör känna till och följa myndighetens regler.
2.3.3 Objektivitet
Objektivitetsprincipen innebär att alla statsanställda ska agera sakligt och opartiskt. Detta så att myndigheterna kan genomföra sin verksamhet på ett demokratiskt, effektivt och rättssäkert sätt.
2.3.4 Fri åsiktsbildning
Principen om fri åsiktsbildning är baserad på regeringsformen som säger att den svenska folkstyrelsen bygger på fri åsiktsbildning. Det innebär att varje medborgare har rätt till yttrandefrihet, informationsfrihet, mötesfrihet, demonstrations- frihet, föreningsfrihet och religionsfrihet. Principen innebär även att alla medborgare har rätt till att granska myndighetens verksamhet samt deras anställda.
2.3.5 Respekt
I principen om respekt är jämlikhet, jämställdhet, medmänsklighet och integritet nyckelord. Principen har rötterna i regeringsformen och säger att den offentliga makten ska utövas med respekt för alla människors lika värde och för den enskilda människans frihet och värdighet. Principen ska dels motverka diskriminering men den slår även fast att personuppgifter måste behandlas på ett korrekt sätt enligt EU:s dataskyddsförordning.
2.3.6 Effektivitet och service
Principen om effektivitet och service handlar om att statliga myndigheter ska sträva efter att ge ett gott bemötande, vara tillgängliga och på ett effektivt sätt ge medborgarna service. Detta
innebär bland annat att en myndighet ska samverka med andra myndigheter. En myndighet ska dessutom, i rimlig utsträckning, hjälpa den enskilde medborgaren att inhämta upplysningar eller yttranden från andra myndigheter.
Principen säger även att det huvudsakliga språket som myndigheterna arbetar på är svenska. Däremot har myndigheter ett särskilt ansvar att skydda och främja minoritetsspråken i Sverige. Dessa språk är finska, jiddisch, meänkieli, romani chib och finska. Därutöver har talare av minoritetsspråken finska, samiska och meänkieli rätt att använda sitt språk i talad och skriftlig kontakt med myndigheter inom vissa geografiska förvaltningsområden.
2.4 Tematisk Analys
Tematisk analys är en bred, flexibel metod som används för att analysera kvalitativa data. Metoden går ut på att identifiera och undersöka mönster och teman i datan som ska hjälpa en att förstå och relatera datan till studiens frågeställning. Tillvägagångssättet går att på flera olika sätt anpassa efter studiens förutsättningar och syfte. Metoden som använts i det här arbetet kallas för reflexiv tematisk analys vilket är den variant av tematisk analys som förespråkas av Virginia Braun och Victoria Clarke [14, 15].
Att koda innebär inom tematisk analys att gå igenom datan och tilldela varje element i datamängden en kort mening som sammanfattar ett intressant kännetecken hos elementet. Mönster bland dessa koder används sedan för att skapa teman att analysera.
Induktiv tematisk analys innebär att kodandet sker utan att använda forskningsfrågan som ram; man kodar öppet utan att förhålla sig till någon befintlig bakgrund. Tanken är att koderna som genereras i ett induktiv tillvägagångssätt kommer ha en starkare koppling till den undersökta datan, jämfört med ett deduktivt tillvägagångssätt där kodandet formas av frågan man valt att undersöka [15].
Ett semantiskt tillvägagångssätt innebär att man vid kodandet inte försöker göra någon djupare tolkning av elementets innebörd bortom det som står skrivet. Syftet är att först fokusera på mönstren i det semantiska för att sedan kunna teoretisera kring mönstrens innebörd efter det att kodandet är färdigt [15].
3. METOD
Underlaget som har använts i arbetet utgörs av meddelanden som inkommit till Skatteverkets chatbot Skatti. Denna sektion kommer att presentera den tillhandahållna datan, insamlingen av den samt hur den har analyserats enligt den valda metoden.
Processen för reflexiv tematisk analys har generellt följande sex faser [15]:
1. Bli familjär med datan: Läs igenom datan flera gånger, samt anteckna initiala idéer till start-koder.
2. Generera koder: Koda intressanta kännetecken på ett systematiskt sätt över hela datauppsättningen. Kodandet är en organisk process som återkommer även i andra faser.
3. Generera initiala teman: Ordna koderna efter potentiella teman genom att samla all data som är relevant till varje potentiellt tema.
4. Granska teman: Kontrollera om teman fungerar i relation med de kodade meddelandena (steg 1) samt i relation med hela dataupsättningen (steg 2). Detta genererar en tematisk ‘karta’ av analysen.
5. Definiera och namnge teman: En pågående analys som förfinar detaljerna av varje tema samt den övergripande röda tråden som ges av analysen. Detta genererar tydliga definitioner och namn för varje tema.
6. Producera rapport: Det slutgiltiga tillfället för analys. Ett urval av övertygande extraherade exempel samt en slutanalys av de utvalda exemplena som relaterar till frågeställningen och teorin.
3.1 Insamling av data
Alla konversationer med Skatti är allmänna handlingar vilket innebär att dessa går att begära ut. För att genomföra denna undersökning tog vi kontakt med Jens Granat, AI-tränare på Skatteverket, som tillhandahöll oss de meddelanden som inkommit under januari 2021.
3.2 Datans format
Datan mottogs i form av en excelfil med 287742 rader och 18 kolumner. En rad motsvarar ett meddelande, antingen användarens input till Skatti eller det svar Skatti genererat.
Kolumnerna anger den information som har sparats för varje meddelande där datum, tid, meddelandets ID och konversationens ID används för att skilja dem åt. Resterande kolumner anger meddelandets innehåll samt information om hur Skatti har tolkat meddelandet och var någonstans i trädstrukturen med intents som det skett en möjlig matchning.
I en kolumn markerar Skatti vilket språk som identifierats i varje meddelande. I kolumnen förekommer sex olika språk: danska, engelska, finska, norska, portugisiska, spanska och svenska. Det finns även en kolumn där meddelandena har försökts översättas till engelska vilket Skatti använder för att finna intents de gånger ett meddelande ej är skrivet på svenska eller engelska och översättningen varit tillräckligt bra.
3.3 Urval av dataset
Innan den tematiska analysen kunde genomföras filtrerades den ursprungliga datan för att få fram ett dataset i mindre storlek.
Detta urval baserades på Skatteverkets egna kategorier och intents
vilket tillät oss att se de meddelanden som Skatti antingen markerat att vara utanför Skatteverkets verksamhetsområde eller inte lyckats kategorisera alls.
Två kategorier kvarstod efter urvalet: den bredare kategorin
“generella frågor”, som Skatteverket använder för att samla intents med svagare koppling och “unknown”, kategorin som meddelanden tilldelas när Skatti inte finner något passande intent.
3.4 Genomförande av metod
I följande sektioner presenteras vad som har genomförts i varje fas enligt tematisk analys där vi valde ett induktivt, semantiskt tillvägagångssätt.
3.4.1 Bli familjär med datan
För att bekanta oss med datan skumläste vi igenom excelfilen samt antecknade till underlag för potentiella start-koder i ett separat dokument. Två stycken start-koder bestämdes att utgå från.
3.4.2 Generera koder
Vi kalibrerade oss genom att koda de första 3000 meddelandena tillsammans och därefter kodade vi parallellt. Under hela kodningen diskuterades nya koder sinsemellan innan de togs i bruk, likaså de meddelanden där det inte stod helt klart vilken kod som passade.
3.4.3 Generera initiala teman
Bland de koder som genererats kartlades nu mönster och kopplingar för att sedan gruppera relaterade koder i ett antal initiala teman. Här tog vi hänsyn till frågeställningen och undersökte hur koderna förhöll sig till varandra, om det fanns koder som var särskilt relevanta för arbetets syfte och om det fanns tydliga huvud- och subteman.
3.4.4 Granskning av teman
I första steget av denna fas kontrollerade vi om det fanns någon form av tillhörighet eller mönster bland koderna inom varje tema genom att gå tillbaka till de underliggande meddelandena. Vi säkerställde även att det fanns en meningsfull och tydlig distinktion mellan varje tema, i många fall fick meddelanden kodas om och koder delas upp eller slås ihop utifrån de insikter som uppkom längs vägen – likaså fick teman döpas om och omformas.
I det andra steget av fasen kontrollerade vi att de teman som skapats hittills stämde överens med datasetet och beskriver det på ett adekvat sätt.
3.4.5 Definiering av teman
I den här fasen återstod det att definiera och namnge teman. Detta gjordes genom att gå igenom koderna för att hitta de utmärkande
dragen inom varje tema som tillslut kunde sammanfattas med ett tydligt namn och en tillhörande definition.
3.4.6 Producera rapport
Den här fasen innebär att analysera de framtagna teman utifrån den statliga värdegrunden. Fasen genomförs i sektion 5, Diskussion.
4. RESULTAT
I denna sektion redovisas det förberedande arbetet inför den tematiska analysen samt resultatet efter genomförandet av metoden.
4.1 Resultat urval
Innan den tematiska analysen genomfördes bestod excelfilen av 287742 rader där de svar Skatti genererat inkluderats. Efter att filtreringen av kategorin “unknown” genomförts kvarstod 14994 rader där Skattis svar var exkluderade. Efter att vi filtrerat bort dubbletter av meddelanden bestod 12821 rader. Denna procedur upprepades för kategorin “generella frågor” som resulterade i 2743 rader. Efter att raderna för kolumnnamnen togs bort blev det totala antalet rader 15562 st. Dessa rader var de meddelanden som analyserades.
4.2 Resultat koder och teman
Den andra fasen av tematisk analys genererade 187 koder. Dessa koder delades in i 14 teman. De slutgilitiga temana presenteras nedan i följande underavsnitt tillsammans med tillhörande exempel på de mest relevanta koderna och meddelandena. I figur 1 nedan visas fördelningen mellan de 3 teman som innehöll flest antal meddelanden tillsammans med resterande teman grupperade i kategorin “Övriga 11 teman”. Dessa övriga teman presenteras i figur 2. Samtliga citat tillhörande de olika temana i detta avsnitt är återgivna som de skrevs i konversationen med Skatti, vid felstavningar och särskrivningar gäller alltså [sic].
Figur 1. Fördelning av antal meddelanden över samtliga teman.
Figur 2. Fördelning över övriga 11 teman.
4.2.1 Skatteverkets myndighetsutövning
Ett brett tema som inkluderar de 30 st koder som har en tydlig koppling till Skatteverkets dagliga verksamhet. Temat innehåller 52.29% av den totala mängden analyserade meddelanden.
4.2.2 Medarbetaren Skatti
Temat inkluderar 21 st koder som har en koppling till Skatteverket men som är mer fokuserade på chatboten Skatti som funktion.
Temat innehåller 10.31% av den totala mängden analyserade meddelanden.
4.2.3 Socialt
Koderna i detta tema kännetecknas av att de rör samtalsämnen och frågor som annars är typiska för mänskliga konversationer och ej relaterade till Skatteverket. I temat finns koder såsom “Artighet”,
“Ber om Skattis åsikt” och “Fråga - Politikrelaterat” där exempel på meddelanden som fått dessa koder är:
"Gått Nytt År för Robott!”
“gillar du biltema korv”
“Vem är USAs president?”
Det kan alltså vara alltifrån faktafrågor och konvenans till allmänna frågor om livet eller personliga frågor till Skatti. Temat inkluderar 34 st koder som i sin tur innehåller 4.72% av den totala mängden analyserade meddelanden.
4.2.4 Relaterat till andra myndigheter
Temat består av 17 st koder där koderna är relaterade till andra statliga myndigheter. Exempel på koder som utgör detta tema är
“Polisen”, “Migrationsverket” och “CSN”. Exempel på meddelanden som fått dessa typer av koder är nedanstående:
“Min man har blivit uppringd för att man misstänker att någon har köpt något på nätet i hans namn”
“Hur kan jag skriva ut min uppehållstillstånd?”
“Jag vill se mitt studiebidrag”
Dessa meddelanden utgör 0.65% av den totala kvantiteten analyserade meddelanden.
4.2.5 Samhälle
Det här temat inkluderar de koder som har med olika saker i samhället att göra. Några koder som utgör temat är “A-kassan”,
“Bankärende” och “Postnord”. Exempel på meddelanden som tilldelats dessa koder är följande:
“info från A-kassan?”
“Vi behöver ett bank kort hur ska vi gå till väga”
“Hur skaffar man en postbox?”
Temat innehåller 11 st koder som utgör 0.49% av den totala mängden analyserade meddelanden.
4.2.6 Funktionsvariationer
Temat inkluderar 5 st koder där olika funktionsvariationer beskrivs. “Hörselnedsättning” och “Synnedsättning” är exempel på två koder som är inkluderade i temat. Exempel på meddelanden som fått dessa koder är:
“Jag är döv, så jag vill gärna chatta med handläggarn”
“Jag kan inte se”
Temat innehåller 0.09% av den totala mängden analyserade meddelanden.
4.2.7 Svårt att tyda
Temat inkluderar 16 st koder som utgör 25.63% av det totala antalet analyserade meddelanden. Meddelanden som utgör detta tema är bland annat påståenden, ord och frågor som inte går att tyda då de exempelvis består av avbrutna meningar eller är skrivna utan kontext.
4.2.8 Skattis språkutbud
Temat utgörs av 20 st koder som motsvarar 2.98% av den totala mängden analyserade meddelanden. 17 st av dessa koder anger meddelandets språk i de fall meddelandet inte är på svenska eller engelska och de tre resterande koderna är “Ber om annat språk / Fråga om språk”, “Ber om instruktioner på engelska” och “Bruten svenska”.
Finska är det enda minoritetsspråket som förekommer. I en del finska meddelanden frågar användaren Skatti om denne talar finska varpå Skatti svarar: “Jag kan förstå lite finska. Men jag svarar på svenska!”. De resterande finska meddelandena fick svaret att Skatti antingen helt eller delvis inte förstår.
Figur 3. De sex främst förekommande språken.
4.2.9 Grovt eller kränkande språk
Detta tema inkluderar alla koder där användaren använt en grovt ellet kränkande språk. Temat består av 3 st koder:
“Förolämpning”, “Svordom” och “Jag hatar”. Exempel på meddelanden som tilldelats dessa koder är följande:
“du är ful”
“FÖR HELVETE”
“Jag hatar dig”
Detta tema utgör 1.04% av den totala mängden analyserade meddelanden.
4.2.10 Diskriminering
Temat består av 4 koder vilket utgör 0.29% av det totala antalet analyserade meddelanden. Koderna är tillsatta sådana meddelanden som uttrycker sexism, rasism och funkofobi.
Koderna är därmed “Rasism”, “Sexuellt påstående/fråga”,
“Sexuellt ofredande/trakasserier” och “Funkofobi”. Då dessa meddelanden kan väcka obehag väljer vi att inte ge exempel på dem.
4.2.11 Personuppgifter
I det här temat återfinns de meddelanden där personuppgifter förekommer vilket utgör 1.21% av den totala mängden analyserade meddelanden. Temat består av följande 3 koder:
“Address” (24 st meddelanden), “Namn” (122 st) och “Ålder”
(42 st).
Skatti verkar inte censurera namn när meddelandet är skrivet på engelska, när det är ett dubbelnamn, när det innehåller särskilt långa meningar eller när namnet inte är svenskklingande.
Eftersom meddelandena innehåller personuppgifter redovisas inga exempel.
I tabellen nedan visas resultatet av meddelanden som tilldelats koden “Namn” och vilken annan typ av information som fanns i samma meddelande.
Tabell 1. Kombinationer av ocensurerade namn och annan information
Förnamn och efternamn 42
Förnamn 34
Efternamn 31
Namn och adress 5
Efternamn och födelsedatum 2 Förnamn, efternamn, adress
och födelsedatum 1
Efternamn och högskola 1 Förnamn och arbetsplats 1 Efternamn och arbetsplats 1 Efternamn och adress 1
Förnamn och adress 1
Flera namn och relation
mellan personerna 2
4.2.12 Användarens bakgrund, livssituation och välmående
Meddelanden i det här temat handlar om användarens psykiska och fysiska hälsa, känslotillstånd samt etnicitet. Några exempel på koder som utgör temat är “Jag mår dåligt”, “Gammal person”, “Är utländsk”. Exempel på meddelanden som tilldelats dessa är följande:
“jag är ledsen”
“Jag är över 65 år och har bara pension”
“Jag kommer från Grekland.”
Temat innehåller 12 koder och utgör 0.25% av den totala mängden analyserade meddelanden. Det är meddelanden som handlar om användaren och inte har en tydlig koppling till Skatteverket.
4.2.13 Akut
Det här temat består av 3 koder där meddelanden uttryckt något typ av akut ärende som inte är relaterat till Skatteverket. Koderna i temat är “Akut hjälp”, “Detta är ett rån” och “Ring ambulans”.
Meddelanden som tilldelats dessa koder är nedanstående:
“AKUT HJÄLP”
“Detta är ett rån!!!”
“ring ambulansen”
Meddelandena i temat utgör 0.03% av den totala mängden analyserade meddelanden.
4.2.14 Könsbekräftande vård
Temat innehåller en kod med samma namn som temats namn. Det är meddelanden där användaren skrivit om könsbekräftande vård.
Exempel på meddelanden som tilldelats koden är:
“Kan jag byta kön?”
Dessa meddelanden utgör 0.03% av den totala mängden analyserade meddelanden.
5. DISKUSSION
Denna sektion kommer att diskutera resultatet som presenterades i den föregående sektionen utifrån den statliga värdegrunden.
Dessutom kommer metodens och urvalets påverkan på resultatet att diskuteras
.
5.1 Teman i relation till den statliga värdegrunden
5.1.1 Personuppgifter och integritet
När en användare startar en konversation med Skatti nämner Skatti att inga personliga ärenden hanteras i chatten och att användaren inte ska skriva några personuppgifter. Trots det går det att se i datauppsättningen att användare skriver personuppgifter i chatten ändå.
I de flesta fallen lyckas Skatti censurera namn men i 122 fall, som presenterats i 4.2.11, har censureringen misslyckats. Undersöker man dessa meddelanden kan man se att de i vissa fall är knutna till känslig information som exempelvis skulle kunna identifiera personen enkelt medan i andra fall består meddelandet endast av ett förnamn eller ett efternamn.
Eftersom dessa meddelanden går att begära ut som allmän handling måste alla typer av personuppgifter hanteras på rätt sätt enligt EU:s dataskyddsförordning. Detta nämns i principen om respekt i den statliga värdegrunden. Det går därmed att diskutera huruvida Skatteverket lagrar den här ocensurerade datan på ett korrekt sätt samt hur lätt denna information går att begära ut.
5.1.2 Främjande av minoritetsspråk
Med bakgrund mot den begränsade hjälp som finsktalande användare kan förvänta sig i kontakt med Skatti väcktes frågan om Skatteverkets chatbot i dagsläget uppfyller de krav förvaltningsmyndigheter har på sig gällande minoritetsspråk.
Det är onekligen en svår uppgift att utveckla en chatbot som är flytande i flera språk, det är också oklart huruvida Skatteverkets hemsida kan ses som en del av de geografiska förvaltnings- områden där minoriteter har rätt till att kommunicera på sina respektive språk. Däremot tydliggör den statliga värdegrunden att myndigheter ska informera minoriteter om deras rättigheter.
En mellanväg är möjligen att Skatti informerar användaren om vilka alternativ Skatteverket erbjuder till talare av minoritetsspråk, likt de gör på sin hemsida, när antingen minoriteter eller deras språk nämns eller när Skatti lyckas identifiera ett minoritetsspråk.
Ett snabbt test genomfördes efter analysen där dels sydsamiska fraser skickades till Skatti samt fraser och frågor i stil med
“minoritet”, “samer” och “kan jag få hjälp på sydsamiska?” där Skatti på samtliga meddelanden svarade: “Jag förstår inte”.
5.1.3 Myndighetssamverkan
Enligt principen om effektivitet och service i den statliga värdegrunden ska myndigheter sträva efter att göra upplevelsen för den enskilde så effektiv och enhetlig som möjligt genom att samverka med varandra. Temat i 4.2.4 visar på att Skatti missar en del meddelanden rörande andra myndigheter där en mänsklig handläggare rimligtvis hade hänvisat användaren vidare till rätt myndighet. I den ursprungliga excelfilen var det dock tydligt att Skatteverket har implementerat ett stort antal kategorier för att hantera ärenden som är relaterade till andra myndigheter och hänvisar i de flesta fall vidare användaren på ett korrekt sätt.
5.1.4 Motverka diskriminering
Principen om respekt i den statliga värdegrunden säger bland annat att alla myndigheter och statsanställda ska motverka diskriminering. På svordomar svarar Skatti i dagsläget “Nu hoppade det visst en groda ur din mun”. När svordomarna är grövre svarar Skatti “Nu kan vi höja nivån på snacket”. På rasistiska, sexistiska och funkofobiska meddelanden svarar Skatti däremot endast ett frågetecken eller “Jag förstår inte, kan du skriva frågan på ett annat sätt?”. Utifrån detta skulle det därmed kunna diskuteras huruvida Skattis bemötande gentemot dessa typer av diskriminerande meddelanden är i linje med den statliga värdegrundens krav på motverkande av diskriminering.
5.1.5 Arbeta för allas rätt till lika behandling
Respektprincipen säger även att den offentliga makten ska utövas med respekt för alla människors lika värde. Däremot förstår Skatti inte meddelanden som är skrivna på bruten svenska. Under arbetet med den tematiska analysen har vi gått igenom dessa meddelanden och bedömt att meddelandena inte är svårförståeliga för en människa. Utifrån den statliga värdegrundens princip skulle det därmed kunna diskuteras huruvida människor som skriver på bruten svenska får sämre service av Skatti endast på grund av deras språkkunskaper.
Det fanns även användare som meddelade Skatti om diverse funktionsvariationer. I dagsläget tar Skatti inte hänsyn till om användaren meddelar att den har svårt att se eller höra, trots att det på Skatteverkets hemsida finns verktyg såsom talsyntes och texttelefoni för att hjälpa dessa användare.
Det inkom dessutom fyra meddelanden relaterade till könsbekräftande vård där Skatti svarade “Jag förstår inte” till samtliga. Att Skatti ej utvecklats att kunna ge någon som helst information rörande juridiskt kön kan möjligen ses som ett relevant förbättringsområde.
5.2 Användares förväntningar på Skatti
I 2.2 presenterades forskning av Jenkins et. al som visar på att småprat är vanligt förekommande när människor interagerar med chatbotar och att det vidare finns ett behov av sociala interaktioner i dessa typer av konversationer. Utifrån resultatet i det här arbetet går det att se att detta även stämmer överens med interaktionen
mellan användare och Skatti där temat “Socialt” utgör nästan 5%
av de analyserade meddelandena.
Samma forskning beskriver att användare interagerar med chatbotar som om de vore sökmotorer. Även detta går att se i interaktionerna med Skatti. En anledning till att temat “Svårt att tyda” är det fjärde största temat är att användare skriver enstaka ord eller korta fraser som skulle kunna ses som sökfraser. I en del fall, t.ex. om ordet “deklaration” skickas ensamt, uppfattar Skatti ordet som ett intent och återger ett bredare svar med förslag på vad användaren kan tänkas vara ute efter.
5.3 När chatbotar tillhandahålls som tjänst
Det bör understrykas att Skattis funktionalitet inte enbart beror på Skatteverkets AI-tränare och deras dagliga arbete med Skatti.
Eftersom tekniken som Skatti är baserad på har beställts av Skatteverket från ett externt företag, kommer funktioner på olika sätt att påverkas av hur företaget utvecklar mjukvaran på sin sida.
Vissa förbättringsområden som identifierats utifrån den statliga värdegrunden i detta arbete kommer alltså inte enbart att lösas genom att Skattis AI-tränare utvidgar mängden träningsdata till att täcka dessa områden. Det kommer även att krävas insikt i hur den underliggande tjänsten fungerar, hänsyn till dess framtida utveckling samt reflektion kring Skatteverkets roll som beställare av AI-produkter.
5.4 Urvalets påverkan
I och med att de analyserade meddelandena är ett urval från januari 2021 kan resultatet ha påverkats. Det vill säga att vad för typer av frågor eller meddelanden Skatti får kan bero på samt variera efter tidpunkt på året. Enligt Skatteverket finns det dock inga viktiga datum i januari som rör Skatteverket till skillnad från till exempel tidsperioden mars då fastighetsdeklarationen ska vara inskickad. Däremot infördes en skattereduktion för grön teknik från och med 1 januari 2021. Skattereduktionen innefattar bland annat installation av laddningspunkt till elfordon, även kallad laddbox. Meddelanden som innehöll det ordet samt “grön teknik”
kodades med koden “Skatteverket”. Att dessa meddelanden inte fångades upp av Skatti kan ha att göra med att Skatteverket inte förberett sig på denna typ av frågor trots det nya införandet. Detta skulle kunna vara en förklaring till varför koden “Skatteverket”
resulterade i den mest använda koden i den första omgången av metoden. En annan anledning till att koden “Skatteverket” var den mest frekvent använda koden skulle kunna vara att de meddelanden som hade en stark koppling till Skatteverket men beskrev ett personligt ärende, som Skatti inte kan hjälpa till med, tilldelades ändå samma kod.
Urvalet som analyserades var som tidigare nämnt redan klassificerad av Skatteverket som “unknown” - vilket betyder att Skatti varken förstått eller kunnat svara på meddelandet. Utöver denna kategori finns det bland annat en kategori som innefattar de meddelanden där Skatti kan ha svarat rätt men det är samtidigt inte helt säkert att det blivit rätt. Denna kategori hade kunnat vara
intressant att titta på utifrån vår frågeställning men valdes bort på grund av tidsbegränsning.
5.5 Metodkritik
Valet att koda meddelandena utanför sin kontext var inte helt oproblematiskt. Många meddelanden från användare var svar till något Skatti precis hade skrivit och kunde därför vara för korta eller för vagt formulerade för att tolkas. Ibland kunde enstaka ord indikera vad det handlade om men ofta användes koder såsom
“påstående utan kontext”, “enstaka ord utan kontext” och
“följdfråga utan kontext” för att hantera dessa.
Eftersom meddelandena var filtrerade så syntes oftast inte andra meddelanden från samma konversation, förutom i de fall då flera meddelanden kategoriserats likartat och därmed passerat filtret tillsammans. Att inte ta hänsyn till vilka andra meddelanden som skickats från samma användare i kombination med vårt semantiska fokus så uppfattas ett meddelande som exempelvis:
“ring ambulans” från temat “Akut” som något allvarligt. När vi däremot sökte upp det meddelandet i den ursprungliga excelfilen så var nästföljande meddelanden från samma användare: “är du gravid”, “barn”, “jag hatar djur”, “jag är inte elak”, “är du full”
och en rad andra meddelanden på samma spår. Metoden vi valde ledde alltså till att även “uppenbart oseriösa” meddelanden ibland kodades och blandades med de seriösa meddelandena.
Ett sätt att hantera denna problematik hade varit att koda hela konversationer istället för enskilda meddelanden, då hade koderna bättre anpassats efter situationen. Anledningen att vi valde bort det alternativet var att vi då inte hade kunnat utnyttja Skatteverkets kategorier för att filtrera effektivt. Dessutom hade mängden läsning potentiellt ökat eftersom antalet meddelanden från både användare och framförallt Skatti hade ökat markant, något som visserligen kunde ha balanserats med att analysera färre konversationer.
5.6 Framtida forskning
För framtida forskning hade det varit relevant att justera de avgränsningar som implementerades i det här arbetet. T.ex. genom att analysera alla meddelanden till Skatti och inte bara de meddelanden som Skatti inte kunnat svara på samt de meddelanden som kategoriserats som utanför Skatteverkets myndighet. Detta för att få en mer rättvis bild över Skatteverkets myndighetsutövande i relation till den statliga värdegrunden.
Ytterligare hade det varit relevant att utföra arbetet under ett år för att analysera alla meddelanden som inkommer under hela året då frågor till Skatteverket kan skilja sig beroende på datum för deklaration etc.
I takt med att fler myndigheter tar fram chatbotar kommer säkerligen fler relevanta områden att växa fram, exempelvis inom myndighetssamverkan där chatbotar på olika myndigheter potentiellt sett skulle kunna samarbeta. En annan möjlig utveckling skulle kunna vara att chatboten tillåter användaren att
identifiera sig och därefter ge personlig service vilket skulle öppna upp för vidare undersökningar utifrån den statliga värdegrunden.
6. SLUTSATS
Syftet med denna studie var att undersöka om det finns områden som inte är relaterade till Skatteverkets huvudsakliga verksamhet men som ändå är relevanta att ta hänsyn till utifrån den statliga värdegrunden i den pågående utvecklingen av chatboten Skatti.
Den genomförda undersökningen indikerar att dessa typer av områden existerar. Om Skatti ska följa den statliga värdegrunden kan det alltså vara vara av intresse att ta hänsyn till områden såsom: diskriminering, myndighetssamverkan, personuppgifter och allas rätt till lika behandling i den framtida utvecklingen av Skatti. Ytterligare har ansvarsfördelningen för dessa förbättrings- områden diskuterats där det inte enbart är Skatteverket som ansvarar för Skattis funktionalitet utan även företaget som tillhandahåller mjukvaran som Skatti är skapad med.
Vidare har studien visat att användares förväntningar på Skatti samt hur de interagerar med Skatti har haft en påverkan på resultatet. Exempelvis är socialt småprat vanligt förekommande i de undersökta meddelandena samtidigt som det ofta förväntas att Skatti ska fungera som en sökmotor.
Valet av metod och urval har påverkat resultatet varpå förändringar av dessa kan ses som önskvärda inför framtida forskning inom området.
7. TACK TILL
Stort tack till Jens Granat med kollegor på Skatteverket för tillhandahållandet av data och värdefulla insikter i deras arbete och den pågående utvecklingen av Skatti.
Slutligen vill vi även tacka chatboten Skatti för gott samarbete denna vår.
8. REFERENSER
[1] “Nationell inriktning för artificiell intelligens”, Regeringskansliet, 2018. Hämtad 2021-05-01. Tillgänglig:
https://www.regeringen.se/informationsmaterial/2018/05/na tionell-inriktning-for-artificiell-intelligens/.
[2] “Artificiell intelligens i svenskt näringsliv och samhälle - Analys av utveckling och potential”, Vinnova, 2018.
Hämtad 2021-05-01. Tillgänglig:
https://www.vinnova.se/publikationer/artificiell-intelligens- i-svenskt-naringsliv-och-samhalle/.
[3] “Artificiell Intelligens och Jämställdhet”,
Jämställdhetsmyndigheten, 2020. Hämtad 2021-02-01.
[Online]. Tillgänglig:
https://www.jamstalldhetsmyndigheten.se/artificiell-intellig ens-och-jamstalldhet.
[4] “Den statliga värdegrunden – gemensamma principer för en god förvaltning”, Statskontoret, 2019. Hämtad 2021-03-29. [Online]. Tillgänglig:
https://www.forvaltningskultur.se/globalassets/skrifter-och- handbocker/pdf/vardegrund_tillg.pdf.
[5] Skatteverket, chatta med oss. Besökt 2021-03-29.
[Online]. Tillgänglig:
https://skatteverket.se/omoss/kontaktaoss/chattamedoss.
[6] Nationalencyklopedin, bot. Hämtad 2021-03-05.
[Online]. Tillgänglig:
http://www.ne.se.focus.lib.kth.se/uppslagsverk/encyklopedi /lång/bot-(3).
[7] Grudin, J. and Jacques, R., 2019. Chatbots, Humbots, and the Quest for Artificial General Intelligence.
Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, DOI=
https://doi.org/10.1145/3290605.3300439.
[8] Aggeliki Androutsopoulou, Nikos Karacapilidis, Euripidis Loukis, Yannis Charalabidis,
Transforming the communication between citizens and government through AI-guided chatbots,
Government Information Quarterly.
Volume 36, Issue 2, 2019, Pages 358-367, ISSN 0740-624X, DOI=
https://doi.org/10.1016/j.giq.2018.10.001.
[9] Mehr, Hila. 2017, Artificial Intelligence for Citizen Services and Government”. Ash Center for Democratic Governance and Innovation - Harvard Kennedy School.
Tillgänglig:
https://ash.harvard.edu/publications/artificial-intelligence-ci tizen-services-and-government
[10] Kommun-kim, huvudsida. Besökt 2021-02-01.
[Online]. Tillgänglig:
http://www.kommun.kim/
[11] Intervju med AI-tränare Jens Granat och kollegor på Skatteverket. Genomfördes 2021-02-05.
[12] Mohri, M., Talwalkar, A. and Rostamizadeh, A., Foundations of machine learning. Cambridge (Massachusetts): MIT Press, 2012, pp 1-8.
[13] Jenkins MC., Churchill R., Cox S., Smith D. (2007) Analysis of User Interaction with Service Oriented Chatbot Systems. Jacko J.A. (eds) Human-Computer Interaction.
HCI Intelligent Multimodal Interaction Environments. HCI 2007. DOI=https://doi.org/10.1007/978-3-540-73110-8_9.
[14] Antonella De Angeli, Sheryl Brahnam, I hate you!
Disinhibition with virtual partners, Interacting with Computers, Volume 20, Issue 3, May 2008, Pages 302–310, DOI=https://doi.org/10.1016/j.intcom.2008.02.004.
[15] Virginia Braun & Victoria Clarke (2006) Using thematic analysis in psychology, Qualitative Research in Psychology, 3:2, 77-101, DOI=
https://doi.org/10.1191/1478088706qp063oa.
[16] Virginia Braun & Victoria Clarke (2019) Reflecting on reflexive thematic analysis, Qualitative Research in Sport, Exercise and Health, 11:4, 589-597, DOI=
https://doi.org/10.1080/2159676X.2019.1628806
www.kth.se
TRITA-EECS-EX-2021:223
