Automatiserade bedömningar och AI

En betydelsefull aspekt av myndigheters och bolags vägledning och information till kvinnor och män rör automatiserade bedömningar och artificiell intelligens (AI), samt vilken påverkan detta kan ha ur

jämställdhetssynpunkt. Myndigheter använder sig av olika typer av

maskinella bedömningar och automatiserat beslutsfattande i kontakter med medborgare. Dessa har fördelen att de inte bara effektiviserar

myndigheternas verksamheter utan kan även påverka bedömningar och beslut. På många myndigheter pågår utvecklingsarbete inom olika områden för att testa detta.105

Automatiserade bedömningar

Vinnova uppger att de använder ett digitaliserat bedömningsverktyg vid bedömning av inkomna ansökningar och där specifika jämställdhetskriterier är integrerade.

Försäkringskassan uppger att den använder maskinell hantering i

handläggning av flertalet ersättningar och bidrag. I de flesta fall handlar det om inslag av automatisering i ärendehanteringen, till exempel genom att vissa moment sker maskinellt. I några fall är handläggningen automatiserad i stor utsträckning, det gäller till exempel tillfällig föräldrapenning. I dessa fall är handläggningen helt uppbyggd på de regelverk som finns kopplade till ersättningen och bygger på strukturerade data.106 _{Automatiserade}

bedömningar i ärenden där det finns ett större bedömningsutrymme hos handläggaren uppger Försäkringskassan är svårare att automatisera och det är inte heller så utvecklat hos myndigheten. För att automatisera

bedömningar av ostrukturerade data används inslag av artificiell intelligens.107

Försäkringskassan uppger också att det pågår ett projekt med en textanalys- applikation som ger stöd till medarbetare i analys av medicinska underlag, som till exempel läkarintyg. Applikationen identifierar den mest relevanta informationen, fångar upp nyckelord och analyserar underlaget. I dessa fall menar myndigheten att det finns en risk för att systemet tränar sig på data med könsbias. För att säkerställa att ingen diskriminering byggs in

konstaterar Försäkringskassan att det krävs kontinuerliga granskningar, robusta algoritmer, transparens och spårbarhet.

Även Arbetsförmedlingen uppger att myndigheten delvis använder

automatiserade bedömningar som en rekommendation till bedömning och beslut. I myndighetens fall handlar det om urvalet till matchningstjänster där ett statistiskt bedömningsstöd som bygger på ett 30-tal faktorer kopplade till den enskilda individen och till arbetsmarknaden, bland annat ålder, kön, utbildning, erfarenhet och bostadsort. Bedömningsstödet avser att ge arbetsförmedlare ett stöd i beslutsfattandet.Vidare använder

Arbetsförmedlingen statistiska bedömningsstöd för att styra arbetssökande till handläggare som har kompetens att fatta beslut om en viss insats, något

106 _{Med strukturerad information avses här data som är maskinellt tolkningsbar och anges i hanterbara format}

så som data som finns i fasta fält i en post eller fil.

som myndigheten menar skapar bättre förutsättningar för en mer effektiv hantering av beslut. Arbetsförmedlingen uppger också att arbetssökande som vid inskrivningen uppger att de kommer att påbörja en anställning eller utbildning inom 90 dagar erbjuds en automatiserad arbetsmarknadspolitisk bedömning och en planering med standardiserade aktiviteter.

Arbetsförmedlingen uppger att den har påbörjat ett arbete om etisk AI.

AI-lösning för mindre könad medborgarinformation

Skatteverket uppger att de har en AI-lösning i form av en chattrobot. Skatti,på webbplatsen som kan svara på allmänna frågor utan

personuppgifter. Myndigheten anger att Skatti har en oklar könsidentitet och följer riktlinjer för jämställd och inkluderande kommunikation. Ett sådant exempel som redovisas är att Skatti istället för ord som

mamma/pappa/dotter/son använder orden förälder och barn i sina svar (oavsett hur frågeställaren uttryckt sig). Skatti varierar inte heller sina svar beroende av vem som ställer frågan, det finns alltid ett bestämt svar till en fråga (om än varierat ställd). Skatteverket arbetar med etisk AI, och

myndigheten uppger at de kommer att vara piloter i ett jämställdhetsprojekt som drivs i samverkan med Jämställdhetsmyndigheten och AI Sustainability center och som finansieras av Vinnova.108 _{Även Försäkringskassan kommer} att medverka i projektet.

Möjligheter och risker med AI

På arbetsmarknaden finns stora möjliga fördelar med AI. I och med att arbetsmarknaden är djupt präglad av såväl medvetna som omedvetna

fördomar hos dem som väljer jobbsökande, kan AI vid rekryteringsprocesser vara en framgångsfaktor för att hantera eventuella bias och diskriminering. Omedvetna fördomar ökar under tidspress; om en rekryterare har många ansökningshandlingar att gå igenom under stark tidspress blir det lätt att lägga fokus på de ansökningshandlingar från personer som liknar de som brukar rekryteras. Är det redan en mansdominerad bransch blir det lätt att en söker efter något som redan präglar branschen, vilket befäster den redan könade arbetsmarknaden. Dock finns det också stora risker med dessa typer av bedömningar, till exempel kan maskinella system vars AI-algoritmer som tränas på historisk data förstärka en redan befintlig diskriminering.

108 _{AI Sustainability center är ett center för ansvarsfull utveckling av artificiell intelligens och samlar företag,}

Det gäller alltså att den data som AI tränas på är neutral, för annars byggs bias och diskrimineringen in i systemet. Detta kan vara ett bekymmer för myndigheter som utvecklar en maskininlärningsalgoritm utifrån tidigare fattade beslut, då, som diskuteras i avsnitt 4, flera studier har visat att tjänstepersoners stereotypa uppfattningar och fördomar påverkar hur de bemöter och bedömer medborgare. Om hänsyn inte tas till detta i träningsdata kan det få stora negativa konsekvenser.