Teoretiskt Kunskapsgap

De lagar och förhållningssätt insatta av regeringar och olika myndigheter som ibland utgör vad som är etiskt korrekt tas inte upp i valda teorier. Detta för att dessa lagar och

förhållningssätt ofta betraktas som allmän kännedom. Huruvida total eliminering av etiska risker som förekommer i samband med användandet av maskininlärning vid beslutsfattande i kliniska undersökningar och diagnostik inom sjukvård, behandlas inte av vald teori.

Reducering av etiska risker är möjligt enligt olika källor, men eliminering av etiska risker framkommer det ingen konkret information om. Detta resulterar därför i ett kunskapsgap där det inte finns någon vetskap i huruvida det är möjligt att helt eliminera etiska risker.

30

4 Resultat

I detta kapitel redogörs det empiriska material som har samlats in genom intervjuer och dokumentundersökning. Kodningen från transkriberingar av nämnda intervjuer i form av transkriberingsmönster presenteras i tabellformat i bilagor. Resultatet av intervjuer

presenteras i detta kapitel. Resultatet av dokumentundersökningar presenteras som även finns under bilagor i tabellformat.

De transkriberade intervjuerna kodades för att få en bättre förståelse över vad respondenterna faktiskt säger. De framtagna nyckelord, teman, underteman samt mönster visas nedan i form av tabeller i ordning med hur kodningen gick till väga. Nyckelord (Tabell 1, Tabell 2), teman (Tabell 3, Tabell 4), underteman samt mönster (Tabell 5) som togs fram skulle ha en relevans till studiens forskningsfrågor.

4.1 Intervju

Hanteringen och användandet av otillräckliga eller vinklade träningsdata för algoritmer visade sig ha en betydande roll för de flesta etiska risker där detta skapade en bias hos maskinen som förs med när maskinen sedan appliceras i verkligheten.Detta gäller även mänsklig bias som kan förekomma redan vid programmeringen av algoritmerna där mänskliga åsikter ligger som grund för en maskin med bias. Toftefors¹ säger under intervjun:

“Dels så gäller det att maskininlärningen tränas på relevant data, där finns en risk att man på ett systematiskt sätt tränar maskininlärningen på fel material.”

Detta är även något som Rosén² tar upp där hon förklarar de etiska risker av otillräckliga, vinklade och felaktiga data som kan förekomma om noggrannhet och eftertänksamhet inte finns gällande vilken data som används vid träning på algoritmer.

“...om man inte har koll på datan som går in så kan det innehålla bias och felaktigheter som appliceras.”

Enbart att algoritmerna är perfekta innebär inte att resultatet blir detsamma. Tränas

algoritmerna på otillräckliga data kan de slutsatser som skapas bli för stora för att det faktiskt skulle finnas någon nytta med att applicera maskinen i verkligheten menar Toftefors³.

“Det kan också vara att det är för lite data man tränar en algoritm på vilket gör att den drar väldigt stora slutsatser…”

Toftefors⁴ förklarar även hur kontexten som maskinen används i och vilken data algoritmerna faktiskt tränades på kan påverka funktionaliteten av algoritmerna vid en verklig

implementation. Detta förklarar han med användandet av män och kvinnor som kontext.

1 Jonas Toftefors, CDO Pulsen. 2020. Intervju den 11 maj.

2 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

3 Jonas Toftefors, CDO Pulsen. 2020. Intervju den 11 maj.

4 Jonas Toftefors, CDO Pulsen. 2020. Intervju den 11 maj.

31

“...tränar man en algoritm med bara data från män och det kommer in en kvinnas data så kan det bli så att algoritmen inte hittar det den borde hittat.”

Vid applicering av en maskin som använder sig av maskininlärning finns det en risk att alla verklighetens alla variabler och faktorer inte vägs in i algoritmerna vilket kan skapa felaktiga resultat från algoritmerna beskriver Toftefors⁵. Det kan dels vara svårt för utvecklare att ta hänsyn till verklighetens alla implikationer vid kodandet av algoritmerna. Det kan även vara svårt att överföra vissa aspekter av verkligheten till kod.

“Dessutom finns det en risk att det finns en faktor som inte är med i de faktorer som ingår i förväntningen som algoritmen utför.”

Det finns även fall där maskininlärningen saknar mänsklig empiri och att detta skapar en, enligt oss människor, orättvisa. Etiska risker kan vara att användaren inte ska ha för gott förtroende för maskininlärningens resultat då det kan vara felaktigt men även för att kompetenser på detta vis kan reduceras med tidens gång enligt Toftefors⁶.

“Det kan också bli så att den här ekvationen blir ‘för bra’ om man säger så, att man litar helt och hållet på maskininlärningens beslut istället för att kritiskt granska själv vilket leder till ett

kompetenstapp.”

Användandet av en maskin som använder sig av maskininlärning kräver förståelse för hur den fungerar för att den på ett så effektivt och korrekt vis som möjligt ska kunna användas. Det är dock svårt att helt skapa förståelse för exakt hur maskinen fungerar enligt Rosén⁷.

“De skapar ju sina egna parametrar, det kan bli miljontals parametrar utan att det är något konstigt, det blir mycket black box utav det.”

På grund av tidigare nämnda etiska risker med maskininlärning menar Toftefors⁸ att det är viktigt att endast se resultatet från maskininlärningen som ett hjälpmedel, och att det inte är ett slutgiltigt beslut.

“...algoritm som kommer och hjälper till och kommer med sina rekommendationer, tala om varför den rekommenderar det men lämnar det slutliga beslutet till en människa som ansvarar för att det blir rätt beslut.”

Rosén⁹ förklarar att lösningarna för de etiska risker som förekommer likt det Toftefors förklarar. Algoritmernas beslut eller resultat bör inte vara slutgiltigt, utan det behöver även granskas av ansvariga som fattar det slutgiltiga beslutet och att det ska vara ett kooperativt arbete mellan maskin och människa. Vidare förklarar hon även att det inte bara är i slutskedet som granskning bör ske. Det ska även övervakas genom hela kedjan där genomskinlighet bör finnas.

“...man lägger stor vikt i att data ska ha god kvalité, man monitorerar, man har transparens genom hela kedjan och att det faktiskt handlar om ett samarbete mellan människa och algoritmen…”

5 Jonas Toftefors, CDO Pulsen. 2020. Intervju den 11 maj.

6 Jonas Toftefors, CDO Pulsen. 2020. Intervju den 11 maj.

7 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

8 Jonas Toftefors, CDO Pulsen. 2020. Intervju den 11 maj.

9 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

32

Rosén¹⁰ upprepar även kontinuerlig överskådning av algoritmernas beteende. Hon menar även att korrekt agerande från maskinen vid ett tillfälle inte innebär att den för alltid kommer att agera korrekt då den konstant är föränderlig och befinner sig i en inlärningsfas där modeller är icke-stationära.

“Jag brukar säga automatisering inte är samma som autonomi, det är självlärande algoritmer och man kan automatisera saker, men det betyder inte att när de väl tar egna beslut så kan man inte bara lämna de själva utan man måste hela tiden gå in och monitorera och kolla så att den gör som tänkt eftersom att det är algoritmer som lär sig själva och modellerna är inte stationära.”

Det är även enligt Rosén¹¹ viktigt att ofta undersöka om algoritmerna kräver omarbete då de kanske inte längre gör det dem var ämnade att göra. Detta arbete förenklas om det finns stor transparens i hela kedjan.

“...det är viktigt att ha transparens för att upptäcka om någonting skulle bli fel och ha en kontinuerlig revision av algoritmerna så att de gör vad de faktiskt gjorde från början eftersom att det inte är stationärt och att det är en hel del data.”

Vidare förklarar Rosén¹² även tyngden i att det finns någon som är ansvarig för kedjan, i syfte att se till att processen går rätt till och att inga signifikanta fel inträffar.

“Spårbarhet, att det finns en person som har tydligt ansvar genom hela kedjan, från där datan går in till där besluten kommer ut på andra sidan.”

Spårbarheten möjliggörs enligt Rosén¹³ genom en tydlig förklarbarhet av algoritmerna vilket är ett annat exempel på hur god kunskap om funktionaliteten av algoritmerna är viktigt.

“Tydlig ansvarsfördelning, komma ihåg att allt sker via data, diversitet i gruppen, men också att man kommer ihåg och förklarbarhet, att man verkligen har en transparens och en förklarbarhet av algoritmerna, så att man kan spåra hur beslutet togs och hur datan flödar igenom hela kedjan.”

Enligt Rosén¹⁴ är en etisk risk med maskininlärning vid beslutsfattande inom sjukvården såsom i andra områden att det råder stor okunskap i hur det fungerar. Detta skapar en dålig tillit och kan på detta vis bli en etisk risk när man använder maskininlärning. Vidare kan även sjukvården och maskininlärningen vara etiska risker i sig själva då dessa områden automatiskt ökar omfattningen av personer som drabbas när en etisk risk inträffar. Det blir därför viktigt att inom sjukvården vid klinisk undersökning och diagnostik att samarbeta med maskinen istället för att låta den fatta slutgiltiga beslut.

“Jag tänker att de saker som är svart eller vitt, om man tänker sig som exempel ett beslutsträd där man kan antingen svara ja eller nej och följa ett flöde, de bitarna hade man kun2na helt låta en algoritm eller en AI då ta hand om och automatisera. Men när det är mer komplexa fall som det oftast är inom sjukvården så bör man samarbeta med människa och maskin.”

10 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

11 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

12 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

13 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

14 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

33

Det går även enligt Rosén¹⁵ att motarbeta en del bias som kan förekomma genom ett bredare urval av medlemmar i utvecklingsgruppen. Detta motverkar möjliga etiska risker som är en följd av bias skapat från en ensidig grupp.

“Här brukar jag också prata om att det är viktigt att man har lite diversitet i teamet som jobbar med att utveckla systemen. Har man ett team som jobbar med det speglar av sin diversitet, kan vara allt från att de har olika kön, olika åldrar, olika bakgrund och olika kunskaper så att de har olika saker med sig till bordet, man speglar till exempel när man sitter och annoterar dataset speglar man olika värderingar i data.”

15 Josefin Rosén, Övningsledare för AI och analystik SAS. 2020. Intervju den 12 maj.

34