Dokumentundersökning

Insamlade dokument Analyserade data

AI in Healthcare: What the Slope of Enlightenment Will Look Like (Bowne-Anderson & Chatterjee, 2020).

Tillhörande tabeller: 6 & 7.

Förväntningar av AI inom sjukvård

Arnaub Chatterjee discusses artificial intelligence (AI) and machine learning (ML) in healthcare (Bowne-Anderson &

Chatterjee, 2018).

Tillhörande tabeller: 8 & 9.

Beskrivning av AI och ML inom sjukvård, hur det ser ut i nuläget och hur framtiden inom ämnet ser ut

Artificial Intelligence Real Results (Wilson, 2018).

Tillhörande tabeller: 10 & 11.

Problem med implementering av AI inom sjukvård

Artificiell intelligens i svenskt näringsliv och samhälle (Vinnova, 2018).

Tillhörande tabeller: 12 &

13.

Rapportering av utveckling samt hinder kring implementering av AI och ML inom bland annat vården, såsom prognostik och diagnostik

Digitala vårdtjänster och artificiell intelligens i hälso- och sjukvården (Socialstyrelsen, 2019).

Tillhörande tabeller: 14 & 15.

Lägesrapport över digitala vårdtjänster och artificiell intelligens i hälso- och sjukvård

Ethical Principles for AI in Medicine (RANZCR, 2019).

Tillhörande tabeller: 16 & 17.

Etiskt förhållningssätt vid användande av ML- och AI-hjälpmedel inom sjukvård

Machine learning algorithm improves prognosis accuracy for patients with myelodysplastic syndromes (Nazha, 2018).

Tillhörande tabeller: 18 & 19.

Utmaningar och korresponderande lösningar vid användande av ML vid prognostik och diagnostik

Tillståndet och utvecklingen inom hälso- och sjukvård samt tandvård

(Socialstyrelsen, 2020).

Tillhörande tabeller: 20 & 21.

Lägesrapport över tillståndet och utvecklingen inom hälso- och sjukvård

Dokumentundersökningen resulterar i information kring vad det finns för etiska risker med maskininlärning som grund för beslutsfattande vid klinisk undersökning och diagnostik inom sjukvård, samt närliggande områden. Information kring hur reducering av sannolikheten att dessa etiska risker med maskininlärning som grund för beslutsfattande inträffar kan även utvinnas.

De oftast förekommande orsaker gällande etiska risker som nästintill alla dokument tog upp var risker vid användning av data och algoritmer samt diverse mänskliga faktorer och bias hos

35

människor och maskin. Andra orsaker som inte förekommer lika ofta är organisatoriska typer såsom administration och etiska ramverk. Det största problemet som förekommer vad gäller data är att den i värsta fall inte är korrekt men även att den inte är tillräcklig. Detta kan skapa bias hos maskinen efter att den tränats på denna felaktiga data (Tabell 8, Tabell 12, Tabell 14, Tabell 16, Tabell 20). Korrektheten av data beror på huruvida den är baserad på personer som är representativa för målgruppen men även att den i sig inte innehåller någon bias (Tabell 6, Tabell 14). En annan aspekt som nämns i flera dokument är det faktum att det är känsliga data som används både vid inlärning och vid användning av maskinen som berör olika patienter.

Hanteringen och användandet av data vid exempelvis försäljning och återanvändning av data blir därför kritiska moment.

Likt i data är stora risker vid användandet och implementering av algoritmer felaktigheter samt bias. Detta kan påverka undersökningar och resultera i felaktiga diagnoser av t.ex.

läkare, vilket självfallet kan påverka patienten negativt. En annan stor etisk risk var enligt många dokument var att det inte finns tillräckligt stor förståelse för hur algoritmerna fungerar.

Detta beror på att de befinner sig i en så kallad black box. En black box kan skapa dålig tillit till algoritmernas resultat då användaren inte vet hur de kommer fram till det (Tabell 8, Tabell 14, Tabell 18).

Andra etiska risker kan bero på mänskliga faktorer. Enligt dokumenten är ofta förekommande mänskliga faktorer såsom för lite kunskap och förståelse om maskinen och maskininlärning en risk enligt Tabell 14. Det är även förekommande att diskriminering, datamanipulering och spridning av desinformation är en etisk risk enligt flera dokument då detta kan påverka patienten negativt enligt Tabell 12. Snarlikt till mänskliga faktorer är bias som diskuteras på ett mer övergripligt vis i många av dokumenten där det kan finnas hos maskin som människa.

Bias kan innebära att leverantören har skapat algoritmerna på ett sådant vis att de gynnar dem på ett ohederligt sätt. Det kan även innebära omdevetna bias som kan skapas av personer som erhåller åsikter och värderingar i olika former. Dessa biaser, åsikter och värderingar överförs sedan till maskinens kod och kan i värsta fall skapa bias (Tabell 6, Tabell 14).

Det finns även enligt ett fåtal dokument etiska risker med hur det administrativa hos en organisation ser ut. Om infrastrukturen för data är byggd på en dålig grund kan detta komma att påverka användandet av maskininlärning som kräver mycket data negativt enligt Tabell 10.

Det är även viktigt att hela organisationen är med och har kunskap om arbetet då om det är för uppdelat då bara de direkta användarna har kunskap om hur maskininlärningen fungerar hos deras verksamhet kan ledningen fatta beslut som kan skapa konsekvenser för verksamhet, personal och patient som inte är positiva enligt Tabell 12. I en organisation finns det även policys som kan göra det svårt att arbeta på ett effektivt och säkert vis med maskininlärning och AI. Enligt dokumenten är det även viktigt att det finns standarder både för organisationen i sig men även generella standarder som gäller alla organisationer. Det finns dock risker med detta där standarderna skiljer sig åt för mycket när olika organisationer ska samarbeta på något vis.

De mest frekventa sätten att reducera etiska risker kan oftast enligt dokumenten göras i etiska ramverk och principer, algoritmer, samt data. Andra sätt att reducera etiska risker på var även administration, AI som stöd, förhindra obehöriga, mänskliga egenskaper, bias, patient

integritet, utbildning och utveckling. Enligt flera av dokumenten är det viktigt att följa nationella, likväl interna handlingsplaner, policys, ramverk och riktlinjer vid arbete och

36

producering av maskininlärning. Detta för att ett så säkert arbete som möjligt ska kunna utföras (Tabell 7, Tabell 9, Tabell 13, Tabell 15, Tabell 17, Tabell 21).

Något som beskrivs upprepande vid lösningar för att reducera etiska risker i själva algoritmen är transparens enligt Tabell 15 vilket kan lösas av dedikerade maskininlärnings modeller som ser över algoritmerna. Dessa modeller plockar ut de relevanta faktorerna för algoritmens uppgift och kan på så vis berätta för användaren vad resultatet baseras på enligt Tabell 19.

Modellerna kan även användas för att finna avvikelser som kan uppstå i algoritmen enligt Tabell 13 och ge ifrån sig en signal. En annan lösning som tas upp i dokumenten är att skapa en standardisering för algoritmerna samt att ordentligt verifiera algoritmerna innan den når ut på marknaden enligt Tabell 9. Redan så tidigt som designfasen av algoritmen kan man reducera de etiska riskerna genom att medhava en utvecklingsgrupp med ett brett perspektiv och en bred erfarenhet för att minska att en bias blir överförd till algoritmen enligt Tabell 17.

Lösningar vad gäller data innebär enligt många av dokumenten avidentifiering av data som används. Detta för att känslig information om patienten inte ska bli publik (Tabell 15, Tabell 17). En annan viktig lösning som tas upp med jämna mellanrum är det faktum att stora och karaktäriserade datamängder krävs för att maskinerna ska ha lärt sig korrekt. Har dem inte det kan det istället förekomma bias och andra fel (Tabell 13, Tabell 15). Det är även viktigt att det finns god monitorering av data i samband med att det kommer från en pålitlig källa. Andra lösningar som nämns i olika dokument är licensiering av data men även open access av data enligt Tabell 7. Båda dessa sätt ser till att fler personer får tillgång till bättre datamängder.

Viktigt nämns det även att det finns transparens i data (Tabell 7, Tabell 15). Detta kan skapas med hjälp av att märka data och se till att den är länkbar enligt Tabell 9. Denna data behöver även vara representativ för målgruppen i syfte. För att data som lagras i en databas ska vara säker från intrång och användning av obehöriga kan man även kryptera data och använda sig av utförliga autentiseringar enligt Tabell 15.

Det finns även ett fåtal tydligt administrativa lösningar enligt Tabell 11, vilket är att se till att ledningen är varse om arbetet på ett djupgående plan för att kunna utföra direktiv som gynnar arbetet. Ledningen behöver även finna den mest optimala allokeringen av maskinen enligt Tabell 13. En annan viktig aspekt av arbetet med hjälp av en maskin är enligt Tabell 21 att enbart se maskinen som ett hjälpmedel och inte något som fattar de slutgiltiga besluten helt självt.

Mänskliga egenskaper kan även bidra till etiska risker. Det kan därför vara viktigt med

kompetensutveckling, transparent och flexibelt ledarskap, utbildning av utvecklingsteam samt sjukvårdspersonal, övervakning och mänsklig delaktighet, spetskompetens samt en

övergripande medicinsk kompetens som gör det möjligt att förstå begränsningar hos maskinen enligt Tabell 15.

37

5 Analys

I detta kapitel analyseras resultatet med insamlad tidigare forskning och teori som

utgångspunkt. Teorin ska i detta kapitel bekräftas med hjälp av resultatet från intervjuer och dokumentundersökningar. Kapitlet har även som avsikt att ge läsaren en djupgående kunskap inom det valda forskningsområdet där svar på problemformuleringar diskuteras.

I resultatet framkommer det att båda respondenterna anser att det finns generella, likväl sjukvårdsspecifika risker med användandet av maskininlärning vid beslutsfattande. De risker som de anser finns är etiska men att dessa kan förekomma i olika stadier. Det framkommer även att det i en del av fallen finns lösningar och effektiva ageranden när etiska risker uppstår men att risken ibland alltid kommer finnas. Detta framgår även i resultatet från

dokumentundersökningarna där vissa av de etiska risker respondenterna tar upp, men även andra etiska risker framgår. Dokumenten går även igenom fler metoder för reducering av etiska risker än vad respondenterna gjorde i sina intervjuer. Teorin behandlar inte avsevärt många lösningar och reduceringsmedel för dessa risker. Lösningar och olika metoder för reducering av dessa etiska risker finns dock att applicera i verkligheten, enligt empiri.

Sammanfattningsvis bekräftas teori genom den insamlade empirin.

En av de främsta anledningarna till varför maskininlärning vid beslutsfattande används är för att det ger en helt objektiv bedömning av ärendet, oavsett vad det gäller. Skillnaden mellan ett mänskligt beslut och ett av en maskin, är att en människa kan och ofta har någon form av bias.

Det är tänkt att den medhavda objektiviteten från maskinens natur eliminerar den etiska risken av mänsklig bias. Resultatet från dokumentundersökningarna tyder även på att

maskininlärning används för att dels reducera och eliminera bias men även för att befria människor från vissa uppgifter som är viktiga vid beslutsfattande. Dessa uppgifter kan vara mödosamma och som i jämförelse med maskinens utförande, mindre effektiva. I sin artikel beskriver Vogenberg (2009) hur resultat från maskininlärning används för att på ett

effektivare vis besluta om hur patienter ska behandlas genom att tydligare visa förändringar i patientens specifika tillstånd. Detta gör i sin tur att sjukvårdspersonal snabbare kan göra bedömningar över vad som behöver göras för patienten, och därav behandla patienten snabbare.

Det framkommer från intervjuerna att det finns fler fenomen än själva skapandet av maskinen som kan påverka om det omedvetet blir en etisk risk att använda sig av maskininlärning vid beslutsfattande. Utvecklingsgruppen som skapar maskinen och dess algoritmer kan skapa bias utan att medvetet göra det om den består av medlemmar som beter sig relativt liknande och har en bakgrund som inte är alltför olik varandras. Detta tas även upp av Chatterjee i podcasten (Tabell 6) samt i Socialstyrelsen kartläggning (Tabell 14). I båda dokumenten framkommer det att bias kan finnas i data, likväl algoritmer som är en följd av en immanent bias hos utvecklarna men även leverantörens kommersiella intressen. Gruppmedlemmarnas redan existerande personliga bias kan avspeglas i maskinens algoritmer, vilket betyder att maskinen sannolikt även kan ha liknande bias som gruppen som utvecklade den. Detta tas även upp av Rosén (2017). Vidare förklaras det att om möjligheten finns kan det även vara värt att försöka få utvecklingsgruppen så diversifierad som det bara går för att undvika bias som även nämns som metod av Rosén (2017) och i princip tre i RANZCR´s dokument

“Ethical Principles for AI in Medicine” (Tabell 17) som handlar om just hur man bör gå tillväga för att undvika bias. Visserligen är ofta ett av målen med maskininlärning att skapa

38

objektivitet men det finns fall där elimineringen av mänsklig bias i form av medlidande har tendenser att vara något negativt. Beslut kräver ibland medlidande för att det ska bli ett, enligt människor, rättvist beslut. När en känslokall maskin istället är ansvarig för beslutsfattandet kan detta istället bli ett tufft och grymt val, som vi människor vanligtvis hade sett på det.

Viktigt kan det därför vara att inte helt förlita sig på maskinens kalla natur som saknar en egenlärd empati. Det finns nämligen vissa instanser där en människas empatiska förmåga behövs för att kunna fatta ett rättvist och korrekt beslut (Rosén 2017). Detta är även något som Chatterjee är inne på där han även förklarar hur maskiner inte alltid har ett korrekt kausalitetssamband (Tabell 7).

Datakvalité är något som är viktigt att tänka på när maskinen är i sin lärande fas. Råder det inte en högkvalitativ och korrekt data kommer detta påverka beslutsfattandet när maskinen väl är i bruk och enligt Socialstyrelsens kartläggning (Tabell 14) är reproduktion och

återanvändning av felaktig data en etisk risk i sig. Kvalité på data som ett problem och etisk risk framkommer i alla dokument som undersökts, däremot kan det betyda olika saker med dålig datakvalité. I podcasten förklarar Chatterjee att data som används inom sjukvård inte alltid är tillräckligt djup och detaljerad för maskininlärning, samtidigt som data inte är av samma typ igenom hela sjukvården (Tabell 6). Han förklarar även att en bristande

tillgänglighet av data som erhåller hög kvalité är en etisk risk då detta kan bidra till bias och inkorrekt data, vilket även Wilson beskriver i sitt dokument (Tabell 10). Att datan är korrekt och erhåller kvalité innebär främst att den inte får vara missvisande och innehålla bias.

Missvisande data kan förekomma enligt Vogenberg (2009) där det kan finnas otillräckliga data vilket Socialstyrelsen i sin kartläggning (Tabell 14) även beskriver som begränsad träningsdata. De beskriver att ett stort fokus är just att datan ska vara korrekt och tillräcklig.

Vogenberg (2009) förklarar även att ett vanligt fenomen är den bristfälliga data det finns om minoriteter och personer som är en del av en minoritet runt om i världen, vilket

Socialstyrelsen (Tabell 14) även går igenom i deras kartläggning där de beskriver hur data kan vara baserat på ett underlag som inte är representativt för målgruppen. Tidigare data är det som används som inlärningsmaterial för maskinen, vilket ursprungligen samlades in manuellt.

Det finns därför även en risk att denna data redan kan vara vinklad då en människa har hanterat den. Detta problem är något som Toftefors¹⁶ även tar upp, där han förklarar att

originaldata kan vara vinklad och måste därför undersökas innan användning. Chatterjee anser även att data som håller hög kvalité bör vara relativt tillgänglig (Tabell 7). Genom att låta data licensieras kan företag fortfarande tjäna på att sälja data, samtidigt som fler får tillgång till den. Högkvalitativa data erhålls delvis genom att säkerställa att datan representerar rätt målgrupp enligt ett flertal dokument. Vid inlärning kan det vara bra att använda sig av flera stycken datasets då det kan vara viktigt att säkerställa att modellen lärde sig korrekt från den första datan enligt Wilson (Tabell 11).

En annan etisk risk med maskininlärning som berörs mer vid implementationen av tekniken är hur personal inte alltid vet hur maskinen fungerar då algoritmerna befinner sig i en så kallad black box, som är ett frekvent förekommande begrepp i teorin likväl i empirin. Socialstyrelsen (Tabell 14) kom i sin kartläggning fram till att oförståelsen som förekommer skapar dålig tillit till maskinen. Detta samband är något som även Chatterjee tar upp i podcasten (Tabell 8). I flertalet av dokumenten som undersökts framkommer det även hur den generella kompetensen om hur ML och AI fungerar inte är tillräcklig. Detta medför också den etiska risk av att

användare inte alltid kan lita på maskinen som de själva använder och kan på grund av detta göra fel beslut om maskinen faktiskt har gjort rätt. Det medför även en etisk risk av att det på

16 Jonas Toftefors, CDO Pulsen. 2020. Intervju den 11 maj.

39

grund av en icke existerande kännedom om tekniken som används, inte kommer finnas något bevis och exponering av att ett beslut tagits på felaktig grund (Calster et al. 2019).

Maskininlärning som ofta ses som en black box är ett fenomen som Nazha (Tabell 18, Tabell 19) förklarar är ett problem som skapar svårigheter att arbeta med maskinen men som även går att lösa genom extrahering av de variabler som var essentiella för algoritmernas resultat.

Detta ger personal bättre förståelse för hur algoritmerna fungerar, vilket Rosén¹⁷ förklarar är viktigt för att tillit till maskinen ska finnas. Schönberger (2019) förklarar även hur viktigt det är med kännedom om hur algoritmerna fungerar. Detta då anledningen till varför maskinen används beror på att man saknar kunskap för att fatta beslut helt på egen hand. Vet personen i fråga dock inte hur algoritmerna fungerar så är inte maskinen till mycket nytta. Förtroende för maskiner i samband med beslutsfattande kan komma att alltid vara en etisk risk då det förblir ett komplext område som kräver en viss insyn för att det verkligen ska vara förstått. Viktigt är det då att förankra sina designval för algoritmerna såväl som maskinen i sig med allmänna riktlinjer som GDPR och EU:s riktlinjer för användandet av tekniken. Förklaring av varför tekniken kan användas för beslutsfattandet i fråga skapas härmed och ger användarna förtroende för tekniken, förklarar Rosén¹⁸. Lägesrapporten från Socialstyrelsen (Tabell 20) resulterade även i att vårdarbetare som saknar en tillräckligt djup förståelse om en patients diagnos eller åkomma inte alltid kan dra nytta av en maskins resultat, vilket istället gör detta till en etisk risk. Likväl som sjukvårdare behöver ha god kunskap inom AI menar Vinnova (Tabell 13) i sitt dokument även på att det är viktigt att ledning och styrelse har god kännedom av det. Detta för att de ska kunna skapa en arbetsmiljö med AI som förs på ett korrekt och etiskt vis. Flertalet av dokumenten resulterar även i att utbildandet av personal inom AI och ML kan vara viktigt för att reducera etiska risker. Själva utbildandet och inlärningen, menar Chatterjee, hade även kunnat dra nytta av AI algoritmer som användare kan finna koden till genom open source (Tabell 9).

Redan vid programmeringen av algoritmerna kan den mänskliga faktorn skapa etiska risker för användandet av maskininlärning vid beslutsfattande i klinisk undersökning och diagnostik inom sjukvården vilket flertalet av dokumenten har som slutsats. Detta är något som kan ske antingen medvetet eller omedvetet, då utvecklaren möjligtvis vill att algoritmerna, som Socialstyrelsen kommer fram till i sin kartläggning (Tabell 14), ska vara mer gynnsamma gentemot vissa personer eller att någon helt enkelt har begått ett misstag där vissa personer inte behandlas på samma vis i algoritmerna. Liknande ämne tas även upp i slutrapporten av Vinnova (Tabell 12) där de skriver om medveten datamanipulering samt tillämpningar som skapas för att sprida desinformation. Det kan även innebära intrång i AI / ML modellen med hjälp av ‘model inversion’ som Socialstyrelsen (Tabell 14) skriver om i sin kartläggning, men som de även menar kan förhindra med starka krypteringar och autentiseringar. Resultatet kan därför bli missvisande vilket delvis tas upp av Calster et al. (2019) där det påpekas hur viktigt det är med diskriminering och kalibrering vid programmering av algoritmerna, medan det i RANZCR´s dokument (Tabell 16) påpekas att orättvis kalibrering och diskriminering är en etisk risk om det görs på fel sätt. Att helt föra bort bias i algoritmer är svårt men det går däremot att undvika det om man flaggar algoritmerna, alltså lokaliserar dem, som skapar detta

Redan vid programmeringen av algoritmerna kan den mänskliga faktorn skapa etiska risker för användandet av maskininlärning vid beslutsfattande i klinisk undersökning och diagnostik inom sjukvården vilket flertalet av dokumenten har som slutsats. Detta är något som kan ske antingen medvetet eller omedvetet, då utvecklaren möjligtvis vill att algoritmerna, som Socialstyrelsen kommer fram till i sin kartläggning (Tabell 14), ska vara mer gynnsamma gentemot vissa personer eller att någon helt enkelt har begått ett misstag där vissa personer inte behandlas på samma vis i algoritmerna. Liknande ämne tas även upp i slutrapporten av Vinnova (Tabell 12) där de skriver om medveten datamanipulering samt tillämpningar som skapas för att sprida desinformation. Det kan även innebära intrång i AI / ML modellen med hjälp av ‘model inversion’ som Socialstyrelsen (Tabell 14) skriver om i sin kartläggning, men som de även menar kan förhindra med starka krypteringar och autentiseringar. Resultatet kan därför bli missvisande vilket delvis tas upp av Calster et al. (2019) där det påpekas hur viktigt det är med diskriminering och kalibrering vid programmering av algoritmerna, medan det i RANZCR´s dokument (Tabell 16) påpekas att orättvis kalibrering och diskriminering är en etisk risk om det görs på fel sätt. Att helt föra bort bias i algoritmer är svårt men det går däremot att undvika det om man flaggar algoritmerna, alltså lokaliserar dem, som skapar detta