Tabell 1 “Tabell för att illustrera nyckelord ur intervju 1” (Egen tabell) Otydlig ansvarsfördelning För lite data
Bias Faktor som inte är med
Egna värderingar Åtgärdar onödiga ting
Tränas på relevant data För stark tillit
Ingen mänsklig granskning Tala om varför den rekommenderar
Systematiskt sätt tränar maskininlärningen på fel material
Förhöj MLs beslutsförmåga med andra utomliggande parametrar
Underförstådd bias i materialet Lämnar det slutliga beslutet till en människa
Successivt bli bättre då tekniken ständigt förbättras
Tabell 2 “Tabell för att illustrera nyckelord ur intervju 2” (Egen tabell)
Black box Läkaren som gör en slutgiltig bedömning
Bias Beslut på fel grunder
Koll på datakvaliteten Behandlas eller opereras i onödan Inte varit noga med datakvaliteten Saknad ansvarsfördelning
Diversitet i utvecklingsgruppen Transparens genom hela kedjan
Diskriminerande och det kan vara felaktiga prediktioner
Lämnas själv
Felbedömning och behandlas på fel sätt Människor och maskiner jobbar tillsammans Monitorerar genom hela kedjan Exponera vad besluten togs på
Tydlig ansvarsfördelning Spårbarhet
AI policy Förklarbarhet
51
Tabell 3 “Tabell för att illustrera teman ur intervju 1” (Egen tabell)
Orsaker till Etiska Risker Reducering av Etiska Risker Otydlig ansvarsfördelning Tränas på relevant data
Bias Tala om varför den rekommenderar
Egna värderingar Lämnar det slutliga beslutet till en människa
Ingen mänsklig granskning Förhöj MLs beslutsförmåga med andra utomliggande parametrar
Systematiskt sätt tränar maskininlärningen på fel material
Successivt bli bättre då tekniken ständigt förbättras
Underförstådd bias i materialet För lite data
Faktor som inte är med Åtgärdar onödiga ting För stark tillit
Tabell 4 “Tabell för att illustrera teman ur intervju 2” (Egen tabell)
Orsaker till Etiska Risker Reducering av Etiska Risker
Black box Koll på datakvaliteten
Bias Läkaren som gör en slutgiltig bedömning
Egna värderingar Transparens genom hela kedjan
Egna åsikter Människor och maskiner jobbar tillsammans
Inte varit noga med datakvaliteten Monitorerar genom hela kedjan Saknad ansvarsfördelning Exponera vad besluten togs på Behandlas eller opereras i onödan Tydlig ansvarsfördelning
Diskriminerande och det kan vara felaktiga prediktioner
Spårbarhet
Felbedömning och behandlas på fel sätt Diversitet i utvecklingsgruppen
Lämnas själv Förklarbarhet
Beslut tas på fel grunder AI policy
Saknar samarbete mellan människa och maskin
52
Tabell 5 “Tabell för att illustrera underteman och mönster ur samtliga intervjuer” (Egen tabell) Respondent Ansvarslöshet Data Mänsklig
53
B.2 Dokumentteman
Tabell 6 “Tabell över teman gällande orsaker till etiska risker ur dokument: AI in healthcare:
What the Slope of Enlightenment Will Look Like (Transcript) (Bowne-Anderson &
Chatterjee, 2020)” (Egen tabell) Orsaker till etiska
risker:
Data Bias Förståelse
Claims data is that it's not medically deep. costs as the measure for healthcare needs.
Inherent bias.
Technology companies are leveraging claim data sets.
Claims are being sold and resold.
Repurposing and reusing clinical trial data.
AI does not understand direct causation.
We are not sure if the generalizability can be applied.
Describe the symptoms and the conditions of these patients consistently over and over and over again off of that same model.
Wondering what is a deployable algorithm, and we believe in its accuracy.
Tabell 7 “Tabell över teman gällande reducering av etiska risker ur dokument: AI in
healthcare: What the Slope of Enlightenment Will Look Like (Transcript) (Bowne-Anderson
& Chatterjee, 2020)” (Egen tabell) Reducering av etiska
risker:
Bias Data Etiska ramverk
You can correct algorithmic bias.
But, you have to flag it first.
Dig deeper into it for that dataset.
Go back retrospectively and see if they're actually making the right decisions.
Never be identifiable.
Never reveal the identity of the sponsor, or of the patient.
54
Tabell 8 “Tabell över teman gällande orsaker till etiska risker ur dokument: AI in healthcare:
Arnaub Chatterjee discusses artificial intelligence (AI) and machine learning (ML) in healthcare (Bowne-Anderson & Chatterjee, 2018)” (Egen tabell)
Orsaker till etiska risker:
Algoritmer Data Etiska ramverk
Black box algorithms.
Liability.
Lack of consistency, transferability in the current models because they focus on different end points.
Being able to demonstrate a use case, and then the application of that algorithm within clinical practice.
Algorithm bias.
Data is different in many different parts of the healthcare system.
The sophistication of certain models or methods may not be there because the data's, quite frankly, not that good.
Access to the data.
Finding the right partner.
Inconsistent standards.
Policy implications of AI in health care.
Tabell 9 “Tabell över teman gällande reducering av etiska risker ur dokument: AI in healthcare: AI in healthcare: Arnaub Chatterjee discusses artificial intelligence (AI) and machine learning (ML) in healthcare (Bowne-Anderson & Chatterjee, 2018)” (Egen tabell) Reducering av etiska
risker:
Algoritmer Data Etiska ramverk
Verify the effectiveness of the algorithm before they're taken to market.
Accepting algorithms and approving them is part of diagnosis.
Standardization within algorithms.
If academic groups and organizations come together to say this is a generally accepted algorithm.
Build algorithms that are within guidelines and practice.
Evaluating different algorithms that are entering the marketplace.
Patientdata and risk analytics.
Data exploration.
Create a standard where data is no longer somebody's competitive advantage.
Common data model for health care.
Plan from the government to build up AI in an ethical way.
55
Tabell 10 “Tabell över teman gällande orsaker till etiska risker ur dokument: Artificial Intelligence Real Results (Wilson, 2018)” (Egen tabell)
Orsaker till etiska risker:
Administration Data
Bad underlying IT infrastructure Data on clinical outcomes often is difficult to find because it is not captured in a standardized way.
Tabell 11 “Tabell över teman gällande reducering av etiska risker ur dokument: Artificial Intelligence Real Results (Wilson, 2018)” (Egen tabell)
Reducering av etiska risker:
Data
De-identify data.
Access to large, vetted data sets.
Second data set to validate an algorithm’s performance.
Sophisticated data governance.
Automated process to prevent model degradation over time.
56
Tabell 12 “Tabell över teman gällande orsaker till etiska risker ur dokument: Artificiell intelligens i svenskt näringsliv och samhälle (Vinnova, 2018)” (Egen tabell)
Orsak till etiska risker: Administration Algoritm Data Människa
Låga resurser.
Risker för affärsmonopol för ett fåtal teknikföretag, bl.a. baserat på datamonopol.
Tillämpningar som publicerar desinformation.
Medveten datamanipulering.
Tabell 13 “Tabell över teman gällande reducering av etiska risker ur dokument: Artificiell intelligens i svenskt näringsliv och samhälle (Vinnova, 2018)” (Egen tabell)
Reducering av etiska risker:
Administration Algoritm Data Utbildning Principer
Direktiv/styrning från
57
Tabell 14 “Tabell över teman gällande orsaker till etiska risker ur dokument: Digitala vårdtjänster och artificiell intelligens i hälso- och sjukvården (Socialstyrelsen, 2019)” (Egen tabell)
Orsaker
Hur forskare och utvecklare av AI-stöd använder de stora mängder data som krävs för utvecklande av AI. Felaktigheter i dataunderlag.
Träningsmaterialet kan vara betydligt mer begränsat än det material AI-systemet senare ska användas på.
Overfitting.
Träningsdatan inte håller god kvalitet.
Baserad på uppgifter från grupper av människor som inte är representativ för målgruppen.
Ojämlikheter i datan reproduceras.
Bias som kan finnas i
dataunderlaget och hos de som tar fram algoritmerna. de inte har kunskap om eller erfarenhet av.
Rekommendation, diagnos eller prediktion kan ändras på ett sätt som användaren inte har insikt i och kontroll över.
Effekter först när det tillämpas i större skala.
Osäkerhet om hur stor precisionen blir.
Falsk föreställning om kontroll.
Man tror för mycket på instrumentet, och gör inte egna bedömningar.
Professionen tappar kunskap om man förlitar sig på teknik i alltför hög utsträckning.
Förtroendet för forskaren.
Personal i vården vänjer sig med att lita på AI och därmed inskränker sitt personliga ansvar för medicinska beslut.
Göra mindre (litar på AI:s rekommendation).
.
58
Tabell 15 “Tabell över teman gällande reducering av etiska risker ur dokument: Digitala vårdtjänster och artificiell intelligens i hälso- och sjukvården (Socialstyrelsen, 2019)” (Egen tabell)
Algoritmer Data Etiska Ramverk
59
Tabell 16 “Tabell över teman gällande orsaker till etiska risker ur dokument: Ethical Principles for Artificial Intelligence in Medicine (RANZCR, 2019)” (Egen tabell)
Orsak till etiska risker: Algoritm Data Människa Tillit
ML and AI can produce results which are difficult to interpret or replicate.
Poor algorithms.
Poor data. Unfair discrimination and exacerbate existing disparities in health outcomes.
Full trust in AI/ML results.
60
Tabell 17 “Tabell över teman gällande reducering av etiska risker ur dokument: Ethical Principles for Artificial Intelligence in Medicine (RANZCR, 2019)” (Egen tabell)
Reducering av etiska risker:
Algoritm Bias Data Patient integritet Principer Utbildning Utveckling
Involving a range of training data set and the environment in which it and AI is based should be representative of the target patientpopulation.
Consideration must be given to how a result that can impact patient care can be understood and explained by a discerning medical practitioner.
The doctor must consider the personal values and preferences of their patient in this situation.
Final decisions about care are made after a discussion between the doctor and patient.
Ethical principles.
Development of standards of practice.
Patient safety and quality of care, with the evidence base to support this.
Patientdata must not be transferred from the clinical environment at which care is provided without the patient’s consent.
Approval from an ethics board.
Patient’s data must be stored securely and in line with relevant laws and best practice.
Same standard of evidence used for other clinical interventions must be applied when regulating ML and AI.
Limitations must be transparently stated.
The doctor must apply humanitarian values to any circumstances in which ML or AI are used in medicine.
Accountable governance to oversee implementation and monitoring of performance and use.
The implementation of ML and AI requires consideration of a broad range of factors including how the ML or AI will be adopted across a hospital.
61
Tabell 18 “Tabell över teman gällande orsaker till etiska risker ur dokument: Machine
learning algorithm improves prognosis accuracy for patients with myelodysplastic syndromes (Nazha, 2018)” (Egen tabell)
Orsaker till etiska risker: Modell Människa
Machine learning as a black box.
Model told us that this patient is a lower risk but the disease behaves like a higher risk that becomes also a problem.
Over-treating this patient.
Tabell 19 “Tabell över teman gällande reducering av etiska risker ur dokument: Machine learning algorithm improves prognosis accuracy for patients with myelodysplastic syndromes (Nazha, 2018)” (Egen tabell)
Reducering av etiska risker: Algoritm
Ask the algorithm what are the important variables, we extract those variables and we rebuild the model.
Try to learn from the algorithm.
Tabell 20 “Tabell över teman gällande orsaker till etiska risker ur dokument: Tillståndet och utvecklingen inom hälso- och sjukvård samt tandvård (Socialstyrelsen, 2020)” (Egen tabell)
Orsaker till etiska risker: Data Människa
Felaktigheter i dataunderlaget.
Datamängder.
Brist i kompetens.
Tabell 21 “Tabell över teman gällande reducering av etiska risker ur dokument: Tillståndet och utvecklingen inom hälso- och sjukvård samt tandvård (Socialstyrelsen, 2020)” (Egen tabell)
Reducering av etiska risker: AI som stöd Data Principer
Beslutsstöd Data är anpassad för målgruppen Nationell handlingsplan.
Besöksadress: Allégatan 1 · Postadress: 501 90 Borås · Tfn: 033-435 40 00 · E-post: registrator@hb.se · Webb: www.hb.se