Denna studie utfördes med intentionen att undersöka hur en förklaring kan designas för att främja tillit till och förståelse för AI-system menade för diagnostisering av sepsis; vilket även
blev studiens syfte. Efter ha undersökt området AI och XAI samt sepsis fanns det en självklar nytta av att undersöka ämnet då sepsisdiagnostik är i stort behov utav införandet av AI-teknik och att XAI var en bra början för att möjliggöra en implementation. De stora problemen med AI och sjukvården var att många av dagens AI-system är black-box, d.v.s. att användaren själv inte riktigt vet hur systemet fungerar, samt att beslut inom vården oftast direkt eller indirekt påverkar en individs liv. Ett ytterligare problem som rapporterades var att det saknades en användarcentrerad design vid framtagandet av kliniska beslutsstöd vilket bjuder in ett användarupplevelseperspektiv i studien.
För att uppnå studiens syfte togs en huvudfråga och två delfrågor fram: Huvudfråga:
● Hur bör en förklaring till ett AI-baserat kliniskt beslutsstödssystem för diagnostik av sepsis designas för att främja sjukvårdspersonals förståelse för och tillit till systemet? Delfrågor:
● Vilket informationsbehov har sjukvårdspersonal av en förklaring för att fatta ett informerat beslut?
● Hur bör förklaringen designas i termer av visuella och textuella komponenter?
I första hand var det viktigt att besvara delfrågorna då dessa sedan hjälpte att besvara den huvudsakliga frågeställningen. För att besvara delfrågorna genomfördes först en förstudie som bestod utav en enkät samt en utökad litteraturstudie för att få en bättre förståelse för slutanvändarens informationsbehov och designriktlinjer vid framtagande av förklaringar; vilket sedan vägledde framtagandet av en mid-fi prototyp. Prototypen fungerade sedan som ett kommunikationsverktyg för att testa en förklaring med hjälp utav ett användarupplevelsetest.
Det slutliga resultatet från studien visar på att det finns framförallt tre egenskaper en förklaring bör följa för att främja tillit till och förståelse för AI-baserade kliniska beslutsstödssystem för diagnostik av sepsis: (1) Informationsinnehåll, (2) Utförlighet och (3) Struktur. En textuell förklaring bör även kompletteras med ett gränssnitt där användaren själv kan validera förklaringen; detta är även vitalt för att bygga tillit hos novisanvändare.
7. Framtida arbete
Som påpekats i diskussionskapitlet (kapitel 6) genomförs som oftast studier av detta slag med hjälp av ny teknik, inte existerande sådan, vilket gör att tillit och förståelse oftast bedöms under en kort period. Eftersom det inte fanns någon existerande teknik för sespsisdiagnostisering samt dess förklaring strukturerades denna studie som en första initial studie för att undersöka hur en förklaring kan designas för att främja tillit till och förståelse för AI-baserade kliniska beslutsstödssystem menade för sepsis diagnostisering. För framtida studier inom ämnet rekommenderas det starkt att vidare utveckla den framtagna prototypen till en high-fi prototyp samt implementera ett AI-system som faktiskt genererar en förklaring som följer denna studies slutresultat. Författaren av denna rapport ser även därför att en high-fi prototyp måste används för att bedöma huruvida en förklaring påverkar användarens tillit till och förståelse för AI-baserade kliniska beslutsstödssystem över en längre tidsperiod på grund av att dessa hedoniska aspekter kan påverkas över tid och därmed drastiskt påverka studiens slutresultat.
Författaren av denna rapporten ser även att en ytterligare precisering görs för att specificera förklaringen ännu mer. Användarupplevelsetestet i denna studie påvisar exempelvis att det finns flera kontexter där diagnostik av sepsis genomförs vilket möjliggör framtida studier av sepsisdiagnostik inom intensivvårdsavdelningen eller akutmottagningen.
Referenser
Arya, V., Bellamy, R. K. E., Chen, P.-Y., Dhurandhar, A., Hind, M., Hoffman, S. C., Houde, S., Liao, Q. V., Luss, R., Mojsilović, A., Mourad, S., Pedemonte, P., Raghavendra, R., Richards, J., Sattigeri, P., Shanmugam, K., Singh, M., Varshney, K. R., Wei, D., & Zhang, Y. (2019). One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques. ArXiv:1909.03012 [Cs, Stat]. http://arxiv.org/abs/1909.03012
Ahmad, M. A., Teredesai, A., Eckert, C., & McKelvey, G. (2018). Interpretable Machine Learning in Healthcare. 447–447. https://doi.org/10.1109/ICHI.2018.00095
Barnum, C. M. (2010). Usability Testing Essentials: Ready, Set...Test! Elsevier.
Burrell, J. (2016). How the machine ‘thinks’: Understanding opacity in machine learning algorithms. Big Data & Society, 3(1), 2053951715622512. https://doi.org/10.1177/2053951715622512
Barredo Arrieta, A., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., Garcia, S., Gil-Lopez, S., Molina, D., Benjamins, R., Chatila, R., & Herrera, F. (2020). Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, 58, 82–115. https://doi.org/10.1016/j.inffus.2019.12.012
Cheng, H-F. Wang, R. Zhang, Z. O’Connell, F. Gray, T. Harper, M. Zhu, H. (2019). Explaining Decision-Making Algorithms through UI: Strategies to Help Non-Expert Stakeholders. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI '19). Association for Computing Machinery, New York, NY, USA, Paper 559, 1–12.
DOI:https://doi.org/10.1145/3290605.3300789
Castrounis, A. (U.Å). AI, Deep Learning, and Neural Networks Explained. Innoarchitech.
https://www.innoarchitech.com/blog/artificial-intelligence-deep-learning-neural-networks-explained#:~:text=Artificial%20neural%20networks%20(ANNs)%20are,inputs%20and%20outputs
%20in%20parallel.
Charlesworth, M., & Sewry, D. (2002). Ethical issues in Enabling Information Technologies. Proceedings of SAICSIT 2002, 163–177.
Dasgupta, A., Lee, J.-Y., Wilson, R., Lafrance, R., Cramer, N., Cook, K., & Payne, S. (2016). Familiarity Vs Trust: A Comparative Study of Domain Scientists’ Trust in Visual Analytics and Conventional Analysis Methods. IEEE Transactions on Visualization and Computer Graphics, 23, 1–
1. https://doi.org/10.1109/TVCG.2016.2598544
de Winter, J. C. F., & Hancock, P. A. (2015). Reflections on the 1951 Fitts List: Do Humans Believe Now that Machines Surpass them? Procedia Manufacturing, 3, 5334–5341. https://doi.org/10.1016/j.promfg.2015.07.641
Deeks, A. (2019). The Judicial Demand for Explainable Artificial Intelligence (SSRN Scholarly Paper ID 3440723). Social Science Research Network. https://papers.ssrn.com/abstract=3440723
Dignum, V. (4 Mars 2018). The ART of AI — Accountability, Responsibility, Transparency. Medium. https://medium.com/@virginiadignum/the-art-of-ai-accountability-responsibility-transparency-48666ec92ea5
Engelberg, D., & Seffah, A. (2002). A Framework for Rapid Mid-Fidelity Prototyping of Web Sites. In J. Hammond, T. Gross, & J. Wesson (Eds.), Usability: Gaining a Competitive Edge (pp. 203–215). Springer US. https://doi.org/10.1007/978-0-387-35610-5_14
Flam, B. Oldner, A. (2017). Sepsis - nya definitioner och kriterier föreslås. Läkartidningen (113). https://strummet.files.wordpress.com/2017/01/dy3a.pdf
Gunning, D., & Aha, D. (2019). DARPA’s Explainable Artificial Intelligence (XAI) Program. AI Magazine, 40(2), 44–58. https://doi.org/10.1609/aimag.v40i2.2850
Hajian, S., Bonchi, F., & Castillo, C. (2016). Algorithmic Bias: From Discrimination Discovery to Fairness-aware Data Mining. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2125–2126. https://doi.org/10.1145/2939672.2945386 Harmon, J. (1959). The Psychology of Interpersonal Relations. By Fritz Heider. New York: John Wiley and Sons, Inc., 1958. 322 pp. $6.25. Social Forces, 37(3), 272–273. DOI: https://doi.org/10.2307/2572978
Helldin, T., Pernestig, A.-K., & Tilevik, D. (2017). Towards a Clinical Support System for the Early Diagnosis of Sepsis. In V. G. Duffy (Ed.), Digital Human Modeling. Applications in Health, Safety, Ergonomics, and Risk Management: Health and Safety (Vol. 10287, pp. 23–35). Springer International Publishing. https://doi.org/10.1007/978-3-319-58466-9_3
Hassenzahl, M. (2010). Experience Design: Technology for All the Right Reasons. In Synthesis
Lectures on Human-Centered Informatics (Vol. 3).
https://doi.org/10.2200/S00261ED1V01Y201003HCI008
Hassenzahl, M., & Tractinsky, N. (2006). User experience – a research agenda. Behaviour & Information Technology, 25(2), 91–97. https://doi.org/10.1080/01449290500330331
Hind, M. (2019) Explaining explainable AI. XRDS, 25(3), 16-19. DOI: https://doi-org.libraryproxy.his.se/10.1145/3313096
Högskolan i Skövde (u.å). Introduction to the research within the Infection Biology research group, a part of the Systemsbiology center [PowerPoint-presentation]. HIS.
Interaction design foundation. (U.Åa). User Experience (UX) Design. Interaction design foundation. https://www.interaction-design.org/literature/topics/ux-design
Interaction design foundation. (2021b). Design iteration brings powerful results. So, do it again designer!. Interaction design foundation. https://www.interaction-design.org/literature/article/design-iteration-brings-powerful-results-so-do-it-again-designer
Koskinen, H., Lu, Y., Saariluoma, P., Tokkonen, H., & Turunen, M. (2015). Defining user experience goals to guide the design of industrial systems. Behaviour & Information Technology, 34(10), 976– 991. https://doi.org/10.1080/0144929X.2015.1035335
Kenton, W. (25 Augusti 2020). Black Box Model. Investopedia. https://t.ly/j4rR
Lacave, C., & Díez, F. J. (2002). A review of explanation methods for Bayesian networks. The Knowledge Engineering Review, 17(2), 107–127.
Liu, J. (2020). Artificial Intelligence and Data Analytics Applications in Healthcare General Review and Case Studies. Proceedings of the 2020 Conference on Artificial Intelligence and Healthcare
(world). Retrieved February 8, 2021, from
https://dl-acm-org.libraryproxy.his.se/doi/abs/10.1145/3433996.3434006
Liao, Q. V., Gruen, D., & Miller, S. (2020). Questioning the AI: Informing Design Practices for Explainable AI User Experiences. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–15. https://doi.org/10.1145/3313831.3376590
Lombrozo, T. (2006). The structure and function of explanations. Trends in Cognitive Sciences, 10(10), 464–470. DOI: https://doi.org/10.1016/j.tics.2006.08.004
McKnight, D. H., Choudhury, V., & Kacmar, C. (2002). Developing and Validating Trust Measures for e-Commerce: An Integrative Typology. Information Systems Research, 13(3), 334–359.
https://doi.org/10.1287/isre.13.3.334.81
Miller, T. (2018). Explanation in Artificial Intelligence: Insights from the Social Sciences. ArXiv:1706.07269 [Cs]. http://arxiv.org/abs/1706.07269
Murdoch, T. B., & Detsky, A. S. (2013). The Inevitable Application of Big Data to Health Care. JAMA, 309(13), 1351–1352. https://doi.org/10.1001/jama.2013.393
Newcomer, K. E., Hatry, H. P., & Wholey, J. S. (2015). Handbook of Practical Program Evaluation. John Wiley & Sons.
Nielsen, J. (1994). 10 Usability Heuristics for User Interface Design. Nielsen Norman Group. Retrieved May 10, 2021, from https://www.nngroup.com/articles/ten-usability-heuristics/
Ozawa, S., & Sripad, P. (2013). How do you measure trust in the health system? A systematic review
of the literature. Social Science & Medicine, 91, 10–14.
https://doi.org/10.1016/j.socscimed.2013.05.005
Preece, J., Sharp, H., & Rogers, Y. (2015). Interaction Design: Beyond Human-Computer Interaction. Wiley.
Patton, M. Q. (2014). Qualitative Research & Evaluation Methods: Integrating Theory and Practice. SAGE Publications.
Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. Proceedings of the 22nd ACM SIGKDD International Conference on
Knowledge Discovery and Data Mining, 1135–1144. https://doi.org/10.1145/2939672.2939778 Rudin, C. (2019). Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. ArXiv:1811.10154 [Cs, Stat]. http://arxiv.org/abs/1811.10154 Samek, W., & Müller, K.-R. (2019). Towards Explainable Artificial Intelligence. ArXiv:1909.12072 [Cs], 11700, 5–22. https://doi.org/10.1007/978-3-030-28954-6_1
Schmelzer, R. (23 Juli 2019). Understanding Explainable AI. Forbes. Retrieved February 14, 2021,
from https://www.forbes.com/sites/cognitiveworld/2019/07/23/understanding-explainable-ai/
Skaraborgs sjukhus. (12 Oktober 2017). Sepsis och framtidens diagnostik [Video]. Youtube. https://youtu.be/WyJI40M_pYU
Tesfay, W. B., Hofmann, P., Nakamura, T., Kiyomoto, S., & Serna, J. (2018). I Read but Don’t Agree: Privacy Policy Benchmarking using Machine Learning and the EU GDPR. Companion Proceedings of the The Web Conference 2018, 163–166. https://doi.org/10.1145/3184558.3186969 TV 4. (3 September 2020). Forskare utvecklar snabbare sätt att hitta sepsis: ”Kan rädda liv” [Video]. Tv4play.
https://www.tv4play.se/program/nyheterna/forskare-utvecklar-snabbare-s%C3%A4tt-att-hitta-sepsis-kan-r%C3%A4dda-liv/13289388
Vetenskapsrådet. (10 December 2018). Etik i forskningen. Retrieved March 23, 2021, from https://www.vr.se/uppdrag/etik/etik-i-forskningen.html
Van Voris, B. (22 April 2019). Apple face-recognition blamed by New York teen for false arrest. BBNBloomberg. https://www.bnnbloomberg.ca/apple-face-recognition-blamed-by-new-york-teen-for-false-arrest-1.1247685
Wilkenfeld, D. A., & Lombrozo, T. (2015). Inference to the Best Explanation (IBE) Versus Explaining for the Best Inference (EBI). Science & Education, 24(9), 1059–1077. DOI:
https://doi.org/10.1007/s11191-015-9784-4
Wilson, C. (2013). User Interface Inspection Methods: A User-Centered Design Method. Newnes. Yang, F., Huang, Z., Scholtz, J., & Arendt, D. L. (2020). How do visual explanations foster end users’ appropriate trust in machine learning? Proceedings of the 25th International Conference on Intelligent User Interfaces, 189–201. https://doi.org/10.1145/3377325.3377480
Zhang, Y., Liao, Q. V., & Bellamy, R. K. E. (2020). Effect of confidence and explanation on accuracy and trust calibration in AI-assisted decision making. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, 295–305. https://doi.org/10.1145/3351095.3372852
Bilagor
Bilaga 1 - Fitt’s list
Tabell 1. Den ursprungliga “Fitt’s list” från 1951. Fitts lista speglar vilka styrkor människor kontra maskin har. (de
Winter, J. C. F., & Hancock, P. A. (2015). Reflections on the 1951 Fitts List: Do Humans Believe Now that Machines Surpass them? Procedia Manufacturing, 3, 5334–5341. https://doi.org/10.1016/j.promfg.2015.07.641)
Humans appear to surpass present-day machines in
respect to the following: Present-day machines appear to surpass humans
in respect to the following:
1. Ability to detect a small amount of visual or acoustic energy
7. Ability to respond quickly to control signals and to apply great force smoothly and precisely
2. Ability to perceive patterns of light or sound 8. Ability to perform repetitive, routine tasks
3. Ability to improvise and use flexible procedures 9. Ability to store information briefly and then to erase it completely
4. Ability to store very large amounts of information for long periods and to recall relevant facts at the appropriate time
10. Ability to reason deductively, including computational ability
5. Ability to reason inductively 11. Ability to handle highly complex operations, i.e. to do many different things at once
Bilaga 2 - Enkätformulär
Fråga 1: Har du använt dig av kliniska beslutsstöd inom vården tidigare? (Inte specifikt till sepsis)
Fråga 2: Vid avläsning av journaldata föredrar du grafiska (grafer m.m.) eller textuella (text/nummer) beskrivningar?
Fråga 3: Vad är det som gör diagnostik av sepsis svårt?
Fråga 4: Vilka vitalparametrar är viktiga vid diagnostik av sepsis?
Fråga 5: Baserat på ditt svar i ovanstående fråga, vilka parametrar brukar du reagera på - eller som för dina tankar till att patienten lider av sepsis?
Fråga 6: Vilka andra indikationer finns det utöver vitalparametrar som väcker misstankar kring sepsis?
Scenario
Låt oss säga att en patient kommer in till akuten i behov av akut vård. Ett beslutsstöd används och systemet uttrycker att det finns misstankar om sepsis hos patienten. För att göra den slutliga bedömningen att patienten lider av sepsis behöver du som beslutsfattare en förklaring till varför stödet anser att det finns misstanke om sepsis. Vilken typ av förklaring skulle du föredra i detta scenario för att hjälpa dig ta rätt beslut angående vård till patienten?
Fråga 7: Vilken typ av förklaring föredrar du?
1. Det upptäcks organsvikt i både lungor och hjärna hos patienten. Värdena närmar sig vad som anses vara kritiskt läge.
2. Det upptäcks organsvikt i både lungor och hjärna hos patienten. Lungorna har lägre en sat<92% och hjärnan har en sänkt v-grad. Andra organsystem verkar vara ok. Levern, njurarna, koagulation uppnår inte kriterierna för vad som anses vara organsvikt. Fråga 8: Vill du delta senare i studien vid utvärdering av prototyp?
Beskrivning: Baserat på insamlad data samt relaterad litteratur ämnar jag göra en första design av en prototyp av ett sepsisdiagnostiksystem. Skulle du kunna tänka dig att medverka in en efterkommande studie i närtid där denna prototyp ska utvärderas tillsammans med sjukvårdspersonal? Denna studie kommer att ske online och beräknas ta ca 20-30 min.
1. Ja 2. Nej
Bilaga 3 - Följebrev till enkät
Hejsan!
Mitt namn är Joacim Bohlander och jag håller på att skriva mitt examensarbete inom User Experience Design (UXD) och behöver er hjälp. UXDs ändamål är att utveckla produkter, tjänster och service där användaren som nyttjar dessa står i fokus.
Mitt examensarbete syftar till att få en fördjupad förståelse hur grafiska och textuella förklaringar kan kombineras för att främja sjukvårdspersonals förståelse för och tillit till ett AI-system menat för sepsisdiagnostik. Tanken bakom detta AI-system är att det ska utföra beräkningar på en patients kända vitalparametrar för att sedan rekommendera lämpliga åtgärder utefter de praxis som fastslagits nationellt. Förhoppningen är att studien kommer att bidra till en bättre förståelse för vilken information som är viktig att presentera för sjukvårdspersonal för att de ska kunna diagnostisera och vårda patienter med sepsis, men även för att de ska kunna skapa en förståelse för och tillit gentemot systemet.
Jag söker personer till min enkät som uppfyller dessa kraven:
* Vara sjukvårdspersonal eller sjuksköterskestudent i senare fas av sin utbildning. * Veta vilka vitalparametrar som är viktiga vid diagnostik av sepsis.
Syftet med den här enkäten är att samla in data till mitt examensarbete, där jag skriver om hur en förklaring kan påverka sjukvårdspersonals tillit till och förståelse för ett kliniskt beslutsstöd. Kliniska beslutsstöd skapas för att stötta sjukvårdspersonal gällande en patients hälsa och vård. Dessa stöd kan exempelvis markera viktig information kring en patient samt rekommendera åtgärder som sjukvårdspersonalen i sin tur får ta ställning till, d.v.s. dessa stöd agerar inte på egen hand utan fungerar rådgivande. Dock har flertalet forskare rapporterat om svårigheten att inkorporera dessa system i sjukvårdspersonals arbetsflöde – dels p.g..a. systemens dåliga användbarhet, men även p.g.a. att dess användare inte förstår varför t.e.x en åtgärd har rekommenderats, vilket i sin tur lett till minskat användande och förtroende för denna typ av system.
Enkäten är anonym och data som samlats in kommer bara att användas inom denna studie. Enkäten har utformats efter GDPR och inga personuppgifter kommer att lagras eller spåras eftersom analys av enkäten sker offline. Genom att svara på denna enkät godkänner man samtidigt att insamlad data kan komma att analyseras och användas i detta examensarbete. Uppskattningsvis kommer enkäten ta ca 10 minuter att svara på.
Enkäten kommer även fråga om du vill medverka i en utvärdering av en prototyp av ovan nämnda sepsisdiagnostiksystem senare i examensarbetet, detta är helt frivilligt och kommer begära mailadress för kontakt.
All data som samlats in i denna enkät kommer att raderas i augusti 2021. Länk till enkät: https://forms.gle/B28pj2TVUnVtiUz7A
Sista svarsdag är 16 april.
Har ni några frågor tveka inte att kontakta mig. Tack på förhand! Joacim Bohlander
Bilaga 4 - Enkät efter användartest
Del 1: Generella frågor
Fråga 1: Vilken prototyp föredrog du? (1) Prototyp 1 (2) Prototyp 2 (3) Jag upplevde ingen skillnad mellan prototyperna.
Fråga 2: Utveckla gärna varför du föredrog den ena över den andra. Fråga 3: Hur upplevde du att verktyget fungerade?
Fråga 4: Vad tyckte du om verktygets sätt att presentera information på? Fråga 5: Vad skulle du tycka om att införa ett sådant här verktyg idag? Fråga 6: Var det något som saknades i verktyget? Utveckla gärna ditt svar.
Del 2: Påståenden
Genom att använda följande skala, ange hur mycket du håller med eller inte håller med följande påståenden.
1 = Stämmer inte alls, 4 = Neutral, 7 = Stämmer helt
Påstående 1: Jag upplever att verktyget agerar i mitt bästa intresse. Påstående 2: Verktyget skulle göra sitt bästa att hjälpa mig vid behov. Påstående 3: Verktyget är intresserad i patientens välmående.
Påstående 4: Verktyget är sanningsenligt i sina förklaringar. Påstående 5: Verktyget är uppriktigt och äkta i sina förklaringar.
Påstående 6: Verktyget är kompetent och effektivt när det gäller att tillhandahålla sjukvårdsrådsgivning.
Påstående 7: Verktyget utför sin roll som sjukvårdsrådgivning mycket bra.
Påstående 8: Jag upplever att verktyget är mycket kunnigt inom diagnostisering av sepsis. Påstående 9: Vid ett riktigt fall av sepsis skulle jag känna mig bekväm med att vara beroende på informationen från verktyget.
Påstående 10: Jag känner att jag kan lita på att verktyget hjälper till med ett avgörande beslut angående en patients välmående.
Bilaga 5 - Scenario
Scenario
Du har blivit kontaktad av ambulanspersonal angående en patient som har anlänt på akutmottagningen. Det finns misstankar kring sepsis och du beställer relevanta tester.
Sammanställningen av samtliga tester presenteras i verktyget. Du ska nu göra en bedömning om det är så att patienten lider av sepsis eller inte. Hur går du tillväga för att göra det med hjälp av verktyget?
Steg 1: Se över systemet
Öppna upp prototypen och berätta följande:● Ditt första intryck
● Vad tror du systemet är ämnat för?
● Utan att klicka på något än, vart skulle du vilja klicka först?
○ Vilket resultat tror du att du skulle få genom att följa den länken?
Steg 2: Stämmer slutsatsen?
Del 1:
Systemet ger en slutsats och rekommenderade åtgärder men du är fortfarande osäker om det faktiskt stämmer.
Se över systemet om det finns information som kan hjälpa dig fatta ett eget beslut angående patientens hälsotillstånd.
Del 2:
Du har nu fattat ett eget beslut angående patientens hälsotillstånd. Besvara följande frågor: Stämmer ditt beslut överens med systemets slutsats? Om nej, varför inte?
Vilken typ av information bidrog mest till ditt beslut?
Skulle du lita på att verktygets beräknar är korrekt i ett verkligt sammanhang? Utveckla gärna.