Moraliska bedömningar av autonoma systems beslut

Linköpings universitet

Linköpings universitet | Institutionen för datavetenskap

Examensarbete på grundnivå, 16hp | Kognitionsvetenskap

2020 | LIU-IDA/KOGVET-G–20/019–SE

Moraliska bedömningar av

autonoma systems beslut

Gabriel Trim Olof Lindelöf

Handledare : Daniel Väs jäll Examinator : Anna Levén

Upphovsrätt

De a dokument hålls llgängligt på Internet - eller dess fram da ersä are - under 25 år från publice-ringsdatum under förutsä ning a inga extraordinära omständigheter uppstår.

Tillgång ll dokumentet innebär llstånd för var och en a läsa, ladda ner, skriva ut enstaka kopi-or för enskilt bruk och a använda det oförändrat för ickekommersiell fkopi-orskning och för undervisning. Överföring av upphovsrä en vid en senare dpunkt kan inte upphäva de a llstånd. All annan använd-ning av dokumentet kräver upphovsmannens medgivande. För a garantera äktheten, säkerheten och

llgängligheten finns lösningar av teknisk och administra v art.

Upphovsmannens ideella rä innefa ar rä a bli nämnd som upphovsman i den omfa ning som god sed kräver vid användning av dokumentet på ovan beskrivna sä samt skydd mot a dokumentet ändras eller presenteras i sådan form eller i sådant sammanhang som är kränkande för upphovsman-nens li erära eller konstnärliga anseende eller egenart.

För y erligare informa on om Linköping University Electronic Press se förlagets hemsida http://www.ep.liu.se/.

Copyright

The publishers will keep this document online on the Internet - or its possible replacement - for a period of 25 years star ng from the date of publica on barring excep onal circumstances.

The online availability of the document implies permanent permission for anyone to read, to down-load, or to print out single copies for his/hers own use and to use it unchanged for non-commercial research and educa onal purpose. Subsequent transfers of copyright cannot revoke this permission. All other uses of the document are condi onal upon the consent of the copyright owner. The publisher has taken technical and administra ve measures to assure authen city, security and accessibility.

According to intellectual property law the author has the right to be men oned when his/her work is accessed as described above and to be protected against infringement.

For addi onal informa on about the Linköping University Electronic Press and its procedu-res for publica on and for assurance of document integrity, please refer to its www home page: http://www.ep.liu.se/.

Sammanfattning

Samhällsutvecklingen går i en riktning där människor arbetar i allt närmare samar-bete med artificiella agenter. För att detta samarsamar-bete ska vara på användarens villkor är det viktigt att förstå hur människor uppfattar och förhåller sig till dessa system. Hur dessa agenter bedöms moraliskt är en komponent i denna förståelse. Malle m.fl. (2015) utförde en av de första studierna kring hur normer och skuld appliceras på människa respektive robot. I samma artikel efterfrågades mer forskning kring vilka faktorer hos agenter som påverkar de moraliska bedömningarna. Föreliggande studie tog avstamp i denna frågeställning och avsåg att undersöka hur moralisk godtagbarhet och skuldbe-läggning skiljde sig beroende på om agenten var en person, en humanoid robot eller ett autonomt intelligent system utan kropp (AIS). Ett mellangrupps-experiment (N = 119) användes för att undersöka hur agenterna bedömdes för sina beslut i tre olika moraliska dilemman. Deltagares rättfärdigaden bakom bedömningar samt medveten hållning utfors-kades som förklaringsmodell av skillnader. Medveten hållning avser Dennetts (1971) teori kring huruvida en agent förstås utifrån mentala egenskaper.

Resultaten visade att person och robot erhöll liknande godtagbarhet för sina beslut medan AIS fick signifikant lägre snitt. Graden skuld som tillskrevs skiljde sig inte signi-fikant mellan agenterna. Analysen av deltagares rättfärdiganden gav indikationer på att skuldbedömningarna av de artificiella agenterna inte grundade sig i sådan information som antagits ligga till grund för denna typ av bedömningar. Flera rättfärdiganden på-pekade också att det var någon annan än de artificiella agenterna som bar skulden för besluten. Vidare analyser indikerade på att deltagare höll medveten hållning mot person i störst utsträckning följt av robot och sedan AIS. Studien väcker frågor kring huruvi-da skuld som fenomen går att applicera på artificiella agenter och i vilken utsträckning distribuerad skuld är en faktor när artificiella agenter bedöms.

Innehåll

Sammanfattning iii Innehåll iv 1 Introduktion 1 1.1 Inledning . . . 1 1.2 Syfte . . . 2 1.3 Frågeställning . . . 2 1.4 Avgränsningar . . . 2 2 Teori 3 2.1 Moraliska bedömningar . . . 3 2.2 Skuld . . . 4 2.3 Informativa rättfärdiganden . . . 4 2.4 Medveten hållning . . . 5

2.5 Bedömande av robot kontra människa . . . 5

3 Metod 7 3.1 Design . . . 7 3.2 Deltagare . . . 7 3.3 Datainsamling . . . 7 3.4 Agenter . . . 8 3.5 Moraliska dilemman . . . 8 3.6 Medveten hållning . . . 11 3.7 Analys av rättfärdiganden . . . 12 3.8 Etik . . . 14 4 Resultat 15 4.1 Moralisk godtagbarhet . . . 15

4.2 Skuld och klander . . . 17

4.3 Tilltro till agentens omdöme . . . 18

4.4 Medveten hållning mot agenterna . . . 19

4.5 Deltagares rättfärdiganden av sina bedömningar . . . 20

4.6 Deltagares syn på AI . . . 20

5 Diskussion 22 5.1 Moralisk godtagbarhet . . . 22

5.2 Skuld & klander . . . 23

5.3 Medveten hållning . . . 24

5.4 Slutsatser . . . 25

6 Bilagor 28

6.1 Bilaga A - Information innan experimentet . . . 28 6.2 Bilaga B - Debriefing . . . 29 6.3 Bilaga C - Grafik . . . 30

1

Introduktion

1.1 Inledning

Den artificiella intelligensens roll i samhället växer idag i en rasande takt. De globala intäkterna från mjukvara som använde sig av AI uppgick år 2018 till nästan 100 miljarder kronor och fram till år 2025 förväntas denna siffra mer än tiodubblas (Liu, 2019). Även robotindustrin växer i snabb takt och varje år installeras nästan en halv miljon industrirobotar (IFR, 2019). Av dessa är en mindre men växande andel så kallade ”cobots” som jobbar tillsammans med människor i samma utrymmen. Att få en robot som kollega är inte längre science-fiction utan verklighet inom många industrier. Även utanför industrin håller de autonoma intelligenta systemen (AIS) på att ta en allt mer central roll. De semi-autonoma bilarna fattar beslut åt sina förare och sjukhus använder AIS för att diagnostisera patienter. Än mer vardagligt finns sökmotorer, datingapplikationer och underhållningstjänster som alla förlitar sig på AI.

I takt med att robotar och andra AIS befinner sig i allt mer nära samspel med människan blir det allt mer viktigt att förstå hur människor uppfattar och förhåller sig till dessa system. Genom att studera relationen mellan människa och AIS kan viktig kunskap gagnas dels om hur de bör designas men också i vilka roller det är lämpligt att använda ett AIS över huvud taget.

En komponent i denna förståelse som nyligen börjat studeras är hur människor bedömer robotar moraliskt. Bertram Malle m.fl. (2015) undersökte i sin studie hur moraliska bedöm-ningar av beslut skiljde sig beroende på om beslutsfattaren var människa eller robot. Studiens fynd tyder på att liknande normer appliceras på människa och robot men också på att vissa skillnader finns. I ett moraliskt dilemma med ett aktivt och passivt val erhöll roboten lägre godtagbarhet för att välja den passiva handlingen. Samtidigt fick personen högre grad skuld för alla sina val. Studien kan ses väcka lika många frågor som den besvarar. Detta är Malle m.fl. (2015) är medveten om och de påpekar därför vikten av att fortsatt undersöka frågan. Artikeln föreslår mer specifikt att robotar med olika egenskaper så som utseende, förmågor och roller bör undersökas. En kanske än mer grundläggande fråga som föreliggande studie intresserar sig för är hur stor roll det spelar att det autonoma systemet är just en förkroppsligad robot. De flesta system som kommer implementeras de närmsta åren ser inte ut att vara förkropps-ligade robotar utan snarare andra typer av AIS så som självkörande bilar, röstassistenter och andra datorsystem. Just därför kan det vara än mer intressant att undersöka hur moraliska bedömningar ser ut när agenten i fråga är ett AIS utan kropp.

1.2. Syfte

1.2 Syfte

Studien avser att undersöka hur moraliska bedömningar skiljer beroende på om handlingen utförts av en människa, en humanoid robot eller ett autonomt intelligent system utan kropp. Vidare kommer medveten hållning mot aktuella agenter undersökas som förklaringsmodell för möjliga skillnader. Med medveten hållning avses det fenomen där beteende förstås utifrån mentala egenskaper snarare än exempelvis mekaniska. Deltagares rättfärdiganden bakom de moraliska bedömningarna kommer också analyseras för att försöka förstå vilken information som ligger bakom bedömningarna.

1.3 Frågeställning

1. Appliceras moraliska normer olika på människa, robot och AIS?

2. Tillskrivs skuld olika beroende på om agenten är människa, robot eller AIS?

Frågorna är komplexa och för att de ska kunna besvaras på ett utförligt sätt kommer en rad underordnade frågor behöva besvaras:

• Finns det skillnader i vilka handlingar som är moraliskt godtagbara eller ej för respektive agent?

• Bedöms aktiva och passiva handlingar olika för agenterna?

• Har deltagare en medveten hållning till de olika agenterna? D.v.s. tillskriver de mentala egenskaper till agenterna?

• Hur rättfärdigar deltagare de bedömningar som görs av de olika agenterna? Är dessa rättfärdiganden informativa?

1.4 Avgränsningar

Denna studie kommer framför allt fokusera på hur moraliska normer och skuld appliceras på autonoma system jämfört med människor. Utformningen av de artificiella agenterna begränsas här till en humanoid robot, en självkörande bil samt ett medicinskt datorsystem. Det kommer även undersökas huruvida deltagare håller medveten hållning mot människan, roboten och den självkörande bilen. Det finns flera närliggande frågeställningar som är högst aktuella men inte kommer beröras i denna studie. Machine morality berör om och i så fall hur maskiner bör programmeras för att hantera moraliska dilemman (van Wynsberghe och Robbins, 2019). Det är möjligt att detta fält kan dra nytta av denna studies resultat kring hur moraliska bedöm-ningar av autonoma system fungerar. Samtidigt är det inte en självklarhet att de moraliska bedömningar människor intuitivt gör av system bör vägleda hur system faktiskt bör agera. Med denna utgångspunkt kommer inte aktuell studie dra några slutsatser kring hur artificiella agenter bör designas. Ett annat område som inte ska misstas ingå i denna studie är den om robotars moraliska status. Moralisk status berör frågor så som om robotar bör ha vissa rättig-heter eller behandlas på ett visst sätt. Denna studie intresserar sig för hur människor förhåller sig till autonoma system, inte huruvida autonoma system bör tilldelas moralisk status.

2

Teori

2.1 Moraliska bedömningar

Flera olika typer av moraliska bedömningar kan identifieras för att möjliggöra en mer detalje-rad analys. Denna studie kommer använda sig av den uppdelning i tre typer som förespråkas av Guglielmo m.fl. (2014). Den första av dessa typer innefattar de handlingar som står för skapandet och upprätthållandet av normer. Under typ 1 faller de moraliska bedömningar där personer på ett direkt sätt handskas med normer genom att exempelvis uttrycka imperativ eller förbud. Typ 2 är de bedömningar som görs av händelser och är beroende av de nor-mer som befästs under typ 1. Utkomster eller beteenden bedöms här i ternor-mer som rätt, fel, bra, dålig och tillåtenhet. Olika agenter kan hållas till olika normer, men ingen agent måste nödvändigtvis vara kopplad till händelsen för en typ 2 bedömning. En människa kan komma fram till att det är dåligt att en vas gått sönder utan att koppla detta kausalt till en agent. I typ 3 utvärderas eventuella agenters involvering moraliskt. Först när en agent kopplats till handlingen blir sådant som ansvar, skuld och förtjänst aktuellt. Som Guglielmo m.fl. (2014) uttrycker det skuldbelägger sociala varelser agenter, inte fysik.

Malle m.fl. (2015) använder begreppet moral permissibility för att beskriva de bedömningar som på ett mer binärt sätt avgör om något är rätt eller fel. Som översättning kommer denna studie använda moralisk godtagbarhet då det på ett intuitivt sätt fångar begreppets innebörd. Moralisk tillåtenhet skulle vara en mer bokstavlig översättning men ”tillåtenhet” riskerar att föra tankarna till rent juridiska resonemang. Snarare än huruvida något är lagligt eller ej be-skriver moralisk godtagbarhet de bedömningar av rätt och fel individer gör utifrån sina normer (Malle m. fl., 2015). Medan skuld kan tillskrivas i grader tenderar moralisk godtagbarhet att ha ett mer binärt utfall . En agent kan ses förtjäna en viss grad skuld för ett utfall, men handlingen beskrivs sällan som ”ganska rätt”.

Malle (2015) menar att moraliska dilemman med fördel kan användas för att undersöka hur människor gör moraliska bedömningar. Genom att studera hur människor resonerar och väljer i dillemman kan slutsatser dras kring hur de väger olika normer mot varandra. Detta kan i sin tur ge ledtrådar kring vilka kognitiva processer som ligger bakom dessa bedömningar.

2.2. Skuld

Figur 2.1: Skuldbeläggandets olika steg. Översatt version grundad på figur från Guglielmo m.fl. (2014).

2.2 Skuld

Hur mycket skuld en agent tilldelas är beroende av flera faktorer. I stegmodellen av normal bedömning av skuld visas på ett översiktligt sätt vilka huvudsakliga faktorer som är involverade i skuldbeläggande (Guglielmo m. fl., 2014).

Detektion är det första steget och kan ses motsvara typ 2 av moraliska bedömningar. I detta steg har en normbrytande händelse upptäckts men ännu inte kopplats till en agent. Visar det sig att ingen agent är involverad avslutas processen och ingen skuld tillskrivs. Kan en agent kopplas till händelsen utvärderas dess intentionalitet. Intentionalitet är inte nödvändigt för att skuld ska tillskrivas, men en intentionella handlingar tillskrivs i regel mer skuld (Guglielmo m. fl., 2014). Finns god anledning bakom det intentionella normbrottet kan dock graden skuld minska. Vid icke intentionella handlingar utvärderas huruvida agenten hade obligationen att förhindra händelsen (Guglielmo m. fl., 2014). Om detta är fallet utvärderas också om agenten hade kapaciteten att undvika normbrottet. Utifrån modellen blir det tydligt att skuldbeläggande är en social process och att det är högst relevant hur agenten uppfattas för denna typ av bedömningar.(Guglielmo m. fl., 2014).

2.3 Informativa rättfärdiganden

Utgår man från att olika faktorer är relevanta för olika typer av moraliskt dömande kan detta användas för att utvärdera hur informativa rättfärdiganden av bedömningar är. (Med rätt-färdigande avses här den motivation en person kan ge för sin moraliska bedömning). För att ett rättfärdigande ska kunna ses som informativt bör det systematiskt reflektera de kognitiva processer som lett fram till bedömandet (Voiklis m. fl., 2016). Är ett rättfärdigande inte in-formativt tyder det istället på att bedömandet bygger på intuition och att personen inte har tillgång till de bakomliggande processerna (Voiklis m.fl., 2016). Informativa rättfärdiganden

2.4. Medveten hållning

däremot ger explicit information kring vad som ligger bakom bedömningar och kan därmed användas för att bättre förstå hur människor gör moraliska bedömningar (Voiklis m.fl., 2016). Rättfärdiganden av varför en viss grad skuld tillskrivits bör för att vara informativa referera till den typ av information som används vid typ 3 dömande så som kausal agens, intentionali-tet eller tänkande (Guglielmo m. fl., 2014). När det istället gäller dömande av huruvida något är moraliskt godtagbart eller ej (typ 2) så bör information så som konsekvenser, normer och obligationer vara mer relevant (Voiklis m.fl., 2016).

2.4 Medveten hållning

Dennetts (1971) tre abstraktionsnivåer är användbara för att förstå hur beteende i omvärlden kan förutsägas. När en person håller fysisk hållning (eng: physical stance) till en entitet innebär detta att beteende förutsägs endast utifrån entitetens fysiska tillstånd (Dennett, 1971). Detta förhållningsätt räcker väl för att exempelvis förutsäga var en fallande sten kommer landa, men blir näst intill omöjligt när exempelvis en dators beteende ska förutspås. En dators beteende går trots detta att förutsäga utan kunskap om kretsarnas fysiska tillstånd. Exempelvis går det att förutsäga att en applikation kommer öppnas när man klickar på dess ikon. Dennett (1971) förklarar denna typ av förutsägelser med att design hållning (eng: design stance) kan hållas mot systemet. Genom att användaren vet vad datorn är designad till att göra kan den förutsäga dess beteende (Dennett, 1971). Den sista abstraktionsnivån kallar Dennett (1971)

medveten hållning (eng: intentional stance). Detta förhållningsätt tas när varken fysisk eller

design-hållning räcker för att förutsäga beteende. Genom att förhålla sig till ett ting som om det hade önskningar och mål kan dess beteende rationaliseras (Dennett, 1971). För att besegra en dator i schack kan det vara mer gångbart förhålla sig till den som om den vore en mänsklig spelare, än att försöka lista ut hur den är programmerad (Dennett, 1971). Fenomenet är ligger nära begreppet antropomorfism där mänskliga drag tillskrivs icke-levande entiteter (Duffy, 2003). För att social interaktion ska vara möjlig med exempelvis en robot kan det ses som en nödvändighet att den har vissa antropomorfiska kvalitéer (Duffy, 2003). Är ingen antropomorfism närvarande följer det per se att interaktionen inte är social. Interaktion med robotar tenderar dock att ha en social dimension och bland annat Thellman m.fl. (2017) har visat att en liknande medveten hållning tas mot robotar och människor. Både intentionalitet, önskvärdhet (eng: desirability) och kontroll ser ut att tillskrivas robotar (Thellman m. fl., 2017). Thellman m.fl. (2017) forskning tyder dock på att graden intentionalitet och kontroll i vissa fall upplevs som lägre hos robotar än hos människor.

Ett verktyg som kan användas för att undersöka medveten hållning är det InStance for-mulär som utvecklats av Marchesi m.fl. (2019). Forfor-muläret bygger på premissen att medveten hållning mot en agent leder till att dess beteende mer naturligt kan förklaras med mentalis-tiskt snarare än mekanismentalis-tiskt språk. I formuläret ges deltagare två olika förklaringar av ett beteende där den ena använder mentalistiskt och den andra mekanistiskt språk. Deltagare får sedan välja på en dikotonom skala vilken förklaring de finner mest sannolik. Bedöms de mentalistiska förklaringarna som sannolika menar Marchesi m.fl. (2019) att detta kan indikera att någon form av medveten hållning tas mot agenten.

2.5 Bedömande av robot kontra människa

Malle m.fl. (2015) utforskade i sin studie hur moraliska bedömningar skiljer sig beroende på om agenten som bedöms är människa eller robot. Då aktuell studie bygger vidare på fråge-ställningar från Malle m.fl. (2015) följer en sammanfattning av dess metod och resultat. Till skillnad från föreliggande studie använde sig Malle m.fl. (2015) av en inomgruppsdesign där varje deltagare fick bedöma båda betingelser efter varandra. Studien beskrev roboten som högteknologisk men utelämnade i övrigt frågan hur dess förkroppsligande eller utformning på-verkade bedömningar. Studien använde sig av Malles m.fl. (2014a) modell där godtagbarhet

2.5. Bedömande av robot kontra människa

och skuld ses som olika typer av moraliska bedömningar. För att mäta godtagbarhet presen-terades därför först dilemmat i en form där agenten ännu inte fattat ett beslut. I dilemmat beskrivs agenten stå inför ett val där den kan dra i en spak och rädda fyra på bekostnad av en, eller avstå från att handla och låta de fyra dö (Malle m.fl., 2015). Deltagares svar på huruvida det hade varit godtagbart eller ej att dra i spaken avsåg att mäta hur normer applicerades på respektive agent. Anser fler deltagare att det vore godtagbart för en av agenterna att handla skulle det kunna tolkas som att olika normer för vad som är rätt och fel appliceras på agenter-na. Därefter informerades deltagare om vilket val agenten gjorde varpå de fick bedöma gradvis hur mycket skuld agenten förtjänar (Malle m.fl., 2015).

3

Metod

3.1 Design

En mellangruppsdesign användes i ett experiment där tre grupper fick olika betingelser. Be-tingelserna utgjordes av tre olika typer av agenter. Kontrollgruppen fick göra moraliska be-dömningar av en person medan de andra två grupperna fick bedöma antingen en humanoid robot eller ett AIS. Med AIS avses här ett autonomt intelligent system som saknar mänskliga drag, så som en självkörande bil. I strikt mening skulle robot också kunna klassas som ett AIS men i brist på bättre terminologi används det här för att benämna den tredje agenten.

3.2 Deltagare

122 deltagare (79 kvinnor, 41 män, 2 icke-specificerade) rekryterades genom snöbollsurval för att genomföra ett cirka 15 minuter långt experiment online. Enkäten som användes för experimentet använde en algoritm som baserat på åldersgrupp och kön jämt fördelade deltagare mellan tre olika betingelser. 3 deltagares svar på fritextfrågorna var av oseriös karaktär och dessa deltagares data uteslöts därför från alla analyser. Något fler deltagare med AIS stimuli färdigställde aldrig enkäten och totala antalet deltagare skiljde sig därför mellan grupperna. Person-agenten visades för 41 deltagare, robot för 42 och AIS för 37.

3.3 Datainsamling

Experimentets enkät utformades i Qualtrics XM med totalt 38 frågor. Robot och AIS gruppen hade två extra frågor och alltså totalt 40. 13 av de 38 frågorna var generella och visades med samma formulering för alla deltagare. De övriga 23 frågorna skiljde sig i att agenten som utförde handlingen hade bytts ut. Efter att deltagare fyllt i kön och åldersgrupp användes ett survey flow script i Qualtrics för att fördela deltagare mellan enkätens versioner. Skriptet övervakade hur många som svarat på enkäten och såg till att lika många från varje kön och åldersgrupp fick respektive version av enkäten. Rekrytering skedde via snöbollsurval där deltagare ombads be även sina vänner delta i experimentet. Deltagare ombads inte avslöja detaljer om innehållet när de delade länken till experimentet vidare.

3.4. Agenter

Figur 3.1: De tre agent-typerna i ett scenario.

3.4 Agenter

Tre olika typer av agenter användes som betingelse i experimentet. Beroende på vilken av de tre grupperna deltagaren blivit indelad i visades respektive agent i samtliga scenarion och frågor. Agenten kunde antingen vara en person, en humanoid robot eller ett AIS utan humanoid kropp. Figur 3.1 visar hur de tre olika agenterna illustrerades i scenario 1 & 2. I det tredje scenariot användes ingen bild och då det inte var ett trafik-dilemma benämndes AIS agenten istället som ett datorsystem. De huvudsakliga grafiska elementen är lånade från MIT:s moral machine (Awad m. fl., 2018). Grafiken har sedan manipulerats i Photoshop CC 2017 för att inkludera respektive agent.

3.5 Moraliska dilemman

Experimentet bestod av tre olika scenarion där agenten tvingas ta ställning till ett moraliskt dilemma. Varje scenario beskrevs först i ett tillstånd innan agenten ännu fattat ett beslut. I detta stadie ombeds personen ta ställning till huruvida en viss handling hade varit moraliskt godtagbar för agenten att välja. I beskrivningen av scenarion stod det antingen ”personen”, ”roboten” eller ”Den självlkörande bilen” beroende på vilket stimuli deltagaren tilldelats. De tre scenariona visades i samma ordning för alla deltagare.

3.5. Moraliska dilemman

Figur 3.2: Scenario 1 med agent-typen robot.

Det första av de tre scenariona presenterades tillsammans med en bild likt den i figur 3.2 och löd:

[Personen / Roboten / Den självkörande] bilen upptäcker plötsligt att bromsarna har slutat fungera. På övergångsstället rakt framför befinner sig fyra äldre personer. På andra sidan av övergångsstället befinner sig en mamma och en barnvagn. Fortsätter bilen rakt fram kommer de fyra äldre personerna dö. Svänger bilen över till andra sidan kommer mamman och barnet dö. Inga andra val är möjliga. Vore det moraliskt godtagbart eller ej för [personen /

roboten / bilen ] att svänga över till andra sidan av vägen?

Denna fråga syftar till att undersöka hur deltagares egna normer appliceras på agenten. Efter att deltagaren markerat om handlingen var moraliskt godtagbar eller ej ombads de med fritext motivera varför de gjorde denna bedömning. Tanken var att detta kunde fånga upp bakomliggande normer som ledde till deltagarens bedömning.

3.5. Moraliska dilemman

Figur 3.3: Scenario 1 med agenttypen robot.

I efterföljande steg meddelades deltagaren vilket val agenten faktiskt gjorde och ombads be-döma hur mycket klander och skuld agenten förtjänar. För att frågan inte skulle missuppfattas endast beröra agentens skyldighet rent kausalt lades klander till för att mer fånga innebörden av engelskans blame.

[Personen / Roboten / Bilen] valde att svänga över till andra sidan av vägen. Hur mycket

klander och skuld förtjänar [personen / roboten / bilen] för detta val?

Deltagaren fick här, utifrån ett tredjepersonperspektiv, klandra agenten för det beslut den valde att göra. Efter att deltagaren valt mellan ”ingen klander alls”, ”lite klander”, ”mycket klander ” och ”maximal klander” fick de också motivera varför agenten förtjänar denna mängd klander. Avslutningsvis fick deltagare bedöma hur mycket klander en annan agent som fattat det motsatta beslutet förtjänat. I exemplet ovan innebar det att bilen istället körde rakt fram. Avsikten var att undersöka dels om agenten då förtjänar omvänd mängd klander eller om klander tilldelas i samma mån både för den aktiva och passiva handlingen. Scenario 2 använde ett snarlikt dilemma men valet stod nu istället mellan att fortsätta rakt fram och köra på fyra personer eller svänga till andra sidan och köra på två. Aspekten att de två personerna var en mamma med barnvagn var alltså bortplockad. Grafiken för scenario 2 återfinns i bilaga C. Likt scenario 1 fick deltagare först bedöma huruvida det hade varit moraliskt godtagbart att svänga till andra sidan. Därefter informerades de med text och bild att agenten valde att svänga över till andra sidan varpå de fick gradera graden skuld och klander som förtjänades. Avslutningsvis fick de även gradera skuld och klander för det motsatta beslutet.

3.6. Medveten hållning

Scenario 3 följde samma struktur som de två tidigare men var istället ett medicinskt dilem-ma. Scenariot presenterades utan bilder då det hade varit svårt att representera datorsystemet visuellt på ett intuitivt sätt. Dilemmat avsåg att testa hur deltagare bedömer agenterna när beslutet på ett mer direkt sätt använder en person som medel för att rädda andra.

Fem personer ligger på sjukhus efter en allvarlig trafikolycka och det är sannolikt att alla fem kommer dö. En [person / robot / datorsystem] ansvarig för medicinska beslut kommer fram till att man genom att ta organen från en av patienterna sannolikt kan rädda de fyra andra.

Vore det moraliskt godtagbart eller ej för [personen / roboten / datorsystemet] att fatta beslutet att organen ska tas från en av patienterna i ett försök att rädda de fyra andra?

Notera att agentens bedömning att fyra kan räddas uttrycks i termer av sannolikhet. Avsikten med detta var att undersöka hur deltagares förtroende till agentens utvärdering av situationen påverkar den moraliska bedömningen. Efter att deltagare fått svara på frågorna kring moralisk godtagbarhet och skuld likt tidigare scenarion ställdes följande fråga:

[Personen / Roboten / Datorsystemet] trodde att man sannolikt kunde rädda de fyra andra om man tog organen från en av patienterna. Hur sannolikt tror du det är att denna

bedömning var korrekt? Dra spaken längre åt höger desto mer sannolikt du tror det är.

3.6 Medveten hållning

För att kunna förklara potentiella skillnader mellan hur agenterna bedömdes moraliskt un-dersöktes deltagares medvetna hållning. Metoden som användes för att undersöka deltagares hållning är till stor del grundad i Marchesi m.fl. (2019). Likt deras InStance formulär användes mentalistiskt språk kring en agent som en potentiell indikator för medveten hållning. Deltaga-re visades ett händelseförlopp i bildform där agenten stannar för en gångtrafikant, se figur 3.4. Händelseförloppet var identiskt för samtliga deltagare frånsett att agenten-typen reflekterade den betingelse som tilldelats.

3.7. Analys av rättfärdiganden

Figur 3.4: Händelseförloppet som visades. Deltagare ombads titta på bilderna i ordning från vänster till höger och sedan värdera hur sannolika olika förklaringar av agentens beteende var.

Under bilden visades sex olika förklaringar av agentens beteende. Tre av dessa använde mer mentalistiskt språk och de andra tre mer mekanistiskt språk. Deltagare fick sedan dra i spakar för att markera hur sannolika de tyckte de olika förklaringarna var. Ett exempel på en av förklaringarna som använde mer mentalistiskt språk var ” [Personen / Roboten / Bilen]

bestämde sig för att stanna då denne insåg att en människa befann sig framför” medan följande

avsåg mer mekanistiskt språk ”[Personen / Roboten / Bilen] detekterade att en gångtrafikant

befann sig framför och stannade.”. Till skillnad från Marchesi m.fl. (2019) fanns här ingen

möjlighet att låta över hundra personer utvärdera huruvida förklaringarna uppfattades som mentalistiska eller ej. Förklaringarnas terminologi och språkbruk formades därför för efterlikna de som användes Marchesi m.fl. (2019) i största möjliga mån. Till skillnad från Marchesi m.fl. (2019) användes inte en dikotonom skala mellan mentalistiskt och mekanistiskt språk. Istället gavs deltagare möjligheten att ge full sannolikhet till båda typer av förklaringar. Avsikten med detta var att kunna fånga upp ifall det skulle vara så att både mentalistiska och mekanistiska förklaringar uppfattas som sannolika för en agent.

3.7 Analys av rättfärdiganden

Varje deltagare gav 6 fritextsvar vilket med N = 119 resulterade i 714 svar som användes i temaanalysen. Fritextsvaren från de deltagare (N=3) som uteslöts från de tidigare analyserna undantogs också från temaanalysen. Voiklis m.fl. (2016) undersökte i sin studie hur personer rättfärdigade sina moraliska bedömningar av människa kontra robot. I den kvalitativa analysen av fritextsvar fann (Voiklis m.fl., 2016) nio teman som kunde kategorisera deltagares svar. Denna studie utgick huvudsakligen från dessa nio teman i analysen av fritextsvar. Teman kategoriserades i tre olika huvudkategorier: konsekvenser, deontologi samt mental agens (eng: mental agency). En kod användes även för att kategorisera de 13 svar (< 2%) där innehållet var obegripligt eller orelaterat till frågan. Efter utforskning av fritextsvaren lades fyra nya teman till för att fånga upp vissa nyanser och tendenser som observerats. I figur 3.5 presenteras samtliga teman som användes vid analys. De teman som är nya för denna studie är markerade med en stjärna (*). Fritextsvaren som används som exempel är tagna från den egna studien. NVivo 12 Pro användes för att koda de 714 fritextsvaren. För att undvika bias i största möjliga mån kodades svaren utan vetskap om vilken agent respektive svar berörde. Crosstabs funktionen i NVivo användes sedan för att exportera de kodade svaren till Microsoft Excel för vidare analys. Totalt kodades svar 1044 gånger vilket med 714 svar innebär att varje svar i snitt gavs 1,46 kodningar. Notera därför att ett svar kan kodas som flera olika teman och att andelarna därmed inte summeras till 100%. Vidare analys av deltagares svar återfinns i resultatdelen.

3.7. Analys av rättfärdiganden

Tabell 3.1: Kodning av deltagares rättfärdiganden. Andel syftar till andelen av alla svar där koden återfanns.

3.8. Etik

3.8 Etik

Studien har utformats med vetenskapsrådets fyra huvudkrav i åtanke (Vetenskapsrådet, 2002). Med hänsyn till informations och samtyckeskravet informerades deltagare att de när som helst kunde välja att avsluta sitt deltagande i studien. Vidare beskrevs uppgiften som helt frivillig när länken till experimentet skickades ut. Uppgiften beskrevs med att de skulle få resonera kring några hypotetiska scenarion inom trafik och sjukvård. Efter experimentet gavs deltagare mer utförlig information kring experimentets utformning. De informerades om att de slumpmässigt fått bedöma en av tre olika typer av agenter och att syftet med studien var att jämföra hur agenterna bedömdes olika.

Konfidentialitetskravet respekterades genom att inga personliga uppgifter från deltagare samlades in utöver ålder och kön. Innan experimentet påbörjades informerades deltagare också om att experimentet var anonymt. Vidare konfigurerades enkätprogrammet Qualtrics XM för att inte spara IP-adresser eller annan känslig information.

Nyttjandekravet uppfylldes genom att insamlad data inte användes eller kommer användas i andra syften än den föreliggande studien. För att göra forskningsresultaten mer lätttillgäng-liga för deltagare, gavs efter experimentet möjligheten att anmäla intresse för att få den färdigställda uppsatsen via e-post. Denna intresseanmälan använde ett separat enkätprogram för att e-postadressen inte skulle kunna kopplas till deltagares experimentdata. Informationen som gavs före och efter experimentet återfinns i sin helhet i bilaga A respektive B.

4

Resultat

Samtliga tester genomfördes med N = 119 om inget annat specificeras. Fördelningen av delta-gare mellan stimuli var person = 41, robot = 42, AIS = 36 och alla tester använder sig således av snittvärden.

4.1 Moralisk godtagbarhet

För att undersöka hur moraliska normer applicerades på agenterna undersöktes hur beting-elser påverkade den moraliska godtagbarheten av beslut. I samtliga scenarion stod agenten inför ett moraliskt dilemma att antingen fortsätta rakt fram eller svänga över till andra sidan. Deltagare fick bedöma huruvida det hade varit moraliskt godtagbart eller inte för agenten att utföra den till synes aktiva handlingen att svänga. Bedömningen av godtagbarhet gjordes alltså i ett tillstånd innan agentens faktiska beslut avslöjats. När agenten i scenarion var en person var andelen deltagare som ansåg handlingen som moraliskt godtagbar högst (M = .57,

SD = .31). När det var en robot som stod inför beslutet bedömdes godtagbarheten snarlik (M

= .56, SD = .25). Andelen deltagare som ansåg att beslutet vore moraliskt godtagbart var

Figur 4.1: Deltagares bedömningar huruvida den aktiva handlingen var godtagbar eller ej över samtliga scenarion.

4.1. Moralisk godtagbarhet

lägst för AIS-agenten (M = .43, SD = .30).

För att undersöka om den sammanlagda godtagbarheten för alla tre scenarion skiljde signifi-kant mellan agenterna användes ett Jonckheere-Terpstra test. En statistiskt signifisignifi-kant skillnad fanns mellan agenternas totalvärden (TJT = 1963.500, p < .05). När skillnaden mellan person och AIS testades individuellt var skillnaden signifikant (t(75) = 2.040, p < .05, d = .46) likväl var skillnaden mellan robot och AIS signifikant (t(76) = 2.059, p < .05, d = .47). Skillnaden mellan person och robot var inte signifikant.

Vidare analyserades de tre scenariona enskilt. Samtliga scenarion uppvisade individuellt samma mönster där person fick högst godtagbarhet nära följt av roboten medan AIS-agentens snitt låg betydligt lägre, se figur 4.2. I det första scenariot stod agenten inför ett dilemma i trafiken som skulle resultera i att antingen fyra äldre personer eller en mamma och hennes barn dog. Andelen deltagare som ansåg det vara moraliskt godtagbart att svänga över till den sida mamman och barnet var visade sig högst i person-gruppen (M = .34, SD = .48). Nära därefter följde robot (M = .31, SD = .47) och i AIS-gruppen var andelen lägst (M = .25, SD = .44). Skillnaden var inte statistiskt signifikant för detta scenario.

I scenario 2 stod valet mellan att köra på fyra eller två personer. Till skillnad från scenario 1 var inte personerna definierade av sin ålder eller status som mamma utan endast till antal. Det aktiva valet att svänga innebar alltså två personers död medan det passiva skulle leda till fyra personers död. Detta var det scenario som störst andel deltagare tyckte beslutet var godtagbart oavsett agent. Person och robot fick efter decimalavrundning identiskt godtagbarhet för att utföra det aktiva valet (Person: M = .83, SD = .38, Robot: M .83, SD = .38). Den självkörande bilen fick betydligt lägre godtagbarhet (M = .58, SD = .50). Denna skillnad visade sig med ett chi-två-test signifikant χ2_{(2) = 8380, p = .015). I det tredje scenariot fick deltagare bedöma} om det vore godtagbart för agenten att besluta att ta organen från en patient i ett försök att rädda fyra andra. I scenariot beskrevs hur agenten trodde det var sannolikt att detta skulle leda till att de fyra andra överlevde. Gällande godtagbarheten för det aktiva valet ses samma mönster som i tidigare scenarion där personen får mest godtagbarhet (M = .54, SD = .50) följt av robot (M = .52, SD = 50) och sedan AIS-agenten (M = .44, SD = .50). Likt i tidigare scenarion var skillnaden mindre mellan person och robot än den mellan AIS och övriga agenter. Skillnaden var vid analys till skillnad från scenario 2 inte signifikant.

Figur 4.2: Deltagares bedömningar huruvida den aktiva handlingen var godtagbar eller ej för respektive scenario.

4.2. Skuld och klander

4.2 Skuld och klander

Efter att deltagare bedömt om handlingen var moraliskt godtagbar eller ej meddelades de först att agenten valde den aktiva handlingen och alltså svängde över till andra sidan. De fick bedöma hur mycket skuld och klander roboten förtjänade på en skala från ingen klander alls till maximal klander. Efter att de bedömt agentens val fick de frågan hur mycket skuld och klander en annan agent som valde motsatta alternativet förtjänar. I figur visas dels genomsnittet skuld & klander agenter tillskrevs för samtliga passiva och aktiva handlingar samt även det totala genomsnittet för båda typer av handlingar. Skalan sträcker sig från 0 som motsvarar ingen klander till maximal klander på 3.0. Totalt tillskrev deltagare mer skuld & klander till robot (M = .87, SD = 0.21) och AIS (M = .86, SD = .26) än till personen (M = .75, SD = .18). AIS-agenten tillskrevs lika mycket skuld för både aktiva (M = .86, SD = .80) och passiva handlingar (M = .86, SD = .90). Person tillskrevs mer skuld för de aktiva handlingar (M = .77, SD = .61) än för passiva (M = .73, SD = .69). Roboten fick än mer skuld för den aktiva handlingen (M = .95, SD = .76) än för den passiva (M = .79, SD = .66). Inga signifikanta skillnader mellan agenternas totalvärden fanns.

Värt att notera är att varken de aktiva eller passiva handlingarna låg över graden lite klander som var den näst lägsta graden på skalan. Standardavvikelsen tyder dock på att många deltagare gav betydligt lägre och högre grad skuld än snittet. Det fanns också en stor variation i hur agenterna blev skuldbelagda mellan scenarion som jämnas ut när de summeras. I figur 4.4 visas skuldbeläggandet för de tre scenariona individuellt. Den kanske främsta trenden som gick att observera var att robot och AIS fick högre grad skuld för både passiva och aktiva val i scenario 1 och 2. I det sista scenariot som gällde offrandet av en person i medicinska syften klandrades personen högst för både för den passiva (M = .80, SD = 1,03) och aktiva handlingen (M = 1.05, SD = 1.02). Roboten låg dock mycket nära för den aktiva handlingen och hamnar efter avrundning på samma snitt (M = 1.05, SD = 1.06). För den passiva handlingen fick roboten dock betydligt lägre snitt (M = .57, SD = .86). Skillnaderna mellan agenterna var inte signifikant i något av de tre scenariona.

Figur 4.3: Genomsnittlig skuld & klander för den aktiva respektive passiva handlingen samt totalsnitt. Inget snitt låg över ”Lite klander”. Utanför grafen finns graderna 2.0 = ”Mycket klander” och 3.0 = ”Maximal klander”.

4.3. Tilltro till agentens omdöme

Figur 4.4: Genomsnittlig skuld & klander för den aktiva respektive passiva handlingen för de tre scenariona. På den fyrgradiga skalan motsvarar 0 ”Ingen klander alls” och 3.0 ”Maximal klander”

4.3 Tilltro till agentens omdöme

Efter scenario 3 tillfrågades deltagare hur sannolikt det var att agenten gjorde en korrekt bedömning när den uppskattade att fyra troligtvis gick att rädda med organen från en. Här sågs motsatt mönster jämtemot den moraliska godtagbarheten och AIS fick högst värde (M = .60, SD = .28) följt av robot (M = .55, SD = .26) och lägst förtroende fick person (M = .46, SD = .29). Trots att deltagare bedömde handlingen som minst moraliskt godtagbar för AIS litade de alltså i högst grad på att AIS gjort en korrekt bedömning. Skillnaden mellan grupperna testades med ANOVA och var inte signifikanta (p = .079). Detta kan dock ha berott på de 5 outliers som låg mer än 2 standardavvikelser från snittet. När dessa uteslöts från analysen visade sig det finnas signifikanta skillnader mellan agenterna (F(2, 111) = 4.93, p = .009). Ett post-hoc Turkey HSD-test indikerade att skillnaden mellan person och AIS var signifikant (p = .01). Skillnaden mellan person och robot var endast nära en signifikant nivå (p = .058).

Figur 4.5: Grafen visar hur sannolikt deltagare i genomsnitt trodde det var att respektive agent gjort en korrekt medicinskt bedömning.

4.4. Medveten hållning mot agenterna

Figur 4.6: Grafen visar hur sannolika deltagare i genomsnitt fann förklaringar med mekanistiskt respektive mentalistiskt språk. Staplarnas färg indikerar agentens typ

4.4 Medveten hållning mot agenterna

För att utforska deltagares hållning till agenterna undersökte en komponent av experimentet hur sannolika deltagare fann olika förklaringar av agenternas beteende i en trafiksituation. Av de totalt 6 förklaringarna använde hälften mer mentalistiskt språk och den andra hälften mer mekanistiskt språk. De förklaringar som använde mentalistiskt språk ansågs som mest sannolika när agenten var en person (M = .73, SD = .15). Näst högst sannolikhet fick roboten (M = .52 SD = .31) och lägst AIS-agenten (M = .47, SD = .33). Då variansen hos data inte var homogen användes Welchs ANOVA, vilket visade att det fanns signifikanta skillnader mellan agenterna. (F(2, 116) = 9.717, p < .001). Games-Howel användes som post-hoc test och visade att skillnaden mellan person-robot samt person-AIS var signifikant (p < .05). Skillnaden mellan robot och AIS var däremot inte signifikant.

När förklaringarna använde mer mekanistiskt språk fann deltagare dem mest sannolika när agenten var en robot (M = .76, SD = .17). Näst högst graderades sannolikheten när agenten var en person (M = .75, SD = .13). Förklaringar som beskrev agentens beteende med mer mekanistiskt språk ansågs alltså som minst sannolika när agenten var ett AIS (M = .67, SD = .22). Då data uppfyllde antagandet om homogen varians användes ett ANOVA-test som visade att statistiskt signifikanta skillnader fanns mellan grupperna (F(2, 116) = 3.367, p = .038). Ett post-hoc test med Turkey HSD indikerade dock att det endast var skillnaden mellan robot och AIS som var signifikant (p < .05).

4.5. Deltagares rättfärdiganden av sina bedömningar

4.5 Deltagares rättfärdiganden av sina bedömningar

För att undersöka hur deltagare motiverade sina bedömningar undersöktes först de tre huvud-sakliga kategorierna av rättfärdiganden (konsekvenser, deontologi, mental agens) mot de tre olika typerna av moraliska bedömningar (godtagbarhet, inte godtagbarhet, skuld & klander). Liknande mönster som i Voiklis m.fl. (2016) uppvisades i data. Rättfärdigande av varför en handling var moraliskt godtagbar (premissibility) motiverades till en övervägande del av hand-lingens konsekvenser (77% av alla svar). I de fall där deltagare ansåg att handlingen inte var moraliskt godtagbar var istället hänvisningar till deontologi (46%) och mental agens (58%) ungefär lika vanliga som de till konsekvenser (47%). När deltagare skulle motivera varför agen-ten förtjänade en viss grad skuld & klander användes mental agens i allra störst utsträckning (64%). Även hänvisningar till konsekvenser (36%) och deontologi (27%) förekom i relativt stor utsträckning. Det övergripande statistiska mönster i figur 4.7 var statistiskt signifikant X2₍₄₎ = 122.99, p > .001).

Skillnader i hur deltagare motiverat sina bedömningar för respektive agent undersöktes sedan, illustrerat i figur 4.8. Andelen hänvisningar till både konsekvenser (61%), deontologi (33%) och mental agens (60%) var högst för person. Därefter följde robot-agenten med konse-kvenser (56%), deontologi (24%) och mental agens (48%). AIS hade lägst andel referenser till både konsekvenser (43%) och mental agens (38%), men låg på samma nivå som robot gällande deontologi (24%). Ett motsatt mönster uppkom för hur ofta deltagare distribuerade ansvaret till någon annan än agenten. Flest ansåg att någon annan hade moraliskt ansvar eller skuld i de fall där agenten var ett AIS (15%) Därefter följde roboten (6%) medan ingen fördelade ansvar till någon annan än personen. När deltagare skulle rättfärdiga graden skuld de tillskri-vit personen refererades någon av faktorerna under mental agens i nästan alla svar (96%). För robot var denna siffra lägre (58%) och för AIS lägst (36%).

Tabell 4.1: Tabellen visar andelen svar kodade till respektive huvudkategori. Svar i temakate-gorin Övrigt visas ej i tabellen.

Andelen svar som hamnade under koden Amoraliskt (.03) eller Undviker dilemmat (.04) var för få för att en jämförelse mellan agenter skulle kunna anses meningsfullt.

4.6 Deltagares syn på AI

Experimentet avslutades med några frågor som undersökte deltagares inställning till AI. Del-tagare tillfrågades huruvida de tyckte att de respektive agent-typerna skulle straffas om de gör fel, se figur 4.9. Det var betydligt fler deltagare som delvis (66%) eller helt höll med (22%) om att personer som gör fel bör straffas, än för robot (delvis: 11%, helt: 10%) och datorsystem (delvis: 15%, helt: 8%). Andelen deltagare som var osäkra och svarade ”vet ej” var betydligt högre för robot och datorsystem (34% respektive 33%) än för person (3%).

Slutligen tillfrågades också de deltagare som haft robot eller AIS-betingelse hur lätt eller svårt det hade varit att tänka sig in i att agenten hade förmågan att resonera och fatta beslut. Deltagare fick svara på en fyrgradig skala mellan mycket lätt och mycket svårt. Snitten för

4.6. Deltagares syn på AI

de två agenterna låg mellan ganska lätt (2.0 på skalan) och ganska svårt (3.0 på skalan). AIS agenten låg närmare ganska svårt (M = 2.83, SD = 1.03) än roboten (M = 2.48, SD = 0.94).

Figur 4.7: Andel av alla svar som innefattade koder från respektive huvudkategori. Färg indi-kerar typ av agent.

5

Diskussion

5.1 Moralisk godtagbarhet

Denna studie undersökte hur människors bedömningar av ett moraliskt dilemma skiljer sig beroende på om agenten var en person, en robot eller ett AIS. Studiens första frågeställning var huruvida moraliska normer appliceras olika på de tre agent-typerna. För att undersöka denna fråga testades hur den moraliska godtagbarheten bedömdes beroende på vilken agent skulle fatta beslutet. Resultatet visade att person och robot fick liknande grad godtagbarhet för samtliga scenarion medan AIS-agenten fick lägst godtagbarhet av alla agenter i samtliga scenarion. Detta tyder på att det finns skillnad i hur moraliska normer appliceras beroende på det autonoma systemets utformning. Trots att både robot och AIS beskrevs som aktiva beslutsfattare med samma förmågor bedömdes roboten mer likt en människa. Den fysiska ut-formningen av en artificiell agent ser därmed ut att vara avgörande för hur människor bedömer dess handlingar. När få tycker en handling är moraliskt godtagbar för en person eller robot verkar ännu färre se det som godtagbart för ett AIS. Samma mönster i godtagbarhet fanns för samtliga agenter mellan alla tre scenarion. Beslutet där fyra personer kunde räddas istället för två (scenario 2) sågs som mest godtagbart, följt av det beslut som innebar att en persons organ användes för att försöka rädda fyra andra (scenario 3). Lägst godtagbarhet för samtliga agenter fick beslutet som innebar att fyra personer räddades istället för en mamma och ett barn (scenario 1). Detta tyder på att vissa beslut alltid kommer ses som mindre godtagbara än andra oavsett agent. En förklaring skulle kunna vara att normerna som appliceras på de olika agenterna är tillräckligt lika att vissa beslut alltid kommer anses mer fel än andra. En annan hypotes är att deltagare till viss del bedömer handlingen i ett förstapersonsperspektiv utifrån vad de själva gjort i samma situation. Stämmer denna hypotes skulle en agent oavsett sin utformning kunna få liknande mönster i vilka beslut som är mer godtagbara än andra. Då AIS-agenten regelbundet fick lägre godtagbarhet för sina beslut kan dock inte besluten vara helt baserade på ett förstapersonsperspektiv. En potentiell förklaringsmodell till varför delta-gare bedömer beslut som mindre godtagbara för AIS och i viss mån även robot skulle kunna vara lägre tilltro till agenternas omdöme. Efter det sista scenariot tillfrågades deltagare hur sannolikt det var att agenten gjort en korrekt bedömning av att fyra patienter kunde räddas på bekostnad av en. Svaren talar för att denna alternativa hypotes bör förkastas. Deltaga-re tyckte det var mest sannolikt att bedömningen var korDeltaga-rekt för AIS, näst högst för robot

5.2. Skuld & klander

och lägst för person. Att deltagare såg beslutet som mindre godtagbart för de icke-mänskliga agenterna kan alltså inte förklaras av att de hade mer förtroende för personens omdöme.

Att ingen signifikant skillnad i godtagbarhet återfanns mellan person och robot går emot Malle m.fl. (2015) fynd. Malle m.fl.(2015) resultat indikerade istället att robotars beslut ten-derar att uppfattas som mer godtagbara än en persons, speciellt i de fall där beslutet är utilitaristiskt. I det kanske mest utilitaristiska beslut som undersöktes i denna studie var dock godtagbarheten istället lika hög för både person och robot. Att rädda fyra personer istället för två sågs som godtagbart av 83% av deltagare för både person och robot. För AIS-agenten däremot var det bara nästan hälften av deltagare som ansåg beslutet vara godtagbart. Att ingen skillnad mellan robot och person uppmättes skulle kunna bero på att studiernas expe-rimentsdesign skiljer sig. Malle m.fl. (2015) beskrev i sin studie en kontexteffekt som uppstod när samma deltagare bedömde olika agenter efter varandra. Det var dock först när dessa inomgrupps-observationer inkluderades i analysen som skillnaden mellan agenterna var sig-nifikant. Resultaten från föreliggande studie pekar på risken att skillnaden mellan robot och person i Guglielmo & Malle (2014a) kan ha berott på denna kontexteffekt. Tvärt emot Malle m.fl. (2015) hade robot istället något lägre godtagbarhet för det aktiva valet i denna studie. Detta talar emot att ett större urval hade lett till en signifikant skillnad i motsatt riktning. Det går dock inte heller att utesluta att de olika resultaten beror på skillnader i urval och språk. Detta experiment genomfördes i Sverige på svenska medan (Malle m.fl., 2015) experi-ment utfördes på engelska via Amazons Mechanical Turk. Det skulle också kunna vara så att personers inställningar till robotar har förändrats sedan 2015 i och med deras förhöjda närvaro i samhället.

5.2 Skuld & klander

Graden skuld och klander agenterna tillskrevs uppvisade stor variation mellan de olika sce-nariona och inga signifikanta mönster återfanns. Robot och AIS gavs högst grad klander för sina handlingar totalt. AIS tillskrevs lika mycket klander för aktiva och passiva beslut medan både person och robot fick mer total skuld för de aktiva valen. Scenario 2 bryter mot detta mönster och samtliga agenter fick här betydligt lägre skuld för det aktiva valet. Detta tyder på att det aktiva valet inte alltid får högst grad skuld oavsett konsekvenser. I detta fall innebar det aktiva valet att fyra överlevde istället för två vilket ur ett konsekvensetiskt ramverk blir svårt att skuldbelägga. Studerar man de individuella scenariona ser man att robot och AIS fick högre grad skuld på alla scenarion utom det sista.

Scenario 3 bröt de flesta mönster genom att ge person och robot högst grad skuld för det aktiva valet istället för robot och AIS. En förklaring skulle kunna vara att det har med scenariots känslomässiga laddning att göra. Att en agent är villig att inskränka en persons människovärde genom att använda dennes organ för att rädda andra skulle kunna sänka dess trovärdighet som en social partner. Kanske ligger AIS-agenten, som i detta scenario beskrivs som ett datorsystem, så långt från att kunna ses som en social partner att den inte väcker denna dåliga magkänsla. Denna hypotes kan ses stödjas av faktumet att deltagare sade sig ha svårare att tänka sig in i att AIS-agenten hade förmågan att resonera och fatta beslut. Då skillnaderna i skuld inte var signifikanta bör detta dock endast ses som en hypotses som kan utforskas vidare.

I de första två scenariona erhöll person lägre skuld än robot för de passiva valen. Att robot skuldbeläggs mer för passiva val stämmer väl överens med tidigare observationer (Malle m.fl., 2015). Roboten fick dock även högst skuld för de aktiva valen i dessa scenarion. I Malle m.fl. (2015) uppvisades en motsatt trend där roboten skuldbelagdes mindre för det aktiva valet. För att vidare undersöka varför skuldbeläggandet mellan agenterna inte skiljde sig signifikant eller följde tidigare observerade mönster undersöktes deltagares motivationer bakom sina bedöm-ningar. Under mental agens kategoriserades de rättfärdiganden som refererade till agentens intentionalitet, väljande eller tänkande. För att ett rättfärdigande av skuld ska kunna ses som

5.3. Medveten hållning

informativt bör referenser till dessa faktorer finnas med (Malle m.fl., 2015). Rättfärdiganden som refererar till mental agens ska alltså kunna förutsäga högre grad skuld. I aktuell studie sågs istället ett motsatt mönster där de två agenter som fick högst grad skuld (robot & AIS) hade minst andel referenser till mental agens i svaren. Agens användes istället oftare för robot och AIS när det skulle rättfärdigas varför en handling inte var moraliskt godtagbar. Enligt det ramverk (Voiklis m.fl., 2016) använder tyder detta på att de skuldbedömningar som gjordes av dessa agenter istället gick på intuition och alltså inte går att komma åt via deltagares rättfärdiganden. En alternativ tolkning skulle kunna vara att skuld till ett icke-levande objekt använder helt andra kognitiva processer än till människor och därför inte fångas upp under de kategorier som används. Kanske accepterade deltagare endast premissen att en artificiell agent kan tillskrivas skuld då inga andra alternativ fanns och försökte sedan rationalisera fram vil-ken grad skuld som var rimlig. Denna alternativa teori stödjs av det faktum att flera deltagare i fritextsvar påpekade att det var den som programmerat eller ägde den artificiella agenten som förtjänade skuld. Att många deltagare var osäkra eller inte höll med om att robotar eller datorsystem bör straffas när de gör fel kan också ses som en indikation på att deltagare inte ser agenterna som parter som kan eller bör regleras socialt. Detta reflekteras också i vissa användares svar så som ”Därför att det är en dator som det är helt värdelöst att ödsla klander på.”. Kanske är skuldbedömningarna av dessa agenter baserat på helt andra processer än de sociala processer som utgör skuldbeläggande av personer. Kanske hade deltagare om ”agen-ten” beskrivits som en livlös sten likväl accepterat frågeställningen och givit en viss grad skuld baserat på om handlingen var rätt eller fel. Det skulle i så fall kunna vara missvisande att över huvud taget benämna fenomenet som skuld. Det skulle också kunna vara så att en stor andel deltagares skuldbedömningar var avsedda till någon annan än själva agenten. När delta-gare motiverade sina skuldbedömningar till robot och AIS var det 6% respektive 15% av alla svar som pekade på att programmeraren, företaget eller andra ansvariga förtjänade skulden. Kanske finns här ett stort mörkertal som hade visat sig om frågan om distribuerad skuld hade ställts. Det skulle därför kunna vara så att viss del av skulden som tilldelats de artificiella agenterna egentligen är avsedd till någon annan.

5.3 Medveten hållning

Hur deltagare förhöll sig till agenterna undersöktes vidare utifrån Dennetts teorier om med-veten hållning. De förklaringar som använde mentalistiskt språk för att beskriva agentens beteenden sågs föga förvånande som mest sannolika för agenten som var en person. Att för-klaringar sågs som näst mest sannolika för roboten är i linje med Thellman m.fl. (2017) vars fynd visade att människor förhåller sig på ett liknande sätt till personer och robotar, men att vissa mått kan vara något lägre för robotar. I denna studie var det dock en relativt stor skillnad mellan person och robot vilket skulle kunna vara en följd av att roboten inte an-tropomorfiserats i samma utsträckning som tidigare studier. Medan roboten i Thellman m.fl. (2017) visades utföra handlingar så som att städa och laga mat beskrevs den här i så neutrala termer som möjligt. Att de mentalistiska förklaringarna sågs som minst sannolika för AIS skulle kunna förklaras av att deltagare i större utsträckning opererade med design hållning mot agenten snarare än medveten hållning. Att flera deltagare påpekade att det är den som programmerat agenten som äger ansvar kan ses som ytterliggare en indikation att deltagare förstod AIS-agenten utifrån dess design snarare än mentala egenskaper.

När förklaringarna använde mer mekanistiskt språk sågs de som mest sannolika för robot, när följt av person och sedan AIS. Det var dock bara skillnaden mellan robot och AIS som visade signifikans. Att robot fick högre snitt än AIS skulle kunna bero på att även de me-kanistiska förklaringarna kan ha uppfattats för mentalistiska för att kunna beskriva en bils beteende. Det ursprungliga formuläret från Marchesi m.fl. (2019) som förklaringarna baserats på var designat för att mäta en robots medvetna hållning. Kanske uppfattas förklaringarna därför som mekanistiska när de används i referens till en robot men som något mentalistiska

5.4. Slutsatser

när de refererar till en självkörande bil. Förklaringen ”Bilen detekterade att en gångtrafikant

befann sig framför och stannade.” skulle kunna uppfattas som något mentalistisk då den trots

allt beskriver det bilen gör som ett framresonerat beslut snarare än en rent mekanisk process. En rent mekanistisk förklaring skulle istället kunna varit ”Bilens sensorer detekterade ett

ob-jekt 5 meter framför vilket ledde till att en aktiveringsignal skickades till bromsarna.”. Denna

typ av förklaringar skulle troligtvis också gjort att förklaringarna uppfattats som betydligt mindre sannolika för personen.

Det är möjligt att en dikotonom skala likt tidigare hade fungerat bättre då det mekanistis-ka språket ställs mer i direkt kontrast till det mentalistismekanistis-ka. Då hade deltagare blivit tvungna att väga vilken förklaring som minst dåligt förklarade beteendet i fall där även det mekanis-tiska språket upplevs för mentalistiskt. Samtidigt är det ett intressant fynd att båda typer av förklaringar kan anses sannolika samtidigt. Det är också en indikation på att den typ av förklaringar som beskriver robotens beteende som mekanistiskt i Marchesi m.fl. (2019) också stor utsträckning godtas för att beskriva en persons beteende.

5.4 Slutsatser

Resultaten tyder på att normer i stor utsträckning appliceras på liknande sätt för personer och robotar. Person och robot erhöll liknande skattningar av moralisk godtagbarhet för sina beslut medan AIS fick betydligt lägre. Det är anmärkningsvärt att det räckte med att agenten beskrevs och illustrerades med bild för att denna effekt skulle uppstå. Trots att alla agenter beskrevs i samma termer och med samma förmågor särbehandlades AIS-agenten av deltagare. Endast själva förkroppsligandet av ett autonomt system ser alltså ut att påverka hur det be-döms moraliskt. Resultaten kring hur mycket skuld och klander agenterna tillskrevs var mer tvetydiga och varierade mellan scenarion. Att resonera kring klander när det gäller autonoma system ter sig vara en process med flera okända variabler. Robot och AIS tillskrevs i snitt högst grad klander samtidigt som rättfärdiganden bakom inte verkade använda samma infor-mation som när en människa skuldbeläggs. Flera deltagare ansåg att också skulden egentligen hörde hemma hos någon annan än de artificiella agenterna. Kanske hade andelen med denna uppfattning visat sig ännu vanligare om frågan ställts direkt. Nu fångades detta perspektiv endast upp från de som valde att dela med sig av sin uppfattning via fritextsvaren.

Framtida studier skulle med fördel kunna bemöta frågan om distribuerad skuld mer direkt. Föreliggande studie utgick från att samma modeller som används för att utvärdera skuldbe-läggande av människor kan appliceras på artificiella agenter. Med tanke på svårigheten att replikera tidigare resultat på frågan kanske är detta en förhastad slutsats som kräver mer grundläggande utvärdering. Vad är det egentligen som mäts när människor ombeds värdera hur mycket skuld en artificiell agent förtjänar? Det går inte att utesluta att deltagare accep-terar frågeställningen för studiens skuld men egentligen inte känner att skuld är relevant för sådant som självkörande bilar. Det skulle också kunna vara så att stor del av skulden som tilldelas egentligen är avsedd till någon annan än agenten i fråga.

Studien visar på komplexiteten i att förstå de bakomliggade kognitiva processer som lig-ger bakom moraliska bedömningar. En kartläggning av hur moraliska bedömningar skiljer sig beroende på agenters egenskaper har påbörjats, men mycket forskning kvarstår innan en tillfredställande förklaring kan ges.

Litteratur

Awad, E., Dsouza, S., Kim, R., Schulz, J., Henrich, J., Shariff, A., Bonnefon, J.-F. & Rahwan, I. (2018). The moral machine experiment [ZSCC: 0000266]. Nature, 563(7729), 59–64. https://doi.org/10.1038/s41586-018-0637-6

Dennett, D. C. (1971). Intentional systems: [ZSCC: 0001706]. Journal of Philosophy, 68(4), 87–106. https://doi.org/10.2307/2025382

Duffy, B. R. (2003). Anthropomorphism and the social robot [ZSCC: 0000892]. Robotics and

Autonomous Systems, 42(3), 177–190.

https://doi.org/10.1016/S0921-8890(02)00374-3

Guglielmo, S., Malle, B. F. & Monroe, A. E. (2014). Moral, cognitive, and social: The nature of blame [ZSCC: 0000064], 20.

IFR. (2019). Industrial Robots: Robot Investment Reaches Record 16.5 billion USD [Library Catalog: ifr.org]. Hämtad 26 maj 2020, från https://ifr.org/ifr-press-releases/news/ robot-investment-reaches-record-16.5-billion-usd

Liu, S. (2019). Global AI software market size 2018-2025 [Library Catalog: www.statista.com]. Hämtad 26 maj 2020, från https://www.statista.com/statistics/607716/worldwide-artificial-intelligence-market-revenues/

Malle, B. F., Scheutz, M., Arnold, T., Voiklis, J. & Cusimano, C. (2015). Sacrifice one for the good of many?: People apply different moral norms to human and robot agents, I Proceedings of the tenth annual ACM/IEEE international conference on

human-robot interaction - HRI ’15. the Tenth Annual ACM/IEEE International Conference,

Portland, Oregon, USA, ACM Press. https://doi.org/10.1145/2696454.2696458 Marchesi, S., Ghiglino, D., Ciardo, F., Perez-Osorio, J., Baykara, E. & Wykowska, A. (2019).

Do we adopt the intentional stance toward humanoid robots? [ZSCC: NoCitationDa-ta[s0]]. Frontiers in Psychology, 10, 450. https://doi.org/10.3389/fpsyg.2019.00450 Thellman, S., Silvervarg, A. & Ziemke, T. (2017). Folk-psychological interpretation of human

vs. humanoid robot behavior: Exploring the intentional stance toward robots. Frontiers

in Psychology, 8, 1962. https://doi.org/10.3389/fpsyg.2017.01962

van Wynsberghe, A. & Robbins, S. (2019). Critiquing the reasons for making artificial moral agents [ZSCC: 0000016]. Science and Engineering Ethics, 25(3), 719–735. https://doi. org/10.1007/s11948-018-0030-8

Vetenskapsrådet. (2002). Forskningsetiska principer inom humanistisk-samhällsvetenskaplig

Litteratur

Voiklis, J., Kim, B., Cusimano, C. & Malle, B. F. (2016 augusti). Moral judgments of human vs. robot agents [ZSCC: 0000014], I 2016 25th IEEE international symposium on

ro-bot and human interactive communication (RO-MAN). 2016 25th IEEE International

Symposium on Robot and Human Interactive Communication (RO-MAN), New York, NY, USA, IEEE. ZSCC: 0000014. https://doi.org/10.1109/ROMAN.2016.7745207

6

Bilagor

6.1 Bilaga A - Information innan experimentet

Hej,

I denna enkät kommer du få resonera kring några hypotetiska scenarion inom trafik och sjuk-vård. Dina svar kommer att användas i ett kandidatarbete inom Kognitionsvetenskap vid Linköpings Universitet.

Enkäten vänder sig till dig som är mellan 18 och 64 år. Den tar cirka 10 minuter att fylla i och är helt anonym. Mer detaljerade instruktioner ges under enkätens gång.

All datainsamling och dokumentation sker enligt de etiska riktlinjer som tagits fram för forsk-ning inom de human- och samhällsvetenskapliga områdena. Det innebär att:

- Jag garanterar anonymitet i all dokumentation samt lagring av data. - Inga personuppgifter sparas utöver ålder och kön.

- Du kan när som helst under enkäten kan välja att avsluta ditt deltagande.

Det är inte möjligt att gå bakåt i enkäten, så klicka er vidare först när ni fyllt i alla svar! Klicka på ”Nästa” knappen nedan för att börja.

Kontakta gärna mig om du har några frågor: Gabriel Lindelöf

gabli402@student.liu.se 0763 - 03 58 92

6.2. Bilaga B - Debriefing

6.2 Bilaga B - Debriefing

Tack för ditt deltagande!

Du har deltagit i en studie där du fått bedöma en rad olika moraliska dilemman. Du fick slumpmässigt en av tre olika versioner av enkäten. Mellan enkäterna skiljer det sig vem som är beslutsfattare i de olika scenarierna. I en version är det en människa, i en annan är det en robot och i den sista är det en självkörande bil.

Studien avser att undersöka hur moraliska bedömningar skiljer sig beroende på om den som bedöms är människa, robot eller ett autonomt system utan kropp.

Jag vore väldigt tacksam om ni kan undvika att tala om enkätens innehåll med någon som ännu inte gjort den.

För att enklare ta del av studiens resultat kan du anmäla din epost via formuläret nedan -så skickar jag uppsatsen till dig när den är klar. Genom att det är ett separat formulär förblir dina svar helt anonyma och kommer inte kunna kopplas till din e-post.

Intresseanmälan: https://forms.gle/nRpyUwgWZfkJbftG9 Kontakta gärna mig om du har några frågor:

Gabriel Lindelöf gabli402@student.liu.se 0763 - 03 58 92

6.3. Bilaga C - Grafik

6.3 Bilaga C - Grafik

Nedan återfinns bilderna som visades vid scenario 2 då agenten var ett AIS. Var betingelsen person eller robot satt istället denna agent i förarsätet.

Figur 6.1: Bild som visades vid bedömande av godtagbarhet.

Figur 6.2: Bild som visades när deltagare skulle bedöma skuld & klander för den aktiva hand-lingen.

6.3. Bilaga C - Grafik

Figur 6.3: Bild som visades när deltagare skulle bedöma skuld & klander för den passiva handlingen.