Nya teknologier, global risk och mänsklighetens framtid. AI-risk och AI-etik 28 april 2020 MVE420: AI

MVE420:

Nya teknologier, global risk och m¨ansklighetens framtid AI-risk och AI-etik

28 april 2020 Olle H¨aggstr¨om

Vad ¨ar artificiell intelligens (AI)?

Vad ¨ar artificiell intelligens (AI)? Om definitioner tvista de l¨arde...

Vad ¨ar artificiell intelligens (AI)? Om definitioner tvista de l¨arde, men de flesta f¨orslag inbegriper i n˚agon m˚an automatiserat beslutsfattande.

Vad ¨ar artificiell intelligens (AI)? Om definitioner tvista de l¨arde, men de flesta f¨orslag inbegriper i n˚agon m˚an automatiserat beslutsfattande.

Kort historik:

Kort historik:

I AI har id´ehistoriska r¨otter som g˚ar l˚angt tillbaka, t.ex.

Golem-legenden, Mary Shelleys Frankenstein, och Ada Lovelace.

Kan en dator t¨anka egna tankar?

Kan en dator t¨anka egna tankar?

Kan en dator t¨anka egna tankar?

vs

Kort historik:

I AI har id´ehistoriska r¨otter som g˚ar l˚angt tillbaka, t.ex.

Golem-legenden, Mary Shelleys Frankenstein, och Ada Lovelace.

Kort historik:

I AI har id´ehistoriska r¨otter som g˚ar l˚angt tillbaka, t.ex.

Golem-legenden, Mary Shelleys Frankenstein, och Ada Lovelace.

I Begreppet AI myntades av John McCarthy i samband med Dartmouth-konferensen 1956, som blev ett slags startskott f¨or AI-forskningen.

Kort historik:

I AI har id´ehistoriska r¨otter som g˚ar l˚angt tillbaka, t.ex.

Golem-legenden, Mary Shelleys Frankenstein, och Ada Lovelace.

I Begreppet AI myntades av John McCarthy i samband med Dartmouth-konferensen 1956, som blev ett slags startskott f¨or AI-forskningen.

I Sedan dess har intresset f¨or AI g˚att i v˚agor, med bl.a. tv˚a s˚a kallade AI-vintrar 1974–1980 och 1987–1993.

Kort historik:

I AI har id´ehistoriska r¨otter som g˚ar l˚angt tillbaka, t.ex.

Golem-legenden, Mary Shelleys Frankenstein, och Ada Lovelace.

I Begreppet AI myntades av John McCarthy i samband med Dartmouth-konferensen 1956, som blev ett slags startskott f¨or AI-forskningen.

I Sedan dess har intresset f¨or AI g˚att i v˚agor, med bl.a. tv˚a s˚a kallade AI-vintrar 1974–1980 och 1987–1993.

I M˚anga olika koncept f¨or att skapa AI har pr¨ovats, bl.a. neurala n¨atverk, algoritmer inspirerade av biologisk evolution, och det slags handkodning av begrepp och logiska sammanhang som kommit att kallas GOFAI (Good Old Fashioned AI).

Kort historik:

I AI har id´ehistoriska r¨otter som g˚ar l˚angt tillbaka, t.ex.

Golem-legenden, Mary Shelleys Frankenstein, och Ada Lovelace.

I Begreppet AI myntades av John McCarthy i samband med Dartmouth-konferensen 1956, som blev ett slags startskott f¨or AI-forskningen.

I Sedan dess har intresset f¨or AI g˚att i v˚agor, med bl.a. tv˚a s˚a kallade AI-vintrar 1974–1980 och 1987–1993.

I M˚anga olika koncept f¨or att skapa AI har pr¨ovats, bl.a. neurala n¨atverk, algoritmer inspirerade av biologisk evolution, och det slags handkodning av begrepp och logiska sammanhang som kommit att kallas GOFAI (Good Old Fashioned AI).

I Sedan ca 2013 befinner sig AI, mest tack vare deep

Kappl¨opningsmentaliteten

Kappl¨opningsmentaliteten

I Kinas centralregering om hur Kina 2030 “skall vara v¨arldens fr¨amsta centrum f¨or AI-innovation”.

Kappl¨opningsmentaliteten

I Kinas centralregering om hur Kina 2030 “skall vara v¨arldens fr¨amsta centrum f¨or AI-innovation”.

I Donald Trumps executive order den 11 februari 2019 om hur

“continued American leadership in AI is of paramount importance to maintaining the economic and national security of the United States”.

Kappl¨opningsmentaliteten

I Kinas centralregering om hur Kina 2030 “skall vara v¨arldens fr¨amsta centrum f¨or AI-innovation”.

I Donald Trumps executive order den 11 februari 2019 om hur

“continued American leadership in AI is of paramount importance to maintaining the economic and national security of the United States”.

I Europeiska unionens r˚ad efterlyser samma dag “en starkare utveckling, ett kraftfullare inf¨orande och en ¨okad anv¨andning av till¨ampningar f¨or artificiell intelligens i alla ekonomiska sektorer, i syfte att g¨ora Europa till en global ledare inom artificiell intelligens”.

Kappl¨opningsmentaliteten

I Kinas centralregering om hur Kina 2030 “skall vara v¨arldens fr¨amsta centrum f¨or AI-innovation”.

I Donald Trumps executive order den 11 februari 2019 om hur

“continued American leadership in AI is of paramount importance to maintaining the economic and national security of the United States”.

I Europeiska unionens r˚ad efterlyser samma dag “en starkare utveckling, ett kraftfullare inf¨orande och en ¨okad anv¨andning av till¨ampningar f¨or artificiell intelligens i alla ekonomiska sektorer, i syfte att g¨ora Europa till en global ledare inom artificiell intelligens”.

I Wallenberg/WASP om hur “akademin och industrin tillsammans ska f¨ors¨akra att Sverige ligger i framkant n¨ar det g¨aller forskning och utveckling inom artificiell intelligens”.

Av AI i framtiden kan vi bland annat v¨anta oss

I sj¨alvk¨orande bilar,

I kraftigt f¨orb¨attrade beslutsverktyg i medicinsk diagnosticering och p˚a m˚anga andra omr˚aden,

I en effektiviseringv˚ag som revolutionerar bransch efter bransch, och

I en stor andel av den ekonomiska tillv¨axten det n¨armaste

˚artiondet eller tv˚a.

Av AI i framtiden kan vi bland annat v¨anta oss

I sj¨alvk¨orande bilar,

I kraftigt f¨orb¨attrade beslutsverktyg i medicinsk diagnosticering och p˚a m˚anga andra omr˚aden,

I en effektiviseringv˚ag som revolutionerar bransch efter bransch, och

I en stor andel av den ekonomiska tillv¨axten det n¨armaste

˚artiondet eller tv˚a.

Men det finns ocks˚a risker...

“Having the capability to generate tremendous benefits for individuals and society, AI also gives rise to certain risks that should be properly managed.”

“Having the capability to generate tremendous benefits for individuals and society, AI also gives rise to certain risks that should be properly managed.”

“Having the capability to generate tremendous benefits for individuals and society, AI also gives rise to certain risks that should be properly managed. Given that, on the whole, AI’s benefits outweigh its risks, we must ensure to follow the road that maximises the benefits of AI while minimising its risks.”

N˚agra kategorier av risker (ej utt¨ommande lista)

I Autonoma vapensystem

I Manipulation

I Privatliv

I Automatiserad diskriminering

I Robotisering, arbetsmarknad och ekonomisk oj¨amlikhet

I Det ultimata AI-genombrottet

N˚agra kategorier av risker

I Autonoma vapensystem

Ur brevet: ”If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious:

autonomous weapons will become the Kalashnikovs of tomorrow.

Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc.

Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.”

Panel i Bryssel, oktober 2017

Panel i Bryssel, oktober 2017

Steven Pinker meddelade att det skulle kr¨avas en galning f¨or att konstruera n˚agot s˚a hemskt som “a swarm of robots designed to

N˚agra kategorier av risker

I Autonoma vapensystem

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

I Privatliv

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

I Privatliv

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

I Privatliv

I Automatiserad diskriminering

Vilken andel av dem som klassificerades som high-risk ˚aterf¨oll?

Vilken andel av dem som klassificerades som high-risk ˚aterf¨oll?

F¨or svarta: 1369/(1369 + 805) = 0.630

Vilken andel av dem som klassificerades som high-risk ˚aterf¨oll?

F¨or svarta: 1369/(1369 + 805) = 0.630 F¨or vita: 505/(505 + 349) = 0.591

Vilken andel av dem som klassificerades som high-risk ˚aterf¨oll?

F¨or svarta: 1369/(1369 + 805) = 0.630 F¨or vita: 505/(505 + 349) = 0.591

False positives rate:

False positives rate:

F¨or svarta: 805/(805 + 990) = 0.469

False positives rate:

F¨or svarta: 805/(805 + 990) = 0.469 F¨or vita: 349/(349 + 1139) = 0.235

False positives rate:

F¨or svarta: 805/(805 + 990) = 0.469 F¨or vita: 349/(349 + 1139) = 0.235 Ej r¨attvist!

False negatives rate:

False negatives rate:

F¨or svarta: 532/(532 + 1369) = 0.280

False negatives rate:

F¨or svarta: 532/(532 + 1369) = 0.280 F¨or vita: 461/(461 + 505) = 0.477

False negatives rate:

F¨or svarta: 532/(532 + 1369) = 0.280 F¨or vita: 461/(461 + 505) = 0.477 Ej r¨attvist!

L˚at A beteckna gruppen (h¨ar: rastillh¨orighet), l˚at Y vara den egenskap vi ¨onskar prediktera (h¨ar: ˚aterfallsben¨agenhet), och l˚at ˆY vara prediktorn (h¨ar: high-risk vs low-risk). D˚a finns tre

huvudkandidater f¨or vad som kan menas med att ˆY ¨ar r¨attvis:

L˚at A beteckna gruppen (h¨ar: rastillh¨orighet), l˚at Y vara den egenskap vi ¨onskar prediktera (h¨ar: ˚aterfallsben¨agenhet), och l˚at ˆY vara prediktorn (h¨ar: high-risk vs low-risk). D˚a finns tre

huvudkandidater f¨or vad som kan menas med att ˆY ¨ar r¨attvis:

I Y och A ¨ˆ ar statistiskt oberoende.

L˚at A beteckna gruppen (h¨ar: rastillh¨orighet), l˚at Y vara den egenskap vi ¨onskar prediktera (h¨ar: ˚aterfallsben¨agenhet), och l˚at ˆY vara prediktorn (h¨ar: high-risk vs low-risk). D˚a finns tre

huvudkandidater f¨or vad som kan menas med att ˆY ¨ar r¨attvis:

I Y och A ¨ˆ ar statistiskt oberoende.

I Givet Y ¨ar ˆY och A statistiskt oberoende.

L˚at A beteckna gruppen (h¨ar: rastillh¨orighet), l˚at Y vara den egenskap vi ¨onskar prediktera (h¨ar: ˚aterfallsben¨agenhet), och l˚at ˆY vara prediktorn (h¨ar: high-risk vs low-risk). D˚a finns tre

huvudkandidater f¨or vad som kan menas med att ˆY ¨ar r¨attvis:

I Y och A ¨ˆ ar statistiskt oberoende.

I Givet Y ¨ar ˆY och A statistiskt oberoende.

I Givet ˆY ¨ar Y och A statistiskt oberoende.

L˚at A beteckna gruppen (h¨ar: rastillh¨orighet), l˚at Y vara den egenskap vi ¨onskar prediktera (h¨ar: ˚aterfallsben¨agenhet), och l˚at ˆY vara prediktorn (h¨ar: high-risk vs low-risk). D˚a finns tre

huvudkandidater f¨or vad som kan menas med att ˆY ¨ar r¨attvis:

I Y och A ¨ˆ ar statistiskt oberoende.

I Givet Y ¨ar ˆY och A statistiskt oberoende.

I Givet ˆY ¨ar Y och A statistiskt oberoende.

Annat ¨an i triviala fall, eller om vi har enorm flax med siffrorna, ¨ar dessa tre egenskaper ¨omsesidigt uteslutande.

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

I Privatliv

I Automatiserad diskriminering

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

I Privatliv

I Automatiserad diskriminering

I Robotisering, arbetsmarknad och ekonomisk oj¨amlikhet

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

I Privatliv

I Automatiserad diskriminering

I Robotisering, arbetsmarknad och ekonomisk oj¨amlikhet

N˚agra kategorier av risker

I Autonoma vapensystem

I Manipulation

I Privatliv

I Automatiserad diskriminering

I Robotisering, arbetsmarknad och ekonomisk oj¨amlikhet

I Det ultimata AI-genombrottet

Alan Turing, 1951: “My contention is that machines can be constructed which will simulate the behaviour of the human mind very closely. [...] Let us now assume, for the sake of argument, that these machines are a genuine possibility, and look at the consequences of constructing them. [...] It seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control.”

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

I Ortogonalitetstesen

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

I Ortogonalitetstesen

I Tesen om instrumentell konvergens

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

I Ortogonalitetstesen

I Tesen om instrumentell konvergens

I Sj¨alvbevarande

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

I Ortogonalitetstesen

I Tesen om instrumentell konvergens

I Sj¨alvbevarande

I Sj¨alvf¨orb¨attring

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

I Ortogonalitetstesen

I Tesen om instrumentell konvergens

I Sj¨alvbevarande

I Sj¨alvf¨orb¨attring

I Resursanskaffning

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

I Ortogonalitetstesen

I Tesen om instrumentell konvergens

I Sj¨alvbevarande

I Sj¨alvf¨orb¨attring

I Resursanskaffning

I Diskretion

Omohundro–Bostrom-teori f¨or instrumentella vs slutliga m˚al

I Ortogonalitetstesen

I Tesen om instrumentell konvergens

I Sj¨alvbevarande

I Sj¨alvf¨orb¨attring

I Resursanskaffning

I Diskretion

I M˚albevarande

Toby Walsh (citerad av Tom Chivers i The AI Does Not Hate You:

Superintelliegnce, Rationality and the Race to Save the World):

If I tell you to go and make paperclips, and if you turn the planet into paperclips, killing everyone, I would say

“That wasn’t very smart, was it?”

Kn¨ackfr˚agan, som flera av de smartaste personer jag k¨anner arbetar p˚a, ¨ar hur vi l¨oser AI Alignment.

Ur Qvintensen 1/2020: