Den 1 november 2008 trädde en omfattande reform av rättegångsbalken ikraft. I samband med den utredningen som gjordes uttalade lagstiftaren ”Att den tekniska
52 Frändberg s 284.
53 Ekelöf 1942, s 7 ff.
54Frändberg s 284.
55 Frändberg s 285.
utvecklingen inom domstolarna håller jämn takt med utvecklingen i samhället i övrigt är en nödvändighet för att domstolsväsendet skall kunna möta de krav som det moderna samhället ställer.”57 I dagens era av digitalisering och teknisk utveckling är det relevant att fråga vad det egentligen betyder? I praktiken har det framförallt inneburit att video och ljudupptagning kommit att användas i allt större grad samt möjlighet att medverka över video i särskilda fall. Det senaste steget i domstolsverkets digitaliseringssträvanden är en e-tjänst för ansökan om skilsmässa som lanserades den 15 oktober 2019.58 Jag anser att vi kan börja fråga varför det i praktiken inte betyder mer. Att videodokumentation implementerats är i min mening inte tillräckligt. En digital e-tjänst för ansökan om skilsmässa är ett steg på vägen, men inte heller det tillräckligt i min mening. I SOU 2016:89 – För digitalisering i tiden – förutspår utredarna att Artificiell intelligens är den fjärde industriella revolutionen och den andra maskinåldern. Det senare syftar till att maskiner nu utvecklas för att ta över människors intellektuella och mentala förmågor. Detta innebär otroliga möjligheter för att utveckla domstolarnas verksamhet och funktion och därmed i förlängningen öka rättssäkerheten.59
I en mycket intressant studie från USA, genomförd av tre amerikanska forskare, visar de på en generell metod för att förutspå utfallet i USAs högsta domstol med hjälp av AI. Modellen kunde med hjälp av maskininlärning förutspå utgången med 70 % korrekthet.60 En liknande studie, utförd av ett annat team av forskare, kunde med hjälp av maskininlärning förutspå utgången i Europadomstolen för mänskliga rättigheter med 79 % korrekthet.61 Även om modellerna i sig inte är applicerbara i en verklig domstol så är det ett första bevis på att en AI som domare långt ifrån är
57 Prop. 2004/05:131 s 79 f.
58 Pressmeddelande domstolsverket 2019-10-15
59 SOU 2016:89 s 133.
60 Katz m fl, 2017 s 1 ff.
en omöjlighet.62 Förmågan att förutspå kräver nämligen förmågan att tolka och förstå. Så modellen i sig är en stark indikator på att utvecklingen är på väg. Estland är ett av de land som kommit längst på vägen mot en AI som domare. Estland i sig är ett av världens bäst digitalt anpassade länder där staten satsar mycket på att vara i framkant på den digitaliseringsvåg som sveper över världen. I slutet av 2019 började de beta testa en AI-domare vars syfte är att hantera mindre civilrättsliga tvister där summan inte överstiger ca 70 000 sek. I systemet kommer parterna att kunna ladda upp dokument och annan relevant information som AI-domaren sedan tar ett beslut från. Precis som i en vanlig domstol finns möjligheten att överklaga.63 Kina investerar mycket i Artificiell intelligens i domstolsväsendet. I Beijing No 1
Intermediate People's Court (Ungefär: Beijings hovrätt nr 1) finns Xiaofa. Xiaofa
är en AI-robot som har svaren på fler än 40 000 juridiska frågor och kan hjälpa dig med över 30 000 olika typer av ärenden.64
Slutet för kolbaserade livsformer i domstolsväsendet är kanske inte så långt bort som vi tror.65 Vi är alltså på god väg att kunna applicera Artificiell intelligens i domstolsväsendet, men det finns, som jag tidigare nämnt, många utmaningar på vägen. I det följande kommer jag fokusera på de faror och utmaningar som finns med AI och användningen i domstolsväsendet. Analysen tar sin början i hur den juridiska metoden kan fungera i en beräkningsbaserad värld för att sedan gå vidare till att relativt övergripande analysera viktiga delar så som krav på transparens, risken för manipulation av en AI funktion, bevis och bevisvärdering samt bias. Detta avsnitt har ett tekniskt fokus där de tekniska aspekterna av AI undersöks och konkretiseras mot juridiska principer och förfaranden. De etiska, moraliska och
62 Alteras m fl s 1 ff samt Katz m fl, 2017.
63 Niiler Wired 25/3 2019.
64 Harris, World Government Summit 11/7 2018.
65”Slutet för kolbaserade livsformer i domstolsväsendet” syftar på att vi människor är uppbyggda av ämnet kol. Detta till skillnad från datorer och framförallt komponenter så som transistorer och mikrochip som till största del består av Kisel (Silicon på engelska). Därav också namnet ”Silicon Valley” för teknik och datorindustrins Mecka i Kalifornien, USA.
rättsfilosofiska aspekterna kommer behandlas i nästa avsnitt men vissa delar kopplade till detta kommer ändå tangeras i avsnittet eftersom det är så nära sammankopplade. Analysen sker fortlöpande i texten och har sammanvävts med den faktabaserade framställningen. Centralt för denna del är frågan om hur starka krav vi kan ställa, bör kraven på automatiserat beslutstagande vara högre än de vi ställer på mänskligt beslutstagande och i så fall hur? Det rimliga svaret är ja, annars måste vi nog ifrågasätta varför det skulle vara av intresse att använda AI för beslutsfattande om vi inte kan kräva en högre tillförlitlighet. Det intressanta och viktiga blir därmed hur högt och hur långtgående kan och bör vi ställa de kraven?
Juridisk metod i en beräkningsbaserad värld
Efter att vi nu fått en grundläggande förståelse för hur Artificiell intelligens och maskininlärning fungerar är det dags att rikta fokus mot hur det fungerar i kombination med juridik. Att Artificiell intelligens håller på att förändra hur vi arbetar med juridik är redan ett faktum. En seriös analys av Artificiell intelligens i rättsväsendet borde därför innehålla en diskussion om vad juridik är? Och varför finns juridik? Låt oss börja i den andra frågan; Varför finns juridik? Det är en komplicerad fråga och jag ska i det följande försöka fatta mig kort. Juridiska beslut handlar om oräkneliga frågor och en förteckning över juridikens funktioner blir snabbt mycket omfattande. Frågan är då om vi på ett övergripande men ändå detaljerat sätt kan förklara och ge ett rimligt svar på varför juridik finns. Låt oss därför titta på det ur en praktisk synvinkel. Anledningen till att de flesta vänder sig till en jurist är för att de har ett problem eller att de vill undvika problem i framtiden. Detta gäller även på ett samhälleligt plan. Juridiken i sig har inget självändamål utan finns för att fylla praktiska funktioner och anledningen till ett regelverks existens är för att det finns ett problem. Det blir väldigt självklart när det skrivs ut på detta sätt och som utbildad jurist kan det kännas självklart. Att juridik ytterst handlar om problemhantering är grundläggande för förståelsen för
varför juridik finns. Faktumet får även långtgående konsekvenser för hur den juridiska metoden ska utvecklas och förbättras tillsammans med AI. Men framförallt så är det denna grundförutsättning vi måste utgå ifrån i en analys av AI i rättsväsendet i allmänhet och domstolsväsendet i synnerhet.
Inledningsvis i detta arbete sa jag att den juridiska metoden är objektiv vilket kanske närmast får säga vara en sanning med modifikation. Sant är att juridiken på ett sätt är objektiv. Juridiken består av ett enormt regelverk vars syfte är att hantera olika typer av problem. Regelverket utgör emellertid bara en utgångspunkt från vilket vi sedan har utredningar, rättsfall och doktrin att använda oss utav när vi lägger grunden för ett beslut. Det finns däremot sällan ett enkelt svar på en juridisk fråga och när du ställer en fråga till en jurist får du ofta svaret ”det beror på”, följt av en begäran att få ta del av mer information om omständigheter m.m. Tittar vi ytterligare ett steg längre, på rättsfilosofin och hur moral och etik bör vara en del av juridiska beslut så blir det än mer komplext och svårt att förstå. Detta gör juridiken till ett väldigt komplext system, kanske ett av de mest komplexa system som finns just eftersom det har en moral-, och etikkomponent. Mer om det mer rättsfilosofiska delarna i avsnitt 5.
Vi har nu konstaterat att juridik är ett komplext system konstruerat för att lösa problem. Vidare är den juridiska metoden givetvis anpassad till hur vi människor fungerar och kan lösa problemen, men däremot inte till hur datorer löser problem. Framöver, när forskningen och utvecklingen av AI-domaren verkligen börjar ta fart är det viktigt att vi har med oss detta. Det är först när vi identifierat de underliggande funktionerna i både juridiken samt i de medium i vilket juridiken ska tolkas, människa eller dator, som framsteg är möjligt. Det är först då som vi på ett meningsfullt sätt kan ser hur tillämpning av juridiken kan automatiseras med hjälp av AI.66
Manipulation av Artificiell intelligens
Precis som andra IT system kan en AI manipuleras. Eftersom AI är så komplext finns även flera möjligheter och metoder för sådan manipulation än traditionella IT system.67 Två områden hos Artificiell intelligens som är sårbara är bland annat medveten manipulation av AI-algoritmer samt genom interaktion med AI. Medveten manipulation kan ske på så enkla sätt som genom att t.ex. sätta upp klisterlappar på en stoppskylt så att den förarlösa bilen inte stannar. Något som vi människor skulle göra om vi satt bakom ratten.68 Andra exempel är bildigenkänning där värdet av varje pixel i en bild ändras på så sätt att algoritmen ser något annat men bilden för oss människor är oförändrad (se fig 4). För oss är det två bilderna nedan lika. Vi ser en panda i båda bilderna och har inga svårigheter att identifiera att det är en Panda. För ett Artificiel Neural Network är de båda bilderna däremot helt olika. Den första bilden klassificerar ett Artificiel Neural Network med 57.7% säkerhet som en panda medans den andra bilden, efter att ett filter lagts över, klassificerar bilden med 99.3% säkerhet som en gibbon (en typ av apa).69
Figur 4 En motsatt inmatning, överlagd på en typisk bild, kan göra att en klassificerare felaktigt kategoriserar en panda som en gibbon (apa).
67 Schwarz s 18.
68 Eykholt m fl, Avsnitt 4.3 samt Schwarz s 18.
Manipulation genom interaktion handlar om att påverka en algoritms beteende på ett negativt sätt. Den typ av avancerad AI som kan utföra riktigt komplexa uppgifter bygger på att vi lär upp den med hjälp av data och att den sedan hela tiden lär sig mer vartefter för att utveckla sin kunskap. Vid manipulation genom interaktion förs ovidkommande eller felaktiga data in vilket leder till att den tar vissa beslut.70 Konkreta exempel är t.ex. när Microsoft släppte sin intelligenta Twitter-bot, Tay. Inom ett halvt dygn uppvisade Tay beteenden signifikanta för en nazist och antifeminist och Microsoft var därefter tvungen att stänga ner den. Detta skedde genom den interaktion, dvs. de människor (eller andra robotar) som Tay kommunicerade med på Twitter.71 I denna bemärkelse kan AI liknas vid ett barn under barnets viktigaste år i utvecklingen. Vi uppfostrar algoritmen via interaktionen vi har med den.72
Precis som hos IT-system generellt och även hos människor, så finns det sårbarheter hos AI. Speciellt för sårbarheter i AI är att de är beroende av detaljerad kunskap om hur modellen är konstruerad och till och med vilken träningsdata som använts vid upplärningen.73 I exemplet med bildigenkänningen av en panda är det just den kunskapen som utnyttjats för att manipulera bilden för att istället bli identifierad som en gibbon.74 Vi människor är sårbara för manipulation på olika sätt och manipulation av rättsväsendet finns i form av korruption eller annan påverkan på domstolens olika parter. Försök att manipulera domstolsväsendet kommer alltid finnas oavsett hur det är konstruerat. Införandet av AI förändras egentligen bara hur försöken till manipulationen sker och det viktiga i den förändringen är att vi skapar oss en förståelse för hur det kan ske. Det är utifrån den förståelsen vi sedan kan utveckla metoder för att motverka försöken. Vi
70 Schwarz s 18.
71 Hunt The Guardian 24/4 2016.
72 Szegedy m fl s 1 ff.
73 Papernot m fl s 1 ff.
kommer aldrig fullt ut kunna kontrollera människor i rättsväsendet eftersom vi inte fullt kan ta kontroll över en person. Åtminstone i teorin har vi möjlighet att fullt ut ta kontroll och påverka metoderna för manipulation av AI eller göra det så svårt att risken att det sker blir närmast obefintlig.
Transparens vid automatiserat beslutsfattande
Användningen av Artificiell intelligens måste vara transparent och på ett sådant sätt att det är förståeligt. Inom Artificiell intelligens kallas detta ”The Black Box Problem”. Termen kommer från att AI oftast liknas vid en ”Black Box” där vi utan att veta hur det fungerar eller går till applicerar innehållet i lådan och får ett resultat. Vi kommer däremot inte alltid vilja veta eller ens bry oss hur en viss AI modell kommit fram till ett visst resultat. En god jämförelse är med en vanlig tvättmaskin.75 Att tvätta görs nästan dagligen och till vår hjälp har vi då oftast en tvättmaskin. Men vi bryr oss däremot inte om hur våra kläder blir rena, det enda viktigt är att de blir just rena. Även om du säkerligen kan lista ut hur en tvättmaskin fungerar så finns det inte någon stark motivation att göra det. Hur våra kläder blir rena är egentligen inte viktigt för oss, utan det viktiga är att det blir det. Liknande är det för vissa AI program, vi kommer inte alltid bry oss om hur de kommit fram till ett visst resultat. Däremot är det annorlunda när det handlar om juridik. Juridik handlar i grund och botten om värderingar, vad som är rätt och vad som är fel. Hur och varför ett juridiskt beslut fattas är därför väldigt viktigt för oss. Att medborgarna har förtroende för domstolsväsendet är av största vikt i ett demokratiskt samhälle. Allmänhetens möjlighet till insyn i domstolarnas
75 Jämförelsen gjordes av Manuela M. Veloso, Herbert A. Simon University Professor in the School of Computer Science at Carnegie Mellon & Head of J.P. Morgan AI Research, under samtal med henne den 18 oktober 2019.
rättsvårdande och rättskipande verksamhet är därför vital för rättssamhällets funktion. Ovan i avsnittet om domslut och domskäl redogör jag för de krav som ställs på transparensen i en domstolsprocess och framförallt vid ett domslut. Det vi kan konstatera är att domslutet och domskälen utgör hela möjligheten att förstå ett visst utfall från domstol. Därmed ställs givetvis även otroligt höga krav på hur en dom skrivs för att dels innehålla allt väsentligt för målet men även vara enkelt att förstå även om du inte är utbildad jurist.
Utmaningen för Artificiell intelligens, och kanske framförallt för Neural networks är att det är närmast omöjligt att titta på koden i modellen i ett visst läge och förstå varför den har tagit det beslut den gjort. Varje enskild nod i ett Neural network fungerar i praktiken som en vikt i en våg som ofta beror på tusentals inputs, vidare kan ett Neural network bestå av flera miljoner eller till och med miljarder noder vilket gör det praktiskt taget omöjligt att överblicka på ett konkret sätt. Vi får därför ta ledning i de krav vi ställer på personer. Vi människor fungerar ju på ett liknande sätt som Neural networks. Vi kan inte heller ”gå in” i en annan person, titta på neuronerna och synapserna, och förstå hur personen har tänkt och varför. Det krav vi därför ställer är att personen ska motivera sin slutsats, vilket sker genom text eller tal. Rimligen bör vi därmed ställa åtminstone samma krav på AI-domaren vad gäller transparens.
Bevis och bevisvärdering
4.5.1 Bevisvärdering av AI-domaren
En mycket viktig del i alla mål vid en domstol är bevis och som jag ovan nämnt råder fri bevisföring och bevisvärdering i svenska domstolar. Att med hjälp av Artificiell intelligens analysera och förstå text har jag redan redogjort för men bevis kan ju även ta många andra former, inte minst i form av bilder, video och vittnesmål. För att AI-domaren innebär detta att det behöver utvecklas metoder som på maskinell väg kan göra denna bevisvärdering. Framförallt vad gäller
tolkning av vittnesmål innebär detta en utmaning. Uppgiften är långt ifrån omöjlig men kommer kräva extensiv forskning och utveckling av digitala verktyg som samverkar med t.ex. sensorer i kombination med analys av kroppsspråk och ansiktsuttryck i relation till tal. Till exempel så finns det redan idag maskiner som kan avgöra om vi ljuger eller inte. Vi känner dem under samlingsnamnet lögndetektorer. Dessa maskiner producerar data som en AI kan ta del av och utvärdera precis som vi människor gör när vi använder dem.
4.5.2 Manipulering och fabricering av bevis med hjälp av Artificiell intelligens
Låt oss ta ett steg bort från användningen av Artificiell intelligens i domstolen och istället utforska hur något som genererats med hjälp av Artificiell intelligens kan påverka en domstolsprocess. En domstolsprocess syftar ofta till att fastställa vem som har ansvar för något eller avgöra en oenighet mellan olika parter. Bevis är en central del i alla sådana processer. Bevisvärdering och bevisprövning är ett komplext och svårt område och ovan har jag behandlat grunderna för detta. Så kallade Deepfakes76 sätter nu dock dessa principer på prov och utmanar den fria bevisföringen och bevisvärderingen. Deepfakes är bilder, videor och ljud som ändrats eller till och med genererats med hjälp av teknik sprunget ur Artificiell intelligens. ”Deep” kommer från den typ av avancerad Artificiell intelligens som används ofta benämnd som deep learning. Deepfakes håller mycket hög kvalité, så god kvalité att det är mycket svårt för oss att avgöra om det vi ser är äkta eller inte.77 I processen att skapa deepfakes så används två delar, en motor som bygger innehållet och en motor för att upptäcka om det är äkta eller inte. Denna typ av deep learning kallas generative adversarial network (GAN).78 GAN-nätverk består alltså av två neurala nätverk, det ena programmerad att generera innehåll i syfte att lura det andra neurala nätverket att tro att det är en riktig bild. De två nätverken lär
76 För exempel på deepfakes https://www.youtube.com/watch?v=gsv1OsCEad0 (2019.12.28).
77 Kight, M. Meet the fake celebrities dreamed up by AI samt Karras m fl s 4 ff.
sig av varandra för att på så sätt kunna skapa det perfekta exemplaret. Dessvärre är det även så att förmågan att med tekniska hjälpmedel upptäcka deepfakes ännu är begränsad. Förmågan att upptäcka deepfakes är nämligen nära sammankopplad till förmågan att skapa dem. Nya innovativa modeller för att analysera bilder och video utvecklas men riskerar hela tiden att utnyttjas för att skapa ännu bättre modeller.
Att bilder, video och ljud kan manipuleras och skapas på ett sådant sätt att det är nästan intill omöjligt för oss människor att avgöra dess riktighet innebär helt nya utmaningar för domstolen. I kombination med förmågan att med hjälp av AI förstå och skapa textdokument så kan fabricerade ”bevis” skapas i en oroväckande grad och omfattning. Den senaste årtiondets tekniska utveckling och digitala revolution har lyckligtvis redan börjat utmana hur bevis ska tolkas och värderas. Emellertid anser jag att den nya era som vi nu är på väg in i med Deepfakes och annat elektroniskt genererat innehåll kräver en noggrann översyn av de svenska principerna för bevisföring och bevisvärdering för att vi även i framtiden kan garantera en rättssäker process i domstol.
Bias i domstolarna och vid maskininlärning
Partiskhet, både medveten och omedveten är något som förekommer i domstolarna även om det går emot mycket av det som domstolsväsendet står för.79 Det finns många praktiska exempel på senare år där det funnits tydlig inverkan av partiskhet i en rättegång. Ett av de senaste exemplen är rättegången mot Elin Ersson som den 23 juli 2018 stoppade ett flyg på Landvetter från att lyfta i syfte att hindra en utvisning. Den första rättegången behövdes göras om efter att det visat sig att en av nämndemännen redan innan rättegångens början uttalat sig i skuldfrågan på sociala medier. Hovrätten bedömde senare att nämndemannen i fråga varit jävig