Forensisk längdmätning i bilder

Institutionen för systemteknik

Department of Electrical Engineering

Examensarbete

Forensisk längdmätning i bilder

Examensarbete utfört i Bildkodning vid Tekniska högskolan i Linköping

av Per Brolund LITH-ISY-EX--06/3781--SE

Linköping 2006

Department of Electrical Engineering Linköpings tekniska högskola Linköpings universitet Linköpings universitet SE-581 83 Linköping, Sweden 581 83 Linköping

Forensisk längdmätning i bilder

Examensarbete utfört i Bildkodning

vid Tekniska högskolan i Linköping

av

Per Brolund LITH-ISY-EX--06/3781--SE

Handledare: Peter Bergström

Statens kriminaltekniska laboratorium

Examinator: Robert Forcheimer

isy, Linköpings universitet

Avdelning, Institution Division, Department

ISY Bildkodning

Department of Electrical Engineering Linköpings universitet S-581 83 Linköping, Sweden Datum Date 2006-03-21 Språk Language  Svenska/Swedish  Engelska/English   Rapporttyp Report category  Licentiatavhandling  Examensarbete  C-uppsats  D-uppsats  Övrig rapport  

URL för elektronisk version http://www.bk.isy.liu.se/ http://www.ep.liu.se/2006/3781 ISBN  ISRN LITH-ISY-EX--06/3781--SE Serietitel och serienummer Title of series, numbering ISSN_

Titel

Title Forensisk längdmätning i bilder_{Forensic height measurement from images}

Författare

Author Per Brolund Sammanfattning Abstract

This Master Thesis investigate forensic measurement from images, e g height es-timation of humans in images concerning crime investigations. The problems are identied and some of today's existing height estimation methods are discussed.

The method which best fulll the set up requirements; fast processing, minimal system information, minimal calibration and precision, has been selected, adapted and evaluated. The method are based on nding vanishing points and vanish-ing line in the image and by one, in the scene, known reference height calculate the required height. The underlaying theory of the method is presented and the method is described in detail. Functions, algorithms and a user interface has been implemented in the calculation program MatLab. Tests has been carried out to validate the precision of the method and the dependency of the parameters. The method appears to give very good result under the right conditions but seems to be sensitive for variation on the vanishing line.

The Master Thesis is a mandatory element in the education program Master of Computer Science and Engineering provided by Linköping University. The work has been carried out for National Laboratory of Forensic Science (SKL) in Linköping.

Nyckelord

Keywords forensic height estimation, photogrammetry, camera geometry, camera calibration, image analysis

Abstract

This Master Thesis investigate forensic measurement from images, e g height es-timation of humans in images concerning crime investigations. The problems are identied and some of today's existing height estimation methods are discussed.

The method which best fulll the set up requirements; fast processing, minimal system information, minimal calibration and precision, has been selected, adapted and evaluated. The method are based on nding vanishing points and vanish-ing line in the image and by one, in the scene, known reference height calculate the required height. The underlaying theory of the method is presented and the method is described in detail. Functions, algorithms and a user interface has been implemented in the calculation program MatLab. Tests has been carried out to validate the precision of the method and the dependency of the parameters. The method appears to give very good result under the right conditions but seems to be sensitive for variation on the vanishing line.

The Master Thesis is a mandatory element in the education program Master of Computer Science and Engineering provided by Linköping University. The work has been carried out for National Laboratory of Forensic Science (SKL) in Linköping.

Sammanfattning

Detta examensarbete undersöker forensisk längdmätning i bild, t ex längdupp-skattning av människor i bilder rörande brottsmål. Problemen identieras och några av dagens bentliga längdmätningsmetoder diskuteras.

Den metod som bäst uppfyller de i arbetet ställda kraven, d v s snabb hand-läggning, minimal systeminformation, minimalt arbete på plats och exakthet, har valts ut, anpassats och utvärderats. Metoden bygger på att hitta s k gränspunkter och grundplanets gränslinje i bilden och utifrån en i världen känd referenslängd beräkna den sökta längden. Den bakomliggande teorin presenteras och metoden beskrivs i detalj. Funktioner, algoritmer och ett användargränssnitt har imple-menterats i beräkningsprogrammet MatLab. Tester har utförts för att validera metodens noggrannhet och parameterberoende. Metoden visar sig ge mycket bra resultat då rätt förutsättningar ges, men har konstaterats vara känslig för variation på gränslinjen. En rad förbättringsförslag presenteras för att utveckla metoden och stabilisera resultatet.

Examensarbetet omfattar 20 högskolepoäng och utgör ett obligatoriskt mo-ment i utbildningsprogrammet civilingenjör i datateknik som ges av Linköpings universitet. Arbetet är utfört vid och på uppdrag av Statens kriminaltekniska la-boratorium (SKL) i Linköping.

Tack

Ett stort tack till min handledare Peter Bergström på SKL som med ett stort engagemang ställt upp vid de problem och svårigheter som har dykt upp under arbetets gång. Jag vill också passa på att tacka Anders Nordgaard för att tålmo-digt ha besvarat mina statistikfrågor, bildingenjör Fredrik Eklöf för att han har gett mig möjlighet att följa hans forensiska undersökningar samt övrig personal på Dokumentenheten på SKL för en intressant och givande period.

Innehåll

1 Inledning 1

1.1 Bakgrund . . . 1

1.2 Syfte, problem och frågeställningar . . . 2

1.3 Rapportens upplägg . . . 2

1.4 Statens kriminaltekniska laboratorium - SKL . . . 3

2 Kamerageometri 5 2.1 Notation . . . 5 2.2 Homogena koordinater . . . 5 2.3 Hålkameramodellen . . . 6 2.4 Kamerakalibrering . . . 9 2.5 Linsdistorsion . . . 9 2.5.1 Distorsionsmodell . . . 11 2.5.2 Skattning av distorsionsparametrar . . . 12 3 Längdmätning 15 3.1 Varför är mätning i bild så svårt? . . . 15

3.2 En vy . . . 16

3.2.1 Fullständig kamerakalibrering . . . 16

3.2.2 Ofullständig kamerakalibrering . . . 18

3.3 Två eller er vyer . . . 19

3.4 Längdmätning av människor . . . 19

3.4.1 Kroppshållning och gångstil . . . 19

3.4.2 Deniera topp- och baspunkt . . . 20

3.4.3 Skor och huvudbonad . . . 20

4 Gränspunkter och gränslinjer 23 4.1 Beräkning av gränspunkt . . . 24

4.1.1 Beräkning av ett estimat till gränspunkten . . . 24

4.2 Beräkning av gränslinje . . . 27

4.2.1 Beräkning av ett estimat till gränslinjen . . . 27

4.3 Extrahering av raka linjer . . . 28

4.3.1 Konvertering till intensitetsbild . . . 28

4.3.2 Kantdetektering . . . 28

4.3.3 Länkning . . . 28 xi

xii Innehåll

4.3.4 Segmentering . . . 29

4.3.5 Sammanfogning av kanter . . . 30

4.3.6 Approximering av kant till rak linje . . . 30

5 Längdmätning utifrån gränspunkter 33 5.1 Beskrivning . . . 33 5.1.1 Korsförhållande . . . 34 5.1.2 Beräkning av sökt längd Z . . . 34 5.2 Algebraisk representation . . . 36 5.2.1 Projektionsmatrisen P . . . 36 5.2.2 Beräkning av sökt längd Z . . . 37 5.2.3 Mer än en referenslinje . . . 38 5.2.4 Beräkning av andra mått . . . 39 5.3 Osäkerhetsanalys . . . 39

5.3.1 Första ordningens felanalys . . . 39

5.3.2 Osäkerhet i gränspunkter . . . 40

5.3.3 Osäkerhet i grundplanets gränslinje . . . 40

5.3.4 Osäkerhet i mätlinjens ändpunkter . . . 41

6 Experiment 43 6.1 Experimentuppställning . . . 43

6.2 Korrigering av linsdistorsion . . . 43

6.3 Estimering av gränspunkter och gränslinje . . . 43

6.4 Resultat . . . 44

6.5 Slutsats . . . 46

7 Slutsatser och diskussion 49 7.1 Slutsatser . . . 49

7.2 Diskussion . . . 49

7.3 Förbättringsförslag . . . 50

7.3.1 Extrahering av raka linjer . . . 50

7.3.2 Estimering av gränspunkter . . . 50

7.3.3 Estimering av gränslinje . . . 50

7.3.4 Linsdistorsionsmodellen . . . 51

Litteraturförteckning 53 A Levenberg-Marquardt 55 A.1 Estimering av gränspunkter med LM . . . 56

A.1.1 Konstruktion av funktionen f(x|p) . . . 56

A.1.2 Kostnadsfunktion . . . 56

A.2 Estimering av nya ändpunkter till mätlinjen med LM . . . 57

A.2.1 Konstruktion av funktionen f(x|p) . . . 58

A.2.2 Kostnadsfunktion . . . 58 B Minsta-kvadrat-minimering med SVD 59

C Vinkelrät projektion och vinkelrätt avstånd mellan homogen punkt

och homogen linje 61

C.1 Vinkelrät projicering av punkt på linje . . . 61 C.2 Det vinkelräta avståndet mellan en punkt och en linje . . . 61 D Alternativa beräkningar av gränspunkt och gränslinje 63 D.1 Beräkning av gränspunkt . . . 63 D.2 Beräkning av gränslinje . . . 64

Kapitel 1

Inledning

1.1 Bakgrund

Ny, billigare och mer lättillgänglig teknik har inneburit att övervakningen i form av video i dagens samhälle har ökat lavinartat. Också förändrade hotbilder och tillstånd i världen har bidragit till denna utveckling. Detta gör att det har bli-vit alltmer viktigt att ta vara på all denna information och extrahera det mesta möjliga ur den.

Informationen som söks ur en sekvens från ett övervakningssystem är främst att få en översikt av händelseförloppet eller att identiera gärningsmannen. Identi-ering kan göras utifrån olika karakteristiska drag i ansiktet som t ex födelsemärke eller ärr, ren jämförelse eller längdmätning av olika kroppsmått. Ibland är iden-tiering med hjälp av ansiktet omöjlig p g a olika omständigheter som kan vara maskerad gärningsman eller artefakter i bilden, t ex motljus. Då är det extra viktigt att få en estimering av individens längd.

Från en brottsplats, t ex ett bankrån, är bilder oftast det första som polisens utredare har att tillgå och längdmätning används därför tidigt i spaningsarbetet och mindre sällan som fällande bevis. Därför är det mycket viktigt att en upp-skattning av längden kan göras så snabbt som möjligt. Ju längre tiden går ju svårare är det att hitta gärningsmannen.

Undersökningar av bildrelaterade brottsfall i Sverige görs först av polismyn-digheterna själva. Vid mer avancerade fall skickas ärendet vidare till Rikspolis-styrelsens (RPS) färgfotolabb. Högsta instans är Dokumentenhetens bildgrupp på Statens kriminaltekniska laboratorium (SKL) i Linköping, se avsnitt 1.4. Det görs dock i dagsläget ingen längduppskattning på SKL utan dessa ärenden hänvisas till Totalförsvarets forskningsinstitut (FOI). Anledningen till detta är att hittills prövade metoder är alltför resurskrävande i förhållande till resultat.

Begreppet forensisk vetenskap nämns i detta arbete, vilket är ett sammanfat-tande begrepp för de vetenskaper som berör det kriminaltekniska området. Ordet härstammar från latinets forum, vilket betyder torg. Det var just på torgen som dåtidens rättegångar ägde rum.

2 Inledning

1.2 Syfte, problem och frågeställningar

Detta examensarbete syftar till att undersöka möjligheterna till forensisk längd-mätning av människor från video och då främst från övervakningssystem. Målet med examensarbetet är att:

• Undersöka området längdmätning, vilka bentliga metoder nns idag? • Välja en metod, anpassa och implementera denna.

• Testa och utvärdera metoden. Valet av metod ska göras med fokus på:

• Snabb handläggning, längduppskattning används oftast tidigt i spaningsar-betet.

• Minimal systeminformation, metoden bör vara minimalt beroende av ka-merainställningar och egenskaper då dessa kan ha ändrats eller tillgång till kameran saknas helt.

• Minimalt antal mätningar på plats, avancerade mätningar på plats kan vara alltför tids- och resurskrävande.

• Exakthet, självklart viktigt med en metod som ger en så noggrann längdupp-skattning som möjligt vid forensiska undersökningar.

Många av dagens bentliga längdmätningsmetoder kräver alltför stora resurser i förhållande till det relativt osäkra resultat de kan uppnå.

1.3 Rapportens upplägg

I kapitel 2 tas grundläggande teori inom kamerageometri upp, vilket innebär för-klaring av begreppet homogena koordinater, presentation av hålkameramodellen, kamerakalibrering och linsdistorsion.

Problem och svårigheter vid mätning i bilder diskuteras i kapitel 3. Några av dagens bentliga metoder analyseras och en metod som uppfyller de angiva kraven har valts ut. Även problemen som uppstår vid längdmätning av människor belyses.

Kapitel 4 tar upp den teorin som den utvalda metoden bygger på, nämligen de geometriska egenskaperna gränspunkter och gränslinjer. Algoritmer för att beräkna dessa egenskaper presenteras.

I kapitel 5 beskrivs metoden i detalj.

Några av de tester som har utförts på den utvalda metoden presenteras i kapitel 6.

Kapitel 7 presenteras de slutsatser som har tagits i detta arbete samt de fram-tida förbättringar knutna till dessa slutsatser.

1.4 Statens kriminaltekniska laboratorium - SKL 3

1.4 Statens kriminaltekniska laboratorium - SKL

Statens kriminaltekniska laboratorium (SKL) är en del av landets polisväsende, men utgör en självständig myndighet, med huvuduppgiften att utföra opartiska kriminaltekniska undersökningar i brottmål för rättsväsendets myndigheter samt även privata intressen. SKL är beläget i Linköping och har i dagsläget drygt 200 anställda.

Myndigheten är indelad i era utredande enheter varav en av dessa är Doku-mentenheten. Denna enhet är indelad i tre arbetsgrupper: Handstilsgruppen, Urkundsgruppen och gruppen för Informationsteknik. Den sistnämnda gruppen undersöker bl a bildupptagningar och det är här som detta examensarbete har utförts.

Kapitel 2

Kamerageometri

För att göra mätningar i bilder krävs förståelse om hur verkligheten avbildas på bil-den, vilket innebär kännedom om kameran och dess parametrar. Geometrin kring kameror tas därför upp i detta kapitel. Först presenteras notationen som används i detta arbete följt av föklaring av begreppet homogena koordinater och dess egen-skaper. Därefter beskrivs den grundläggande hålkameramodellen och begreppet kamerakalibrering. Sedan belyses en viktig faktor som stör hålkameramodellen, nämligen linsdistorsion.

2.1 Notation

Följande notation används för beteckningar i detta arbete. • matriser med versaler i typewriter, P

• skalärer med kursiv stil, Z, d

• 3D-punkter och vektorer med feta versaler, X

• bildpunkter och vektorer i bildplanet med feta gemener, x • funktioner med kursiv stil, L(r), f(x)

• en linje mellan två punkter med <>, <ab>

• det euklidiska avståndet mellan två punkter med d(x, y)

2.2 Homogena koordinater

Homogena koordinater är ett viktigt begrepp som används genomgående i detta arbete. Nedan följer en förklaring av homogena koordinater samt egenskaperna som följer av det.

En linje på ett plan, med koordninatsystemet XY , representeras med ekvatio-nen

6 Kamerageometri

ax + by + c = 0, (2.1)

där olika värden på a, b och c ger upphov till olika linjer på planet. Det är därför naturligt att representera linjen som en vektor (a, b, c)>_{. Denna vektor}

kallas homogen för, om ax + by + c = 0 är även (ka)x + (kb)y + (kc) = 0 vilket gör att vektorerna (a, b, c)> _{och k(a, b, c)}>_{, för alla k 6= 0, representerar samma linje}

på planet.

En punkt x = (x, y)> _{ligger på linjen l = (a, b, c)}> _{omm ax + by + c = 0.}

Punkten x kan även den representeras i homogena koordinater xhgenom att lägga

till en tredje koordinat enligt förhållandet

xh= (wx, wy, w)>= (x1, x2, x3)>↔ x = (x, y)>= (x1/x3, x2/x3)>, (2.2)

där olika värde på w 6= 0 representerar samma punkt. Detta ger att punkten xh ligger på linjen l omm x>hl = 0.

Vidare ger denna homogena representation att en linje l som går igenom de homogena punkterna xhoch x0hberäknas av kryssprodukten l = xh× x0h, för bevis

se [10].

Den vinkelräta projektionen av en homogen punkt på en homogen linje samt beräkningen av det vinkelräta avståndet ges i appendix C.

2.3 Hålkameramodellen

Den mest grundläggande kameramodellen är hålkameran (eng central projection, pinhole camera) vilket innebär att punkter i världen projiceras igenom en punkt, kameracentrum, och kameran modelleras utan lins, se gur 2.1. I gur 2.1 har bild-planet placerats framför kameracentrum men i själva verket ligger bild-planet bakom. Detta innebär dock inga matematiska förändringar utan brukar i praktiken tilläm-pas för enkelhetens skull.

Figur 2.1. Hålkameramodellen, observera att bildplanet har placerats framför kame-racentrum vilket är matematiskt analogt med den verkliga placeringen som är bakom kameracentrum.

Antag världen som ett 3D euklidiskt koordinatsystem, XY Z, och ansätt pro-jektionen av punkter i världen på ett plan, bildplanet, beläget vinkelrätt mot

2.3 Hålkameramodellen 7 Z-axeln med avståndet f, fokalavståndet, från origo. Med konstant storlek på bildplanet ökar antalet punkter i världen som projiceras på bildplanet ju kortare fokalavståndet är och tvärtom. Låt centrum för projektionen vara origo som be-nämns kameracentrum c. En punkt i världen X = (X, Y, Z)>

projiceras då på en punkt i planet x = (x, y, z)>_{där linjen mellan projektionscentrum och}

världspunk-ten skär bildplanet. Egenskaper för likformiga trianglar ger direkt att X mappas på en punkt x = (fX/Z, fY/Z, f)>_{. Bildkoordinaterna (x, y), notera att z alltid}

är lika med f, ges då av

x = fX Z, y = f

Y

Z. (2.3)

Genom att representera punkten på bildplanet och världspunkten med homo-gena vektorer, se avsnitt 2.2, uttrycks projektionen genom en linjär mappning,

  x y 1  ∼   f X f Y Z  =   f 0 f 0 1 0       X Y Z 1     , (2.4)

där tecknet ∼ står för ekvivalent i homogena koordinater. Genom att beteck-na de homogebeteck-na vektorerbeteck-na för världs- och bildpunkten med Xc respektive xh,

där indexc indikerar att världskoordinatsystemets origo sammanfaller med

kame-racentrum c och index h indikerar homogen bildpunkt, samt den 3x4 homogena

projektionsmatrisen med P kan uttrycket ovan kompaktare skrivas

xh=PXc. (2.5)

Denna projektion är endast entydig åt ena hållet, d v s värld-till-bild. Projektionen åt det andra hållet, bild-till-värld, ger bara en stråle i världen där världspunkten är belägen någonstans på denna stråle. Projektionen i ekvation (2.4) har endast en frihetsgrad, f. Dock kan P utökas med er frihetsgrader. Dessa utgör, tillsammans med fokallängden, de s k inre och yttre parametrarna och kommer att introduceras successivt nedan.

Principalpunkt Linjen från kameracentrum vinkelrätt mot bildplanet kallas principalaxel och punkten vid skärningen mellan principalaxel och bildplan be-nämns principalpunkt, se gur 2.1. I ovan gjorda härledning förutsätts princi-palpunkten vara origo i bildplanets koordinatsystem. Om så inte är fallet utökas projektionsmatrisen till   x y 1  ∼   f X + Zpx f Y + Zpy Z  =   f px 0 f py 0 1 0       X Y Z 1     , (2.6)

8 Kamerageometri Bildens axelförhållanden Hittills har det antagits att förhållandet mellan bild-planets axlar är 1:1. Ibland kan det dock vara så att en digitalkamera modellerar icke-kvadratiska pixlar. Om bildkoordinaterna mäts i pixlar introducerar detta ett annat förhållande mellan axlarna. Om antalet pixlar per längdenhet i bild-koordinater är mx och my i x- och y- riktningarna, ges transformationen från

världskoordinater till pixelkoordinater genom att multiplicera matrisen i ekvation (2.6) med diag(mx, my, 1)och projektionen blir då

  x y 1  ∼   f X + Zpx f Y + Zpy Z  =   αx x0 0 αy y0 0 1 0       X Y Z 1     , (2.7)

där αx= f mx och αy = f my representerar fokallängden i pixeldimensioner.

Vi-dare har också principalpunkten ersatts med x0= mxpxoch y0= mypy.

Skjuvning I digitalkameror existerar ibland en form av förvrängning, s k skjuv-ning. Det innebär att x- och y-axeln inte är vinkelräta. Med hänsyn till detta introduceras ytterligare en parameter, s,

  x y 1  ∼   f X + Zpx f Y + Zpy Z  =   αx s x0 0 αy y0 0 1 0       X Y Z 1     . (2.8)

Skjuvningen är oftast försumbar så parametern s i uttrycket ovan brukar oftast antas vara noll.

Ekvation (2.8) kan kortare skrivas

xh=K[I|0]Xc, (2.9)

där K är kameramatrisen innehållande de s k inre parametrarna (fokallängd, principalpunkt, axelförhållanden och skjuvning). Nedan införs de s k yttre para-metrarna.

Rotation och translation Hittil

xh=KR [I| − C] Xo. (2.10)

I resterande delen av detta arbete betecknas en homogen världspunkt, även om världskoordinatsystemets origo ej sammanfaller med kameracentrum, för enkelhe-tens skull endast med X samt en homogen punkt i bildplanet endast med x. Ur ekvation (2.10) fås nu den fullständiga projektionsmatrisen

P = KR [I| − C] . (2.11) Projektionsmatrisen P har nu 11 frihetsgrader, 5 för K (f, px, py, mx/my, s), 3

2.4 Kamerakalibrering 9 Yc Xc Zc c XO YO ZO O R, C

Figur 2.2. Förhållandet mellan världens och kamerans koordinatsystem beskrivs med en rotationsmatris R och en translationsvektor C.

2.4 Kamerakalibrering

Att skatta projektionsmatrisen P i ekvation (2.11) kallas kamerakalibrering. Detta kan göras genom minst sex världspunkter (i själva verket är 5.5 punkter tillräckli-ga) med kända positioner och korresponderande punkter i bilden. Det är vanligt att antagande om några av de inre parametrarna görs, t ex noll skjuvning, axelför-hållande 1:1 eller känd principalpunkt. Nedan diskuteras tre kalibreringsmetoder. I Tsai [23] krävs endasts en bild av ett kalibreringsmönster som består av två plan med rutnät (känt som 'Tsai grid'), se gur 2.3, förhållandet mellan kalibre-ringsmönstrets plan måste vara känd. Principalpunkt antas vara känd och metoden ger också en skattning på linsdistorsionsparametrar, se avsnitt 2.5.

Zhang [24] har utvecklat en exibel och enkel metod som också använder sig av ett kalibreringsmönster, men med skillnaden att mönstret bara består av ett plan och minst två bilder krävs av mönstret. Fördelen med denna metod är att förytt-ningen av kalibreringsmönstret inte behöver vara känd och antingen kan kamera eller kalibreringsmönster föryttas mellan bilderna. Också denna metod hanterar linsdistorsion. Parametrarna estimeras och förnas genom olinjär minimering.

Caprile och Torre [4] använder sig av de geometriska egenskaperna gränspunk-ter, se kapitel 4, för att beräkna kamerans inre och yttre parametrar. Metoden antar axelförhållande 1:1 och noll skjuvning. Endast en bild av ett kalibrerings-verktyg, en kub med parallella linjer på dess ytor, behövs. Det visas i [4] att principalpunkten sammanfaller med ortocentrum av en triangeln vars noder är tre ortogonala gränspunkter.

2.5 Linsdistorsion

Antagandet om att en kamera modelleras med hålkameramodellen, se avsnitt 2.3, störs av att många kameror, främst billiga vidvinkelkameror, lider av s k

linsdis-10 Kamerageometri

Figur 2.3. Tsai:s kalibreringsmönster

(a) (b)

Figur 2.4. (a) Barrel-distorsion (b) Pincushion-distorsion

torsion. Även dyrare linser lider oftast av en aning distorsion och för att utfö-ra noggutfö-ranna fotogutfö-rammetiska mätningar krävs det att modellen modieutfö-ras med hänsyn till detta. Vilken typ och grad av distorsion en kamera lider av tillhanda-hålls oftast inte av linstillverkarna. Distorsionen varierar också i praktiken med fokallängden, ju större fokallängd desto signikantare distorsion.

Den i huvudsak dominerande distorsionen är radiell distorsion vilket är en de-formation av bilden i en riktning från en punkt kallad distorsionscentrum (cx, cy),

oftast mitt i bilden, till den aktuella bildpunkten (x, y). Det nns två olika former av radiell distorsion, Barrel och Pincushion. Dessa är illustrerade i gur 2.4.

2.5 Linsdistorsion 11

2.5.1 Distorsionsmodell

Vid en ideal projektion fås den odistorderade bildpunkten xu= (xu, yu)genom

  xu yu 1  =PX, (2.12) där X är en punkt i världen.

Den verkliga bildpunkten relateras sedan till den ideala punkten genom distor-sionsmodellen  xd yd  = L(ru)  xu yu  , (2.13)

där ru är det radiella avståndet px2u+ yu2 från distorsionscentrum och xd =

(xd, yd)den distorderade bildpunkten. Distorsionscentrum antas sammanfalla med

origo som är denierat mitt i bilden. L är inverterbar över hela bilden.

Korrektionen från distorderade koordinater till odistorderade koordinater kan skrivas som  xu yu  = L−1(rd)  xd yd  , (2.14) där rd=px2d+ y 2 d och L−1 är inversen av L.

Nedan uttrycks alla koordinater som normaliserade, d v s x delas med bildbred-den och y med bildhöjbildbred-den, för att införa enhetsoberoende. Distorsionsfunktionen L−1(rd)kan approximeras som en oändlig serie L−1(rd) = (1 + κ1rd2+ κ2r4d+ . . . ),

vilket ger modellen

xu= xd(1 + κ1rd2+ κ2r4d+ . . . ),

yu= yd(1 + κ1rd2+ κ2r4d+ . . . ).

(2.15) Vid s k sh-eye linser eller andra högdistorderande linser, där en olinjär distortion har byggs in med avsikt, bör andra mer lämpade distortionsmodeller användas, se t ex [8].

Den i huvudsak dominerande termen i ekvation (2.15) är den första-ordningens radiella distorsionsparameter κ1. Tester [23] har visat att genom att endast

an-vända denna term kan en noggrannhet på ungefär 0.1 pixel erhållas på bilder som lider av en signikativ mängd linsdistorsion. Ekvation (2.15) förenklas då till

xu= xd(1 + κ1rd2),

yu= yd(1 + κ1r2d).

(2.16) Distorsionscentrum (cx, cy)sammanfaller inte alltid med centrum av bilden.

12 Kamerageometri xu= cx+ (xd− cx)(1 + κ1r2d), yu= cy+ (yd− cy)(1 + κ1rd2) , (2.17) där nu rd = q xd−cx s
2 + (yd− cx) 2

och s beskriver axelförhållandena. κ1 >

0 motsvarar Barrel-distorsion, gur 2.4(a), och κ1 < 0 motsvarar

Pincushion-distorsion, gur 2.4(b). Denna modell innehåller nu de fyra parametrarna k1, cx, cy, s

som på något sätt behöver estimeras för att kunna korrigera bilden.

2.5.2 Skattning av distorsionsparametrar

Det nns era olika metoder som skattar distorsionsparametrarna i ekvation (2.17), bl.a. [Tsai] och [Zhang]. Nackdelen med dessa metoder är att de ingår i en full-ständig kalibreringsprocess och tillgång till kamera och scen krävs.

Devernau och Faugeras [8] föreslår en algoritm som korrigerar distorsionen med enda begränsningen att bilden ska innehålla linjer och kanter (2D) som antas vara raka i verkligheten (3D). Vid en ideal projektion enligt hålkameramodellen förblir raka linjer i världen även raka i bilden. Men på grund av linsdistorsionen kröks linjerna i bilden. Metoden söker de distorsionsparametrar, enligt distorsionsmo-dellen, ekvation (2.17), som rätar ut dessa linjer till raka, genom att minimera ett distorsionsmått. En aningen modierad version av denna algoritm är implemen-terad i detta arbete och presenteras nedan.

Extrahera 3D-linjesegment

För att extrahera kanter i bilden görs först en kantdetektering, t ex Canny [3], med en noggrannhet på subpixelnivå följt av länkning och segmentering, se avsnitt 4.3 för utförligare beskrivning av denna process. Sedan väljs de kanter som antas vara bilder av raka 3D-segment ut manuellt av en operatör. Målet är inte att hitta så många kanter som möjligt utan de mest pålitliga.

detekterat kantsegment

approximerad rak linje distorsionsm˚att

Figur 2.5. Distorsionsmåttet för en kant beräknas genom summan av det vinkelräta kvadratiska avståndet mellan punkterna på kanten och en minsta-kvadrat approximerad linje. Det totala distorsionsfelet fås av summan av alla kanters distorsionsmått.

2.5 Linsdistorsion 13 Distorsionsmåttet av ett 3D-segment i bilden

För att hitta de optimala distorsionsparametrarna används ett mått på hur mycket de detekterade kanterna är distorderade. Som nämndes tidigare så genererar den ideala projektionen av raka linjer i världen även raka linjer i bilden. Men på grund av distorsionen blir linjerna krökta. För varje kant beräknas den raka linje, vilket antas vara den odistorderade kantens form, som minimerar det kvadratiska vinkelräta avståndet mellan kanten och linjen, se avsnitt 4.3. Distorsionsmåttet för varje kant är det kvadratiska vinkelräta avståndet mellan pixlarna på kanten och den approximerade raka linjen, se gur 2.5. Det totala distorsionsmåttet är summan av alla extraherade kanters distorsionsmått.

Optimering av parametrar

De distorsionsparametrar, k1, cx, cy och s, som minimerar det totala

distorsions-måttet beräknas med Nelder-Mead:s simplex-metod [13]. Om man optimerar på alla parametrar direkt nns det en risk att endast ett lokalt optimum hittas. Där-för görs Där-först optimering med hänsyn endast till k1, eftersom Nelder-Mead arbetar

på era variabler görs detta med en algoritm baserad på golden section search och parabolisk interpolation, för beskrivning av algoritmen se [2, 9]. Det erhållna vär-det på k1används sedan som initial lösning till optimeringen med hänsyn till k1, cx

och cy, vilken i sin tur ger den initiala lösningen till optimeringen med hänsyn till

samtliga parametrar k1, cx, cy och s. Nedan beskrivs iterationen i

optimeringspro-cessen.

1. Korrigera kanterna med hänsyn till distorsionsparametrarna och distorsions-modellen, ekvation (2.17).

2. Approximera varje kant med en minsta-kvadrat-minimerad linje.

3. Beräkna det totala distorsionsmåttet. Om distorsionsmåttet underskrider en angiven tröskel, stanna här.

4. Justera aktuella distorsionparametrar enligt Nelder-Mead. Algoritm

Den slutliga algoritmen för skattningen av optimala distorsionparametrar är: 1. Extrahera kanter genom kantdetektering, länkning och segmentering. 2. Välj ut kanter som antas korrespondera mot raka linjer i 3D (manuellt). 3. Initiera distorsionsparametrarna med k1= 0, cx= cy = 0och s = 1.

4. Optimera distorsionsparametrarna genom minimering av det totala distor-sionsmåttet.

14 Kamerageometri Avsaknad av linjer

Denna metods noggrannhet beror på antalet linjer, deras säkerhet och längd i bilden. De bör också ha varierande orientering och position. Om alla linjer som används går igenom en punkt går det inte att beräkna distorsionen. Ifall linjerna i bilden inte tros vara tillräckliga för att få en bra skattning av distorsionspa-rametrarna kan, om kameran nns tillgänglig, med fördel ett mönster placeras framför kameran och fotograferas. Mönstret bör innehålla raka linjer som är lätta att detektera. Dock är det viktigt att kameran har samma fokallängd, eftersom distorsionen varierar med denna, som vid originalbilden.

(a) (b)

(c) (d)

Figur 2.6. (a) Bild som lider av linsdistorsion. (b) Extraherade kanter som antas vara raka i världen. (c) De etxtraherade kanterna korrigerade för linsdistorsion. (d) Bilden korrigerad för linsdistorsion.

Kapitel 3

Längdmätning

Detta kapitel reder ut de problem som uppstår vid mätning i bild. Några bentliga längdmätningsmetoder presenteras och diskuteras. Den metod som bäst uppfyller de, i arbetet, uppställda kraven har valts ut. Metoden är beskriven i [18], gene-raliserad i [6] och utvecklad vidare i [7]. Den bakomliggande teorin, gränspunkter och gränslinjer, beskrivs i kapitel 4 och i kapitel 5 ges en ingående beskrivning av metoden, följt av redovisning av utförda tester i kapitel 6. Sist i detta kapitel belyses de problem som uppstår vid längdmätning av människor.

3.1 Varför är mätning i bild så svårt?

När en 3D-värld projiceras, genom en lins, på en plan bild sker en ofrånkomlig förlust av information, nämligen djupet. Det uppstår då en projektionsdistorsion, vilket gör att samma objekt har olika storlek i bilden beroende på avståndet från kameran till objektets position, ju längre avstånd från kameran desto mindre blir objektet i bilden, se gur 3.1. För att kunna mäta i bilder krävs det därför att djupet på något sätt återskapas, om inte helt så åtminstonde delvis.

kameracentrum

bildplan

objekt

Figur 3.1. Objekt nära kameran blir större i bild än motsvarande objekt längre ifrån kameran.

16 Längdmätning

3.2 En vy

3.2.1 Fullständig kamerakalibrering

Även om projektionsmatrisen P i ekvation (2.11) är känd är detta inte tillräckligt för att rekonstruera punkterna i bilden till motsvarande punkter i 3D-världen. Som nämndes i avsnitt 2.3 så kan en punkt i bilden endast projiceras tillbaka i scenen som en stråle. Världspunkten X som svarar mot bildpunkten x ligger då någonstans på denna stråle som går igenom kameracentrum och bildpunkten. Strålens ekvation beskrivs av

X(λ) =P†x + λC, (3.1) där C är kameracentrum denierad i världskoordinatsystemet med homogena koordinater och P† _=P>_(PP>₎−1 _{är pseudoinversen av projektionsmatrisen P och}

PP†_=I.

c

x

X(λ)

Figur 3.2. En punkt x i bilden kan endast projiceras tillbaka i scenen som en stråle X(λ)som går igenom kameracentrum c och bildpunkten x.

Således är en fullständigt känd projektionsmatris P inte tillräcklig för att be-räkna längden av objekt utifrån en bild men med nedan antagna förutsättningar är detta fullt möjligt.

Antag att objektet som skall mätas benner sig på en plan yta, t ex ett golv, och längden som efterfrågas är vertikal mot detta plan, referensplanet, vilket ofta är scenariot vid längdmätning ur sekvenser från övervakningssystem. Världskoor-dinatsystemet XY Z denieras så att två av axlarna, XY , spänner upp referens-planet med origo någonstans på referens-planet. Den tredje världskoordinataxeln, Z, är vertikal mot referensplanet och alltså parallell med mätobjektet. Världskoordinat-systemets orientering bestämmer de yttre parametrarna i P. Dessa förutsättningar tillför ytterligare information och det är nu möjligt att beräkna den sökta längden. Den bildpunkt som motsvarar baspunkten av objektet, d v s den del av objektet som är i kontakt med referensplanet, projiceras tillbaka i scenen som en stråle enligt ekvation (3.1). Eftersom man vet att den korresponderande världspunkten benner sig på referensplanet, Z = 0, erhålls också övriga koordinater, X och Y, då strålen skär referensplanet, se gur 3.3. Eftersom mätobjektet antas vara

3.2 En vy 17

X

Y

Z

x

c

x

Figur 3.3. Om världskoordinatsystemet denieras så att XY-axlarna spänner upp grundplanet kan en eventuell skärning mellan strålen, som projiceras tillbaka i världen från en bildpunkt, och grundplanet beräknas.

vertikalt med referensplanet har objektets toppunkt i världen samma X och Y -koordinater som objektets baspunkt i världen. Därför kan den tredje koordinaten, Z, vilket är den sökta längden, erhållas från strålen som projiceras tillbaka i scenen från toppunkten i bilden.

Figur 3.4. Kalibreringsverktyg som används i [1], sex punkter med kända förhållanden är positionerade på verktyget.

Bijhold och Geradts [1], använder sig av ett kalibreringsverktyg för att kalibrera kameran. Sex kända punkter i scenen, positionerade på kalibreringsverktyget enligt gur 3.4, används för att skatta kamerans inre och yttre parametrar med antagande om principalpunkten mitt i bilden. I fallet då individens fötter inte är synliga i bilden skattas positionen i världens koordinatsystem. Korrigering för linsdistorsion sker enligt avsnitt 2.5.

kamerakalibre-18 Längdmätning ring krävs, är att kamerakalibrering inte är trivialt utan innebär oftast ett utförligt arbete på plats, tillgång till kamera och scen med samma kamerainställningar (t ex zoom och fokus) och scenförutsättningar som vid originalbilden. Vidare krävs också att parametrarna är kända med stor noggrannhet och en väldigt liten avvi-kelse av parametrarna kan ge ett stort fel i resultatet. Kamerans inre parametrar i P är också känsliga för temperaturförändringar och stötar.

3.2.2 Ofullständig kamerakalibrering

Ett antal metoder existerar där längden kan beräknas utan att en fullständig kalibrering krävs. Några av dessa diskuteras nedan.

I [12] presenteras en metod där endast delvis kalibrering utförs, genom att positionera en vertikal linjal i scenen. Om mätobjektet har rört sig i scenen detek-teras bildpunkter av huvud och fötter på gärningsmannen igenom hela sekvensen vilket ger ett spår av förövaren. En ny inspelning görs sedan där samma system används, under förutsättning att ingenting har ändrats, för att spela in en sekvens där linjalen med känd längd och proportioner placeras i scenen i samma positioner som objektet har befunnit sig. Även sekvenser med personer av känd längd som rekonstruerar förövaren spelas in för att validera metoden. Linjalen och referens-personerna spåras i sekvenserna på samma sätt som gärningsmannen. Antalet pixlar som upptas av linjalen tillsammans med den kända verkliga längden av linjalen denierar en skalfaktor för varje pixels motsvarande längd i verkligheten. Skalfaktorn används för att beräkna referenspersonernas längder och sedan slutli-gen gärningsmannens längd slutli-genom att konvertera pixellängd till verklig längd. En nackdel med denna metod, förutom det omfattande arbetet på plats, är att om bildplanet inte är ortogonalt mot referensplanet så är inte längdförhållandet mel-lan två linjesegment, i detta fall linjalen och mätlinjen, projektionsinvariant och alla pixlar på mätlinjen motsvarar inte samma längd i världen, vilket gör att ett fel introduceras i längdmåttet, se gur 3.5. Detta fel varierar med vinkel mellan bildplanet och referensplanet samt skillnaden i längd mellan linjal och mätobjekt. Saitoh m  [20] introducerar en korrektionsterm som korrigerar detta fel. Men korrektionstermen förutsätter dock att bildplanets x-axel är parallell med grund-planet, d v s den vertikala gränspunktens, se kapitel 4, x-koordinat är halva bild-bredden, vilket oftast inte är fallet vid övervakningssystem.

De esta av de ovan nämnda metoderna förutsätter alla relativt komplicerat och omfattande arbete på plats. Även tillgång till kamera och oförändrad scen krävs. Proesmans m  [18] undkommer detta problem genom att beräkna längden utifrån s k gränspunkter och gränslinjer, se kapitel 4, med hjälp av den invarian-ta projektionsegenskapen korsförhållande (eng cross ratio), vilken har utvecklats ytterligare i [6] och [7]. Endast tillgång till bilden och ett känt vertikalt referensav-stånd krävs. Dess främsta fördel är att endast minimalt arbete på plats krävs och har därför lett till att teorin om gränspunkter och gränslinjer beskrivs i kapitel 4 samt att denna metod studeras närmare i kapitel 5.

3.3 Två eller er vyer 19 bildplan grundplan (a) bildplan grundplan (b)

Figur 3.5. Projektionen av ett längdförhållande beroende på bildplanets vinkel i för-hållande till referensplanet. (a) Då bildplanet är ortogonalt mot referensplanet bevaras längdförhållandet vid projektionen till bildplanet. (b) Då bildplanet inte är ortogonalt med referensplanet, bevaras inte längdförhållandet och längden beräknad enligt [12] på-verkas av ett fel.

3.3 Två eller er vyer

Finns tillgång till två eller er vyer av scenen tillförs större möjligheter att åter-skapa djupet. I regel innebär detta att hitta korresponderande punkter i de olika bilderna och beräkna förhålllandet mellan vyerna genom s k epipolargeometri. Detta arbete har koncentrerat sig på bilder från endast en vy, så för ytterliga-re läsning om den grundläggande geometrin inom detta området ytterliga-rekommenderas [10]. [11, 19] är exempel på forensiska artiklar där längdmätning utifrån era vyer behandlas.

3.4 Längdmätning av människor

Människor är komplexa objekt med många frihetsgrader. Längdmätning av en människa i en bild försvåras av vissa faktorer som presenteras nedan.

3.4.1 Kroppshållning och gångstil

Denitionen på längden av en individ innebär ett mått vid upprätt position, rak ryggrad och fötterna jämte varandra. Detta är en onaturlig position som inte ingår i det naturliga rörelsemönstret och sannolikheten att en individ som fångats på bild vid t ex ett bankrån innehar denna position är liten. Det har visats [6] att när en individ går med konstant takt varierar längden likt en harmonisk kurva, se gur 3.6, och når aldrig riktigt upp till den verkliga längden. Maximal längd och därmed närmast den verkliga längden uppnås när tyngden vilar på det ena benet med det andra benet precis jämte i pendel, se gur 3.7.

20 Längdmätning

Figur 3.6. Bild från [6] som visar att längden varierar likt en harmonisk kurva vid en gående individ med konstant fart.

3.4.2 Deniera topp- och baspunkt

För att mäta en människa krävs i regel att man i bilden denierar toppunkten, var på huvudet den högsta punkten är belägen, och baspunkten, den vertikal skär-ningen med grundplanet, förutsatt att dessa är synliga i bilden. Placeringen av dessa punkter är oftast inte självklar utan introducerar en osäkerhet i mätningen. Denna osäkerhet varierar beroende på individens orientering i förhållande till ka-meran. Ofta är övervakningskameror placerade högt över golvet vilket kan göra det svårare att framförallt deniera toppen på huvudet. I [5] har riktlinjer tagits fram för operatörer hur dessa punkter bör sättas för olika orienteringar på individen. Figur 3.7 illusterar svårigheten.

3.4.3 Skor och huvudbonad

Oftast bär en individ skor vilket är ytterligare en faktor som påverkar resultatet. Sulans tjocklek kan uppskattningsvis variera med upp till ett par centimeter, ex-klusive högklackat. Att uppskatta skornas inverkan på resultatet är i regel mycket svårt om inte omöjligt. Därför brukar ett längdmått vid forensiska undersökning-ar inkludera skor. Även huvudbonad så som keps, mössa, hjälm etc försvårundersökning-ar mätningarna och likaså frisyr.

3.4 Längdmätning av människor 21

(a)

(b) (c)

Figur 3.7. (a) Vid en gående individ erhålls längden närmast den verkliga längden när tyngden vilar på det ena benet och det andra benet i pendel precis jämte. Bilden illustre-rar också osäkerheten vid denitionen av topp- och baspunkt. De vita ellipserna omsluter möjliga pixelkandidater. (a) Toppunkten i förstoring. (c) Baspunkten i förstoring.

Kapitel 4

Gränspunkter och gränslinjer

Längdmätningsmetoden som diskuteras i kapitel 5 bygger på s k gränspunkter och gränslinjer, vilka är mycket användbara geometriska egenskaper och kan estimeras direkt från bilder utan någon kännedom om kamerans egenskaper (inre paramet-rar) och det geometriska förhållandet mellan kamera och scen (yttre parametparamet-rar). Bilder av parallella linjer i världen kommer i sin förlängning att skära varandra i en punkt i bildplanet, en s k gränspunkt (eng. vanishing point), se gur 4.1. Ofta ligger gränspunkterna utanför bilden.

Figur 4.1. Parallella linjer i världen skär varandra i en gemensam gränspunkt i bilden. Alla gränspunkter tillhörande linjer parallella med ett plan, ligger på planets gränslinje (svarta horisontella linjen). Två gränspunkter är tillräckligt för att beräkna planets gränslinje.

Bilder av linjer som är parallella med ett plan skär varandra i punkter på planets gränslinje (eng. vanishing line), se gur 4.1. Det behövs alltså minst två linjemängder som är parallella med planet men har olika orienteringar för att fastställa planets gränslinje, d v s linjen som går igenom dessa två punkter. Om planet är grundplanet (t ex ett golv) benämns gränslinjen horisontlinjen. Parallella plan i världen delar en gemensam gränslinje, därför behöver inte linjerna som

24 Gränspunkter och gränslinjer

Figur 4.2. Bilden illusterar det faktum att de parallella linjer som används för att ta ut en gränspunkt inte behöver benna sig på samma plan.

används till att ta ut en gränspunkt ligga på samma plan vilket illusteras i gur 4.2.

Linjer i bilden som i världen är parallella och vertikala mot ett referensplan skär varandra i en vertikal gränspunkt. Om bildplanet är ortogonalt mot referensplanet ligger den vertikala gränspunkten i oändligheten.

4.1 Beräkning av gränspunkt

En gränspunkt beräknas genom skärningen mellan två linjer i bilden som är pa-rallella i världen. I homogena koordinater fås gränspunkten v av kryssprodukten av de två linjerna l1 och l2, se avsnitt 2.2,

v = l1× l2 (4.1)

En gränspunkt kan också beräknas genom ett känt längdförhållande av två intervall på en linje i världen, för beskrivning se appendix D.

4.1.1 Beräkning av ett estimat till gränspunkten

Betrakta ekvation (4.1), nns det tillgång till er än två, i världen parallella, linjer i bilden är det inte inte säkert att de, på grund av brus, skär varandra i exakt en och samma punkt. Då krävs det någon form av metod för att beräkna ett estimat av gränspunkten. En enkel metod, introducerad av Caprile och Torre [4], är att beräkna ett viktat medelvärde av alla parvisa skärningar.

En mer avancerad metod beskrivs av Liebowits och Zisserman [15], vilken har implementerats i detta arbete, där ett ML-estimat (Maximum Likelihood Estima-tion) av gränspunkten denieras för att minimera felen i linjesegmenten.

4.1 Beräkning av gränspunkt 25 Antag att n linjesegment, li, i = 1, 2, . . . , n, är detekterade i bilden och bildar

linjemängden {li}. Ett estimat ˆv av gränspunkten v söks som också inkluderar

ett estimat {ˆli}av linjemängden {li}, se gur 4.3.

ˆ

_l

ˆ

_l

ˆ

_l

ˆ

v

l

l

l

Figur 4.3. Givet ett estimat ˆv på gränspunkten söks också ett estimat ˆl av det ur-sprungliga linjesegmentet, vilket är linjen som går igenom punkten ˆv och mittpunkten på det ursprungliga linjesegmentet.

ML-estimatet denieras genom att betrakta en sannolikhetsfördelning som be-skriver sannolikheten att erhålla ett mått givet ett sant värde av en variabel. Det antas att linjesegmentens ändpunkter kan modelleras med isotropiskt gaussiskt brus med medelvärde noll och med samma varians σ2_{för alla ändpunkter.}

Sanno-likhetsfunktionen för alla ändpunkter i linjemängden är produkten av den gaussis-ka distributionen för varje ändpunkt som då, om ändpunkterna till linjesegment li betecknas ai och bi och dess estimat med ˆai och ˆbi, blir

P ({ˆai, ˆbi}|{ai, bi}) = Y i 1 2πσ2e −d2 (ˆai,ai)+d2 (ˆbi,bi) 2σ2 , (4.2)

där d2_{(x, y) är det kvadratiska avståndet mellan punkterna x och y.}

ML-estimatet är då ML-estimatet av alla ändpunkter, ˆai och ˆbi, och gränspunkten ˆv, som

maximerar log-funktionen ovan, d v s minimerar den geometriska kostnadsfunk-tionen C =X i d2(ˆai, ai) + d2(ˆbi, bi) = X i d2_⊥(ˆli, ai) + d2⊥(ˆli, bi) (4.3)

under kravet ˆv ·ˆli= 0, ∀i och där d⊥(l, x)är det vinkelräta avståndet i bilden

mellan linjen l och punkten x, se gur 4.4.

Kravet på estimatet ˆli av linjen li är att ˆli skall gå igenom den estimerade

gränspunkten ˆv och minimera funktionen d2

⊥(ˆli, ai)+d2_⊥(ˆli, bi). Då den estimerade

gränspunkten är belägen långt ifrån linjesegmentet li, vilket antas i denna metod,

så ges det optimala estimatet ˆli, d v s det ˆlisom minimerar d2_⊥(ˆli, ai) + d2_⊥(ˆli, bi),

av den linje som går igenom den estimerade gränspunkten ˆv och mittpunkten på linjesegmentet li.

26 Gränspunkter och gränslinjer ˆ v ˆ_li li ai bi d⊥ d⊥ ˆ ai ˆ bi

Figur 4.4. Geometrisk illustrering av kostnadsfunktionen d2

⊥(ˆli, ai) + d2⊥(ˆli, bi)

Kostnadsfunktionen (4.3) kan minimeras under variering av positionen på ˆv ge-nom Levenberg-Marquardt:s (LM) numeriska algoritm. En initial gissning till LM-algoritmen fås genom att betrakta en annan geometrisk kostnadsfunktion. Detta görs genom att beräkna den punkt ˆv som minimerar summan av det kvadratiska vinkelräta avståndet mellan punkten och linjerna li, se gur 4.5. Denna punkt

fås genom att bilda matrisen L = (l1, l2, . . . , ln)>, där linjerna lihar skalats enligt

appendix C, och beräkna det ˆv som minimerar kLˆvk, vilket kan göras med hjälp av singulärvärdesfaktorisering, se appendix B. Konstruktion av lämplig funktion och kostnadsfunktion för att användas vid implementeringen av Levenberg-Marquardt-algoritmen nns beskriven i appendix A.

ˆ v

l1

l2

l3

Figur 4.5. En initial lösning till Levenberg-Marquardt-algoritmen vid estimering av gränspunkt fås av punkten ˆv som minimerar det kvadratiska vinkelräta avståndet till linjerna {li}.

I den ovan presenterade metoden antas estimatet av gränspunkten ligga långt ifrån linjesegmenten. Estimatet ˆli erhålls då av linjen som går igenom den

estime-rade gränspunkten ˆv och mittpunkten på det ursprungliga linjesegmentet li. Men

om detta inte är fallet nns det inte ett självklart estimat ˆli av linjesegmentet

li, se gur 4.6. I [16] utvecklas därför metoden så att det optimala estimatet ˆli

hittas, d v s linjen som minimerar d2

4.2 Beräkning av gränslinje 27 a b ˆ v ˆl (a) a b ˆ v ˆl (b) a b ˆ v ˆ_l (c) a b ˆ_l (d)

Figur 4.6. Optimala linjeestimat ˆl vid olika positioner på ˆv relativt det ursprungliga linjesegmentet. Ju längre bort gränspunkten kommer desto närmare mittpunkten på det ursprungliga linjesegmentet kommer skärningen mellan l och ˆl, vilket är fallet i (d).

osäkerheterna i linjemängdens ändpunkter till den skattade gränspunkten berörs.

4.2 Beräkning av gränslinje

Planets gränslinje, representerad i homogena koordinater, beräknas genom kryss-produkten av två, på gränslinjen belägna, homogena gränspunkter, se avsnitt 2.2, l = v1× v2. (4.4)

Gränslinjen kan även beräknas genom minst tre i världen parallella linjer be-lägna med jämt fördelat avstånd, för beskrivning se appendix D.

4.2.1 Beräkning av ett estimat till gränslinjen

Betrakta gränslinjeberäkningen i ekvation (4.4). Om er än två gränspunkter nns att tillgå är det inte säkert att de, på grund av brus, ligger exakt på en och samma linje, utan då måste ett estimat till gränslinjen beräknas. Antag att de n gränspunkterna, vi, i = 1 . . . n, är beräknade och att varje gränspunkt modelleras

med gaussiskt isotropiskt brus med medelvärde noll och med samma varians för alla gränspunkter. Då kan ett estimat ˆl av gränslinjen l beräknas genom att minimera det vinkelräta avståndet mellan gränspunkterna och den skattade gränslinjen, d v s minimera kostnadsfunktionen

C =X

i

d2_⊥(vi,ˆl) (4.5)

där d2

⊥(vi,ˆl) kan beräknas enligt appendix C. Genom att bilda matrisen

A = (v1, . . . , vn)> förvandlas kostnadsfunktionen ovan till ett

minsta-kvadrat-problem. Då söks det ˆl som minimerar ||Aˆl||, vilket kan beräknas med singulär-värdesfaktorisering enligt appendix B. Dock är det viktigt att hellre välja få men säkra än många men osäkra gränspunkter för att skatta gränslinjen. Under andra brusantaganden bör dessa bakas in i kostnadsfunktionen ovan.

28 Gränspunkter och gränslinjer

4.3 Extrahering av raka linjer

Som nämnts tidigare beräknas gränspunkterna utifrån raka linjer i bilden. Marke-ring av raka linjer i bilden kan göras manuellt, genom att deniera punkterna på linjen interaktivt, men med en algoritm som automatiskt extraherar raka linjer ur bilden, och ger operatören möjlighet att välja bland dessa, uppnås större precision och operatörspåverkan minimeras. Nedan beskrivs en algoritm som automatiskt extraherar de raka linjerna ur bilden.

1. Konvertering till intensitetsbild (endast vid färgbilder) 2. Kantdetektering

3. Länkning av kantpunkter till kantmängder 4. Segmentering av kantmängder

5. Sammanfogning av kanter 6. Approximering till raka linjer

4.3.1 Konvertering till intensitetsbild

Eftersom kantoperatorn i nästa steg arbetar på intensitetsbilder måste färgbilder, som består av tre kanaler (oftast röd, grön och blå (RGB)), först konverteras till enkanalsbilder, vilket är informationsreducerande. I detta arbete görs detta genom att beräkna luminansen, Y = 0.3R + 0.59G + 0.11B, där vikterna ges av ögats känslighet för olika färger.

Eventuellt kan mer information tas till vara i färgkanalerna, t ex kantdetektera varje kanal för sig och sedan lägga ihop resultatet.

4.3.2 Kantdetektering

Kantdetektering görs med noggrannhet på subpixelnivå med t ex en Canny-kantoperator [3]. Utdata från kantdetekteringen är en binärbild med pixlar som av kantopera-torn identierats tillhöra en kant lika med ett och övriga pixlar lika med noll, se gur 4.10(b).

Om tillgång till en sekvens med konstant kameraposition nns kan bilden med fördel medelvärdesbildas inom ett område i tiden innan kantdetekteringen för att eliminera brus.

4.3.3 Länkning

Punkter länkas ihop i kedjor så de punkter som tillhör samma kant samlas i en matris. Binärbilden från det tidigare kantdetekteringssteget scannas efter punk-ter som tillhör en kant och då en kantpunkt hittas utgör denna startpunkt för en sökning av resterande punkter på kanten. Först söks de närliggande pixlar som är grannpixlar enligt d(4)_{-metrik och om ingen pixel hittas söks även de som är}

4.3 Extrahering av raka linjer 29 tillhöra en kant ignoreras i sökningen. Vid en korsning kommer en av förgrening-arna väljas och de andra förgreningförgrening-arna kommer eventuellt tillhöra en annan kant. Uppbrutna kanter kommer förhoppningsvis fogas samman igen i steg 5. Kanter kortare än en minimilängd kastas bort.

1

2

3

4

5

6

7

8

Figur 4.7. Sökschema för länkningen, först söks grannpixlarna enligt d(4)_{-metrik och}

sedan d(8)_-metrik.

4.3.4 Segmentering

För att bryta upp kanter som har en hög kurvatur appliceras en segmenteringsal-goritm på de länkade kanterna. Detta görs genom att placera en rak linje mellan kantens ändpunkter och sedan bryta upp kanten där det vinkelräta avståndet mel-lan den raka linjen och kanten är som störst, se gur 4.8.

d xstart

xend

detekterad kant

l

Figur 4.8. Den detekterade kanten brytes upp där det vinkelräta avståndet d mellan linjen l och en punkt på kanten är som störst, förutsatt att d överstiger en denierad tröskel.

Den raka linje l som passerar igenom kantens homogena ändpunkter xstart=

(xstart, ystart, 1)> och xend= (xend, yend, 1)> ges av kryssprodukten

l = xstart× xend (4.6)

Det vinkelräta avståndet från varje punkt på kanten, xi, till den raka linjen

30 Gränspunkter och gränslinjer

di=

x>_i l (4.7) I den punkt på kanten där avståndet diär störst och samtidigt större än en

de-nierad tröskel bryts kanten upp i två segment och segmenteringen utförs igen på var och en av de nya segmenten. Blir segmenten för små, under en given minimi-längd, kastas de bort då dessa blir för osäkra att använda. Varje segment trimmas också ner med några pixlar för att undvika hög kurvatur i ändarna. Notera att kraftigt böjda kanter kommer att brytas upp till många små segment och därför till slut kastas bort helt, vilket också är önskvärt.

4.3.5 Sammanfogning av kanter

Som en följd av länkningen och segmenteringen i steg 3-4 kan kanter som i verklig-heten tillhör samma kant ha brutits upp, t ex vid en T-korsningen kan länkningen ha följt fel förgrening och resulterat i, efter segmentering, tre separata uppbrutna kantsegment, se gur 4.9. En kant kan också ha brutits upp på grund av att den är delvis skymd i bilden. Kantsegmenten bör därför fogas samman för att bilda så långa kantsegment som möjligt. Detta kan göras automatiskt genom att först sortera alla kantsegment efter orientering. Sedan jämförs varje segment med andra segment som är inom en vinkeltolerans. Är detta fallet så undersöks om avståndet mellan dem är inom en angiven radie. För att undvika felaktiga sammanfogningar, görs en kontroll, på samma sätt som vid segmenteringen, om något av det vinkel-räta avståndet mellan punkterna på den sammanfogade kanten och en rak linje mellan dess ändpunkter överskrider ett tröskelvärde. Om så är fallet fogar man inte samman kantsegmenten utan letar vidare.

(a) (b)

Figur 4.9. (a) En T-korsning genererad från kantdetekteringen. (b) T-korsningen efter länkning och segmentering. Segmentet har brutits upp i tre separata segment.

4.3.6 Approximering av kant till rak linje

Sista steget i algoritmen är att approximera varje kantmängd med en rak linje, vilket kan göras utgående från minsta-kvadrat-minimering, se gur 2.5. Enligt avsnitt 2.2 kan en rak 2D-linje representeras som,

ax + by + c = 0 (4.8)

4.3 Extrahering av raka linjer 31 Antag en kant där punkterna på kanten är representerade i homogena koordi-nater x = (x, y, 1)>_{, vilka samlas i en matris A,}

A =    x>start ... x>_end   , (4.9)

där xstart och xend är start- respektive slutpunkt på kanten.

Den approximerade raka linjen som söks är då det l som minimerar kAlk, vilket är ett minsta-kvadrat-problem och kan beräknas genom singulärvärdesfaktorise-ring enligt appendix B. Ursprungskantens ändpunkter xstart och xend projiceras

sedan vinkelrätt mot den approximerade raka linjen l, se appendix C, och ger de nya ändpunkterna ˆxstart och ˆxend för det nya approximerade linjesegmentet.

(a) (b)

(c)

Figur 4.10. (a) Originalbild (b) Binärbild efter kantdetektering (c) De raka linjerna extraherade ur bilden efter kantdetektering, länkning, segmentering, sammanfogning av kanter och inpassning av raka linjer.

Kapitel 5

Längdmätning utifrån

gränspunkter

Proesmans m  [18] beskriver en metod som bygger på att hitta gränspunkter och grundplanets gränslinje i bilden (teorin bakom detta är beskriven i kapitel 4) och tillsammans med en känd referenslängd, beräkna längden av objekt i bilden. Endast bilden av en vy är tillräcklig och den projektionsinvarianta egenskapen korsförhållande (eng cross ratio) används för längdberäkningen. Denna metod generaliseras vidare i [6] och i [7] genom att utveckla en algebraisk representation. De största fördelarna med metoden är:

• Minimal kalibrering, inre och yttre parametrar behöver inte beräknas utan endast den geometriska informationen som erhålls av grundplanets gränslin-je, den vertikala gränspunkten och en känd referenslängd i scenen är tillräck-lig.

• Scen och kamera behöver inte vara oförändrade utan endast möjligheten att erhålla en referenslängd, som är synlig i bilden, krävs.

Dessa fördelar leder till att tre av de uppställda kraven uppfylls, d v s snabb handläggning, minimal systeminformation och minimalt arbete på plats. I nästa kapitel presenteras några av testerna utförda på metoden för att bl a undersöka om det fjärde kravet, exakthet, uppfylls. Detta kapitel beskriver den utvalda metoden ingående.

5.1 Beskrivning

Under förutsättning att grundplanet är plant, t ex ett golv, och grundplanets gränslinje och den vertikala gränspunkten kan beräknas ur bilden, vilket görs enligt kapitel 4, gäller följande påstående:

Givet grundplanets gränslinje, den vertikala gränspunkten och minst en vertikal referenslängd i scenen, kan längden av en linje från någon

34 Längdmätning utifrån gränspunkter punkt i scenen och dess vertikala skärning med grundplanet beräknas genom att speciera bilden av punkten respektive bilden av den vertikala skärningen med grundplanet.

Ovanstående påstående kommer att visas nedan.

5.1.1 Korsförhållande

a

b

c

d

a

b

c

d

a

b

c

d

Figur 5.1. Punkterna i guren denierar ett korsförhållande som inte förändras med projektionen. De gråa linjerna är projektionslinjer.

De fyra punkterna a1, b1, c1och d1i gur 5.1 denierar ett s k korsförhållande

[22] (eng cross ratio),

d(a1, b1)d(c1, d1)

d(a1, c1)d(b1, d1)

, (5.1)

där d(x, y) är det euklidiska avståndet mellan punkterna x och y. Korsförhål-landet är projektionsinvariant, d v s det förändras inte av projektionen, vilket ger följande relation mellan punktmängderna i gur 5.1

d(ai, bi)d(ci, di) d(ai, ci)d(bi, di) = d(aj, bj)d(cj, dj) d(aj, cj)d(bj, dj) . (5.2)

5.1.2 Beräkning av sökt längd Z

Betrakta en linje i världen, vertikal mot grundplanet, som går igenom punkterna Xoch X0 och som projiceras till en linje i bildplanet, se gur 5.2.

X är belägen på grundplanet och längden mellan punkterna X och X0, Z, söks. Bildpunkterna x och x0 _{i gur 5.2 är projektionen av världspunkterna X}

och X0 _{i bildplanet och tillsammans med bildpunkterna c och v denierar de ett}

5.1 Beskrivning 35 punkt i o¨andligheten

X X0 Z Zv Zc v x c x0 (a) (b) l

Figur 5.2. (a) I världen; längden Z mellan punkterna X och X0 _{söks. Z}

cär avståndet

från grundplanet till kameracentrum och Zv är avståndet till en punkt i oändligheten.

(b) I bilden; v är den vertikala gränspunkten, l grundplanets gränslinje, x och x0 _bilden

av punkten X respektive X0 _{och c skärningen mellan gränslinjen l och den förlängda}

mätlinjen.

gränslinje (horisontlinjen) och avståndet från grundplanet till den korresponderan-de punkten i värlkorresponderan-den är därför Zc, vilket är lika med avståndet från grundplanet

till kameracentrum. Punkten v är den vertikala gränspunkten, vilket är bilden av en punkt i oändligheten i den vertikala riktningen. Detta förhållande denierar korsförhållandet (Zc− Z)Zv Zc(Zv− Z) =d(x 0_{, c)d(x, v)} d(x, c)d(x0_{, v)}, (5.3)

där d(x1, x2)är det euklidiska avståndet mellan två bildpunkter. Eftersom Zv är

avståndet från X till en punkt i oändligheten kan ekvationen ovan approximeras till Z Zc = 1 −d(x 0_{, c)d(x, v)} d(x, c)d(x0_{, v)} (5.4)

Den sökta längden Z kan erhållas från ekvationen ovan då avståndet från grundplanet till kameracentrum Zc är känt. Men detta mått är i regel svårt att

erhålla eftersom kameracentrum är beläget någonstans inuti kameran, dessutom kräver det att kamerans position är oförändrad. Det är därför mer praktiskt att med ekvation (5.4) först beräkna Zcutifrån ett känt referensavstånd Zref och dess

tillhörande bildpunkter x, x0 _{och c. Därefter kan ekvation (5.4) återigen användas}

36 Längdmätning utifrån gränspunkter

5.2 Algebraisk representation

I [7] presenteras en algebraisk representation med samma bakomliggande geometri som i avsnittet ovan men med fördelarna:

• Undviker potentiella problem med ordningen av punkterna i korsförhållan-det.

• Hanterar både minimala och överbestämda kongurationer. • Samlar olika mått under en och samma representation.

• Förenklar möjligheterna till att utföra osäkerhetsanalys med propageringen av osäkerheter till det slutliga måttet.

5.2.1 Projektionsmatrisen P

Projektionsmatrisen P, se avsnitt 2.3, kan delvis bestämmas med hjälp av grund-planets gränslinje och en vertikal gränspunkt, vilket visar sig vara tillräckligt för att beräkna en sökt längd Z utifrån tidigare nämnda förutsättningar. Deniera världskoordinatsystemet XY Z så att origo ligger på grundplanet. X och Y -axlarna spänner upp planet (och Z-axeln är ortogonal mot planet). Som visades i avsnitt 2.3 så projiceras en punkt i världen X på en punkt i bilden x genom projektionsmatrisen P,

x =PX = [ p1 p2p3 p4 ]x, (5.5)

där pi är kolumnerna i P. p1, p2 och p3 är avbildningen av axelriktningarna

i världskoordinatsystemet. Detta ses enkelt t ex genom att avbildningen av en punkt i oändligheten på X-axeln, D = (1, 0, 0, 0)>_{, blir}

PD = [ p1 p2 p3 p4]     1 0 0 0     = p1, (5.6)

Alltså är de tre första kolumnerna i P de homogena gränspunkterna för X, Y -respektive Z-axelns riktning, p1 = αxvx, p2 = αyvy och p3 = αzvz, där αi är

skalfaktorer som denierar det metriska förhållandet.

Den fjärde kolumnen är projektionen i bildplanet av origo för världskoordinat-systemet, p4= o, vilket ses genom projektionen

Po = [ p1p2 p3 p4 ]     0 0 0 1     = p4. (5.7)

Eftersom X- och Y -axeln spänner upp grundplanet är vxoch vy två punkter

på grundplanets gränslinje. p4 får inte ligga på gränslinjen eftersom då ligger

5.2 Algebraisk representation 37 oberoende. Därför sätts p4 = l/ klk = ¯l där l är gränslinjen för grundplanet.

Projektionsmatrisen P kan nu skrivas

P =  αxvxαyvy αzvz¯l  (5.8)

Längdmätningen i avsnittet nedan är oberoende av de två första kolumnerna i P, så om vz och ¯l är kända är skalfaktorn αz den enda obekanta kvantiteten. I

fortsättningen betecknas αz endast som α.

5.2.2 Beräkning av sökt längd Z

Längden mellan punkterna X = (X, Y, 0, 1)> _{och X}0 _{= (X, Y, Z, 1)}> _{i världen}

efterfrågas, där punkten X är belägen i grundplanet. Korresponderande punkter i bilden är x och x0_{. Relationen mellan bildpunkter och världspunkter ges av}

projektionen x =P     X Y 0 1     , x0 =P     X Y Z 1     . (5.9)

Ekvationerna ovan kan skrivas

x = ρ(Xp1+ Y p2+ p4) (5.10)

x0 = ρ0(Xp1+ Y p2+ Zp3+ p4) (5.11)

där ρ och ρ0 _{är okända skalfaktorer.}

Eftersom p1 och p2 ligger på gränslinjen är p1· ¯l = p2· ¯l = 0. Vidare är

p4· ¯l = ¯l · ¯l = 1 och genom att ta skalärprodukten av ekvation (5.10) med ¯l fås

därför ρ = ¯l · x vilket ger x

¯l · x = (Xp1+ Y p2+ p4). (5.12)

Denna ekvation kombinerat med (5.11) och att p3= αvz ger

x0= ρ0( x

¯l · x+ Zαvz). (5.13)

Kryssprodukten av både HL och V L med x0 _ger

x0× x0 = ρ0(x × x 0 ¯l · x + Zα(vz× x0)), (5.14) där V L = 0. Efter omskrivning fås Zα(vz× x0) = − x × x0 ¯l · x (5.15)

Sedan tas L2-normen av vektorerna i både HL och V L, vilket efter omskrivning

38 Längdmätning utifrån gränspunkter αZ = − kx × x 0_k (¯l · x)kx0_{× v} zk (5.16) Har man en känd referenslängd, Zref kan ekvationen ovan användas för att

skatta α,

α = − kx × x

0_k

Zref(¯l · x)kx0× vzk

, (5.17)

där x och x0 _{är baspunkt respektive toppunkt i bilden tillhörande Z}

ref. Efter

att en skattning på α har erhållits så kan ekvation (5.16) återigen användas för att beräkna den sökta längden

Z = − kx × x

0_k

α(¯l · x)kx0_{× v} zk

(5.18) där nu x och x0 _{är baspunkt respektive toppunkt på sökt längd Z.}

5.2.3 Mer än en referenslinje

Har man era referenslinjer är det inte säkert att de, p g a brus, resulterar i ett och samma α. Ett estimat ˆα av α kan då beräknas genom en minsta-kvadrat-minimering. För varje referensavstånd Zi denieras βi= ||ri× r0i||, ρi= ¯l · ri och

γi= ||vz×r0i||där rioch r0iär bildpunkterna av referensavståndets bas- respektive

toppunkt i världen. Detta ger tillsammans med (5.16)

αiZiρiγi= −βi. (5.19)

Utifrån ekvation (5.19) bildas matrisen:

A =         Z1ρ1γ1 β1 ... ... Ziρiγi βi ... ... Znρnγn βn         , där n är antalet referenslängder.

Estimatet ˆα beräknas genom att söka det s som minimerar ||As||, där s = (s1, s2)> är en homogen 2D-vektor. Lösningen fås genom

singulärvärdesfaktori-sering enligt appendix B. Eftersom s är en homogen vektor fås den estimerade skalfaktorn ˆα genom

ˆ α = s1

s2

(5.20) Om n = 1 eller om referenserna inte påverkas av mätfel är As = 0.