Sonarbildigenkänningssystem för att röja minor

(1)

EXAMENSARBETE INOM MATEMATIK, AVANCERAD NIVÅ, 30 HP

STOCKHOLM, SVERIGE 2019

Sonarbildigenkänningssyste m för att röja minor

MOA ENGLUND

KTH

SKOLAN FÖR TEKNIKVETENSKAP

(2)

(3)

Sonarbildigenkänningssystem för att röja minor

MOA ENGLUND

Degree Projects in Scientific Computing (30 ECTS credits)

Degree Programme in Applied and Computational Mathematics (120 credits) KTH Royal Institute of Technology year 2019

Supervisor at Försvarets Materielverk: Matteo Perrone Supervisor at KTH: Michael Hanke

Examiner at KTH: Michael Hanke

(4)

TRITA-SCI-GRU 2019:054 MAT-E 2019:19

Royal Institute of Technology School of Engineering Sciences KTH SCI

SE-100 44 Stockholm, Sweden URL: www.kth.se/sci

(5)

iii

Sammanfattning

Det finns ett intresse för att skapa säkra farvägar för militär och civil båttrafik. I svenska vatten ligger det kvar många havsminor från världskrigen som behöver röjas för att kunna skapa dessa vägar. Om en mina ska kunna röjas på ett säkert sätt är det till fördel att ha information om vilken bottentopografi som den befinner sig i. Detta görs genom att samla in sonarbilder ifrån autonoma undervattensfarkoster, AUV:er.

I denna rapport undersöks sonarbilderna genom att analysera en bit i taget med hjälp av olika kvadratiska filterstorlekar som roteras. Den bildbit som filtret täcker analyseras med hjälp applicering av en Gaussian- funktion som med hjälp av diskret Fourier Transform tar fram fyra olika varianser. Haar-funktionen har ej använts då den inte har samma noggrannhet i rumsdimensionen som Gaussian-funktionen har. Dessa varianser beskriver hur bildbiten varierar i en punkt, en linje, i radie samt i vinkel.

Olika kombinationer av dessa varianser leder till olika inneboende dimensioner i bildbitens mittersta pixel. De inneboende dimensionerna beskriver bottentopografierna på olika sätt.

Med hjälp av deep learning appliceras metoderna på ett träningsset som består av ett antal sonarbilder som plockats ut för vardera dimension. Med hjälp av Fourier-metoden beskriven ovan bestäms gränser- na med ett konfidensintervall på 95%. De gränser som fanns längst ifrån 0 samt 1 var 0.22257 respektive 0.77708.

Gränserna applicerades i algoritmen som sedan tog fram numeriska värden för de inneboende dimensionerna. Utifrån dessa resultat blev det möjligt att presentera säkra farvägar genom grönmarkerade områ- den i sonarbilden. De filter som genererade det noggrannaste resultatet var de minsta filtren för alla rotationer.

(6)

(7)

iv

Abstract

Sonar image recognition system to clear mines.

There is an interest to make safe routes for military and civil boat traf- fic. In the Swedish seas there exist a lot of mines from the world wars that need to be removed to create these highways. If a mine is going to be demined in a safe way it is in favor to have information about what kind of seafloor topography it is laying on. This is done by collecting sonar images from autonomous underwater vehicles, AUV:s.

In this report the sonar images are analyzed by investigating a smaller piece of the image. This is done by using different quadratic filter sizes which are rotating. The image piece which the filter is covering is analyzed by applying a Gaussian function that in combination with a discrete Fourier Transform is producing four different variances. The Haar-function is not used since it has a lower accuracy in the dimension of the room than the Gaussian function has. These variances describes how the image piece varies in a point, a line, radius and angle.

Different combinations of those variances are resulting in different intrinsic dimensions in the middle pixel of the image piece. The different intrinsic dimensions describes the seafloor topography in different ways.

The methods are applied on a training set with deep learning. The training set consists of sonar images which are chosen for every dimension. Applying the above mentioned Fourier-method it is possible to choose the boundaries with a confidence interval of 95%. Those boundaries that were most far away from 0 and 1 were 0.22257 respec- tively 0.77708.

These limits are applied in the algorithm that later on determines the numerical values for the intrinsic dimensions. It was possible to present safe highways in green in the sonar image from these results. Those filters that generated the highest accuracy were the smallest filters for all rotations.

(8)

(9)

v

Förord

Denna rapport är ett examensarbete på masternivå inom beräknings- teknik på Kungliga Tekniska Högskolan. Det har utförts under vårter- minen 2018 i sammarbete med myndigheten Försvarets Materielverk, FMV.

Jag vill börja med att tacka min ena handledare Matteo Perroni på FMV som tog emot mig för att utföra detta examensarbete och har bidragit till givande kontakter och studiebesök för att utföra ett så bra arbete som möjligt. Jag vill även tacka min andra handledare och exa- minator Michael Hanke för givande möten och diskussioner.

Sedan vill jag även rikta ett tack till Marc Geilhuffe på Forsvarets Forsk- ningsinstitutt, FFI, i Norge för studiebesök och givande diskussioner om bildkomplexitet. Ett annat tack vill jag även rikta till Louise Rixon Fuch, Saab Dynamics samt industridoktorand inom Machine Learning på KTH, för studiebesök på Saab Dynamics i Linköping, framtagning av data från Vättern att arbeta med samt givande information för att applicera deep learning i algoritmen. Även ett tack till Jonas Pallinder inom Försvarsmakten som förklarat hur en typisk minröjning med dy- kare går till.

Med detta arbete har jag fått ett stort stöd från nära och kära vilket har varit oerhört viktigt i vissa stunder för att slutföra denna rapport. Ett speciellt tack till Oskar Hedvold som stöttat mig genom hela arbetet men speciellt de sista veckorna när det har varit många sena kvällar.

(10)

(11)

vi

Nomenklatur

AUV Autonom Undervattensfarkost.

BA Bottenavståndsmina.

DWT Discrete Wavelet Method.

FA Förankrad Avståndsmina.

FK Förankrad Kontaktmina.

FFI Forsvarets Forskningsinstitutt.

FFT Fast Fourier Transform.

FMV Försvarets Materielverk.

GLCM Grey Level Cooccurence Matrix.

GLRM Grey Level Run-length Matrix.

ikD Inneboende Dimension k.

i0D Inneboende Dimension noll.

i1D Inneboende Dimension ett.

i2D Inneboende Dimension två.

KTH Kungliga Tekniska Högskolan.

LBP Local Binary Patterns.

LSN Local Similarity Numbers.

LSP Local Similarity Patterns.

MODWT Maximal Overlap Discrete Wavelet Method.

OXA Oexploderad ammunition.

SAM Självgående Akustiskt Minsvep.

SAS Synthetic Aperture Sonar.

SNR Signal to Noise Ratio SRR Similarity Range Radius.

SS Självgående Sjömina.

SSS Synthetic Aperture Sonar.

(12)

vii

Matematiska beteckningar

A Amplituden i en global punkt i en sonarbild.

A(·) Antal undersökta bildbitar med · bredd/höjd.

A_{f ix}(·) Antal undersökta bildbitar beräknad med fixed grid scans.

A_slid(·) Antal undersökta bildbitar beräknad med sliding box algorithms.

c Största värdet en pixel kan anta.

F (·, ·) Diskret Fourier Transform

F_x Rotationsmatris för x-koordinaten.

F_y Rotationsmatris för y-koordinaten.

f (·, ·) Gaussian funktion i 2D.

G(·) Fourier Transform i 1D.

H(·) Haar-wavelet funktion.

j Filterstorlek för Haar-wavelet.

k Inneboende dimension där k ∈ {0, 1, 2}.

k_f Kartesisk frekvens-koordinat i x-riktningen i frekvensplanet.

k_i Skalningskonstant för någon varians i ∈ {o, l, r, v}.

l_f Kartesisk frekvens-koordinat i y-riktningen i frekvensplanet.

M Höjd på filter.

m Höjd på bild.

N Bredd på filter.

N₁ Normaliseringskonstant för kartesiska koordinater.

N2 Normaliseringskonstant för polära koordinater.

n Bredd på bild.

n Orientering i bilden.

p_x_glo_,y_glo Pixelvärde för koordinaten (xglo, y_glo).

p⁰_x Derivata av pixelvärden i x-led.

p⁰_y Derivata av pixelvärde i y-led.

p_x

glo,y_glo Pixelmedelvärde av de pixlar som filtret täcker.

R Maximal radie i ett filter.

r Polär koordinat i radiell riktning i tidsplanet.

ri Radien mellan två pixlars mittpunkter.

s Antal beräknade pixlar.

u Frekvenspar.

v Vinkeln mellan två pixlars mittpunkter.

X Differensen mellan x-koordinaten i referenspunkten samt den globala punkten.

X Medelvärde av de olika gränserna ∆.

x Antal pixlar i bredd.

xglo Kartesisk, global koordinat i x-riktningen i tidsplanet.

x_glo,ref Kartesisk, global referenspunkt för x-koordinaten.

x_lok Kartesisk, lokal koordinat för ett filter i x-riktningen i tidsplanet.

x_ref Lokal referenspunkt för x-koordinaten.

(13)

viii

Y Differensen mellan y-koordinaten i referenspunkten samt den globala punkten.

y Antal pixlar i bredd.

y_glo Kartesisk, global koordinat i y-riktningen i tidsplanet.

y_glo,ref Kartesisk, global referenspunkt för y-koordinaten.

ylok Kartesisk, lokal koordinat för ett filter i y-riktningen i tidsplanet.

y_ref Lokal referenspunkt för y-koordinaten.

θ Vinkel som filtret är roterat.

ρ Polär koordinat i radiell riktning i frekvensplanet.

∆⁰_L Övre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension noll.

∆¹_L Övre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension ett.

∆²_L Nedre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension två.

∆⁰_O Övre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension noll.

∆¹_O Övre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension ett.

∆²_O Övre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension två.

∆⁰_R Övre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension noll.

∆¹_R Nedre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension ett.

∆²_R Nedre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension två.

∆⁰_V Odefinierad gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension noll.

∆¹_V Nedre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension ett.

∆²_V Övre tillåtna gräns som variansen skall vara inom för att uppfylla kraven för en inneboende dimension två.

σ Standardavvikelsen i en bild.

Σ²_L En samling varianser σ²_L. Σ²_O En samling varianser σ²_O. Σ²_R En samling varianser σ²_R. Σ²_V En samling varianser σ²_V.

σ² Varians för en bildbit som ett filter täcker.

σ²_L Vinkelrät varians gentemot den generella riktningen.

σ²_L,max Maximala värdet för σ_L². σ²_O Lokal varians i en punkt.

(14)

ix

σ_O,max² Maximala värdet för σ_O². σ_R² Radiell varians.

σ_R,max² Maximala värdet för σ_R². σ_V² Varians för olika vinklar.

σ_V,max² Maximala värdet för σ_V².

Φ Polär koordinat i vinkelriktningen i frekvensplanet.

φ Polär koordinat i vinkelriktningen i tidsplanet.

φ₀ Lokal vinkel i filtret.

ω Vinkelhastigheten i Fourier-domänen för 1D.

∇f (·, ·) Gradient.

|| · ||_∞ Maximalnorm.

(15)

Innehåll

1 Introduktion 1

1.1 Bakgrund . . . . 1

1.1.1 Säkra farvägar . . . . 2

1.1.2 Olika typer av havsminor . . . . 4

1.1.3 Borttagning av havsminor . . . . 5

1.2 Avgränsning . . . . 6

1.2.1 Teoretiska avgränsningar . . . . 6

1.2.2 Matematiska avgränsningar . . . . 7

1.3 Syfte . . . . 7

2 Sonar Scan 8 2.1 Sonarbilder . . . . 9

2.2 Bildkvalitet . . . 11

2.3 Existerande algoritmer . . . 12

2.3.1 Maximal Overlap Discrete Wavelet Transform . . 12

2.3.2 Haar-like features . . . 15

2.3.3 Texturanalys . . . 16

2.4 Bottenkomplexitet och topografi . . . 18

3 Matematiska metoder 20 3.1 Lacunarity . . . 20

3.1.1 Filter . . . 21

3.1.2 Sliding Box Algorithm . . . 26

3.1.3 Inneboende dimension . . . 29

3.1.4 Varians . . . 30

3.2 Gaussian Funktionen . . . 34

3.3 Djupinlärning . . . 36

3.3.1 Teori . . . 36

3.3.2 Applikation . . . 37

x

(16)

INNEHÅLL xi

4 Matematiska Krav 41

4.1 Vägning av pixlar . . . 41

4.2 Säker farväg . . . 42

4.3 Algoritmen . . . 44

5 Resultat och Diskussion 45 5.1 Inneboende Dimensioner . . . 48

5.2 Djupinlärning . . . 51

5.3 Filter . . . 56

5.4 Säkra farvägar . . . 59

6 Förbättringar 61 A 67 A.1 Deep Learning . . . 67

A.1.1 Inneboende dimension 0 . . . 67

(17)

Kapitel 1

Introduktion

Under första världskriget lade Tyskland och Ryssland ut cirka 60.000 havsminor. [18] Under andra världskriget blev den siffran ännu hög- re. Från början var kontaktminor de som var vanligast men med tiden har minorna blivit självgående vilket utgör en ännu större fara då de kan verka i ett större område. Idag ligger många av dessa minor kvar.

[14] I och med att så många minor ligger kvar på havsbotten behöver minröjningen bli bättre.

I den här rapporten kommer det presenteras hur problemet kan börja hanteras och vilka problem som det innebär. Det kommer innebära en presentation av bakgrund till problemet, vilka yttre krav det finns för att lösa problemet, vilka metoder som kommer kunna hantera problemet samt vilka krav som metoderna kräver. Rapporten avslutas sedan med resultat och diskussion som presenterar resultatet av applikatio- nen av de framtagna metoderna och kraven samt en diskussion av resultaten.

I det här kapitlet kommer bakgrund till problemet att presenteras.

1.1 Bakgrund

Det har länge funnits ett intresse av att utforska havsbotten. Detta, bland annat, för att det ska finnas säkra civila och militära farvägar. De myndigheter som är kopplade till Försvarsmakten är de som analyse- rar havsbotten för detta mål. På Försvarsmaktens Materielverk, FMV, pågår det många olika arbeten för att analysera havsbotten och det

1

(18)

2 KAPITEL 1. INTRODUKTION

finns även en del projekt som avslutats. Denna rapport är ett bidrag som är kopplad till många andra projekt.

Under nästa avsnitt, avsnitt 2 Sonar Scan, kommer redan existerande metoder för att ta fram bilder på havsbotten att presenteras. Det kommer även att presenteras en del algoritmer som idag används för att analysera havsbotten. Dessa är ganska få beroende på vad analysen skall användas till och hur noggrann den skall vara - i denna rapport hur säker en farväg är.

För att en farväg skall anses som säker behövs det först en stipulativ definition av vad det menas med en säker farväg.

Definition 1. Säker Farväg.En säker farväg är en farväg vars havsbotten är fri från havsminor.

Utifrån denna definition behövs det mer information om vad en havsmi- na är, hur stor den är samt hur den tas bort. Information om detta kommer att tas upp under 1.1.2 Olika typer av havsminor samt 1.1.3 Borttag- ning av havsminor för att en godkänd metod skall kunna sättas sam- man. Innan detta presenteras behövs det först en presentation av vad en farväg är.

1.1.1 Säkra farvägar

För att farvägar för militär och civil båttrafik ska vara säker måste både fartyg samt yttre faktorer uppfylla ett antal krav. De yttre faktorerna är sammanställda i nedanstående lista.

• Vind

• Ström

• Vågor

• Sikt

• Vattenstånd

• Is

• Bottentopografi

(19)

KAPITEL 1. INTRODUKTION 3

• Landhöjning

• Trafikbild

• Externa hjälpmedel

Det som är av intresse i denna rapport är det som omfattas av bottentopografin, vattendjup, bottenbeskaffenhet, bankeffekter och squat (ökat djupgående för fartyget). [23]

Vattendjup:

Vattendjup är det djup mellan havsytan och havsbotten. Utifrån den data som kommer att användas i denna rapport kommer vattendjup inte att kunna behandlas. Detta eftersom datan över havsbotten inte visar hur djupt det är i en specifik punkt.

Bottenbeskaffenhet:

En bottenbeskaffenhet är den typ av botten som havsbotten består av. Några vanliga bottenbeskaffenheter är sand, mudder, lera, klippgrund, stenar och slam [21].

De olika bottenbeskaffenheterna har olika textur vilket gör att de kan delas in i tre olika grupper - konstant textur, konstant textur i en riktning samt ingen konstant textur.

Konstant textur är sådan botten som inte skiljer sig så mycket varken i höjd eller bredd. Till denna textur tillhör sand men även plan klippgrund, slam och lera.

När det däremot gäller konstant textur i en riktning kommer botten att skilja sig i höjd i en riktning. I den vinkelräta riktningen är höjden däremot konstant. Exempel på detta är sandkrusning.

Den sista texturen som inte är konstant i en riktning har den mest kom- plexa botten. Det betyder att botten kan se ut lite hur som helst. Med detta följer att höjden kan variera mycket i alla riktningar. Här ingår osymmetrisk klippgrund, stenar och mudder.

Bankeffekter och squat:

Då bankeffekt är en typ av sugeffekt mellan fartyg och intilliggan- de bank kommer detta inte att behandlas i denna algoritm. Detta på

(20)

grund av att den datamängd som ska analyseras inte innehåller den typen av information för att detta skall kunna vara med i beräkningar- na. Detsamma gäller squat som är en sättning av fartygets djupgående - här följer samma motivation som för vattendjupet.

Farledens bredd:

Bredden på en farled är den minsta bredd som behövs för att ett fartyg ska kunna passera. Det är många faktorer som bestämmer hur bred en farväg ska vara - om det är en eller två båtar som skall kunna åka samtidigt, fartygets dimensioner, om fartyget har någon last, svepbredd, vindstyrka, bankeffekter, ström och mycket mer. [8] Det- ta gör det omöjligt att bestämma alla faktorer utifrån den datamängd som behandlas i detta projekt.

1.1.2 Olika typer av havsminor

Olika typer av havsminor kräver olika typer av behandling för att tas bort. De vanligaste typerna av havsminor är följande

• Förankrad kontaktmina (FK)

• Förankrad avståndsmina (FA)

• Bottenavståndsmina (BA)

• Självgående sjömina (SS)

De två första typerna av havsminor - FK och FA - är förankrad i havsbotten. Minan är placerad några meter under havsytan och sitter fast i en vajer med ett ankare i andra änden. Ankaret har en dimension på 1 × 1 × 1meter och vajern har en diameter på 10 mm. Själva minan har en sfärisk form med en diameter på 0.75 meter.

Det som skiljer FK och FA är hur de detoneras. FK har ett verkansom- råde på 0 meter - det betyder att det krävs kontakt med minan för att den ska explodera. FA däremot, har sensorer som kan känna av fartyg på flera 100 meter. Verkansområdet är dock bara några tiotal meter i radie för detonation.

BA, till skillnad från FK och FA, ligger direkt på havsbotten. Minan har akustik-, magnetik- och trycksensorer som känner av om det finns

(21)

fartyg inom några 100 meter. Precis som FA är verkningsområdet endast några tiotal meter.

Den sista minan, SS, har liknande sensorer som BA. Det som skiljer SS ifrån de tre ovan nämnda minorna är att den är utformad som en torped. Den är ungefär 0.5 meter i diameter och har en längd på 5 meter. SS kan känna av fartyg på flera kilometer och har även samma verkningsområde. [23]

1.1.3 Borttagning av havsminor

Minröjning utförs med fyra olika metoder - minsvepning, SAM, Sonar och röjdykning.

Minsvepning används främst för att avlägsna föränkrade kontaktmi- nor och avståndsminor. Svepningen sker på ett sådant sätt att en vajer dras efter fartyget och sedan skär av ankarlinorna som minorna är för- änkrade i. [14] Detta betyder dock en hög risk för de som befinner sig på fartyget och är därav inte att föredra.

SAM, Självgående Akustiskt Minsvep, som är en obemannad farkost.

Denna styrs med hjälp av ett moderskepp där besättningen sitter. Ge- nom att använda en obemannad farkost utsätts inte besättningen för en lika stor fara då de inte behöver vistas i området för minröjningen.

SAM är utformad på ett sådant sätt att den kan simulera att en farkost åker förbi minan i form av akustiska vågor. När minan känner av detta så detoneras den.

Sonar är den metod som det här projektet skall förenkla. Det är en metod där fartyg åker runt med en sidesonar scan och skannar havsbotten med hjälp av ekolod. Sonarbilder skapas då som sedan analyseras där det går att se om det finns objekt på havsbotten som skulle kunna vara minor. Om det är ett möjligt objekt så åker en mindre farkost närmre objektet. Visar det sig att objektet är en mina så placerar farkosten en sprängladdning i närheten av minan som den burit med sig. Farkosten återvänder till moderskeppet och sedan detoneras sprängladdningen som tar bort minan.

Ett annat alternativ till den lilla farkosten är röjdykning. En röjdykare

(22)

från Försvarsmakten, Jonas Pallinder, berättar att de först får information om vilken oexploderad ammunition (OXA) som uppdraget gäller men även hur djupt vattnet är och hur länge de får vistas där. När dy- karna är klara med all dokumentering av OXA:n så sätts sprängladd- ningen på och de simmar tillbaka. Dykledaren får sedan en rapport om att alla röjdykare mår bra och att uppgiften gick som den skulle.

Pallinder förklarar till sist att när alla säkerhetsbestämmelser utförts och de är godkända så sprängs laddningen och därav även OXA:n.

1.2 Avgränsning

Med de olika havsminor som finns och de olika metoder för att ta bort havsminor krävs det en del avgränsningar för att genomföra en analys både teoretiskt samt matematiskt.

1.2.1 Teoretiska avgränsningar

I den här rapporten kommer det ej att tas någon hänsyn till vilka krav som ställs på farvägen. Dels på grund av att en farväg har många krav på sig beroende på vad den skall användas till samt även att den data som kommer att användas inte innehåller den information som be- hövs för att bestämma detta. På så sätt är det omöjligt att ta med den informationen i metoderna och därav kommer det endast att fokuse- ras på vilka områden av havsbotten som är säker.

Det ställs även olika krav på farvägarna beroende på om Sveriges rike befinner sig i fred eller krig. Det kan i vissa fall vara av intresse att be- hålla havsminor på vissa områden endast för att det skall bli svårare för en fiende att kunna attackera. Genom att behålla en del minor och lokalisera dessa blir det lättare att ta sig in och ut från land men även svårare för en eventuell fiende som inte känner till någon information om havsbotten. Detta är högst intressant men då det ej går att avgöra var det skulle vara intressant att ha kvar havsminor så bortser algoritmen från detta.

Ytterliggare en punkt som ej tas upp i denna rapport är hur havsmi- norna kommer att hittas. Det finns redan ett antal algoritmer som för- klarar hur minor kan avläsas ifrån sonarbilder men mycket mindre om

(23)

hur en havsbotten kan bestämmas. Därav är det av större intresse att undersöka bottentopografin.

1.2.2 Matematiska avgränsningar

Algoritmens snabbhet kommer ej att tas hänsyn till i rapporten. Detta beror bland annat på att algoritmen inte kommer att användas med de processorer som de senare kommer att användas med ute i fält. På så vis kommer inte algoritmen att köras på en tid som är rättvis mot det verkliga resultatet.

Dessutom är fokus i denna rapport vilket angreppssätt som leder till det noggrannaste svaret. Då dessa angreppssätt är beroende av olika antal inparametrar skulle en jämförelse för algoritmens snabbhet inte vara rättvis.

1.3 Syfte

Utifrån den bakgrund som nu är given är det uppenbart att det är viktigt att kunna ta bort havsminor från havsbotten. För att förenkla minröjningen är det av intresse att bestämma vilken typ av havsbotten som existerar på en viss plats utifrån sonarbilder. Genom att bestäm- ma bottentopografin med hjälp av matematiska metoder kommer det att förenkla minröjningen både genom att det blir säkrare att röja mi- nor, det kommer gå snabbare samt det kommer att leda till att säkra farvägar kommer att kunna skapas.

(24)

Kapitel 2 Sonar Scan

På autonoma undervattensfarkoster, AUV, sitter det ett verktyg som kartlägger havsbotten med hjälp av sonar. Två typer av sonar är Side- sonar Scan, SSS, [8] och Synthetic Aperture Sonar, SAS. [19]

Både SSS och SAS används genom att en ping skickas ut från AUV:n och sedan tas upp. Pingen består av ett ekolod som färdas med ljudets hastighet i vatten, cirka 1500 m/s. Det som skiljer SAS från SSS är att SAS får en mycket högre upplösning enligt uppgifter från FMV. An- ledningen till att detta är möjligt är för att SAS har pingar som täcker ett bredare frekvensområde. Detta kommer att ha en stor betydelse för de resultat som kommer att redovisas i denna rapport.

Sonarerna sitter på sidan av AUV:erna riktade snett neråt enligt Figur 2.1. Detta gör att sonarn kan uppta information från ett större område än om sonarn skulle vara riktad direkt ner mot havsbotten. Självklart innebär detta att desto längre ifrån en AUV:n som information inhäm- tas, desto högre är sannolikheten att dess information är felaktig.

När pingarna reflekteras via ytan som demonstreras i Figur 2.1 kommer inte bilderna vara en korrekt avbildning av den verkliga botten.

Den reflektion som kommer ifrån havsytan är då en störning.

8

(25)

KAPITEL 2. SONAR SCAN 9

Figur 2.1: En SAS på en AUV som skickar ut en ping snett ner mot mar- ken. Pingen kommer tillbaka till sonarn i form av en direkt reflektion (blå linje) av målet samt som en reflektion från havsytan (röd streckad linje).

För att behandla bilderna som tas upp av SSS och SAS åker AUV:erna fram och tillbaka i form av ett rutnät. Bilderna som tagits upp kommer sedan att sättas ihop genom att matcha deras pixelvärden och mönster.

Genom att sätta ihop bilderna på detta sätt går det att få en överblick av hur havsbotten ser ut i ett specifikt område.

2.1 Sonarbilder

Sonarbilderna som skapas av SAS är en sammansättning av pixlar med olika värden som tillsammans skapar en bild av havsbotten. För att specificera defintitionen av en bild skapas först följande definition av en pixel:

Definition 2. Pixel. En pixel är en bildpunkt som antar en intensitet som leder till ett pixelvärde mellan 0 − 255.

Med detta är definitionen av en bild följande:

(26)

10 KAPITEL 2. SONAR SCAN

Definition 3. Bild.En bild är en digital avbildning av ett föremål i en gråskala. Avbildningen är uttryckt med hjälp av en variation av olika pixelvärden och varje bild är m × m pixlar stor. Där m är antalet rader och n är antalet kolumner.

Varje pixel i SAS har en verklig storlek på 4 × 4 cm². En SSS har en pix- elstorlek på mellan 15 × 15 cm² till 20 × 20 cm². [19] SAS passar därav bättre till analys av bottentopografin än vad SSS gör.

Med denna definition presenteras här med en SAS-bild över havsbotten i Vättern, Sverige. Bilden är tagen av Saab Dynamics när de har samlat in data från Vättern med hjälp av en AUV och SAS. [6]

Figur 2.2: SAS-bild i gråskala över havsbotten i Vättern tagen med en SAS från en AUV på uppdrag av Saab Dynamics.

En typisk sonarbild ser i slutändan ut enligt ovan. Då den täcker ett stort område har den en storlek på 5120 × 4096 pixlar, motsvarande 204.8 × 163.84m²i verkligheten. Som det går att se finns det även om-

(27)

råden i bilden som inte innehåller någon information. Det är vanligt för SAS- respektive SSS-bilder.

2.2 Bildkvalitet

Bildkvalitet är en parameter som beskriver hur väl teorin representerar verkligheten i en bild. För att få noggranna resultat vid användning av en sonar gäller det att bildkvaliteten är bra. Bildkvaliteten beror själv- klart på upplösningen av sonarn som bedöms av fyra olika parametrar [9]:

• Geometrisk upplösning,

• radiometrisk upplösning,

• generaliserad SNR och

• skärpa.

Geometrisk upplösningkan delas in i en teoretisk del och en praktisk del. Den teoretiska delen beror på bandbredden och storleken på ele- menten. Detta är bandbredden för en dimension. Den praktiska delen däremot beror på bildkvaliteten. Då den teoretiska definitionen kan användas som en konstant med varierande skärpa så används den istället för den praktiska. [10], [11]

Radiometrisk upplösningär ett mått på ett antal olika noggrannheter - kontrastupplösning, noggrannhet på värdena och noggrannheten på föremålet. Dessa parametrar kräver att SAS-bilden innehåller all information om positionering med mera. [11].

Generaliserad SNRär en lokal felmarginal som varje pixel innehåller.

Vilket betyder att varje bild inte är en exakt avbildning av havsbotten.

En bild innehåller en hel del fel som uppstår genom signaler eller ljud som stör ekolodet som används för att skapa bilderna.

Skärpa är ett mått som används för att beskriva relationen mellan verklighetens upplösning och teorins upplösning. Det är en konstant som definierar hur bra verkligheten beskriver teorin. Skärpan antar

(28)

värden mellan 0 och 1 där 1 betyder att verkligheten stämmer över- rens med teorin till fullo. Det existerar då inga störningar [11].

De här fyra parametrarna påverkar bildkvaliteten när en sonar an- vänds för att skapa bilder. I dagsläget finns det dock ingen exakt for- mel för hur precisa bilderna kan anses vara då det anses vara för kom- plext. Men det beror även på vilka metoder som används för att beräk- na bildkvaliteten. [12] I den här rapporten kommer bildkvaliteten inte beräknas då formeln inte är tillräckligt precis för att kunna bestämma bildkvaliteten på ett sätt som är rättvist mot verkligheten.

2.3 Existerande algoritmer

För att analysera de bilder som SAS skapar så behövs en bildproces- seringsmetod. Beroende på vilken metod man väljer så finns det olika för- och nackdelar. De som är mest användbara kommer att presenteras under detta avsnitt i form av underrubriker. Hur helheten av dessa metoder används kommer sedan tas upp i avsnitt 3 Matematiska metoder.

2.3.1 Maximal Overlap Discrete Wavelet Transform

Maximal overlap discrete wavelet transform, MODWT, grundar sig i den metod som kallas Discrete wavelet transform, DWT. För att förstå hur MODWT fungerar behövs en genomgång av DWT då de är kopplade.

DWT är en transform som använder sig av vägningen i varje pixel i en bild. Variansen i varje pixel beräknas genom fyra olika varianser - våg- komponent mot vågkomponent, vågkomponent mot skalning, skalning mot vågkomponent samt skalning mot skalning. Då skalningen är en uppskattning så anses det inte vara av intresse att använda sig av skalning mot skalning då detta påverkar noggrannheten samt den variabeln blir väldigt liten. [7]

Vågkomponenten, wavelet, består utav en kvadratisk integrerbar funktion. Vågkomponentskoefficienten är given som

(29)

W˜_j,t =

Lj−1

X

l=0

˜h_j,lX_t−l_{mod N} (2.1)

och skalningskoefficienten

V˜j,t =

Lj−1

X

l=0

˜

gj,lXt−1mod N (2.2)

där t = 0, ..., N − 1. Det är även givet att {˜h_j,l : l = 0, ..., L_j − 1}

och {˜g_j,l : l = 0, ..., L_j − 1} är den j:te nivån av MODWT. Samt Lj = (2^j − 1)(L − 1) + 1. [3] Det är även givet att X är differensen mellan x-koordinaten i referenspunkten samt den globala x-koordinaten.

De tre varianserna definieras som σC2

i = n

Var(Ci(xglo, yglo)) i = 1, 2, 3 (2.3) där Ciär antingen C1för vågkomponent mot vågkomponent, C − 2 för vågkomponent mot skalning och C3 är skalning mot vågkomponent.

Dessa är givna i nedanstående ekvationer - (2.4), (2.5) och (2.6). Vari- ablerna (xglo, y_glo)är de globala koordinaterna i bilden som analyseras.

Se Figur 2.3 nedan för illustration. [13]

C₁ =

Lj−1

X

l=0 L⁰_j=0

X

l⁰=0

˜h_j,l˜h_j⁰_,l⁰X_u−v,v−l⁰ (2.4)

C2 =

Lj−1

X

l=0 L⁰_j=0

X

l⁰=0

˜hj,lg˜j⁰,l⁰Xu−v,v−l⁰ (2.5)

C₃ =

Lj−1

X

l=0 L⁰_j=0

X

l⁰=0

˜

g_j,l˜h_j⁰_,l⁰X_u−v,v−l⁰ (2.6)

(30)

Figur 2.3: Sonarbild som endast visar pixlarna utan värden. En pixel är inzoomad och visar var de globala koordinaterna är i pixeln samt vilken riktning som x respektive y ökar i värde.

För en bild med storleken N × M så är den diskreta formeln:

ˆ

v_C² = 1 N M

N −1

X

x=Lh

M −1

X

y=Lb

C²(x, y) (2.7)

Här är Lh och Lb höjd respektive bredd på den bildbit som analyseras.

Bildbitarna som analyseras kan variera beroende på vilken storlek på fönstret som används.

På detta sätt, genom en transformation av C fås variansen av en pixel i förhållande till dess omkringliggande pixlar. Vilket är definitionen av ˆ

v_C² i ekvation 2.7. Som nämnt ovan används ett fönster som plockar ut en bildbit av den stora bildbiten som analyseras. Det som skiljer DWT och MODWT åt är att MODWT kan behandla alla bildstorlekar. Detta är den största anledningen till att en MODWT används inom bildbehandling och inte DWT. Vilken bild som helst skall kunna analyseras

(31)

utan att det är något krav på att den ska ha en viss storlek. Dessutom så producerar MODWT en effektivare analys av bilden än DWT. [2]

Med MODWT så förflyttas den bildbit som skall undersökas med en pixel i taget. Detta gör att om en bild är N × M stor så kommer (N − L_b + 1)(M − L_h + 1) pixlar att analyseras och därav kommer det att fås lika många olika varianser. Denna typ av bildanalys kommer att presenteras mer genomgående i Avsnitt 3.1.2 Sliding Box Algorithm.

2.3.2 Haar-like features

Då det finns två olika typer av transformer - kontinuerlig samt diskret - så kan olika funktioner användas. Då bildbehandling behandlar diskreta värden är det den diskreta transformen som används. En av de funktioner som kan användas när en diskret transform används är Haar-funktionen.

Haar funktionen beskrivs som en puls av en fyrkantsvåg och kan anta olika värden. Genom pulsen så kan den beskriva förhållandet mellan två (eller flera) pixlar. Haar- funktionen är given enligt ekvation

H(x) =







−A −x_A< x ≤ 0 A 0 < x ≤ x_A

0 x ≤ −x_Aoch x ≥ xA

(2.8)

Här är A amplituden för Haar-funktionen och xA är maximal och mi- nimal koordinat där funktionen är skilt från noll.

Den här funktionen kräver att filterstorlekar av storleken 2^j pixlar där j är vilken filterstorlek som skall väljas. Konstanten j kan anta värden mellan 1 och 4. Det innebär att den minsta filterstorleken kan bestå av 2 × 2pixlar och den största filterstorleken 16 × 16 pixlar.

Denna funktion kan sedan användas för att analysera bilden med hjälp av en diskret transform. Utifrån Marc Geilhuffe’s forskning och munt- ligt uttalande är Haar-funktionen bra att använda vid beräkningar av bildkomplexitet. När bilderna däremot skall analyseras för att bestäm-

(32)

ma bottentopografin existerar det funktioner som passar bättre för att appliceras i analysen. Mer om detta i Avsnitt 3.2 Gaussian funktionen.

2.3.3 Texturanalys

Texturanalyss är en metod där bilders textur analyseras. Genom att hitta mönster i texturer går det att bestämma vad det är för objekt i bilden - i detta fall vilken typ av bottentopografi som bilden visar.

En textur i en bild är beskriven genom att använda de omgivande pix- larnas medelvärde. De gråa nivåerna får på så vis en relation. Den relationen är kopplad till olika definitioner av objekt (olika bottentopo- grafier i denna rapport). [20] Även om relationerna går att bestämma så finns det alltid en felmarginal. Denna kan öka radikalt om ett områ- de hamnar i skugga när bilden skapas. Området blir mörkare än om- givningen och det blir svårare att urskilja någon typ av textur. Det är därav i dessa områden som flest fel uppstår. [4]

Det finns ett antal olika texturala algoritmer:

GLCM - Grey Level Co-occurence Matrix, GLRM - Grey Level Run-length Matrix, LBP - Local Binary Patterns,

LSP - Local Similarity Patterns och LSN - Local Similarity Numbers.

De tre sistnämnda metoderna - LBP, LSP och LSN - använder ett filter som består av 3 × 3 pixlar där den mittersta pixeln vägs. I dessa metoder beräknas vägningen med hjälp av en Similarity Range Radius - SRR. Om en pixel befinner sig inom det givna SRR så kommer den att få värdet 1 och annars värdet 0. [1]

(33)

Figur 2.4: Illustrering över hur matriserna för de olika texturanalys- metoderna bestäms. LSP är representerad av a, LBP av b och LSN av c.

Hur dessa värden sedan behandlas är olika beroende på vilken metod som används. I denna rapport kommer vägningen av mitten-pixeln att användas vilket påverkar filterstorlekarna. Ingen av dessa metoder kommer att användas precis som dem är, utan delar av dem kommer att användas.

De två första metoderna - GLCM och GLRM - påminner om varandra men enligt teori är GLCM noggrannare vilket gör att GLRM inte kom-

(34)

mer att tas upp i denna rapport.

Noggrannheten i GLCM är högre då metoden behandlar de mörka områdena som annars bidrar till ett mindre akurat resultat. GLCM behandlar den gråa skalan på ett sådant sätt att det lättare går att avgöra om det finns objekt i de mörka områdena. [4] En annan sak som även bidrar till noggrannheten hos GLCM är att det filter som används även vrids ett antal grader. [20] När filtret vrids kan olika resultat framstå men det leder även till att det går att styrka att resultatet som har be- räknats är sant. För att få ett så noggrannt resultat som möjligt kommer vridningen av filtret att användas i denna rapport.

2.4 Bottenkomplexitet och topografi

Havsbotten är sedan tidigare definierad som den typ av botten som ett visst område består av på havets botten. Mer precist är detta även kallat för bottenkomplexitet. Det finns många olika typer av bottenkomplexiteter och det är just dessa havsbottnar som är av intresse.

I dagens samhälle används bottenkomplexiteten mest för att under- söka habitat och djurarter. Den användningen är långt ifrån vad som kommer att användas här. En havsbotten kan bestå av många olika bottenkomplexiteter beroende på hur stor yta som man undersöker.

Att definiera botten är dock svårt och det krävs därav att havsbotten analyseras.

Det finns många olika havsbottnar som med hjälp av topografi kommer att analyseras. Genom topografi kommer höjdskillnaderna att analyseras vilket bidrar till att bestämma bottenkomplexiteten.

Om havsminor skall avlägsnas kommer olika bottenkomplexiteter att vara olika bra. Dessa delas in i en grupp av säker botten och en typ av osäker botten. Vilken typ av havsbotten som är säker respektive inte säker anges i Tabell 2.1.

(35)

Tabell 2.1: Uppdelning av säker samt osäker havsbotten för att avgöra var det går att avlägsna havsminor.

Säker botten Osäker botten

Sand Osymmetrisk klippgrund

Sandkrusning Stenar

Lera Mudder

Plan klippgrund

(36)

Kapitel 3

Matematiska metoder

De matematiska metoder som skall användas utifrån den bakgrund och grundläggande information om projektet som nu är presenterad kommer att tas upp i följande avsnitt. Hur de appliceras samt är kopplade till varandra kommer genomgående att presenteras på ett sätt så att det är lätt att följa hur algoritmen är uppbyggd från början till slut.

Med detta kommer formler och definitioner att presenteras i den ord- ning som metoden är uppbyggd om inget annat anges.

3.1 Lacunarity

En metod som är en kombination av ovanstående nämnda metoder är lacunarity som definieras enligt följande:

Definition 4. Lacunarity.Lacunarity beräknar variansen i pixelintensiteten utifrån omkringliggande pixelvärden. [24]

När pixelintensiteten används behöver inte programmet lära sig att känna igen ett visst typ av mönster - något som oftast appliceras med hjälp av deep learning. Det behövs på så vis ingen typisk applicering utan förhållandet mellan omgivande pixelvärden kommer att bestäm- ma hur vilket värde pixeln får efter analys. Genom att använda definitionen av lacunarity och applicera det med ovan nämnda metoder kommer bottentopografin att kunna bestämmas på ett noggrannare sätt med hjälp av numeriska värden.

20

(37)

KAPITEL 3. MATEMATISKA METODER 21

3.1.1 Filter

De filter som används i följande algoritm kommer att användas för att studera ett litet begränsat område av bilden. Exakt hur de används kommer att presenteras i avsnitt 3.1.2 Sliding Box Algorithm och 3.1.4 Varians.

Filtrena har en maximal bredd som är mindre än en havsminas diameter. Det betyder att vi har följande maximala och minimala storlekar på filtrena:

Minimalt filter = 0.12 × 0.12 m² Maximalt filter = 0.68 × 0.68 m²

Varje filter består av ett udda antal pixlar - i både bredd och höjd. Detta leder till att följande åtta filterstorlekar används:

Tabell 3.1: Filtrenas storlekar i pixlar samt verklig storlek.

Antal pixlar [ styck ] Motsvarande verklig storlek [ m²]

3 × 3 0.12 × 0.12

5 × 5 0.20 × 0.20

7 × 7 0.28 × 0.28

9 × 9 0.36 × 0.36

11 × 11 0.44 × 0.44

13 × 13 0.52 × 0.52

15 × 15 0.60 × 0.60

17 × 17 0.68 × 0.68

Dessa filter kommer att resultera i varierande beräkningstider då storleken ändras. Ett 3 × 3-filter kommer att ha en snabbare beräknignstid än ett 17 × 17-filter. Exakt hur mycket beräkningstiden varierer är dock ej relevant för denna rapport då huvudsyftet är att ta fram den metod som är mest noggranna metod för att hitta rätt bottentopografi.

Dessa filter roteras med följande vinklar i grader

(38)

22 KAPITEL 3. MATEMATISKA METODER

0grader, 30grader, 45grader och 60grader.

Ett filter består av ett udda antal pixlar där varje pixel har ett center.

Exempel på en pixel kan ses i Figur 3.1.

Figur 3.1: 3 × 3-filter med 3 pixlar i bredd och 3 pixlar i höjd. Pixlarna är kvadratiska och har därav samma höjd som bredd.

Relationen mellan de center som varje pixel har bildar filtret och be- stämmer vilket värde i bilden som skall användas. Filtret kommer att roteras medsols runt det center som ligger i den mittersta pixeln. Detta center kommer att bli filtrets referenspunkt mellan filtrets lokala koordinater och sonarbildens globala koordinater. För illustration, se Figur 3.2 på nästa sida.

(39)

Figur 3.2: Ett 3×3-filter som visar mittpunkterna av varje pixel med en punkt. Mittpixelns punkt är utsatt med koordinater som är referens- koordinater. Runt denna punkt roteras filtret i riktningen som pilen visar.

Filtret kommer att roteras med en metod som använder sig av de po- lära koordinaterna för att beräkna ut en ny koordinat. Det betyder att en rotationsmatris skapas för x-koordinaten respektive y-koordinaten.

De polära koordinater som används i rotationsmatrisen är lokala och leder till att de kartesiska koordinaterna som skapas är lokala för filtret. Rotationsmatriserna är därav följande:

F_x =





r₂· cos(v − θ) r₁· cos(v − θ) r₂ · cos(v − θ) r₁· cos(v − θ) 0 r₁ · cos(v − θ) r2· cos(v − θ) r1· cos(v − θ) r2 · cos(v − θ)



 (3.1)

F_y =





r₂· sin(v − θ) r₁· sin(v − θ) r₂· sin(v − θ) r₁· sin(v − θ) 0 r₁· sin(v − θ) r2· sin(v − θ) r1· sin(v − θ) r2· sin(v − θ)



 (3.2)

De polära koordinaterna som används här är vinkeln v och avståndet r_i. Variabeln θ är vinkeln som filtret har roterat. För detta filter finns det bara två olika avstånd mellan referenspunkten och en pixels cent- rum. Därav antar bara antalet olika avstånd, i, värdena 1 och 2. För resterande filterstorlekar kommer i att anta fler värden då filtrena blir

(40)

24 KAPITEL 3. MATEMATISKA METODER

större och avstånden måste bli fler.

Vinkeln v beskriver hur många grader som en pixels center ligger i för- hållande till referenspunkten och 0 grader i en enhetscirkel. Vinkeln är därav olika för alla omkringliggande center i ett 3×3-filter. För de filter som är större kommer det uppstå center som har samma vinkel, till exempel pixlar som ligger på samma riktningslinje mot referenspunkten.

Figur 3.3: Ett 3×3-filter som visar mittpunkterna av varje pixel med en punkt. Mittenpixelns punkt är utsatt med koordinater som är referens- koordinater. Två olika radier som betecknas r1 och r2 där den första radien är ekvivalent med 0 grader i enhetscirkeln. Vinkeln v är vinkeln mellan 0 grader i enhetscirkeln och en radie för en pixel.

När de lokala koordinaterna är roterade och beräknade och de är givna i kartesisk form går det att få fram de globala koordinaterna. Detta görs genom referenspunkten som är kopplad till sonarbilden. De globala koordinaterna blir därav:

(41)

x_glo = x_glo,ref + x_lok (3.3)

y_glo= y_glo,ref + y_lok (3.4)

Här är xlok samt ylok de lokala koordinaterna. Filtret har efter rotatio- nen nya globala kartesiska koordinater. Detta betyder att i den pixel som den nya koordinaten befinner sig i kommer även att vara det nya värdet för den pixel som koordinaten är kopplad till. Exempel på detta hittas i Figur 3.4.

Figur 3.4: Ett 3×3-filter som har roterats 0, 30, 45 och 60 grader. Stjärnor är pixelcentrum efter rotation och cirkel är det nya pixelvärdet som det centrumet antar. Blå stjärnor hör ihop med lila cirklar, orangea stjärnor hör ihop med gröna cirklar samt gula stjärnot hör ihop med ljusblå stjärnor.

När ett filter roteras kan det betyda att en global pixel ger samma vär-