Institutionen för systemteknik
Department of Electrical Engineering
Examensarbete
Korrelering
mellan optiskt och akustiskt
avbildade
objekt på havsbotten
Examensarbete utfört i Datorseende vid Tekniska högskolan vid Linköpings universitet
av Richard Ekblad LiTH-ISY-EX--13/4742--SE
Linköping 2013
Department of Electrical Engineering Linköpings tekniska högskola
Linköpings universitet Linköpings universitet
Korrelering
mellan optiskt och akustiskt
avbildade
objekt på havsbotten
Examensarbete utfört i Datorseende
vid Tekniska högskolan vid Linköpings universitet
av
Richard Ekblad LiTH-ISY-EX--13/4742--SE
Handledare: Johan Hedborg
Datorseende, isy, Linköpings universitet
Håkan Frank
SAAB Dynamics
Per-Ola Svensson
SAAB Dynamics
Examinator: Klas Nordberg
Datorseende, isy, Linköpings universitet
Sammanfattning
Examensarbetet har gått ut på att undersöka om det är möjligt att jämföra foto-grafier på havsbotten tagna med en kamera monterad på SAAB Dynamics farkost AUV-62, här kallad Sapphires, med SONAR-bilder tagna från samma farkost men vid ett annat tillfälle. Föremål avbildade med kamera och sidriktade SONAR:er delar i normalfallet inte visuellt utseende och är därför svåra att jämföra. Meto-den som valts för att jämföra kamera- och SONAR-bilderna grundar sig av Meto-denna anledning inte på föremåls individuella utseede utan på mönster skapade av flera föremål. Föremål i bilderna identifieras som objekt, vilka beskrivs med en posi-tion i long. lat. och radie. I kamerabilderna identifieras objekt genom att segmen-tera bilderna med hjälp av MSER, där stenar och andra föremål har ett avvikand utseende från bakgrunden bestående av sand. I SONAR-bilden identifieras om-råden med objekt genom att studera hög intensitet på ekosvaren vilket motsva-rar föremål som reflekterat ljudpulserna bra, från dessa skapas objekten genom att använda MSER på dessa områden. De två uppsättningarna med objekt, från kamera- och SONAR-bilden, jämförs sedan genom att alla objekt i kamera-bilden jämförs med alla objekt i SONAR-bilden genom att translatera efter hypotesen att de är samma objekt och se hur många av dem övriga som passar in i antagandet. The aim of the thesis has been to investigate whether it is possible to compare photographs of the seabed taken with a camera mounted on SAAB Dynamics Ve-hicle AUV -62 , here called Sapphires, with SONAR images taken from the same vessel but on another occasion. Objects depicted with a camera and SONAR does not normally share visual features, and therefore it is difficult to compare them. The method chosen to compare camera and sonar images is for this reason not based on the objects individual appearance but on patterns created by several objects. Objects in the images are identified and described as models, with a po-sition in longitude and latitude, and a radius. In the photographs the objects are identified by segmenting the images using MSER , where stones and other objects have a different appearance from the background consisting of sand. In the SO-NAR image objects are identified in areas with high intensity. From these areas objects are identified using MSER. The two sets of items, from the camera and the SONAR, are then compared.
Tack
Först ett tack till företaget SAAB Dynamics AB för möjligheten att få utföra ett intressant examensarbete. Examensarbetet hade inte kunnat göras utan handle-darna Per-Ola Svensson(mannen som vet något) och Håkan Frank på SAAB Dy-namics, samt examinator Klas Nordberg och handledaren Johan Hedborg på LiU. Så ett stort tack till dessa.
Ett extra tack till Henrik Ejnarsson och Michael Larsson för att de tog sig tid att hjälpa till med att lösa relaterade problem.
Till mamma och pappa för att ni lät mig läsa ifred. Och till Viola för du inte gör det..
Linköping, Januari 2013 Richard Ekblad
Innehåll
1 Inledning 1 1.1 Bakgrund . . . 1 1.2 Syfte . . . 2 1.3 Avgränsning . . . 2 1.4 Tidigare arbeten . . . 3 1.5 Rapportens disposition . . . 3 2 Grundläggande 5 2.1 Sapphires . . . 5 2.1.1 Uppdrag . . . 6 2.2 Kamera . . . 7 2.3 SONAR . . . 9 2.4 Objekt definition . . . 12 2.5 Examensarbetet . . . 12 2.5.1 Bakgrund . . . 12 2.5.2 Frågeställning . . . 13 3 Kamerabilden 15 3.1 Bakgrund . . . 15 3.2 Segmentering . . . 153.2.1 Maximally Stable Extremal Regions . . . 16
3.2.2 Speeded Up Robust Features . . . 18
3.2.3 Simpel blob detector . . . 20
3.2.4 Slutsats . . . 22 3.3 Stereo . . . 23 3.3.1 Stereorigg . . . 23 3.3.2 Resultat . . . 25 4 SONAR-bilden 29 4.1 Bakgrund . . . 29 4.2 Identifiering av objekt . . . 31 4.2.1 Maxtröskling . . . 31 4.2.2 Objekt . . . 32 vii
5 Korrelation 35 5.1 Bakgrund . . . 35 5.2 Metod . . . 36 6 Utvärdering 43 6.1 Enkla former . . . 44 6.2 Komplexa former . . . 50 7 Slutsats 55 7.1 Frågeställningen . . . 55 7.2 Framtida arbeten . . . 56 8 Referenser 57
1
Inledning
Det finns många problem med att navigera under vatten. Några av de saker som försvårar navigationen under vatten är den ofta starkt begränsade sikten i grum-liga vatten och att det inte är möjligt att komma åt GPS-signaler från satelliter och därför går det inte heller att använda dessa för att navigera. Några exempel på hur navigering utförs under vatten är att försöka mäta förflyttningen från en känd position, genom att beräkna hastighet och riktning eller försöka mäta på botten. Dessa metoder försämras av bland annat strömmar i vattnet. Det finns ett par olika externa metoder som försöker ge navigationshjälp till undervattensfar-koster, bland annat genom att utplacerad utrustning på kända positioner under vattnet sänder ut tex ljud eller ljus vilket ger farkoster möjlighet att triangulera sin position. Problemet med sådana metoder är att öar, avstånd och olika vatten-skikt gör att signalerna i många fall inte når farkosten.
1.1
Bakgrund
SAAB Dynamics AB har en undervattensfarkost som arbetar helt autonomt utan kontakt med ytan eller operatörer under flera timmar. Farkosten är utrustad med ett flertal olika sensorer för att beräkna dess position under tiden som den utför sitt uppdrag. Men på grund av strömmar och andra störningskällor uppskattas det att ett typiskt navigationsfel efter åtta till tio timmars arbete kan ligga kring cirka fem meter. SAAB Dynamics AB har utrustat farkosten med en funktion som går ut på att skanna av botten med en SONAR och sedan välja ut intressanta områden i SONAR-bilden som farkosten ska åka till och fotografera. På grund av dålig sikt måste bilderna oftast tas från ett så kort avstånd som möjligt vilket gör att även vid uppskattningsvis små navigationsfel blir det stor risk att farkosten missar att fotografera den önskade platsen.
Av den anledningen har SAAB Dynamics AB ställt frågan om det vore möjligt att använda kamerabilden för att kontrollera var farkosten har befunnit sig i förhål-lande till SONAR-bilden under fotograferingen.
Figur 1.1:SAAB Dynamics AB:s undervattensfarkost Sapphires
1.2
Syfte
Syftet med examensarbetet har varit att undersöka om det går att hitta data i ka-merabilder och SONAR-bilder som går att jämföra, och sedan finna korrelationen mellan den relativt lilla kamerabilden och den mycket större SONAR-bilden. För att genom korrelationen försöka bestämma var kamerabilden mest sannolikt är tagen relativt SONAR-bilden.
1.3
Avgränsning
Alla bilder från kameran och SONAR:en samt övrig relaterad data har samlats in vid tidigare tillfällen och det har därför inte varit möjligt att skapa några kända testfall att utvärdera mot.
Alla bilder och övrig data har i normalfallet bara varit åtkomligt via exporter från ett utvärderingsverktyg anpassat för att en operatör visuellt ska kunna utvärdera informationen. Dessa bilder har före exporten utsatts för ett antal olika steg med bildbehandling. Det vill säga det har inte varit möjligt att komma åt bilder som inte redan hade blivit manipulerade.
1.4 Tidigare arbeten 3
Alla bilder som har exporterats från utvärderingsverktyget har innehållit infor-mation om farkostens uppskattade positonen när de togs. Inforinfor-mationen expor-terades i formen av GeoTIFF[1]. vilket är ett filformat som förutom rgb-lager även innehåller information om vilken longitud och latitud övre vänstra hörnet har och vilken upplösning i position som pixlarna har.
Endast ett mycket begränsat antal dataset har varit tillgängliga och endast ett av dessa har inte insamlats på försvarsmässigt känsliga områden. Av den anledning-en kan resultat anledning-endast presanledning-enteras på det datasetet.
1.4
Tidigare arbeten
Tidigare arbeten inom att jämföra kamera och SONAR-bilder har främst handlat om att sammanföra informationen för att göra 3d rekonstruktioner av havsbot-ten[2] eller bottenkartor med utseendet av botten[3]. I dessa fall har förhållandet mellan kamera och SONAR varit känt eller kalibrerats för att köras samtidigt.
1.5
Rapportens disposition
I kapitel 2 kommer en beskrivning av undervattensfarkosten som examensarbe-tet bygger på, dess relevanta hårdvara och hur den är kopplad till frågeställning-en.
Kapitel 3 och 4 tar upp hur kamera respektive SONAR-bilderna utnyttjas för att extrahera data ur dessa.
Kapitel 5 tar upp hur datan som tagits fram ur kamera och SONAR-bilder jämförs för att finna korreleringar mellan dem.
I kapitel 6 utvärderas hur de olika momenten fungerar tillsammans och ifall det genererar önskat resultat.
Kapitel 7 avslutar med förslag till framtida arbete och en slutsats om vad resulta-tet av examensarberesulta-tet ger.
2
Grundläggande
Kapitlet tar upp förklaringar om relevanta bakomliggande grunder för examens-arbetet.
2.1
Sapphires
AUV är en förkortning för autonomous underwater vehicle, autonomt undervat-tensfordon på svenska. Det vill säga, en AUV utför uppdrag under vatten utan någon kontakt med en mänsklig operatör under uppdragsfasen. AUV:n som lig-ger till grund för detta examensarbete är SAAB Dynamics AB:s AUV62 Sapphires. Sapphires är en torpedformad AUV som från början härstammar från SAAB Dy-namics AB:s torped 62, detta gör att Sapphires har möjligheten att smidigt opere-ra från bland annat ubåtar. Sapphires är modulbyggd, vilket gör att det är möjligt att byta ut moduler för att få den att utföra olika sorters uppdrag. Modulkonfi-gurationen som examensarbetet bygger på är utformad för att söka efter föremål på botten av sjöar och hav. I Sverige är Sapphires huvuduppgift med avseende på sökning efter föremål på botten att kartlägga de hundratusentals minor som finns kvar i Östersjön efter de båda världskrigen, men Sapphires har även använts till att söka drunkningsoffer och dumpad ammunition på sjöbotten.
Figur 2.1:Sapphires
2.1.1
Uppdrag
Sapphires börjar ett uppdrag med söka igenom ett område med SONAR. Sapphires är utrustad med två sidmonterade SONAR:er som skannar av botten på sidorna av Sapphires, se fig. 2.2. SONAR-löporna sätts sedan ihop i en
sammanhängan-Figur 2.2:Sapphires, SONAR-löpor från sidriktade SONAR:er
de SONAR-bild. I SONAR-bilden identifieras objekt som troliga kanditater till att vara den sortens föremål som Sapphires söker efter. Efter att den första upp-dragsfasen är avslutad, planerar Sapphires en ny rutt som går över de intressanta objekten från SONAR-bilden. När Sapphires passerar över de intressanta områ-dena fotograferas botten med en kamera. Kamerabilderna används senare av en operatör för att bättre kunna avgöra vad för slags föremål det rör sig om.
Figur 2.3:Sapphires återvänder till intressanta objekt efter att kartläggning-en av bottkartläggning-en är avslutad
På grund av den dåliga sikten som råder under vatten är Sapphires tvungen att gå ner på bara några meters höjd för att kunna fotografera botten. För att inte fastna i skräp, köra in i en sten eller krocka med botten vid en hastig djupföränd-ring planeras körningen nära botten för att undvika kända hinder. För säkerhets skull hålls sträckan nära botten så kort som möjligt i en avvägning mot behovet
2.2 Kamera 7
av att hålla sträckan efter botten så lång som möjligt för att öka chansen att foto-grafera det önskade området. Serien av fotografier sätts automatiskt ihop till en sammanhängande kamerabild.
Figur 2.4:Fotografering av botten
2.2
Kamera
Sapphires är utrustad med en digital färgkamera som är riktad rakt ner i gravi-tationsriktningen mot botten. En digitalkamera fungerar genom att sensorer re-gistrerar mängden ljus som träffar dem. En digital färgkamera har samma sorts ljussensorer som en digitalkamera som bara registrerar bilder i gråskala. För att få en färgbild placeras färgfilter framför ljussensorerna som bara släpper igenom ljus som är antigen rött, grönt eller blått. Kameran i Sapphires är utrustad med ett
Figur 2.5:Endast grönt ljus passerar det gröna filtret
Bayer-filter[4] som för att härma människans större känslighet för gröna färger har fler filter som släpper in grönt ljus än rött och blått. Rådatan från sensorer-na innehåller alltså endast information om ljusstyrkan i en färg i varje pixel av bilden, för att få en bild att se ut så som människor oftast uppfattar dem så inter-poleras värdena från rådatan till pixelvärden bestående av en blandning av rött,
grönt och blått. Sensorn uppfattar fotonerna och omvandlar dessa till elektroner. Mängden elektroner omvandlas sedan med en faktor kallad gain[5] som omvand-lar mängden elektroner till en ljusstyrka. Ett högre värde på gain gör att ett färre antal elektroner behövs för att det ska tolkas som en starkare intensitet. I mörka miljöer tar inte sensorn emot så många fotoner vilket gör att mängden elektroner som kommer från sensorerna ligger i nivå med antalet elektroner från elektronisk brus. Så om gainen höjs i en mörk miljö för att bättre kunna se en scen medför detta att bilderna kommer att bli brusiga. På grund av djupet som Sapphires op-pererar i är miljön mycket mörk. Av den anledningen är kameran inställd med ett mycket högt värde på gain för att kunna fånga miljön på bild. Detta gör att bilderna är mycket brusiga.
2.3 SONAR 9
2.3
SONAR
SONAR är en förkortning för sound navigation and ranging. För den som vill läsa mer om teorin bakom SONAR rekommenderas [6], en bok som tar upp bå-de rent tekniska aspekter på SONAR-teknik som signalbehandling och använd-ningsområden. Som namnet antyder fungerar aktiv SONAR genom att skicka ut en ljudpuls och sedan registrera riktning och avstånd till föremål som reflekte-rar ljudpulsen. Då Sapphires har sidriktade SONAR:er är det möjligt att snabbt genomsöka stora områden, men det medför att föremål endast reflekterar ljudet från en sida vilket gör att endast storleken på den reflekterande sidan av föremå-let kommer att synas i SONAR-bilden och att mindre föremål som ligger bakom det första inte kommer att synas alls i SONAR-bilden.
Figur 2.7:SONAR: Ljudvågor reflekteras mot föremålets sida och områdena bakom hamnar i skugga
Samma fenomen ger upphov till ett annat stort problem med SONAR-bilder. Pro-blemet är att beroende på från vilken riktning som ett föremål studeras kommer föremålets position att variera. I fig. 2.8 visas en liknelse till problemet. Beroende på att kuben studeras från två olika håll kommer uppfattningen om dess position skilja med avståndetd. Om föremålen är stora kommer avstånden att skilja desto mer. Ett exempel på detta kan ses i fig. 2.9, 2.10 och 2.11 där objekt B varierar mer än en halvmeter i position mellan bilderna i förhållande till kanten av stenfältet den står vid.
Figur 2.8:Den iakttagna positionen för föremålet varierar med avståndetd, beroende på att föremålet studeras från motstående sidor
Figur 2.9:I bilden pekar pilen A på stativet och pilen B på ett större föremål som beroende på riktning till SONAR:en har olika positioner i olika SONAR-bilder.
Figur 2.10:I bilden pekar pilen A på stativet och pilen B på ett större fö-remål som beroende på riktning till SONAR:en har olika positioner i olika SONAR-bilder.
2.3 SONAR 11
Figur 2.11:I bilden pekar pilen A på stativet och pilen B på ett större fö-remål som beroende på riktning till SONAR:en har olika positioner i olika SONAR-bilder.
2.4
Objekt definition
Att tolka SONAR-bilden för att avgöra vad som bilden föreställer är många gång-er omöjligt. Ett exempel på detta är fig. 2.12 som visar en SONAR-bild innehål-lande ett ankare, en mina och en kätting. Detta tillsammans med vad som sagts i kap. 2.2 och kap. 2.3 gör att jag har valt att representera föremål som en model som består av en cirkel med mittpunkt bestämd av en tyngdpunkt till de i ka-mera och SONAR-bilden synliga delarna och en radie som täcker in tillhörande massa. Modellerna av föremål kommer i rapporten att beskrivas som objekt.
Figur 2.12:SONAR-bild av olika föremål på botten
2.5
Examensarbetet
Examensarbetet har som grund att undersöka om det är möjligt att jämföra infor-mation mellan kamera och SONAR-bilden.
2.5.1
Bakgrund
Då Sapphires arbetar under vatten finns det endast tillgång till exakt positions-bestämning med hjälp av GPS eller en ubåts position vid två tillfällen, innan farkosten ger sig ut på uppdrag och efter att farkosten har återvänt. Sapphires använder sig av olika sensorer för att beräkna i ett internt koordinatsystem var den befinner sig, men ju längre Sapphires opererar desto fler små navigeringsfel accumeleras. Så när första steget av operationen är avklarad och Sapphires ska återvända för att fotografera botten kan felet i navigeringen vara uppe i ±5 me-ter. På grund av dåliga siktförhållanden under vatten måste Sapphires gå så pass nära botten att kameran endast har någon meter i sidvy vilket gör att även små
2.5 Examensarbetet 13
förändringar i sidled kan innebära att kameran missar objektet.
2.5.2
Frågeställning
Frågeställningen från SAAB Dynamics AB var om det automatiskt gick att avgöra var en kamerabild av botten var tagen, i förhållande till en SONAR-bild innehål-lande samma område. För att svara på denna fråga delades den upp i tre delar.
• Går det att automatiskt finna föremål i kamerabilden? • Går det att automatiskt finna föremål i SONAR-bilden?
• Går det att automatiskt jämföra föremål mellan kamera och SONAR-bilden? Vilka besvaras i tur och ordning i kap.3, kap.4 och kap.5.
3
Kamerabilden
I detta kapitel kommer en beskrivning av hur objekt har tagits fram ur kamera-bilden.
Kapitlet är uppdelat i två delar där den första delen handlar om att finna en seg-menteringsmetod som kan hitta objekt i bilden. Den andra delen handlar om hur det skulle kunna vara möjligt att utnyttja Sapphires rörelse till att från kamera-bilder skapa en höjdkarta av området som fotograferas.
3.1
Bakgrund
Endast en uppsättning med bilder kunde användas till presentation i rapporten, då de övriga kom från områden som klassats som försvarshemligheter. Av den-na anledning så testades och trimmades algoritmerden-na för bilderden-na som inte kan visas. Medan evalueringen av resultaten skedde på de presenterbara bilderna. För att kunna hitta föremål i bilderna behövdes en metod som kunde skilja dessa från bakgrunden. Två olika huvudalternativ undersöktes. Det första alternativet var att segmentera föremålen från bilderna, vilket utvärderades med tre olika segmenteringsalgoritmer. Det andra alternativet var att skapa en höjdkarta för att finna områden som höjdmässigt skiljde sig från bakgrunden.
Bilderna konverterades till gråskala.
3.2
Segmentering
Ett antal olika segmenteringsalgoritmer utvärderades. Segmenteringsalgoritmer-na är openCV:s[7] implementationer, där olika parametrar är testade för att finSegmenteringsalgoritmer-na
bästa möjliga resultat för varje metod. Parametrarna testades först på bilder som inte kan presenteras i rapporten, och sedan utvärderades samma inställningar på det datasetet som används i rapporten. Ingen information om vad som korrekt skulle identifieras som föremål i bilderna fanns att tillgå. Av denna anledning har algorimtens olika parameterinställningar bedömts efter hur många föremål som algoritmen identifierade jämfört med hur många av dessa som en människa ansåg var korrekta identifikationer. En korrekt identifikation definerades som ett tydligt sammanhängande område. Även skuggor ansågs vara korrekta då dessa inte kunde skiljas från mörka föremål i utseende. Områdena som identifierades av segmenteringsalgoritmerna presenteras som röda cirklar i bilderna, i enlighet med vad som beskrivs i kap. 2.4.
3.2.1
Maximally Stable Extremal Regions
Den första av utvärderade segmenteringsmetoderna var Maximally Stable Extremal Regions (MSER) [8] som söker efter områden i en bild som uppfattas som sam-manhängande, även om området på grund av olika belysning kan variera något i ljusintensitet. MSER finner dessa områden genom att tröskla bilden i olika steg efter ljusintensitet och studera hur snabbt områdena ändrar storlek för de olika trösklingsvärdena. Om ett områdes area bara förändras marginellt för en liten förändring i ljusintensitet är det troligt att att det nya och gamla området tillhör samma område, medan en stor förändring innebär att det är sannolikt att kanten på det första området defineras av det förra värdet på ljusintensiteten som bilden trösklades för.
I openCV:s implementation av MSER[9] finns ett antal olika parametrar som be-höver ställas in. De parametrar som påverkar resulatet för kamerabilden ärmax variation som avgör hur mycket variation i intensitet som tillåts i ett område, min diversity som anger hur överlappande områden kan vara och slutligen delta som anger hur stora intensitetssteg som tas mellan trösklingarna. I fig. 3.1 visas resul-tatet efter att ha kört MSER på evalueringsbilden. Bedömningen av resulresul-tatet är att ingen av träffarna kan bedömmas som falsk och att inget större synligt före-mål har missats att klassas som objekt.
3.2 Segmentering 17
3.2.2
Speeded Up Robust Features
Speeded Up Robust Features (SURF) [10] är en metod för att finna intressanta områden i en bild och skapa en bra beskrivninga av dessa för att kunna jämföra och hitta samma område i olika bilder tagna på samma scen. OpenCV:s imple-mentation[11] för hitta intressanta områden och beskriva dessa användes. Intres-santa områden identiferas genom att hitta områden som förändras mycket i olika riktningar.
Fig. 3.2 visar resultaten från SURF. Där det tydligt går att se att SURF är bra på att identifiera tydliga intressepunkter i bilden men är mindre lämpad till att hitta områden.
3.2 Segmentering 19
3.2.3
Simpel blob detector
I openCV finns en metod implementerad som kallas Simpel Blob Detector(SBD)[12]. SBD fungerar på ett liknande sätt som MSER, men istället för att studera hur fort områden växer för varje tröskling, skapar SBD områden för varje binär bild och sammanfogar sedan områdena efter hur nära deras mittpunkt är till varandra. SBD filtrerar områdena genom att titta på storlek, cirkuläritet, convextivitet men också beroende på om området är ljust eller mörkt. Filtren går att slå av och på. Eftersom alla former, färger och storlekar på objekt är av intresse så är inte filtre-ringen på dessa egenskaper i SBD av intresse och dessa fick därför vara avstängda. Som det syns i figuren har SBD hittat en massa saker men den största delen av dessa saker skulle inte av en människa betrakta som intressanta objekt.
3.2 Segmentering 21
3.2.4
Slutsats
Den av de tre prövade segmenteringsalgoritmerna som fungerade bäst i flera oli-ka bilder utan att vara optimerad för den bilden som algoritmen prövades på var MSER. Med bäst ansågs i det här sammanhanget vara att ha mest andel korrekta träffar sammtidigt som så få falska träffar som möjligt eftersträvades. MSER kom av den anledningen att användas för att finna objekt i kamerabilder.
3.3 Stereo 23
3.3
Stereo
Efter problemen med att segmentera objekt i kamerabilden som också kunde fin-nas i SONAR-bilden, genomfördes mindre tester med stereobilder. Som tidigare beskrivits byggs kamerabilderna ihop utav ett antal olika fotografier, idéen var att undersöka om det var möjligt att använd dessa för att extrahera höjdinforma-tion. Problemet med att göra detta är att Sapphires utvärderingsprogram som datan till examensarbetet hämtades från inte var tänkt att kunna exportera något annat än den färdiga kamerabilden. Detta medförde att bilderna till kamerase-rien var tvugna att exporteras manuellt vilket var tidskrävande och något som måste göras av en anställd på SAAB Dynamics. Dessutom saknade dessa expor-ter information om geografiska referenser.
Höjdkartan har två intressanta användningsområden inom examensarbetets ra-mar som skulle vara intressanta att undersöka vidare. Dels skulle det kunna an-vändas till att stötta vilka objekt framtagna ur kamerabilden som har en hög trolighet att synas i SONAR-bilden. Eller att helt ersätta metoden att finna ob-jekt i kamerabilden genom segmentering i kamerabilden, med att leta obob-jekt i höjdkartan. Det andra som skulle vara intressant var om Sapphires planerade att passera intressanta föremål från samma riktning som SONAR-bilden i området är tagen från. Detta skulle troligen göra att kanter på mer komplexa föremål skul-le avbildas liknande i höjdkartan som i SONAR-bilden. Det skulskul-le kunna skul-leda till en möjlighet att avgöra om ett komplext föremål finns med i bilden. Ett stort pro-blem med att försöka passera från samma riktning är att det idag planeras efter minsta sannolikheten att Sapphires ska köra in i snabbt skiftande botten.
3.3.1
Stereorigg
Med en stereorigg menas två monterade kameror som är riktade mot ett föremål. Med en rektifierad stereorigg menas en uppsättning med två identiska kameror som är riktade parallellt och sitter på en baslinje som är ortogonal mot kamera-riktningen, se fig. 3.4.
Som tidigare beskrivits byggs kamerabilden ihop utav flera bilder tagna i en över-lappande serie. Sapphires är en så stabil farkost att för bildserien som undersöks så finns det endast förflyttning mellan bilderna i en riktning, dvs Sapphires be-ter sig som rektifierad kamerarigg. Från sbe-tereobilder är det möjligt att åbe-terskapa avstånd till punkter i bilderna.
Teorin bakom hur avstånd tas fram från stereobilder presenteras i [13]. Förenk-lat fungerar det genom att avståndet avståndetZ mellan baslinjen och ett objekt, beräknas enligt ekvationen 3.1 för uppsättning enligt fig. 3.5 därh är avståndet till ett koordinatsytem placerat på baslinjen med origo mellan kamerapositioner-na,f är brännvidden och x10, x20 är x-koordinaterna i bildplanen för respektive kameraposition föreställande samma objekt.
Figur 3.4: Kameraförflyttning mellan två punkter med gemensam baslinje och kamerariktning.
Figur 3.5:Stereo kamerauppsättning
Z = f · 2h x10 −x0
2
3.3 Stereo 25
3.3.2
Resultat
För att ta fram höjdkartor användes openCV:s blockmatchningsalgoritm för ste-reobilder, StereoBM [14]. Figurerna 3.6 och 3.7 är bilder tagna i två olika kame-rapositioner i en kameraserie, som i fig.3.4. Resultatet från StereoBM från dessa bilder är i fig. 3.8 markerat i rött, vilket visar vad som har en avvikande höjd från bakgrunden dvs botten i detta fallet.
I fig.3.8 syns tydligt begränsningen med att använda StereoBM för att automa-tiskt konstruera en höjdkarta. Stången som breder ut sig i rörelseriktningen kan inte detekteras som höjdavikande då blockmatchnings-algoritmen som används för att hitta motsvarande punkter inte kan identifiera några specifika förändring-ar i detta område mellan bilder. Dock hförändring-ar mycket få områden som inte önskas detekteras givet några falska höjdförändringar.
Fig. 3.9 visar resultatet från 198 bilder som jämförts och där resultatet har pla-cerats i en gemensam bild som har trösklats för att tydligt visa alla registrerade höjdskillnader. Då varje punkt av botten finns med i fler än ett bildpar, fanns en förhoppning om att kunna minska felaktiga detektioner genom att bara ta med höjdskillnader för en punkt om den fanns med i fler än ett bildpar. Detta testa-des genom att kräva att en höjdskillnad skulle detekteras i minst två undersökta bildpar. Resultatet från denna test kan ses i fig. 3.10 där merparten av de små detekterade områdena i fig. 3.9 har försvunnit. Fig.3.11 föreställer den samman-fogade kamerabilden över samma område och visar på en sandbotten med ett antal större föremål på. Detta skulle kunna tyda på att de många små bortfiltre-rade områdena filtrerats bort korrekt.
Fig.3.11 är exporterad från tidigare nämnda verktyg och bygger på den kamera-serie som dom 198 bilderna är hämtad från. Tyvärr överstämmer bilderna inte helt områdesmässigt, vilket beror på att de olika metoderna som används för att exportera bilderna från rådatan skiljer sig åt. Vilket gör att olika start och slut-punkter från fotoserien används.
Fig.3.12 är den otrösklade höjdkartan till området som syns i fig.3.11 och ser ut att innehålla alla intressanta större föremål. Denna metod lyckades på en serie av stenar, som inte kan presenteras på grund av försvarmässigt känsligt områ-de, totalt utklassa segmenteringsalgoritmerna i att detektera stenar och ignorera skuggor. Detta gör att det skulle vara den mest intressanta metoden att undersö-ka i ett senare projekt där även de georafisundersö-ka referenserna skulle kunna läggas till.
Figur 3.6:Kameraposition1 Figur 3.7:Kameraposition2
Figur 3.8:Identifierade upphöjningar från kameraposition 1 och 2, marke-rade i rött.
3.3 Stereo 27
Figur 3.9:Utan att filtrera på antal upptäckter
Figur 3.10:Med filtrering på antal upptäckter
Figur 3.11:Kamerabild stativ
Figur 3.12: Höjdprofil till kamera-bild stativ
4
SONAR-bilden
I detta kapitel kommer en beskrivning av hur objekt har tagits fram ur SONAR-bilden.
4.1
Bakgrund
På grund av att den tidigare nämnda skuggan i kap 2.3, som demonstreras i fig. 2.7, skapas bakom ett större objekt i en SONAR-bild, så utnyttjar många klassi-ficeringsalgoritmer själva skuggan istället, se kap.7 i [6], för att titta på starkare intensiteter i bilden för att avgöra om det är den typen av objekt som eftersöks. I det här examensarbetet är det inte möjligt att förlita sig på något liknande då stenar och liknande föremål som eftersöks många gånger sticker upp så pass lite att ingen direkt skugga är synliga i SONAR-bilden för dessa objekt.
SONAR-bilden som exporteras från utvärderingsverktyget 4.1 har anpassats för att studeras av människor. Alla SONAR-bilder har omvandlats till gråskalebilder, se fig. 4.2.
Figur 4.1:SONAR-bilden som exporteras från utvärderingsverktyget.
4.2 Identifiering av objekt 31
4.2
Identifiering av objekt
Objekten i SONAR-bilden identifieras i genom att låta SONAR-bilden genomgå två steg. Det första steget är att tröskla bilden. Detta görs för att separera om-råden på botten som har reflekterat ljudpulserna starkare än omgivningen. Det andra steget tittar på de områden som har starkare reflektioner och med hjälp av MSER identifieras troliga objekt bland dessa.
Figur 4.3:Histogram till SONAR-bilden i gråskala
4.2.1
Maxtröskling
En första analys av histogrammen till SONAR-bilderna visade att starka intensi-teter, som innebär starka reflektioner, skiljer sig markant mellan troliga objekt och botten. I fig. 4.3 visas histogrammet till 4.2. Genom att tröskla histogrammet under maxintensiteten har det varit möjligt att identifiera de områden som re-presenterar någon form av reflekterande föremål. Då ingen data som beskriver den korrekta fördelningen av föremål har varit tillgänglig, har bedömningen att korrekta områden är markerade bedömts av en människa.
På grund av att SONAR-bilden genomgår ett antal steg efter det att den exporte-rats ut ur Sapphires har en marginal på 10% från det högsta värdet tagits med som marginal för att få med delar av objekt som smetats ut på grund av filtre-ringar som sker innan bilderna har exporterats från utvärderingsverktyget till Sapphires. Områdena från fig. 4.2 som identifieras som tillhörande objekt från histogrammet i fig. 4.3 med hjälp av denna metod återfinns i fig. 4.4 markerade med rött.
Figur 4.4:Trösklade områden markerade med rött
4.2.2
Objekt
Den trösklade bilden innehåller bara information om var det finns troliga ob-jekt. Denna information måste tolkas för att finna obob-jekt. Som tidigare nämnts så finns det inget sätt att avgöra vilken del av ett okänt föremål som avbildats i SONAR-bilden, därför modelleras ett föremål som ett objekt bestående av en cir-kel med en diameter som motsvarar storleken på vad som syns i SONAR-bilden. Det har för de föremålen som har identifierats i både SONAR-bilden och kamera-bilden, visat sig vara en rimlig tolkning. Den trösklade bilden har filtrerats med ett Gauss-filter för att försöka bryta isär närliggande stenar i stenkluster genom att efter filtreringen utnyttja MSER för att klassificera bilden till objekt. Fig. 4.5 visar en minimal särbrytning av områdena med hjälp av Gauss-filtret, vilket re-sulterar i att det stora området med stenar i den nedre högra halvan av bilden tolkas som ett enda stort sammanhängande objekt. Samma område med stenar i fig. 4.6 är uppdelat i hundratals områden som är så pass små att det knappt är möjligt att uppfatta de röda cirklarna kring objekten, utan området ser mer ut som om det har färgats rött.
4.2 Identifiering av objekt 33
Figur 4.5:Av MSER identifieraden objekt. Inställning för stora objekt.
5
Korrelation
För att kunna bestämma om kamerabilden är tagen på den plats relativt SONAR-bilden som antagits behövs en metod som jämför information från dem båda. Som nämnts tidigare i kap 2.4 har objektrepresentationen till kamerabilden och SONAR-bilden valts som cirklar med en specificerad mittpunkt och en radie.
5.1
Bakgrund
I [15] beskrivs hur objekt kan identifieras i en bild utgående från en mall av det sökta objektet. Som tidigare nämnts i kap. 2.3 är det svårt att hitta objekt som av-bildas liknande i kamera och SONAR-bilder, utan det är det spatiella relationerna mellan objekt som kommer undersökas. Det skulle dock gå att se mönstren som skapas som bilder som ska jämföras. Som beskrivet i kap 1.3 har bilderna från Sapphires den stora fördelen att dess riktning och reella upplösning finns be-skrivet. Så det enda som skiljer mellan bildernas interna koordinatsystem är en translation. Därför går det att jämföra bilderna utan att behöva använda skalpy-ramider eller undersöka olika orienteringar.
Ett stort problem är att mönstren från kamera och SONAR-bilderna endast i myc-ket sällsynta fall har en exakt överensstämmelse. Detta beror på ett antal olika oberoende orsaker.
• Samma objekt kan ha identifierats med olika storlekar i kamerabilden re-spektive SONAR-bilden. T.ex. beroende på att endast en del av ett stort fö-remål finns med i kamerabilden, eller att SONAR:en observerat ett avlångt föremål från den kortaste sidan.
• Föremål kan synas i den ena bilden men inte i den andra. Detta beror i
SONAR-bildens fall på SONAR:ens markpenetrerande egenskaper och i ka-merabildens fall på att t.ex. sjögräs och skuggor inte syns i SONAR-bilden. • Som det beskrivs i kap 2.3 så kan position för ett objekt skilja mellan
bilder-na beroende på hur stort föremålet är.
5.2
Metod
Eftersom det inte har varit möjligt att avgöra på förhand vilka föremål som går att identifera i båda bilderna, har metoden som använts testat alla föremål från båda bilderna mot varandra. Att göra på det viset är kostsamt beräkningsmässigt och skulle kunna gå att undvika, tex genom RANSAC, sida 461-464 i [13], eller att minska antalet objekt i SONAR-bilden genom att bara koncentrera sökningen i en mindre region kring den förväntade positionen för farkosten. Dock har det i den begränsade mängden dataset som använts inte funnits behov av att minska beräkningskostnaderna då endast ett fåtal objekt har kunnat identifierats i kame-rabilderna.
Från objekten i kamera och SONAR-bilden skapas två set med objekt, set C och C’. Ett objekt i C väljs ut, i fig. 5.1 kallad A. På samma sätt väljs ett objekt i C’ ut, i fig. 5.1 kallad B. En hypotes skapas, som går ut på att A och B representerar samma objekt i C respektive C´. För att undersöka troligheten i denna hypotes tas translationen mellan A och B fram, så att A och B får samma koordinater i de respektive koordinatsystemen. Övriga objekt i C translateras med samma translation. Sedan jämförs objekten i C med objekten i C’ genom att kontrollera för alla objekt i C ifall det överlappar ett objekt i C’. Ifall ett par av matchande objekt finns, ger det ett poäng. Ifall samma objekt i C överlappas av flera objekt i C’ ges minuspoäng eftersom det finns en osäkerhet i området, vilket främst verkar ske i områden med ansamlingar av föremål där vilka mönster som helst kan matchas in. Med överlapp menas att två objekts radie överlappar varandra i någon punkt. Detta gör att stora förmål, se exempel i fig. 2.8, som varierar stort i placering beroende på betraktarens riktning till föremålet, tillåts variera mer i avstånd än små föremål. Tillvägagångssättet finns beskrivet i 1. De hypoteser med högst antal poäng anses vara de mest troliga positionerna för C i C’.
Exempel
Datan som representeras i exemplet bygger på verkliga bilder. I fig. 5.2 visas ob-jekt framtagna från en SONAR-bild enligt metoden beskriven i kap. 4. Motsvaran-de objekt från kamerabilMotsvaran-den presenteras i 5.3. I fig. 5.4 representeras kameraob-jekten med röda cirklar. Kameraobkameraob-jekten är translaterade för att testa hypotesen att detta är den korrekta positionen. Som synes i bilden är det inte troligt att detta är en korrekt position då endast ett par objekten överensstämmer, vilket är det paret som translationen har utgått efter. I detta exemplet lyckas algoritmen endast med att som bäst para ihop 3 par objekt, av maximalt 7, för ett antal po-sitioner som utgör hypoteserna. I fig. 5.5 presenteras dessa hypoteser. Siffrorna motsvarar den individuella summan för varje hypotes att motsvarande objekt har
5.2 Metod 37
Algorithm 1Matching Code
Fori = 1 to maximum number of points in C Forj = 1 to maximum number of points in C’
vectorsearchFrame = GetSearchParameters( the differens in positon between the points ci and c
0 j);
vectorpointsInFrame = GetAllPointsInSearchFrame(
C,seartchFrame); //Returns the points in C that is in the search area. vectorusedCriteria[number of points in C’] = false;
intmatchScore = 0;
Forix = 1 to maximum number of points in pointsInFrame Foriy = 1 to maximum number of points in C’
IfComparePoints(pointsI nFrame[ix] and c0iy+ translation) == true IfusedCriteria[iy] == false
//This point in the camera image have not been used to make a match. usedCriteria[iy] = true;
matchScore = matchScore +1; Else
//This point is already used. matchScore = matchScore - 1; IfmatchScore < 0
matchScore = 0;
Figur 5.1:Translationen mellan bilderna tas fram genom skillnaden mellan A och B
Figur 5.2:Objekt funna i SONAR-bild
identifierats. En svaghet med metoden kan ses i fig. 5.6, där en stor mängd ste-nar gör att ett stort antal felaktiga objekt stämmer överens med varandra. Den korrekta positionen visas i fig. 5.7.
5.2 Metod 39
Figur 5.3:Objekt funna i kamerabild
Figur 5.4:Objekten från KB har translaterats med hypotesen att två objekt är samma. Det är inte troligt att denna hypotes är korrekt.
Figur 5.5:De mest troliga hypoteserna.
5.2 Metod 41
6
Utvärdering
För att utvärdera det sammansatta systemet har två olika kamerabilder tillhöran-de en SONAR-bild untillhöran-dersökts. Målet med uppgiften har varit att itillhöran-dentifiera tillhöran-den korrekta positionen för var kamerabilderna är placerade relativt SONAR-bilden. Bilderna kommer från två olika passager av Sapphires och dessa vissas i fig. 6.1. Den första kamerabilden innehåller stenar och liknar de bilder som använts för att utveckla metoden. Den andra bilden innehåller delar av en struktur som till-hör ett stativ placerat på botten. Den senare bilden kommer visa på begränsning-arna i den lösningsmetod som framtagits.
Figur 6.1:Kamerapassager över botten. Inlagda efter Sapphires uppskatt-ning av sin position.
6.1
Enkla former
Stenarna i fig. 6.2 utgör vad som kommer att beskrivas som enkla former. Enkla former beskriver utformningen på föremål som har egenskaperna att de är:
• Relativt små objekt
• I huvudsak konvexa i utformningen Dessa egenskaper leder till:
• Ökad sannolikhet att segmenteringen i kamerabilden representerar ett fö-remål som ett sammanhängade objekt
• Positionen i SONAR-bilden kommer inte att variera så mycket inbördes mel-lan objekten relativt kamerabilden
Utvärdering
Fig. 6.2 visar kamerabilden med identifierade objekt markerade. Det syns tydligt att det största föremålet i bilden korrekt markerats som ett objekt, men också att ett antal mindre föremål inte har identiferats. I SONAR-bilden, fig. 6.3, har mer-parten av vad som kan bedömmas vara objekt markerats korrekt. De troligaste hypoteserna om korrekt placering utgående från kamera och SONAR-objekten presenteras i fig. 6.4 där den korrekta positionen finns med i resultatet vilket visas genom att jämföra fig. 6.5 med fig. 6.6. Där fig. 6.5 visar kameraobjektens position efter att dessa har translaterats med den translationen som tillhör en av de troligaste hypoteserna och fig. 6.6 visar var Sapphires anser att bilden tagits. De två positionerna överensstämmer väl, vilket visar att ett korrekt resultat är möjligt att uppnå även när algoritmen inte är speciellt framtagen för det unika testfallet.
6.1 Enkla former 45
6.1 Enkla former 47
Figur 6.4:De troligaste överensstämmande objekten, där siffrorna står för objektens identifikationssiffra i kamerabilden respektive SONAR-bilden
Figur 6.5: Kameraobjekten translaterade efter överensstämmande ob-jekt(kameraobjekt 3 och SONAR-objekt 399 från fig. 6.4)
6.1 Enkla former 49
6.2
Komplexa former
I fig. 6.7 finns exempel på vad som kommer att beskrivas somkomplexa former. Till skillnad frånenkla former så defineras komplexa former av:
• Relativt stora objekt
• Avlånga, konkava eller annan form av ojämt fördelad yta Dessa egenskaper leder till:
• Ökad sannolikhet att segmenteringen i kamerabilden representerar ett fö-remål som flera olika objekt
• Stora föremål ger även större sannolikhet att skuggor uppstår som segmen-teras som objekt
• Positionen i SONAR-bilden kommer att variera mycket inbördes mellan ob-jekten relativt kamerabilden
• Stora föremål med uppstickande delar kan i SONAR-bilden delas upp i flera olika objekt
Utvärdering
Försök med att identifiera positionen för fig. 6.7, som innehåller ettkomplext fö-remål, visar att en stor del av de förväntade problemen uppstår. I den övre delen av stativet missar segmenteringen att finna det övre fundamentet som stativet vilar på. På grund av riktningen till SONAR:en syns inte fundamentet heller i SONAR-bilden, fig. 6.3. Men istället delades stången mellan fundamenten upp i flera delar. Resultatet med de högst rankade hypoteserna är presenterade i fig. 6.8. Ingen av de högst rankade hypoteserna var korrekta. Dock fanns det bland lägre rankade hypoteser korrekta lösningar. Den informationen ger inte mycket om positionen är helt okänd men dessa punkter sammanfaller med vart naviga-tionen från Sapphires anser att kamerabildens position ska vara, se fig. 6.9. Det här visar att metoden inte hanterar komplexa former med någon säkerhet. Men att om föremålet har delar som kan ses som ett antal enkla former, alternativt att sådana uppträder i andra delar av bilden, kan det tillsammans med en jämförelse med farkostens navigationsuppskattning ge ett visst stöd i hur sannolikt det är att farkosten befunnit sig i ett specifikt område.
6.2 Komplexa former 51
6.2 Komplexa former 53
7
Slutsats
Kapitlet innehåller slutsater dragna under exjobbet och, utgående från dessa, för-slag på framtida arbeten.
7.1
Frågeställningen
Examensarbetet lyckades med att visa att det går att jämföra informationen från kamera och SONAR-bilden. Detta genom att visa att det går att få svar på de frågeställningarna presenterade i kap. 2.5.2.
Går det att automatiskt finna föremål i kamerabilden?
Kapitel 3 visar att det är möjligt att automatiskt finna objekt som skiljer sig från bakgrunden för åtminstode de enklare testfallen.
Går det att automatiskt finna föremål i SONAR-bilden?
Kapitel 4 visar att det är möjligt att automatiskt finna objekt i SONAR-bilder.
Går det att automatiskt jämföra föremål mellan kamera och SONAR-bild?
I kap. 6.1 visas att ett av de troligaste förhållandena mellan kamera och SONAR-bilden sammanfaller med Sapphires uppfattning om detta genom navigationen. Därför går det att med en rimlig sannolikhet säga att objektet finns i bilden. Med vilken sannolikhet detta infaller går inte att uppskatta då alldeles för lite data finns tillgängligt för att kunna beräkna detta. Dessutom visar exemplet som ges i kap. 5.2 att det även helt utan att känna till förhållandena mellan kamera och SONAR-bilderna går det att ta fram troliga hypoteser där det korrekta förhållan-det finns med.
7.2
Framtida arbeten
Det här examensarbetet och metoderna som har använts har lyckats visa att det är möjligt att jämföra data mellan kamera och SONAR-bilder. Men som bland annat visas i kap 6.2 är metoderna inte tillräkligt bra för att kunna användas i farkosten.
Förslag till framtida arbeten inom området.
• Skapa kända testfall, t.ex. genom att placera ut förmål av känd storlek och form och passera dessa från olika riktningar, både med SONAR och kamera. • Se till att det finns större antal dataset att undersöka.
• Testa att ta fram objekt från resutaten i kap 3.3.
• Testa att jämföra utseendet på komplexa föremål, tex. genom att göra som förslaget i kap 3.3.
• Som nämnts tidigare är Sapphires nuvarande kamera inte optimal för att använda till datorseende. Men det vore inte ett svårt att byta kamera. Så det vore intressant att utföra tester med en bättre kamera och se om det ledde till bättre bilder, i vilka t.ex. kanter på föremål skulle vara lättare att detektera.
8
Referenser
[1] Sk. Sazid Mahammad,R. Ramakrishnan, GeoTIFF - A standard
image file format for GIS applications, (Elektronisk)GISdevelopment.net http://www.gisdevelopment.net/technology/ip/mi03117pf.htm(2012-10-10) [2] C. Barat, M.J. Rendas,Exploiting natural contours for automatic
sonar-to-video calibration, Oceans 2005-Europe(2005)
[3] S. Majumder, S. Scheding, H.F. Durrant-Whyte, Multisensor data fusion for underwater navigation,Robotics and Autonomous System(2001) [4] B. E. Bayer, Color imaging array, US Patent No. 3971065.
[5] M. Newberry,Tech Note: Pixel Response Effects on CCD Camera Gain Calibration,Mirametrics(1998)
[6] Edited by Nikolai Kolev, SONAR SYSTEMS, First edition, InTech(2011) [7] (Elektronisk) OpenCV,
http://opencv.willowgarage.com/wiki/(2013-01-03)
[8] J. Matas, O. Chum, M. Urban, T. Pajdla, Robust wide baseline stereo from maximally stable extremal regions, BMVC(2002)
[9] (Elektronisk) OpenCV documentation 2.1 C++
http://opencv.willowgarage.com/documentation/cpp/feature_ detection.html# mser (2013-01-03)
[10] H. Bay, T. Tuytelaars, L. Van Gool,SURF: Speed Up Robust Features, 9th European Conference on Computer Vision(2006)
[11] (Elektronisk) OpenCV documentation 2.1 C++
http://opencv.willowgarage.com/documentation/cpp/feature_ detection.html# surf (2013-01-03)
[12] (Elektronisk) OpenCV documentation 2.1 C++
http://docs.opencv.org/modules/features2d/doc/common_ interfaces_ of_ feature_ _ detectors.html# simpleblobdetector
(2013-01-03)
[13] Milan Sonka, Vaclav Hlavac, Roger Boyle, Image Processing, Analys and Machine Vision, Third edition, Cengage Learning(2008) [14] (Elektronisk) OpenCV documentation 2.1 C++
http://opencv.willowgarage.com/documentation/cpp/camera_ calibration_ and_ 3d_ reconstruction.html# stereobm(2013-01-03)
[15] Rafael C. Gonzalez, Richard E. Woods, Digital Image Processing, Third Edition,Pearson Education Inc.(2008)
Upphovsrätt
Detta dokument hålls tillgängligt på Internet — eller dess framtida ersättare — under 25 år från publiceringsdatum under förutsättning att inga extraordinära omständigheter uppstår.
Tillgång till dokumentet innebär tillstånd för var och en att läsa, ladda ner, skriva ut enstaka kopior för enskilt bruk och att använda det oförändrat för icke-kommersiell forskning och för undervisning. Överföring av upphovsrätten vid en senare tidpunkt kan inte upphäva detta tillstånd. All annan användning av dokumentet kräver upphovsmannens medgivande. För att garantera äktheten, säkerheten och tillgängligheten finns det lösningar av teknisk och administrativ art.
Upphovsmannens ideella rätt innefattar rätt att bli nämnd som upphovsman i den omfattning som god sed kräver vid användning av dokumentet på ovan beskrivna sätt samt skydd mot att dokumentet ändras eller presenteras i sådan form eller i sådant sammanhang som är kränkande för upphovsmannens litterära eller konstnärliga anseende eller egenart.
För ytterligare information om Linköping University Electronic Press se förla-gets hemsida http://www.ep.liu.se/
Copyright
The publishers will keep this document online on the Internet — or its possi-ble replacement — for a period of 25 years from the date of publication barring exceptional circumstances.
The online availability of the document implies a permanent permission for anyone to read, to download, to print out single copies for his/her own use and to use it unchanged for any non-commercial research and educational purpose. Subsequent transfers of copyright cannot revoke this permission. All other uses of the document are conditional on the consent of the copyright owner. The publisher has taken technical and administrative measures to assure authenticity, security and accessibility.
According to intellectual property law the author has the right to be men-tioned when his/her work is accessed as described above and to be protected against infringement.
For additional information about the Linköping University Electronic Press and its procedures for publication and for assurance of document integrity, please refer to its www home page: http://www.ep.liu.se/
