Detektering av sprickor i vägytor med
hjälp av Datorseende
Examensarbete utfört i Bildbehandling vid Tekniska Högskolan i Linköping
av
Staffan Håkansson Reg nr: LiTH-ISY-EX–05/3699–SE
Detektering av sprickor i vägytor med
hjälp av Datorseende
Examensarbete utfört i Bildbehandling vid Tekniska Högskolan i Linköping
av
Staffan Håkansson Reg nr: LiTH-ISY-EX–05/3699–SE
Handledare: Leif Sjögren, VTI Björn Johansson, ISY Examinator: Klas Nordberg
Avdelning, Inst it u t io n Div isio n, Depa r t m ent
C o m put er V isio n L a bo r a t o r y Depa r t m ent o f Elect r ica l Engineer ing L ink ö pings univ er sit et
S-5 8 1 8 3 L ink ö ping, Sw eden
D at u m Da t e 2 0 0 5 -0 3 -0 8 S p r åk L a ngua ge Sv ensk a / Sw edish Engelsk a / English R ap p o r t t y p Repo r t ca t ego r y L icent ia t a v ha ndling Ex a m ensa r bet e C -uppsa t s D-uppsa t s Ö v r ig r a ppo r t
UR L f ö r elekt r o nisk ver sio n
http://www.ep.liu.se/exjobb/isy/2005/3699/ IS B N
— IS R N
L I T H -I SY -EX – 0 5 / 3 6 9 9 – SE
S er iet it el o c h ser ienu mmer T it le o f ser ies, num ber ing IS S N—
T it el
T it le Det ek t er ing a v spr ick o r i v ä gy t o r m ed hjä lp a v Da t o r seendeP a v em ent C r a ck Det ect io n U sing C o m put er V isio n
F ö r f at t ar e
A ut ho r St a ff a n H å k a nsso n
S ammanf at t ning A bst r a ct
T his t hesis descr ibes new m et ho ds fo r a ut o m a t ic cr a ck det ect io n in pa v em ent s. C r a ck s in pa v em ent s ca n be used a s a n ea r ly indica t io n fo r t he need o f r epa r a t io n. A ut o m a t ic cr a ck det ect io n is pr efer a ble co m pa r ed t o m a nua l inv ent o r y ; t he r epea t a bilit y ca n be bet t er , t he inv ent o r y ca n be do ne a t a higher speed a nd ca n be do ne w it ho ut int er r upt io n o f t he t r a ffic.
T he a ut o m a t ic a nd sem i-a ut o m a t ic cr a ck det ect io n sy st em s t ha t ex ist t o da y use I m a ge A na ly sis m et ho ds. T her e a r e t o da y po w er ful m et ho ds a v a ila ble in t he a r ea o f C o m put er V isio n. T hese m et ho ds w o r k in higher dim ensio ns w it h gr ea t er co m plex it y a nd gener a t e m ea sur es o f lo ca l signa l pr o per t ies, w hile I m a ge A na ly ses m et ho ds fo r cr a ck det ect io n use m o r pho lo gica l o per a t io ns o n bina r y im a ges.
M et ho ds fo r digit a liz ing v ideo da t a o n V H S-ca sset t es a nd st it ching im a ges fr o m nea r by fr a m es ha v e been dev elo ped.
F o ur m et ho ds fo r cr a ck det ect io n ha v e been ev a lua t ed, a nd t w o o f t hem ha v e been used t o fo r m a cr a ck det ect io n a nd cla ssifica t io n pr o gr a m im plem ent ed in t he ca lcula t io n pr o gr a m M a t la b.
O ne im a ge set w a s used dur ing t he im plem ent a t io n a nd a no t her im a ge set w a s used fo r v a lida t io n. T he cr a ck det ect io n sy st em did per fo r m co r r ect det ect io n o n 9 9 .2 per cent w hen a na ly sing t he im a ges w hich w er e used dur ing im plem ent a t io n. T he r esult o f t he cr a ck det ect io n o n t he v a lida t io n da t a w a s no t v er y go o d. W hen t he pr o gr a m is being used o n da t a fr o m o t her pa v em ent s t ha n t he o ne used dur ing im plem ent a t io n, info r m a t io n a bo ut t he sur fa ce t ex t ur e is r eq uir ed t o ca libr a t e t he cr a ck det ect io n.
N y c kelo r d
K ey w o r ds pa v em ent , a spha lt , cr a ck det ect io n, co m put er v isio n, o r ient a t io n t enso r , st r uct ur e t enso r , im a ge pr o cessing
Abstract
This thesis describes new methods for automatic crack detection in pavements. Cracks in pavements can be used as an early indication for the need of reparation. Automatic crack detection is preferable compared to manual inventory; the repeatability can be better, the inventory can be done at a higher speed and can be done without interruption of the traffic.
The automatic and semi-automatic crack detection systems that exist today use Image Analysis methods. There are today powerful methods available in the area of Computer Vision. These methods work in higher dimensions with greater complexity and generate measures of local signal properties, while Image Analyses methods for crack detection use morphological operations on binary images.
Methods for digitalizing video data on VHS-cassettes and stitching images from nearby frames have been developed.
Four methods for crack detection have been evaluated, and two of them have been used to form a crack detection and classification program implemented in the calculation program Matlab.
One image set was used during the implementation and another image set was used for validation. The crack detection system did perform correct detection on 99.2 percent when analysing the images which were used during implementation. The result of the crack detection on the validation data was not very good. When the program is being used on data from other pavements than the one used during implementation, information about the surface texture is required to calibrate the crack detection.
Keywords: pavement, asphalt, crack detection, computer vision, orientation tensor, structure tensor, image processing
Sammanfattning
Den här rapporten beskriver nya metoder för automatisk sprickdetektering i väg-ytor. Sprickor i vägbeläggningar ger tidigt indikation på vägens lagningsbehov. Sprickor i det ytliga beläggningslagret leder till att vatten tränger ner i vägens undre skikt och vägen bryts ner snabbare.
Automatisk sprickmätning har en rad fördelar jämfört med manuell inventering; den är repeterbar, snabbare och stör inte trafiken.
Bildanalys har etablerats som teknik för att detektera sprickor i vägytor hos de automatiska och halvautomatiska system som finns idag. Det finns emellertid nya mer kraftfulla metoder inom området datorseende. Dessa metoder använder högre komplexitet och dimensionalitet för att beräkna mått på egenskaper hos signaler lokalt, medan bildanalystillämpningar inom sprickdetektering snarare handlar om tröskling följt av morfologiska operationer på binära bilder.
Metoder för digitalisering av VHS-band och sammanfogning av närliggande bilder från dessa videofilmer har utarbetats.
Fyra metoder för sprickdetektering med tekniker från datorseende och bildana-lys har implementerats och utvärderats, de två bästa har använts för att utveckla ett analysprogram, implementerat i beräkningsprogrammet Matlab. Analysprogram-met genomför sprickdetektering och klassificerar funna sprickor inom fyra klasser, beräknar deras bredd och beräknar ett mått på den inventerade vägens tillstånd, Sprickindex.
Tester utfördes dels med de bilder som användes vid implementeringen, dels nya bilder. Sprickdetekteringen fungerade till 99.2 procent på de bilder som använts vid implementering och betydligt sämre på de nya bilderna. För att programmet ska kunna användas på andra vägbanor behövs information om dessa vägytors textur, denna information kan användas för att kalibrera sprickdetekteringsmetoden.
Nyckelord: vägytor, asfalt, sprickdetektering, datorseende, orienteringstensor, strukturtensor, bildanalys
Förord
Detta examensarbete har utförts på statens väg- och transportforskningsinstitut, VTI, i Linköping. Nedan visas min uppskattning till de personer som har deltagit i genomförandet av mitt examensarbete och gett mig stöd under tiden.
Först av allt vill jag tacka Leif Sjögren, min handledare på VTI, för möjlighe-ten att genomföra detta examensarbete. Det har varit spännande och lärorikt att studera ämnet sprickdetektering på VTI under det halvår som examensarbetet har förlöpt.
Min handledare på ISY, Björn Johansson, har alltid funnits till hands för dis-kussion av tekniska detaljer, allt från teori och design till programmering och do-kumentation. Jag vill även tacka min examinator på ISY, Klas Nordberg, för att detta examensarbete har kunnat genomföras. Johan Wiklund, även han på ISY, ska ha tack för hjälpen med användandet av ISY:s utrustning vid digitalisering av videofilm.
Jag vill även tacka övrig personal på VTI, avdelning DOU, för ert stöd och uppmuntran på de så viktiga kafferasterna. Peter Andrén ska ha särskilt tack för all hjälp med dokumentation i LATEX.
Opponenten Mathias Andersson gjorde ett utomordentligt jobb vid framlägg-ningen och gav mig många viktiga synpunkter på rapporten.
Min familj har bidragit med nödvändigt stöd i såväl framgång som motgång. Särskilt tack vill jag ge min underbara flickvän Jenny, utan dig vet jag inte vad jag hade gjort. Att man kan koppla av på sin fritid är en viktig förutsättning för god prestationsförmåga på arbetet, och där har din roll varit den allra viktigaste. Även mina vänner är värda ett stort tack för deras ständiga uppmuntran och viljan att framhäva det positiva i alla lägen.
Notation
Här beskrivs notationen.Symboler
x, X Tecken med fetstil används för vektorer, matriser och mängder. f En signal i en given omgivning.
f Hela signalen.
Operatorer och funktioner
∇2 Laplace-operatorn, se definition 4.2. d
dx, ∂
∂x Derivata med avseende på x och partiell derivata
med avseende på x.
f ? g Endimensionell faltning av f och g.
Förkortningar
AASHTO American Association of State Highway and Transportation Officials
VTI Väg- och transportforskningsinstitutet
PAVUE Benämningen härstammar från “Pavement Vuer”, [10], men är numera mer ett namn än en förkortning
RST Road Surface Tester. Se bilaga A
ISY Institutionen för systemteknik vid Linköpings universitet SI Sprickindex, se avsnitt 2.5
VHS Video Home System, ett videobandsformat
SVHS Super-VHS, en variant av VHS-formatet med högre upplösning, skarpare bild och bättre hantering av färger
Språkliga förkortningar
Språkliga förkortningar avses skrivas på ett enhetligt sätt, enligt rekommendationer i [29]. Nedan följer förklaring av de förkortningar som förekommer i rapporten.
t.ex. Till exempel dvs. Det vill säga pga. På grund av mm. Med mera
Innehåll
1 Inledning 1
1.1 Rapportens upplägg . . . 2
1.1.1 Beskrivning av implementering . . . 2
1.2 Introduktion till Datorseende . . . 2
1.3 Mål . . . 3
1.4 Avgränsningar och krav . . . 4
1.5 Teoretiska verktyg . . . 5
1.6 Indata . . . 5
2 Bakgrund 7 2.1 Grundläggande begrepp . . . 7
2.1.1 Textur och ojämnhet . . . 7
2.2 Olika sorters sprickor . . . 7
2.2.1 Belastningssprickor . . . 9 2.2.2 Krackelering . . . 9 2.2.3 Tvärgående sprickor . . . 9 2.2.4 Tjälsprickor . . . 9 2.2.5 Fogsprickor . . . 10 2.2.6 Kantsprickor . . . 10 2.3 Polygonbeskrivning av sprickor . . . 10
2.4 Förslag på mått som beskriver egenskaper hos sprickor . . . 10
2.5 Sprickindex . . . 10
2.6 Sprickors bredd . . . 11
2.7 Alternativa sprickmått . . . 12
2.8 Val av sprickmått . . . 13
3 State of the art 15 3.1 Manuell inspektion jämfört med automatiska system . . . 15
3.2 2D-system . . . 16 3.3 3D-system . . . 17 3.4 Bildanalys . . . 18 3.4.1 PAVUE:s bildanalys . . . 18 3.5 Datorseende . . . 18 ix
x Innehåll
3.6 Slutsatser . . . 19
4 Teori 21 4.1 PAVUE:s videokameror . . . 21
4.2 PAVUE:s belysning av vägbanan . . . 22
4.3 Val av koordinatsystem . . . 24
4.4 Metrik . . . 25
4.5 Operationer på binära bilder . . . 26
4.6 Datorseende . . . 28 4.6.1 Intrinsisk dimensionalitet . . . 28 4.6.2 Dubbla vinkeln-representation . . . 28 4.6.3 Tensorrepresentation . . . 28 4.6.4 Tensorestimeringsmetoder . . . 31 4.7 Linjedetektering . . . 32 4.7.1 Laplace . . . 32 5 System design 33 5.1 Ingående delsystem . . . 33 5.2 Kombinering av metoder . . . 33 5.3 Sprickdetektering . . . 35 5.4 Hantering av störningar . . . 35
5.4.1 Ytor utan sprickor . . . 35
5.4.2 Vägmarkeringar . . . 36
5.5 Förbättring av sprickkartan . . . 37
5.6 Segmentering och klassificering . . . 40
5.6.1 Tvärgående sprickor . . . 42
5.7 Grafiskt användargränssnitt . . . 43
5.8 Fördelar med Crack-Aware . . . 43
6 Experiment och resultat 47 6.1 Bildinhämtning . . . 47
6.1.1 Bildserie digitaliserad på universitetet . . . 47
6.1.2 Interlacekodade bilder . . . 48
6.1.3 Mosaicing/stitching . . . 49
6.2 Algoritm och implementering . . . 50
6.2.1 Förfiltrering . . . 50
6.2.2 Tröskling med hysteres . . . 50
6.2.3 Beskrivning av första algoritmen, morfologisk . . . 50
6.2.4 Estimering av lokal orientering med polynomtensor . . . 51
6.2.5 Linjedetektering med strukturtensor . . . 51
6.2.6 Linjedetektering med Laplace . . . 52
6.3 Validering . . . 52
6.3.1 Mått på noggrannhet hos sprickdetekteringen, Svärdsjö . . . 52
6.3.2 Körning1 kamera3 . . . 52
Innehåll xi
6.3.4 Körning2 kamera3 . . . 53
6.3.5 Körning3 kamera3 . . . 54
6.3.6 Sammanfattning . . . 54
6.3.7 Mått på noggrannhet hos sprickdetekteringen, Björnlunda . . 55
6.3.8 Syfte med validering på ny datamängd . . . 55
6.3.9 Resultat av validering . . . 55
6.3.10 Begränsningar påvisade av validering . . . 56
6.4 Kvalitetsanalys . . . 56 6.4.1 Repeterbarhet . . . 56 6.4.2 Mätnoggrannhet . . . 56 6.4.3 Störningskänslighet . . . 57 7 Diskussion 63 7.1 Lärdomar, erfarenheter . . . 63 7.2 Framtida utveckling . . . 64 A RST-bilen 69
B Protokoll från manuell inventering 71
Kapitel 1
Inledning
Många mer eller mindre automatiska system för sprickmätning har utvecklats under de senaste åren. Ett av dessa är det svenska PAVUE med ursprung från VTI. PAVUE använder fyra videokameror och blixtljus1 för att filma ca 3,2 meter bred väg enligt [10, 2], se figur 1.1. Vid mätning kan PAVUE färdas med en hastighet av upp till 90 km/h och samtidigt fånga in bilder av all vägyta som passeras. VTI har en PAVUE mätbil. Dock saknar VTI den bildanalysstation som utvecklats för PAVUE.
Figur 1.1. Mätbilen PAVUE.
Svenska Vägverket funderar på att genomföra reguljära inventeringar av det belagda svenska vägnätet vad gäller sprickor i beläggningen. Denna inventering kommer att upphandlas och för vid val av det system behövs en referensmetod. PAVUE i nuvarande form duger inte som referensmetod, vidare anses manuella in-spektioner av sprickor som alldeles för otillförlitliga för att gälla som referensmetod
1Blixtljuset är synkroniserat med videokamerorna, se avsnitt 4.2. 1
2 Inledning
enligt [10], detta beskrivs även i avsnitt 3. Föreslaget examensarbete är ett steg i en utveckling att åstadkomma en referensmetod.
1.1
Rapportens upplägg
Rapporten består huvudsakligen av sju kapitel och de föregås av sammanfattning, tackord, notation och innehållsförteckning. Använda förkortningar förklaras till-sammans med matematiska konventioner under rubriken Notation och efter de sju kapitlen följer litteraturförteckning och bilagor. Kapitlen beskrivs i detalj nedan.
Kapitel 1, Inledning innehåller beskrivning av hur examensarbetet har genom-förts och vilka mål, avgränsningar och krav som ställdes upp i den planerande fasen. Kapitel 2, Bakgrund tar upp olika typer av sprickor och mått. Sist i kapitlet presenteras vilka mått som verkar lämpliga i detta fall. I Kapitel 3, State of the art beskrivs och analyseras några väsentliga sprickdetekteringssystem. Kapitel 4, Teori beskriver den teori inom signal- och bildbehandling som används i examensarbetet. I Kapitel 5, Design beskrivs implementering av sprickdetektering och klassificering samt det grafiska användargränssnittet. Kapitel 6, Experiment och resultat beskri-ver examensarbetets genomförande grundligt, från implementering till validering, och sist i kapitlet finns en sammanfattande kvalitetsanalys. I Kapitel 7, Diskussion diskuteras analysens tillförlitlighet och framtida utveckling.
Sist i rapporten finns tre bilagor. De utgörs av information om RST-bilen, protokoll från manuell sprickinventering samt detaljerat resultat från en automatisk klassificering2.
1.1.1
Beskrivning av implementering
Implementering av sprickdetektering beskrivs i avsnitt 5.3. Förbättring av sprick-karta beskrivs i avsnitt 5.5. Segmentering och klassificering beskrivs i avsnitt 5.6. Implementering av verktyg för bildinläsning och sammanfogning av bilder inför för den automatiska analysen beskrivs i avsnitt 6.1.
1.2
Introduktion till Datorseende
Traditionell bildbehandling, eller Bildanalys, skräddarsys för specifika tillämpning-ar. Mer kraftfulla metoder för bearbetning av bilder finns inom området Datorse-ende, på engelska Computer Vision. Gränsen mellan Datorseende och Bildanalys är ganska diffus och definieras på olika sätt i olika litteratur. En tolkning är att tekniker inom Bildanalys vanligtvis genererar en ny förbättrad eller på annat sätt modifierad bild från en originalbild, medan tekniker inom Datorseende förstår sig-nalen och genererar beskrivning av sigsig-nalens egenskaper. Datorseende utgörs av relativt nya metoder som utvecklas vid Computer Vision Laboratory (CVL) på Linköpings Universitet.
1.3 Mål 3
Bildanalys kan illustreras med ett exempel: filtrering följt av tröskelsättning, segmentering och egenskapsextrahering. Först filtreras indata. Detta kan innebära att öka skärpan på en suddig bild. Sedan tröskelsätts bilden vilket resulterar i en bild där alla pixlar3 som hade intensitet över tröskelnivån blir ett och övriga
noll. Sedan görs morfologiska operationer, t.ex. krympning och expansion enligt avsnitt 4.5 för att isolera vad som är objekt och bortse från brus. Detta leder till att man har förutsättningar att kunna extrahera sökt information ur bilden.
Datorseende består av mer kraftfulla verktyg och ger robustare resultat vid mer generella problem. Analysen av signalen sker lokalt, i små omgivningar. Detta är in-te specifikt för Datorseende då lokala analyser även förekommer inom Bildanalysen. När man talar om Datorseende handlar det ofta om signaler med hög dimensio-nalitet och komplexa tekniker. Egenskaper som kan extraheras med Datorssende är lokal fas, lokal frekvens, lokal orientering med mera. För detta krävs tyngre be-räkningar som tar längre tid, men man får säkrare resultat eftersom informationen extraheras med vetskap om hur tillförlitlig den är.
En lokal orientering kan representeras på olika sätt. Att representera detta med en vektor har en del brister. Vektorn är låst till två dimensioner, en mer generell representation är tensorrepresentationen. Tensorn är i praktiken en symmetrisk matris som kan byggas upp av omgivningens orientering. I praktiska tillämpningar vill man få ut orientering ur signalen och utför filtrering med kvadraturfilter. Dessa filter är riktade och antar värdet noll i en halva av Fourierdomänen. Filtersvaren ger information om signalens intrinsiska dimensionalitet och om det finns en dominant lokal orientering så avspeglas detta med ett starkt svar hos kvadraturfiltret med denna riktning.
Exempel på andra tillämpningar på Datorseende är adaptiv filtrering, stereose-ende och rörelseestimering ur bildsekvens.
Material har hämtats från kursmaterial till kursen TSBB02 Datorseende, [21], som ges på Linköpings Tekniska Högskola. Teoretiska begrepp inom Datorseende har hämtats från [6].
1.3
Mål
Första delen i examensarbete innebär att samla bakgrundsinformation samt att gö-ra en mindre littegö-raturstudie för att beskriva State of the art gällande metoder för automatisk sprickdetektering. Den andra delen i examensarbetet utgörs av imple-mentering av ett system för sprickdetektering och klassificering. Detta system ska dokumenteras, valideras och utvärderas som förberedning för framtida utveckling. Examensarbete ska fokusera på att ur bilder av olika kvalitet från vägytor sorte-ra ut sprickor. Som metod för att detektesorte-ra sprickorna ska Datorseende utnyttjas. VTI kommer att leverera bilderna som ska analyseras. Dessa kan komma från videoband som har spelats in genom att filmkameror har filmat vägytor. Examens-arbetet kommer att använda beräkningsprogrammet Matlab som verktyg för att bygga detekteringsmetoden. Slutligen ska av VTI specificerade mått beräknas från
4 Inledning
resultatet från bildbearbetningen (sprickkartorna). En manual som beskriver hur analysen utförs ska göras. En beskrivning av kvalitet (tillförlitligheten för analysen) ska göras. Vilken kvalitet på utdata kan man förvänta sig beroende på kvalitet som skickas in i analysen? Slutligen ska en rapport skrivas på svenska som beskriver hela examensarbetet.
I figur 1.2 finns en översikt över examensarbetets innehåll.
Sprickdetektering hos vägytor
State of the art Bakgrundsinformation
Video Övriga bilder Datorseende Manual Sprickkarta Mått Rapport Detektering Klassificering
Figur 1.2. Översikt över examensarbetets innehåll.
1.4
Avgränsningar och krav
• Systemet ska kunna hantera bilder från minst en typ av mätning, i första hand digitaliserade bilder från VTI:s mätbil PAVUE.
• Systemet behöver endast hantera bilder tagna på vägar med asfalterad kör-bana.
• Vägen ska delas in i segment som är 10×10 cm stora. De segment som enligt systemet innehåller sprickor ska markeras.
• Systemet ska kunna hitta väsentliga sprickor, endast de grovaste sprickbild-ningarna. Systemet ska kunna hantera ojämnheter i asfalten och inte miss-tolka dessa som sprickor.
1.5 Teoretiska verktyg 5
• Sprickorna ska eventuellt kategoriseras i ett antal klasser. Om möjligt i de sex grupper som beskrivs i avsnitt 2, annars ett fåtal av dem.
1.5
Teoretiska verktyg
Tillgängliga teoretiska verktyg:
• Analys av signalens struktur och intrinsiska dimensionalitet för att detektera sprickor. Strukturtensorn anses vara ett lämpligt verktyg för att åstadkomma detta.
• Bildanalys. Filtrering, tröskling, segmentering, bedömning av sprickors utse-ende med hjälp av polygonapproximation.
• Andraderivata kan användas som en indikator för sprickförekomst. Speciellt intressant är det att studera andraderivatans värde längs linjer, för att kunna detektera sprickor utan att punktformade lokala minima uppmärksammas. • Estimering av lokala strukturers orientering med hjälp av orienteringstensorn. Se avsnitt 4.6.3 för beskrivning av de ovan nämnda tensortyperna; struktur- och orienteringstensorn. Även andra verktyg såsom Neurala nätverk och Fuzzy logic har funnits med som kandidater, men inte implementerats på grund av bristande kunnskap inom dessa områden.
1.6
Indata
VTI kommer att leverera bilderna som ska analyseras. I första hand används analog videofilm, inspelad med PAVUE, som har digitaliserats. PAVUE:s videofilmer inne-håller även information om vilken position i vägens längsriktning fordonet hade när bilden togs. Detta är kodat med streckkod och återfinns i kanten av VHS-bandet, utanför det område som normalt visas på en VHS-bandspelare. Alltså bör det gå smidigt att foga samman dessa bilder. Dessvärre fanns det inte möjlighet att avko-da denna sidoinformation inom ramen för detta examensarbete, eftersom företaget Ramböll/OPQ som har tillgång till specifikationer för tillfället inte ville dela med sig av dem till VTI. Den teknik som i stället har använts för att sammanfoga bilder beskrivs i avsnitt 6.1.3.
Kapitel 2
Bakgrund
I detta kapitel presenteras begrepp och terminologi som används för att beskriva vägytors sprickor.
2.1
Grundläggande begrepp
Definition 2.1 Longitudinella sprickor sträcker sig längs vägens utredningsrikt-ning. Transversella utbreder sig tvärs över vägen.
Vägbanan kan delas in i fem zoner, de två hjulspårens områden, mellan spåren och utanför spåren. Zonerna numreras enligt följande: Zon 1 är mitten av vägen, zon 2 är det inre hjulspåret, zon 3 är mellan hjulspåren, zon 4 är det yttre hjulspåret och zon 5 är vägkanten, enligt [12, 8, 1, 11]. Se figur 2.1.
2.1.1
Textur och ojämnhet
Textur innebär den skrovlighet som finns i vägytan. Texturbegreppet kan delas in i tre klasser; mikro- makro- och megatextur, vilka beskriver skrovlighet på olika spatiala frekvenser. Friktionen mellan en bils hjul och vägytan är starkt kopplad till vägytans mikro- och makrotextur.
Ojämnhet innebär de höjdskillnader i vägytan som medför att fordon i första hand drabbas av vibrationer och krängningar, alltså betydligt lägre spatial frekvens än texturbegreppet.
2.2
Olika sorters sprickor
Det finns flera aspekter som motiverar detektering av sprickor. En aspekt är att sprickor i vägytan låter vatten tränga ner i vägkroppen. Detta leder till att vägen bryts ner snabbare och livslängden minskar. På grund av detta finns intresse av att detektera när en väg börjar utveckla sprickor. För övrigt vill man upptäcka
8 Bakgrund 0.76 m Yttre hjulspår Vägren Mittlinje Inre hjulspår 2.9 m 0.76 m 0.76 m Zon 2 Zon 3 Zon 4 Zon 5 Zon 1
Figur 2.1. Vägbanans indelning i zoner
sprickor i vägytor dels för att skador ska repareras och de behöver kartläggas inför lagningen, dels kan man använda informationen om sprickförekomst som indikator på hur vägen mår. Utifrån denna indikator kan man sedan besluta vilka eventuella åtgärder som behöver sättas in på vägen.
Förekomsten av sprickor är enligt [12] en viktig indikator på underliggande skador. För att kunna bedöma risken för underliggande skador är det viktigt att studera inte bara hur mycket sprickor det förekommer i vägytan, utan även hur sprickorna ser ut. Olika typer av slitage på vägytan genererar sprickor med olika typer av utseende. Genom att känna igen dessa karakteristiska utseenden på spric-korna kan man förstå vilken bakomliggande process som har genererat dem, och utifrån detta fatta beslut på lämplig åtgärd.
Det finns flera olika standarder för att dela in sprickor i klasser. [16] föreskriver följande indelning:
• Längsgående spricka i spår • Tvärgående spricka i spår • Spricka i spårkant • Krackelering
• Spricka ej i spår (exempelvis tjälspricka) • Fogspricka i vägmitt
2.2 Olika sorters sprickor 9
• Spricka tvärs vägen • Spricka på vägren
Listan i [16] innehåller även övriga ytdefekter såsom slaghål, stensläpp, blödning, separation och lappning och försegling.
Den listan är troligtvis för omfattande för att något automatiskt sprickdetekte-ringssystem skulle kunna hantera en sådan klassificering. Vid beräkning av spric-kindex, se avsnitt 2.5, används endast tre klasser, krackelering, längsgående och tvärgående. Detta ligger till grund för valet av klasser i implementeringen av klas-sificering i detta examensarbete. Mer om det i avsnitt 5.6.
Sprickor kan delas in i sex typer enligt [12]. Dessa sex typer beskrivs nedan.
2.2.1
Belastningssprickor
Tung trafik orsakar belastningssprickor. Dessa förekommer i huvudsak i hjulspå-ren, zon 2 och 4, och kan börja i vägbeläggningens underkant eller yta. Om de växer underifrån framträder de i hjulspårets mitt som tvärgående sprickor, annars framträder de i hjulspårets kant som längsgående sprickor. Längsgående sprickor i mitten av hjulspår kan också förekomma. När sprickorna utvecklas blir de längs-gående sprickorna bredare och kan breda ut sig utanför hjulspårens zoner. Till slut kollapsar vägytan och krackelering uppstår.
2.2.2
Krackelering
Krackelering uppkommer som en följd av belastningssprickor, tjälsprickor eller kantsprickor. Krackelering börjar som smala sprickor i ett rutmönster som sedan blir bredare. Till sist lossnar bitarna från varandra.
2.2.3
Tvärgående sprickor
Krympningar i asfaltkonstruktionen orsakar sprickor som sträcker sig tvärs över hela vägen. De kan uppkomma till följd av temperaturförändringar eller att de un-derliggande betongplattorna rör sig. När de tvärgående sprickorna har uppkommit förvärras de av trafikbelastning. Detta kan leda till att mindre sprickor växer fram i anslutning till huvudsprickan, krackelering uppstår.
2.2.4
Tjälsprickor
Dessa sprickor är både breda och djupa och sträcker sig längs vägen. På smala och breda vägar kan tjälsprickor förekomma i vägkanten (zon 5), på normala vägar kan de finnas i mitten (zon 1). Ojämna tjällyftningar orsakar dessa sprickor som efter hand blir bredare, varefter tvärgående sprickor uppkommer i anslutning till huvudsprickan. Till slut uppkommer krackelering.
10 Bakgrund
2.2.5
Fogsprickor
Fogsprickor förekommer i skarven mellan två längsgående beläggningsdrag i de fall då beläggningsdragen har dålig skarvning eller dåligt överlapp. Sprickorna blir helt raka och förekommer i zon 1 och skarven mellan zon 4 och 5. De börjar som smala sprickor, blir bredare och till slut bildas sidosprickor i anslutning till huvudsprickan.
2.2.6
Kantsprickor
Dessa sprickor är både breda och djupa. Dåligt underlag i kanten av vägen och tjälskador orsakar kantsprickor. De kan även uppkomma p g a dålig vattenavrinning eller tung trafik på smala vägar. De börjar som smala sprickor som blir bredare med sidosprickor. Därefter följer krackelering.
2.3
Polygonbeskrivning av sprickor
En spricka är ofta komplicerad i sin utbredning, med förgreningar och samman-slutningar. Med en spricka menas alla dessa delsprickor som är sammankopplade. Om man från en bild har beräknat vilka pixlar som kommer från en position där det finns en spricka kan man approximera dessa sprickor med polygoner enligt [9]. Detta genom att använda de pixlar som finns i sprickans kant som hörn i polygoner.
2.4
Förslag på mått som beskriver egenskaper hos
sprickor
Sprickors egenskaper kan mätas genom att sprickorna först approximeras med poly-goner enligt [9]. Därefter går det att räkna ut ett antal egenskaper från polypoly-gonerna. I dessa beräkningar har man hjälp av en rektangel som innesluter hela sprickan.
Man kan för varje spricka räkna ut spricklängden som den totala omkretsen hos polygonerna dividerat med två. Longitudinell och transversell utsträckning beräknas som längd och bredd hos rektangeln, sprickans position utgörs av koordi-naterna som bildar polygonerna. Sprickans riktning eller orientering kan beräknas som vinkeln mellan vägens utbredningsriktning och rektangelns diagonal.
Sprickans form kan beräknas som sprickans längd dividerat med diagonalens längd. Man kan beräkna hur stor del av en yta som innehåller sprickor genom att dividera arean täckt av sprickor med den totala arean.
2.5
Sprickindex
Sprickindex (Si) kan enligt [7] beräknas som
2.6 Sprickors bredd 11 där Kr = Krlåg(m) + 1.5Krmedel(m) + 2Krsvår(m), LSpr = LSprlåg(m) + 1.5LSprmedel(m) + 2LSprsvår(m), T Spr = T Sprlåg(st) + 1.5T Sprmedel(st) + 2T Sprsvår(st). (2.2)
Nedan följer förklaring på ingående begrepp i ekvation 2.1 och 2.2:
Kr: Krackelering
LSpr: Längsgående sprickor TSpr: Tvärgående sprickor
Låg, medel och svår: Svårighetsgrad på sprickan, enligt klassificering i [16]. Dessa beskrivs nedan.
m, st: Meter, antal
Sprickindex beräknas enligt ovan baserat på längden hos sprickor av typen krackelering och längsgående. När det gäller tvärgående sprickor räknas de i stället till antalet.
Svårighetsgraden på en spricka eller krackelering kan enligt [7] bestämmas med följande kriterier:
Låg: Hårfin, sluten/slutna. Inget material har lossnat från beläggningen Medel: Öppen/öppna. Inget eller endast lite material har lossnat från
beläggningen
Svår: Avsevärt öppen/öppna. Material har lossnat från beläggningen
2.6
Sprickors bredd
Mätning av sprickors bredd är en besvärlig aspekt vid automatisk detektering. Bredden på en spricka är naturligt varierande längs sprickans utbredning. Den bredd som syns vid fotografering rakt uppifrån behöver inte vara den bredd som man har intresse av att mäta. En spricka kan ha olika bredd på olika djup, vilket gör att metoden riskerar att beräkna en bredd som kan vara både för liten och för stor. Detta illustreras i figur 2.2.
Ett avsnitt i American Association of State Highway and Transportation Offici-als, AASHTO, [1], med beteckning PP44-00 innebär ett förslag till standardisering av sprickmätning. Därur har VTI föreslagit följande i [11]. För att kunna skilja på belastningssprickor och övriga sprickor behöver man endast ta hänsyn till vilken zon de befinner sig i. Sprickor i zon 2 och 4 blir då belastningssprickor och sprickor i övriga zoner blir icke belastningsbetingade. I tillämpningar baserade på denna standard behövs alltså inte mer än två klasser av sprickor, vilket är en ganska kraf-tig reducering från de 10 klasser som föreskrivs i [16] och räknas upp i avsnitt 2.2.
12 Bakgrund
Figur 2.2. En sprickas bredd kan variera både på djupet och på längden. Bilden är
hämtad från [9].
Förenklingen med endast två klasser medför att resultatet från metoden som följer standaren borde vara begränsat till att endast kunna mäta vägytans eventuella belastningsskadors svårighetsgrad. Den begränsningen gäller nog inte detta exa-mensarbete, eftersom sprickor klassificeras i fyra klasser, se avsnitt 2.8 och 5.6. Dock har klassificeringens kvalitet inte validerats i någon större utstreckning. Vil-ka zoner sprickorna befinner sig i tas inte hänsyn till, sprickornas utseende avgör vilken klass de hamnar i.
Vidare beskriver AASHTO att hela bredden av vägen bör inventeras. En spricka definieras som en diskontinuitet i beläggningen, minst 3 mm bred och 25 mm lång. Sprickor kan vara longitudinella och transversella, diagonala och sammankopplade med varandra. Beroende på bredden av sprickor klassificeras de i tre säkerhetsni-våer:
Nivå 1: Sprickor smalare än 3 mm Nivå 2: Bredd från 3 till 6 mm Nivå 3: Sprickor bredare än 6 mm.
Säkerhetsnivåer på en vägsträcka kan därefter beräknas som den totala längden av sprickor inom de olika nivåerna per ytenhet.
2.7
Alternativa sprickmått
Universal Cracking Indicator beskrivs i [14] och beräknas som:
2.8 Val av sprickmått 13
Detta beräknas separat för tre olika spricktyper; longitudinella, transversella och krackelerade sprickor. Utbredning betyder i det här fallet andelen av ytan som täcks av sprickor, intensitet den totala längden av sprickor inom utbredningen och sprickbredd innebär medelbredden av alla sprickor. Det totala måttet blir:
CI = 100(lLwL+ lAwA+ lTwT)
A .
Texas Department of Transportation Method, TxDOT, föreslår enligt [14] föl-jande; vägen delas in i segment, typiskt 100 ft = 31 m. Longitudinella sprickor mäts genom att approximeras med en rät linje, och längden på dessa linjer rela-tivt segmentstorleken blir måttet. Transversella sprickor mäts i antal per segment. Tvärgående sprickor måste sträcka sig över hela vägen för att räknas som trans-versella, annars klassificeras de som partiella sprickor. Krackelering mäts i hur stor del av hjulspåren som täcks av krackelering.
2.8
Val av sprickmått
Studien av sprickmått och spricktyper leder till följande beslut. Sprickindex verkar vara lämpligt att beräkna, eftersom det är en standard som används på VTI för att bedöma vägytors tillstånd. Sprickors bredd mäts i tre nivåer enligt [16]. Vid beräkning av sprickindex används dessa tre nivåer för att avgöra sprickors svårig-hetsgrad. Nivå 1, nivå 2 och nivå 3 används då för att avgöra om svårighetsgraden är låg, medel och svår.
Sprickor klassificeras i fyra klasser:
1. Längsgående sprickor
2. Tvärgående sprickor
3. Krackelering
4. Diagonala sprickor
De fyra klasserna illustreras i figur 2.3. I figuren ritas alla spricktyper utom krac-kelering som okomplicerade linjer. Om sprickor innehåller förgreningar avgörs om de har en dominerande orientering eller inte. Har de inte någon sådan klassificeras de som krackelering.
14 Bakgrund Vägren Mittlinje Längsgående Tvärgående Krackelering Diagonal
Kapitel 3
State of the art
I detta kapitel studeras vilka system och aktörer som finns på marknaden inom automatisk sprickdetektering i vägbanor.
3.1
Manuell inspektion jämfört med automatiska
system
Manuell inspektion har enligt [10] ett antal fördelar och nackdelar. Tidsåtgången minskar med automatiska system, som jobbar med färre bildpunkter jämfört med ögats kontinuerliga färg- och djupseende. Se figur 3.1.
Manuell inspektion Analog videokamera-system Metod Upplösning Tidåtgång År 1990 2000 Digital videokamera-system Figur 3.1. Historik.
Automatisk sprickinventering kan utföras bland trafik utan att vägen behöver stängas av.
16 State of the art
Ett automatiskt system har även fördelen att resultatet alltid blir detsamma om indata är detsamma. Resultatet av manuell inspektion kan variera från gång till gång, trots att de personer som utför inspektionen använder bildkataloger för att kalibrera sina bedömningar. Dessa bildkataloger kan även fungera som stöd under själva inspektionen. Bära eller brista, [16], är en handbok för tillståndsbedömning av belagda gator och vägar. Lars-Göran Wågberg, forskningsledare vid VTI och expert på väg- och gatuunderhåll, har författat handboken, idag standardverket för beläggningsunderhåll.
Den manuella tillståndsbedömningen kan resultera i ett protokoll, där hittade sprickor markeras på en karta över vägen. Ett typiskt sådant protokoll visas i bilaga B.
3.2
2D-system
Nedan följer en sammanfattning av system som utför sprickdetektering i två di-mensioner. Material har hämtats från [11] och [13].
PAVUE 4 videokameror, synkroniserat blixtljus, realtid och efterbearbetning. PAVUE kan färdas i hastigheter upp till 90 km/h vid mätning.
DHDV Digitala kameror, belysning, realtidsbearbetning i upp till 100 km/h. Differential GPS mottagare och avståndsmätningsinstrument (DMI), se [22].
ARAN 2 videokameror, synkroniserat blixtljus, efterbearbetning.
HARRIS Linjelaser med belysning. Halvautomatisk signalbehandling sker i bilen efter mätning.
RAV Road Assessment Vehicle från WDM Limited. Fordonet kan vid mätning färdas i en hastighet av 120 km/h. RAV mäter och lagrar ojämnhet i vänster hjulspår, textur1 i vänster hjulspår, horisontell radie hos kurvatur
och mätning av tvärfall. Dessutom mäts även djupet i hjulspåren. 20 lasersensorer används [26].
Road Crack Road Crack, se [28], är en australiensisk mätbil för produktion och forskning, tillverkad av ARRB och CSIRO, se figur 3.2. Den kan utföra mätning vid en hastighet på upp till 80 km/h. En digitalkamera tar bilder av vägytan, som lyses upp. Varje bild avbildar en yta på 50×50 cm. Sprickdetektering sker i realtid. Enligt [27] så kan fordonet färdas i 105 km/h och detektera och klassificera sprickor med så liten bredd som en millimeter oavsett typ av vägyta.
3.3 3D-system 17
Figur 3.2. Road Crack.
3.3
3D-system
Nedan följer en sammanfattning av system som utför sprickdetektering i tre di-mensioner. Material har hämtats från [13].
LaserVISION System Linjelaser mäter avståndet till vägen var 11:e
centimeter. Tolkning av mätvärden sker i realtid, klassificering av vägytan genom efterbearbetning. GIE Technologies Inc i Canada,
http://www.gietech.com
Phoenix Scientific Inc. i California utvecklade en fas-mätnings Laser Radar (LADAR) med vilken de sägs kunna mäta ojämnhet i vägyta och
hjulspårens djup. http://phnw-sci.com
LRMS INO i Quebec har utvecklat Laser Rut Measurement System. Systemets linjelaser mäter en fyra meter bred vägbana i 1280 punkter. Den kan färdas i en hastighet av 100 km/h och tack vare speciell optik och pulslaser med hög effekt fungerar systemet både på dagen och natten.
http://www.ino.qc.ca/en/r_d/lrms.asp
Det största problemet med laserbaserade 3D-system för sprickdetektering idag är enligt [13] att den dåliga upplösningen längs färdriktningen förhindrar detek-tering av smala sprickor längs färdriktningen. Därför pågår forskning med system som använder två kameror för att med hjälp av stereoseende beräkna en 3D-modell av vägytor. Detta beskrivs närmare i [13]. Anledningen till att 3D-system eftersträ-vas i dessa forskningsprojekt är viljan att mäta små höjdskillnader i asfalten och
18 State of the art
på så sätt detektera sprickor, medan man med 2D-system endast mäter “hur det ser ut” uppifrån.
3.4
Bildanalys
I detta examensarbete har Petra Offrells doktorsavhandling, [10] varit en viktig referens, eftersom den behandlar sprickdatainsamlingssystemet PAVUE.
Avhandlingen [10] behandlar sprickdatainsamling, metoder och tekniker för sprickdetektering och studerar sprickutveckling inuti asfaltslager. Vidare utvärde-ras teknik för automatisk insamling av sprickdata på vägytan, PAVUE. Mått för att beskriva och analysera sprickor på asfaltsvägar föreslås. Nedan beskrivs intressanta bildanalystekniker som används av PAVUE.
3.4.1
PAVUE:s bildanalys
I PAVUE-metoden ingår en analysstation för sprickdetektering. Denna har legat till grund för hur sprickdetektering har behandlats inom detta examensarbete. Skill-naden är dock att analysen i PAVUE inte använder de nya metoderna inom Da-torseende som har implementerats i detta examensarbete.
Sprickdatainsamlingen i PAVUE börjar med att videokamerorna filmar vägy-tan och detta lagras på videoband. För detaljer kring videokamerasystemet se avsnitt 4.1. Analysstationen bearbetar videobilderna och tar bort områden utan sprickor.
Sprickanalysen finns i tre olika utföranden; vägnätsnivå, programnivå och ob-jektnivå. Analys på vägnätsnivå beräknar andelen av vägytan som är sprucken enligt rutnätsmodellen. Analys på programnivå tar hänsyn till hur stor del av sprucken yta som finns innanför eller utanför hjulspåren. Analys på objektnivå ger information om varje sprickas egenskaper, såsom längd, riktning mm. Detta enligt information på Rambölls hemsida, [25].
För att analysen ska fungera på vägytor med olika typer av textur (se av-snitt 2.1.1), olika färg och olika stora sprickor finns parametrar som behöver ställas in omsorgsfullt, manuellt. Sprickdata presenteras sedan på sprickkartor i form av polygoner. Utifrån dessa polygoner beräknas sprickornas egenskaper.
3.5
Datorseende
Exempel på sprickdetekteringsproblem som tidigare har lösts med hjälp av Dator-seende är att urskilja träflisor i pappersmassa och sprickor i metallytor.
Företaget OptoNova har utvecklat ett system för detektering av ytdefekter i t.ex. golv och förpackningar [31]. Analysen resulterar i detektering av olika ty-per av defekter; ljushet och färgdefekter, glansdefekter, höjdavvikelser i ytan och mönsterdefekter. Syftet är att avsyna ytor i produktionslinjen i realtid. Om inga defekter upptäcks garanteras god kvalitet, vid detektering av defekter varnas pro-ducenten och eventuellt stoppas produktionen. Surfcheck använder en kamera av
3.6 Slutsatser 19
typen “Smart kamera M50” med en upplösning på 512 × 1536 pixlar och optik av typen “OptoNova Split Vision Pro1”. Ytan belyses med fiberoptisk linjebelysning.
3.6
Slutsatser
Studien av befintliga sprickdetekteringssystem leder till följande slutsatser. Sprick-detektering med kamera behandlar vägytan enbart utifrån intensitetsvärden medan lasersystem hanterar data som beskriver ytans nivå. Lasersystem kan ha en mycket hög upplösning i ena riktningen (längs mätbilens färdriktning) men begränsad i den andra, vilket leder till att smala längsgående sprickor kan vara svåra att upptäc-ka. De smala sprickorna är mycket intressanta att upptäcka och laga i tid för att minska lagningsarbete. Bildanalys har en lång tradition inom sprickdetektering och kommer nog att finnas kvar i tillämpningar några år framöver, men Datorseende har fördelar som kommer att leda till att metoderna i mätbilarna på sikt kommer att vara baserade på Datorseende. Detta examensarbete visar förhoppningsvis att en sådan utveckling kan vara möjlig.
Kapitel 4
Teori
I detta kapitel behandlas hur PAVUE:s bildinsamling går till ur ett bildbehand-lingsperspektiv. Grundläggande begrepp inom bildbehandling introduceras för att sedan användas för att beskriva den teori som ligger till grund för Datorseende.
4.1
PAVUE:s videokameror
PAVUE:s videokameror är monterade på en ställning som hänger ut bakom bilen ungefär två meter över vägytan, se figur 4.1. De är riktade rakt nedåt och filmar var och en en yta på cirka 100 × 130 cm [10]. Se figur 4.2 för en översikt av geometrin och figur 4.4 för en detaljerad beskrivning av uppställningen. Kamerorna samlar in bilder 25 gånger per sekund. Bilderna lagras på videoband med en upplösning på 2.2 mm. Eftersom varje bild avbildar 1 m väg längs färdriktningen ger detta att bilderna överlappar varandra när bilen färdas med hastigheter lägre än 25 meter/sekund = 90 km/h. Detta gäller när en bild extraheras ur varje videoframe. Om två bilder extraheras ur varje videoframe enligt metoder som presenteras i avsnitt 6.1.2 kan mätbilen färdas snabbare än 90 km/h medan bilderna fortfarande överlappar.
Kamerornas slutartid är 1/200000 sekunder = 5 µs vilket är mycket kort, i “van-liga” fotosammanhang anses en slutartid på 1/1000 till 1/4000 sekunder vara lämp-lig för att fotografera objekt i rörelse. Detta motsvarar en slutartid på 1 till 4 ms.
Kameran utför en plan projektion av världen enligt figur 4.4. Världen är i detta fall förhållandevis plan om vägen är jämn. Dock är avståndet från vägen till kamerans projektionscentrum kortare i mitten än ut mot kanterna av bilden, se figur 4.5 och figur 4.6. Detta avstånd, x, mellan projektionscentrum och bildplanet, är
x = h/ cos α (4.1)
enligt [3]. Storheterna definieras i figur 4.6. Detta leder till att bildpunkterna i bilden representerar olika stor yta från den filmade ytan (vägytan). Detta skulle kunna ställa till bekymmer vid mätning av sprickors egenskaper, men distorsionen är relativt liten. Det vinkelräta avståndet mellan en kameras projektionscentrum
22 Teori
Figur 4.1. PAVUE:s kameror.
och vägytan är ungefär två meter. Detta tillsammans med måttet på den filmade ytan ger att αmax≈ 14◦. Värdet på x kommer nu att variera ungefär 6 cm för olika
α. x är alltså ungefär 6 cm större vid bildens kant än i mitten av bilden. 6 cm kan låta mycket men detta värde gäller bara allra längst ut på bilden.
Vid sammanfogning av närliggande bilder, vilket behandlas i avsnitt 6.1.3 blir effekten märkbar. Det går dock att sammanfoga bilderna utan att ändra den av-bildade asfaltens perspektiv. Bilderna läggs intill varandra med lämpligt överlapp och sedan skapas en ny bild där intensitetsvärden i bildpunkterna gradvis går från den första bilden till den andra. Övergången får en acceptabel oskärpa. Det finns inget krav på hur stort överlappet behöver vara, det går att sammanfoga bildserier där överlappet är minimalt utan att störande kanter mellan bilderna uppstår.
4.2
PAVUE:s belysning av vägbanan
Vägytan belyses med stroboskopljus av PAVUE, se figur 4.3. Detta möjliggör mät-ning oavsett solljusförhållanden. Strobljuset i kombination med kort slutartid ger skärpa i bilderna i så höga hastigheter som 90 km/h.
4.2 PAVUE:s belysning av vägbanan 23
Figur 4.2. Vägyta som täcks av PAVUE:s kameror.
Figur 4.3. Strobljus belyser vägytan.
Ljuskällans placering i förhållande till kamerorna framgår av figur 4.1 och fi-gur 4.2. I det ideala fallet vore det önskvärt att ha ljuskällan rakt under kamerorna, men det är inte praktiskt genomförbart då vägytan skulle skymmas. Ljuskällans placering i förhållande till kamerorna medför att intensitetsnivån i bilderna mins-kar då avståndet från bilen ömins-kar. Denna spatiella intensitetsförändring ger vid sammanfogning av flera bilder ett upprepat mönster av mörka och ljusa områden, förändringen är dock så liten till sin magnitud att någon utjämning är onödig, sprickdetekteringsalgoritmen påverkas ej nämnvärt.
24 Teori Kamera x y z V U Projktions-centrum Objektplan Bildplan
Figur 4.4. Till vänster: kamerans placering i förhållande till vägen. Till höger:
geomet-riska samband i uppställningen. (U, V ) är ett koordinatsystem i bilden och (x, y, z) är en uppsättning koordinater i världen, där (x, y) ligger i vägytan. Val av koordinatsystem har inspirerats av [17] som i sin tur har hämtat uppställningen från D.H. Ballard, C.M. Brown, Computer Vision.
Projektions-centrum
Figur 4.5. Avståndet till projektionscentrum är samma längs rutnätet.
4.3
Val av koordinatsystem
I denna rapport används vanligtvis ett tvådimensionellt koordinatsystemet med x-axel och y-axel enligt figur 4.7. Riktningen på y-axeln kan variera beroende på att Matlab använder olika konventioner beroende på om man hanterar bilder eller ritade figurer, origo placeras i Matlab i ett av de vänstra hörnen.
4.4 Metrik 25 Objektplan (vägytan) Bildplan Optisk axel Kameralins α x h
Figur 4.6. Illustration av avståndet mellan bildplan och objektplan. x är avståndet
mel-lan kamerans projektionscentrum och vägytan. α är vinkel mot den optiska axeln. Pilarna markerar ljusstrålars riktning när de färdas från objektet genom linsen till bildplanet. Bil-den baserar sig på uppställningen i [3].
x y Bild x y a) b)
Figur 4.7. Placering av x-axel och y-axel.
4.4
Metrik
För att kunna tala om avstånd i digitala bilder behöver man definiera hur avståndet ska mätas. Sådana avståndsmått kallas “metrik” [3]. En pixel kan ha olika antal grannar beroende på vilken metrik som används.
Det ideala och “korrekta” avståndsmåttet är det euklidiska avståndet, men heltalsapproximationer kan ibland vara användbara. Exempel på sådana är d(4) -metrik, d(8)-metrik och oktagonal metrik. De illustreras grafiskt i figur 4.8.
Valet av metrik påverkar resultatet vid klassificering av sprickor. Om d(8)-metrik
används kan smala diagonala sprickor detekteras som sammanhängande objekt. Detta är önskvärt, därför används d(8)-metrik trots att detta kan leda till att
när-26 Teori
liggande sprickor kan kopplas ihop felaktigt.
d(4)-metriken kallas även “City block-distance” [3] eftersom den påminner om hur gator och hus är placerade i en stad.
d(8)-metriken kallas “Chessboard distance” [3], eftersom den fungerar på
samma sätt som kungen på ett schackbräde. Avståndet till en punkt blir det antal drag en kung behöver för att ta sig dit.
Oktagonal metrik är en kombination av de båda tidigare. Avståndet beräknas genom att man använder d(4) och d(8) växelvis, varannan gång. Oktagonal metrik uppskattar de diagonala avstånden bättre än d(4) och d(8) [3].
2
1
2
1
0
1
2
1
2
3
2
3
3
2
3
3
2
3
3
2
3
1
1
1
1
0
1
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
4
4
4
4
2
1
2
1
0
1
2
1
2
2
2
2
2
2
2
2
2
2
2
2
2
3
3
3
3
Figur 4.8. d(4)-metrik, d(8)-metrik och oktagonal metrik. Siffrorna ska tolkas som
av-ståndet till origo, nollan i mitten.
4.5
Operationer på binära bilder
En binär bild är en bild där intensitetsvärdena endast kan anta två olika värden, ett eller noll. För att skapa en binär bild från en gråskalebild behövs ett tröskelvärde. De pixlar som har intensitet högre än tröskelvärdet sätts vid trösklingen till ett och övriga till noll.
När man sedan har en binär bild finns det en mängd intressanta lågnivåope-rationer som kan utföras för att t.ex. förbättra bilden eller beräkna enkla mått. Dessa operationer kallas morfologiska. Ett strukturelement används vid dessa ope-rationer. Detta strukturelement är en samling ettor och nollor som symboliserar en liten omgivning i bilden, ofta 3×3 pixlar. Se figur 4.10 för exempel på användbara strukturelement.
Operationen applicerar strukturelementet på varje pixel i den binära bilden som ska behandlas. Hur strukturelementet vägs in i bilden beror på metoden.
Exempel på några grundläggande morfologiska operationer visas i figur 4.9. Vid dessa operationer användes strukturelement som visas i figur 4.10. Krympning och expansion är de mest grundläggande operationerna, om dessa utförs efter varandra
4.5 Operationer på binära bilder 27
skapas operationerna slutning respektive öppning. Öppning är krympning följt av expansion och slutning är expansion följt av krympning.
En annan intressant operation är “hit-and-miss”, som kräver två strukturele-ment. Det krävs för en viss pixel i inbilden att omgivningen ska stämma överens med det ena strukturelementet men inte med det andra för att resultatet ska bli ett i den pixeln. Teorin bakom hit-and-miss-algoritmen är hämtad från [15, Part IX, avsnitt 51.9.6].
Original
Hit−and−miss
Expansion Krympning
Öppning Slutning
Figur 4.9. Några morfologiska operationer. Inbilden är hämtad från [15].
- - -- 1 -- - -1 1 1 1 1 1 1 1 1 - 1 -1 - 1 - 1 -a) b) c)
Figur 4.10. Strukturelement som användes vid metoderna som visas i figur 4.9. Vid
krympning, expansion, slutning och öppning användes strukturelement a). Hit-and-miss använde både strukturelement b) och c). Ett “-” innebär att pixelns värde inte spelar någon roll.
En populär metod för kantdetektering är “Canny”. Den använder sig av en me-tod som genomför tröskling med hysteres. Detta beskrivs för övrigt i avsnitt 6.2.2.
28 Teori
Canny finns implementerad i Matlabs funktion edge. Canny var inte lämplig att använda i det här examensarbetet vilket motiveras i avsnitt 6.2.2.
4.6
Datorseende
Begreppet Datorseende har behandlats tidigare i avsnitt 1.2. Här följer en beskriv-ning av grundläggande teori och begrepp inom området Datorseende.
4.6.1
Intrinsisk dimensionalitet
En bild är en tvådimensionell signal. Den yttre dimensionen är två. Den inre dimen-sionen innebär i bildfallet dimendimen-sionen på signalen i en punkt, en pixel. En pixel innehåller för en gråskalebild ett intensitetsvärde så den inre dimensionen är ett. Färgbilder kan ha en uppsättning (r,g,b)-värden i varje pixel, den inre dimensionen för en sådan färgbild är tre.
Den intrinsiska dimensionaliteten hos en signal är ett om signalen är konstant längs med en riktning. I en bild motsvarar en intrinsisk endimensionell omgivning t.ex. linjer och en intrinsiskt tvådimensionell omgivning motsvarar t.ex. hörn. En omgivning med intrinsisk dimension ett kallas enkel.
4.6.2
Dubbla vinkeln-representation
Först behövs en definition på vad en linjes orientering innebär. Orienteringen hos en intrinsiskt endimensionell signal tolkas här som normalen till riktningen där signalen förblir konstant. I linjefallet blir orienteringen linjens normal.
I figur 4.11 syns att en linje kan ha två olika normaler. De två linjerna i figuren har samma riktning, men deras normaler är riktade åt motsatta håll. Om man studerar vinklarna mellan en horisontell linje och dessa normaler finner man att det skiljer 180◦ mellan dem. För att entydigt kunna hantera orientering hos linjer måste man välja en normal på ett konsekvent sätt. Om man räknar ut vinkeln mellan horisontalplanet och den ena normalen och sedan multiplicerar detta med två så visar det sig att man får ett värde som blir samma oberoende av vilken av de två normalerna som har valts. Man kan på så sätt konsekvent välja en entydig ori-entering för varje linje. Dessa dubbla vinklar har ritats innanför cirkeln i figur 4.12. Om man sedan dividerar värdet med två får man den normalen som har en vinkel mot normalplanet i intervallet [−90◦, +90◦].
4.6.3
Tensorrepresentation
Syftet med tensormetoderna är att skapa lokala modeller som beskriver signalen. I praktiken skapas en tensor för varje pixel i bilden. Tensorer kan bland annat beskriva signalens orientering och struktur.
Definitioner av tensorrepresentationer och deras namn är för närvarande inte helt tydliga. Detta beror på att tekniken är förhållandevis ny, troligtvis kommer
4.6 Datorseende 29 Horisontalplan α2 α1 Normal 1 Normal 2
Figur 4.11. En linje kan ha två olika normaler, normal 1 och normal 2. Dessa har vinklar
mot horisontalplanet α1 och α2 som skiljer sig med 180◦.
Figur 4.12. En cirkel illustrerar orienteringsbegreppet. Cirkeln liknar lokalt räta
lin-jer som tangerar cirkeln. Tangenternas orientering är utritad med vektorer. Vektorerna innanför cirkeln är riktade med dubbel vinkel.
tydliga definitioner att slå igenom framöver. I denna rapport används konventionen som framgår av figur 4.13.
Det är vanligt att man i beräknar tensorn för en lokal omgivning för att sedan ur den kunna bestämma beräkna signalens egenvärden och egenvektorer i om-givningen. En tensor för en lokal omgivning kan emellertid skapas med hjälp av signalens egenvärden och egenvektorer genom att yttre produkter, se definition 4.1, av riktningsvektorerna läggs ihop viktade med tillhörande egenvärden. Detta visas i exempel 1.
30 Teori
Orienteringstensor
Strukturtensor
Polynomexpansion
Kvadraturtensor
Figur 4.13. Orienteringstensor är i denna rapport ett samlingsnamn för
strukturten-sor, tensor beräknad med polynomexpansion och tensor beräknad med kvadraturfiltre-ring. Andra konventioner förekommer i bildbehandlingslitteratur. Orienteringstensorn kan ibland kallas strukturtensor och strukturtensorn kan kallas gradienttensor.
Definition 4.1 Den yttre produkten mellan vektorerna a och b är abT =a1 a2 b1 b2 = a1b1 a1b2 a2b1 a2b2 .
Yttre produkten av vektorn a med sig själv blir
aaT = a21 a1a2 a1a2 a22 .
Detta är en symmetrisk matris. Tensorer som byggs upp av yttre produkter blir alltid symmetriska.
Utifrån tensorn T (observera att T12= T21) fås dubbla vinkelrepresentationen
z enligt T =T11 T12 T21 T22 ⇒ (4.2) z =T11− T22 2T12 . (4.3) Exempel 1
Beräkna en enkel 2D-signals orienteringstensor.
En enkel signal har bara ett egenvärde som är skilt från noll. Här antas att det största egenvärdet är ett och det andra noll. Egenvektorn som hör till det egenvärdet som inte är noll antas här vara riktad i x-led. Den andra egenvektorn måste då vara riktad i y-led, eftersom egenvektorer är ortogonala:
λ1= 1 λ2= 0 (4.4) ˆ e1= 1 0 ˆ e2= 0 1 . (4.5)
4.6 Datorseende 31 Tensorn blir: T = λ1ˆe1ˆeT1 + λ2ˆe2eˆT2 = λ1 1 0 1 0 + λ2 0 1 0 1 = λ1 1 0 0 0 + λ2 0 0 0 1 = 11 0 0 0 + 00 0 0 1 =1 0 0 0 . (4.6)
4.6.4
Tensorestimeringsmetoder
Tensorer kan byggas med hjälp av bildens gradienter, då genom en yttre produkt mellan derivatan i x- och y-led.
∇f (x, y) = fx(x, y) fy(x, y) (4.7) Q = ∇f (∇f )T = f2 x fxfy fxfy fy2 (4.8)
Q i ekvation 4.8 kallas gradienttensorn. Om denna medelvärdesbildas med närlig-gande omgivningar (spatiell medelvärdesbildning) fås strukturtensorn enligt [30]. Ur strukturtensorn kan man beräkna mått på enkel struktur, detta beskrivs i av-snitt 6.2.5.
Tensorer kan även byggas upp utifrån resultatet av kvadraturfiltrering, vilket ger kvadraturfiltertensorer. Yttre produkter av filterriktningarna med sig själva ger en uppsättning basfunktioner. En dual uppsättning till basen kan beräknas. Dessa viktas med absolutbeloppen av tillhörande kvadraturfiltersvar och bygger upp orienteringstensorn. Detta har provats i examensarbetets utvecklingsstadium, men övergivits till förmån för metoder med strukturtensor och polynomtensor.
Matlab-funktionen image2orient använder sig av polynomexpansion för att beräkna tensorer. image2orient anropar funktionen make_tensors_fast. Dessa Matlabfunktioner är utvecklade på ISY och ingår inte i Matlabs standardutgåva. Tensorberäkning baserat på polynomexpansion är snabb, men det går dock att op-timera övriga tensorestimeringsmetoder och få dem lika snabba om man anstränger sig. Metoden är besläktad med gradienttensorn.
32 Teori
4.7
Linjedetektering
4.7.1
Laplace
Laplaceoperatorn definieras i två dimensioner som summan av andraderivatan i x-och y-led, enligt definition 4.2.
Definition 4.2 Laplace-operatorn ∇2 definieras som ∇2f (x, y) = ∂2 ∂x+ ∂2 ∂y f (x, y) = ∂ 2f (x, y) ∂x + ∂2f (x, y) ∂y .
En lokal tröskelsättning kan implementeras genom Laplace-filtrering följt av global tröskelsättning.
Filtrering med Laplace-filter kan göras med funktionen conv2_laplace. Funk-tionen är utvecklad på ISY och ingår inte i Matlabs standardutgåva. Positiva fil-tersvar kommer från mörka linjer på ljus omgivning. Dessa behålls och de negativa nollställs. Detta kan behöva göras i flera skalor för att behålla både breda och smala sprickor. Se figur 6.5 b) för exempelbild.
En skiss av algoritmen bakom metoden riktad Laplace följer här:
Anpassa först ett andragradspolynom som approximerar signalen lokalt enligt f ∼ c + bTx + xTAx. Detta andragradspolynom utgörs av tre parametrar; c, b och A. c är signalens grundnivå1, b förstagradsfaktor och A andragradsfaktor. c
och b är vektorer och A är en matris. Teori inom ämnet polynomexpansion har hämtats från [4]. Beräkna sedan A. Räkna ut egenvärden L1 > 0 och L2 = 0 på
A som motsvarar andraderivator i 2D. För en mörk linje så ska vi ha en negativ andraderivata ortogonalt mot linjen och noll i andra riktningen. Vi letar alltså efter omgivningar som har L1> 0 och L2= 0. Resultat visas i figur 6.5 c).
Test har gjorts med riktad Laplace i olika skalor. De breda sprickorna går bra att upptäcka med stor standardavvikelse i polynomexpansionen. Däremot går det inte att få med smala sprickor utan att strukturen hos de ljusare delarna av vägen slår igenom, se figur 6.6. Test för att kompensera detta misslyckades, diverse me-delvärdesbildning och linjedetering av delresultatet från riktad Laplace med liten standardavvikelse genomfördes. Till slut fanns en metod som gav acceptabelt re-sultat, men det visade sig att andra metoder var med robusta och dessa användes istället för att undvika detektering av falska sprickor. Det som användes för sprick-detektering i slutprodukten var strukturtensor och orienteringstensor.
Kapitel 5
System design
5.1
Ingående delsystem
Figur 5.1 illusterar delsystemens interagering. De första momenten som handlar om bildinhämtning och digitalisering beskrivs i detalj i kapitel 6, momenten in-uti den grå rutan i figur 5.1 beskrivs i detta kapitel. Här följer en kort översikt över samtliga delsystems funktion. Mätbilen PAVUE filmar asfalt och lagrar det-ta på VHS-band. Avsnitt ur dessa inspelningar digidet-taliseras och konverteras till stillbilder, 25 bilder per sekund1, avsnitt 6.1. Eftersom bilderna är interlacekodade används en deinterlace-funktion för att plocka ut bilder ur bildrutorna, antingen en eller två bilder per bildruta, se avsnitt 6.1.2. Sedan sammanfogas dessa bilder, av-snitt 6.1.3. Hur mycket bilderna ska överlappa beräknas med disparitet-funktionen, avsnitt 6.1.3. Därefter utförs sprickdetektering, förbättring av sprickkartan och klassificering.
Den samling Matlab-funktioner som har producerats under arbetets gång kallas Crack-Aware. Detta består av verktyg för bildinläsning, förberedelse av datamängd för den automatiska analysen, och det grafiska användargränssnitt som beskrivs i avsnitt 5.7 vilket utför den automatiska analysen. Detta programpaket ger an-vändaren möjlighet till att läsa in och analysera bilder från ett kameramätsystem utformat för sprickmätning, t.ex. PAVUE. Hur detta programpaket ska användas beskrivs i en manual som medföljer Crack-Aware.
5.2
Kombinering av metoder
För att skapa ett detekteringssystem som kan hantera olika vägbeläggningar behö-ver bilder tagna på vägytorna behandlas med olika algoritmer beroende på egen-skaper hos beläggningstypen. Vägytor kan byggas med olika material, såsom asfalt,
1Tekniken möjliggör även 50 bilder per sekund om all information lagrad på VHS-banden
utnyttjas.
34 System design sammanfoga sprick-detektering förbättra sprickkarta klassificera Sprickdetektering och klassificering PAVUE deinterlace disparitet
Figur 5.1. Översikt över delsystemens interagering.
betong och grus. Den australiensiska sprickdetekteringsbilen Road Crack gör just så, betongvägar behandlas med andra algoritmer än asfaltvägar. Se avsnitt 3.2.
Detta arbete behandlar endast asfaltsvägar, vilket beskrevs i avgränsningar, avsnitt 1.4. Asfalt genomgår kraftiga förändringar när den åldras. Omedelbart ef-ter asfalef-tering är ytan slät och mörk. Detta ändras med tiden och bindemedel på stenar slits bort och stenarna blir synliga. Detta innebär att vägytans struktur blir mer skrovlig. När bilder på slitna vägytor behandlas med sprickdetekteringssystem är det inte önskvärt att skrovligheten ska resultera i falsk detektering av sprickor. Vägytor med olika färg liksom blöta vägbanor borde kunna hanteras eftersom ka-merorna endast filmar i svartvitt, och en global skalning av intensiteten borde inte påverka sprickdetekteringen. Detta har dock inte testats.
Därefter behöver sprickdetekteringsalgoritmen vetskap om strukturen i vägy-tan innan analysen påbörjas för att kunna välja en lämplig metod. En slät vägyta behandlas bäst med en metod och en skrovlig med en annan. VTI:s RST-bil, se bi-laga A, mäter vägars makrotextur, som definierar vägens skrovlighet. En möjlighet är att använda data från denna metod för att hjälpa systemet välja algoritm.
Försök till kombinering av de fyra algoritmerna genomfördes. Dessa metoder är: morfologiska operationer, strukturtensor, polynomtensor och riktad Laplace. I det första försöket användes ett beräkningstungt tillvägagångssätt; alla fyra metoderna användes parallellt. Numera går det att välja vilken metod man vill använda, eller om man vill använda alla tillsammans. Sedan kombineras metodernas resultat och sprickdetekteringen presenteras i form av en sprickkarta och en orienteringskarta, detta illustreras i figur 5.2. Sprickkartan består av rutor som avspeglar 10×10 centimeter väg. Varje ruta innehåller information om sprickförekomst. Varje ruta med sprickförekomst har även en orientering som visas i en separat figur.
