2.3 Bildregistrering
4.1.3 Estimering av F
I tester av estimering av F jämförs den lineära estimeringsmetoden med den ro- busta estimeringsmetoden. Felmåttet som används är medelvärdet av avstånden för punkter till deras respektive epipolära linje för hela punktsetet och matriserna i fråga, se ekvation 3.13. Innan detta sker skalas dock matriserna om efter en sann fundamental matris ˜F eftersom jämförelsen annars inte är meningsfull. Den sanna matrisen kan beräknas, om rörelsen är känd, utifrån ekvation 2.16 där ka- libreringsmatrisen A sätts enligt ekvation 2.7. Skalningen sker därefter genom att minimera ǫ med avseende på skalfaktorn s, definierat enligt 4.1:
ǫ = i=2,j=2 X i=1,j=1 (s2F ij− ˜Fij)2+ k=2,l=3 X k=1,l=3 (sFkl− ˜Fkl)2+ m=3,n=2 X m=3,n=1 (sFmn− ˜Fmn)2+(F33− ˜F33)2 (4.1) Rörelsen som används i följande tester är en translation i x-led enligt t = [0.1 0.0 0.0]T och standardavvikelsen σ
n för det gaussiska bruset är i relation till
förflyttningen.
Först i raden av tester är ett där den lineära estimeringsmetoden jämförs med och utan normaliserade punkter, figur 4.10. Normaliseringsprocessen ska innebära att estimeringen blir mindre bruskänslig vilket testresultatet intygar.
Därefter redovisas sex olika tester med olika förutsättningar, figur 4.13-4.17, av den robusta estimeringsmetoden jämfört med den lineära metoden:
• Figur 4.11 visar hur de båda metoderna klarar av 10% outliers. • Figur 4.12 visar ett liknande test som ovan men med 20% outliers.
• Figur 4.13 visar hur metoderna påverkas när ett gaussiskt brus med σn = 0.1
är adderat.
• Figur 4.14 visar ett liknande test som ovan men med σn = 0.5.
• Figur 4.15 visar en kombination av både 40% outliers och en brusnivå med σn= 0.5.
• Figur 4.16 visar test för ökande antal punkter med 40% outliers.
• Figur 4.17 visar test för ökande antal punkter och en kombination av 40% outliers och en brusnivå med σn = 0.5.
Sammanfattningsvis kan man säga att det som är mest påfallande och oroande är att den robusta metoden visar tecken på instabilitet. Det uppstår så kallade avvikelser i mer eller mindre alla fall, men de verkar öka då ett gaussiskt brus är adderat. Med hjälp av viktningsprocessen i den robusta estimeringsalgoritmen indikeras dessa avvikelser då alla punkter viktas bort, vilket innebär att avstånden är för stora för just den optimerade lösningen av F . Bortser man från avvikelserna presterar den robusta estimeringsmetoden generellt sett bättre än den lineära.
30 Resultat
Figur 4.1. Bilden visar referensbilden (vänster) och den transformerade bilden (höger)
4.1 Mätningsresultat 31
Figur 4.2. Här ses metoden efter 15 iterationer - i övre bilden ses i ordning referens-
bilden, den registrerade bilden samt skillnaden mellan de två. I den nedre bilden visas referensbilden samt den slutliga registrerade bilden efter 15 iterationer.
32 Resultat
Figur 4.3. Metoden har här itererat 30 gånger och man kan se att skillnaden mellan
4.1 Mätningsresultat 33
Figur 4.4. Referensbilden (vänster) och den transformerade bilden (höger) vilken den
34 Resultat
Figur 4.5. Metoden efter 15 iterationer - i övre bilden ses återigen referensbilden, den
registrerade bilden samt skillnaden mellan de två. I den nedre bilden visas referensbilden samt den slutliga registrerade bilden efter 15 iterationer.
4.1 Mätningsresultat 35
Figur 4.6. Här är bilderna efter 30 iterationer. Skillnaden mellan referensbilden och
den registrerade bilden har inte minskat nämnvärt om man jämför med bilderna efter 15 iterationer, vilket tyder på att metoden inte finner någon bättre lösning. Notera det ljusare partiet i den vänstra delen av ansiktet hos skillnadsbilden - eftersom det är just denna del som skiljer bilderna åt kommer den vara störst orsak till problem för metoden.
36 Resultat −5 0 5 −6 −4 −2 0 2 4 6 Image points p −6 −4 −2 0 2 4 6 −6 −4 −2 0 2 4 6
Image points pprim, 10 detected outliers
Figur 4.7. Bilderna visar idealfallet för 10 detekterade outliers. I den vänstra bilden
finns 100 bildpunkter p beräknade utifrån de utslumpade punkterna P . I den högra bilden har deras motsvarande translaterade bildpunkter pprim beräknats och detekterade outliers har ringats in med röda ringar, införda outliers är röda punkter.
0 10 20 30 40 50 60 70 80 90 0 5 10 15 20 25
Test for 10% outliers, 100 samples
Detected outliers Amount of detection 0 0.5 1 1.5 2 2.5 3 3.5 4 0 10 20 30 40 50 60
Test for 10% outliers, 100 samples
Missed outliers
Amount of misses
Figur 4.8. Bilderna visar data för 100 genomförda tester med 10% outliers. Den vänstra
bilden är ett histogram över hur många outliers som har detekterats och den högra de outliers som missats i samma tester.
10 20 30 40 50 60 70 80 90 100 0 1 2 3 4 5 6 7 8 9 10
Test for 20% outliers, 100 samples
Detected outliers Amount of detection 0 1 2 3 4 5 0 5 10 15 20 25 30 35
Test for 20% outliers, 100 samples
Missed outliers
Amount of misses
Figur 4.9. Här visas data för 100 genomförda tester med 20% outliers. Som ovan visas
till vänster ett histogram över detekterade outliers och till höger missade outliers. Som synes blir felfrekvensen högre ju fler outliers som införs.
4.1 Mätningsresultat 37 0 10 20 30 40 50 0 1 2 3 4 5 6
Test for difference in error, σn=0.5
Sample
Error
No normalization Normalization
Figur 4.10. Figuren visar skillnaden mellan att använda en normaliseringsprocess av
punkterna (hel röd linje) eller inte (streckad blå linje). Brusnivån är konstant σn= 0.5
och 50 tester har utförts. Som synes är versionen med normalisering stabilare än den utan. 0 10 20 30 40 50 0 0.02 0.04 0.06 0.08 0.1 0.12
Test for difference in error, 10% outliers
Sample
Error
Linear estimation Robust estimation
Figur 4.11. Här ses ett test med 10% outliers, den blå streckade linjen visar resultat för
den lineära estimeringen medan den röda heldragna linjen visar den robusta estimeringen. Som synes presterar den robusta estimeringsmetoden bättre än den andra.
38 Resultat 0 10 20 30 40 50 0 0.2 0.4 0.6 0.8 1 1.2 1.4
Test for difference in error, 20% outliers
Sample
Error
Linear estimation Robust estimation
Figur 4.12. Här är ett test med 20% outliers. Även här presterar den robusta estime-
ringsmetoden bättre än den lineära.
0 10 20 30 40 50 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
Test for difference in error, σn=0.1
Sample
Error
Linear estimation Robust estimation
Figur 4.13. Figuren visar ett test med en konstant brusnivå σn = 0.1. Här kan man
se att den robusta metoden får problem vid vissa tillfällen. Generellt sett är de robusta lösningarna bättre men de olika avvikelserna är tecken på att något inte står helt rätt till. Det som även är noterbart här är att felen generellt sett är lägre i jämförelse med testerna med outliers - detta innebär att en outlier av typen felmatchning kommer ha större inverkan på estimatet än en outlier som uppstår på grund av brus.
4.1 Mätningsresultat 39 0 10 20 30 40 50 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Test for difference in error, σn=0.5
Sample
Error
Linear estimation Robust estimation
Figur 4.14. Här har brusnivån höjts till σn = 0.5 och också här uppstår två större
avvikelser och ett antal mindre för de robusta lösningarna.
0 10 20 30 40 50 0 0.2 0.4 0.6 0.8 1 1.2 1.4 Sample Error
Test for difference in error, 40% outliers, σn=0.5 Linear estimation Robust estimation
Figur 4.15. Detta test är en kombination av 40% outliers och en brusnivå σn = 0.5.
Återigen kan man se avvikelser för den robusta metoden medan den i övrigt presterar bättre än den lineära metoden.
40 Resultat 10 20 30 40 50 60 70 80 90 100 0 1 2 3 4 5 6 7 8
Test for difference in error, varying number of points, 40% outliers
Number of points
Error
Linear estimation Robust estimation
Figur 4.16. Det näst sista testet är för 40% outliers men med ökande antal punkter,
n = 10 − 100. Båda kurvorna visar på en förbättring ju fler punkter som används och de avvikelser som syns i början för den robusta metoden försvinner också då fler punkter används. 10 20 30 40 50 60 70 80 90 100 0 0.5 1 1.5 2 2.5 3
Test for difference in error, varying number of points, 40% outliers, σn=0.5
Number of points
Error
Linear estimation Robust estimation
Figur 4.17. Slutligen ett test likt det tidigare men här är även en brusnivå σn = 0.5
adderad. Som tidigare presterar metoderna bättre ju fler punkter som används, men i närvaro av brus är avvikelserna mer frekvent och försvinner inte då antalet punkter ökar.
Kapitel 5
Diskussion
I detta kapitel presenteras slutsatser och framtida arbete där förbättringar och eventuella problem samt lösningar på dessa föreslås.
5.1
Slutsatser
Syftet med det här arbetet var att skapa en simulerad miljö där man genom att följa markörer skulle kunna bestämma ett rörelsefält av en kropp som har utsatts för rigida rörelser. Detta har grundat sig på att använda datorseendemetoder och epipolär geometri. Tanken var att få en robust metod som kunde bestämma den 3D-geometri som finns inbäddad i bildpar av samma punkter och använda denna information till grund för förflyttningsparametrar som så småningom kan användas i en registreringsprocess.
Utifrån detta kan sägas att syftet till fullo inte har uppfyllts; den lineära esti- meringen av F samt den robusta estimeringen, vilken viktar bort outliers genom en så kallad LMedS-metod, har implementerats och testats. Däremot kunde inte implementeringen av beräkningen av kalibreringsmatrisen färdigställas på grund av tidsbrist, och därmed kunde heller inte förflyttningsinformation extraheras. I kapitel 3 finns dock förslag till hur dessa steg kan gå till som en framtida referens. Den robusta estimeringsmetoden för F har efter mätningar visat sig vara mer instabil än väntat, vilket självklart inte är önskvärt. Som nämnt i sammanfattning- en i sektion 4.1.3 indikeras avvikelserna av att viktningsprocessen viktar bort alla punkter - detta kan betyda att den robusta standardavvikelsen ˆσn som viktning-
en bygger på inte är skattad korrekt. Noterbart är att avvikelserna tycks uppstå i större utsträckning då ett störningsmoment i form av ett gaussiskt brus finns. Eftersom den robusta estimeringsmetoden ska vara just robust i fråga om outli- ers av både typen felmatchning och brusassocierade är resultatet inte acceptabelt, däremot föreligger det en viss förhoppning om att det kan vara ett implementa- tionsproblem som är orsaken och som i framtiden kan lösas.
42 Diskussion
5.2
Framtida arbete
Om man väljer att göra en fortsatt utveckling baserat på det här arbetet bör man först och främst försöka undersöka hur pass bra metoden fungerar i jämförelser med befintliga metoder, efter att ha färdigställt den robusta estimeringen av den fundamentala matrisen, se 5.2.3. Det är min åsikt att tanken bakom arbetet, att följa markörer och beräkna ett förflyttningsfält i 3D, är mycket intressant och bör utforskas mer. Det faktum att man undviker det felaktiga antagandet att bilderna innehåller samma information men transformerad, vilket traditionell bildregistrering använder sig av, bör vara ett tillräckligt gott skäl för detta.
5.2.1
Punktmatchning
Punktmatchningen är ett steg som bör tänkas igenom noggrannt. Som nämnt i sektion 2.6.1 är den direkt avgörande för hur den fortsatta metoden fortlöper. För- slagsvis kan en fasbaserad metod användas för att få en lösning som är robust mot till exempel förändringar av bildintensitet. Det som är viktigast är att man får ut ett antal punkter som man med störst säkerhet kan säga är en god representation för hur rörelsen bilderna emellan indikeras. Man behöver långt ifrån alla punkter ur ett bildpar för att få en korrekt estimering av rörelsen bilderna emellan.
5.2.2
Epipolär geometri
Det kan mycket väl finnas andra tillvägagångssätt än epipolär geometri som lämpar sig bättre för en tillämpning av denna sort, vad som kan tänkas vara användbart är dock svårt att säga utan en djupare efterforskning. Om det känns hållbart att använda sig av epipolär geometri och den fundamentala matrisen behöver man sätta sig in i frågan huruvida en sådan matris utifrån en videosekvens är tänkt att beräknas och användas. Som Hartley [4] nämner kan algoritmen för att beräkna en fundamental matris från bildpar utvidgas till att använda tre vyer eller N vyer (se “N-view Geometry” [4]). Men man bör utvärdera om detta är nödvändigt eller om det kommer innebära problem i de övriga stegen - ett alternativ är att helt enkelt utgå från bildpar och beräkna F från dessa, sedan registrera motsvarande MR-bilder och upprepa förfarandet stegvist. Fördelen med detta är att om två rörelser inträffar inom loppet av tre bildrutor kan en algoritm som använder sig av bildpar aldrig missa de båda rörelserna, medan en som använder sig av fler än tre möjligen missar någon.
5.2.3
Estimering av F
Eftersom den robusta metoden presterar sämre än väntat bör man genomföra en grundlig felsökning med de hänvisade artiklarna som guide [14] [13]. Hittas inte ett eventuellt fel är det värt att pröva andra fysikaliska mått som beskrivs i [13] för att skatta ˆσnpå ett annat sätt. Ger inte heller det ett godtagbart resultat kan
förhoppningsvis en annan robust estimeringsmetod göra det - det är min åsikt att grundtanken fortfarande är god; att genomföra en punktmatchning från flera vyer och utifrån denna estimera en fundamental matris, därefter en kalibreringsmatris
5.2 Framtida arbete 43
och därmed en essentiell matris ur vilken förflyttningsinformation kan återfås. För- hoppningen är att kunna använda de implementerade funktionerna som fungerar och därefter ersätta de övriga.
5.2.4
Modellering av rörelse
Genom att skapa en modell för hur huvudet rör sig kan man i förväg prediktera hur bildpunkterna borde bete sig och istället studera avvikelser från denna modell. Modellen kan sedan utökas till att omfatta själva patientens rörelse där till exempel långsamma rörelser är mycket mer sannolika. Väger man därefter in detta bör kvaliteten på rörelseestimeringen förbättras avsevärt.
5.2.5
Praktiska aspekter
Rent praktiskt finns det ett antal aspekter att ta i beaktning om ett fortsatt arbete skulle komma så långt. Huvudsakligen är arbetet tänkt att genomföras för att kor- rigera MR-bilder av en patients hjärna och huvud, vilket följer att videosekvensen där markörerna följs är av patientens ansikte. Problemet med att använda mar- körer utplacerade i ansiktet är att det är mindre troligt att dessa kommer visa på en rigid rörelse, eftersom antalet muskler i ansiktet gör att detta enkelt deforme- ras. Lösningen kan vara att placera en mössa eller liknande med färdigplacerade markörer över huvudet, vilket kan om inte eliminera deformeringsproblemet åt- minstone minska dess inverkan. Ett annat problem är hur man ska synkronisera videokameran med magnetkameran, så att den videosekvens som behandlas över- ensstämmer med det röntgade området. Utan större kunskap om hur programmet för MR-bilderna fungerar är detta också svårt att säga hur det bör gå till.
Efter ett besök på CMIV1och en demonstration av magnetkameran blev även
ett antal andra problem uppenbara. Vid en undersökning av en patients huvud använder man sig av en speciell spole vilken placeras över huvudet för att fixera detta och försöka minimera de ofrivilliga rörelserna. Spolen innebär ett problem då den begränsar synfältet för videokameran och gör att registreringsmetoden kan bli svår och i värsta fall omöjlig att utföra. Lösningen kan vara att helt enkelt ta bort spolen, de ofrivilliga rörelserna den ska minimera är ju anledningen till att man använder registreringsmetoden vilken förhoppningsvis kan klara sig utan extra hjälp.
Belysningen i undersökningsrummet kan också innebära ett bekymmer. Då britsen med patienten rör sig förändras belysningen över det videofilmade området, punktmatchningen kan därigenom påverkas. Men om punktmatchningen utgår från en fasbaserad registreringsmetod som nämnt ovan bör detta inte ha någon inverkan på resultatet.
1
Litteraturförteckning
[1] J.L. Barron, D.J. Fleet, S.S. Beauchemin, and T.A. Burkitt. Performance of optical flow techniques. CVPR, 92:236–242, 1992.
[2] Niclas Börlin. Geometrisk bildanalys, vt-05. En kurs vid In- st. för datavetenskap, Umeå universitet, 2005. Tillgänglig från http://www.cs.umu.se/kurser/TDBD19/VT05.
[3] R. I. Hartley. In defence of the 8-point algorithm. In ICCV ’95: Procee-
dings of the Fifth International Conference on Computer Vision, page 1064,
Washington, DC, USA, 1995.
[4] R.I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, second edition, 2004.
[5] Z.P. Liang and P.C. Lauterbur. Principles of Magnetic Resonance Imaging: A
Signal Processing Perspective. IEEE Press Series in Biomedical Engineering,
New York, NY, USA, 2000.
[6] H. C. Longuet-Higgins. A computer algorithm for reconstructing a scene from two projections. In Readings in computer vision: issues, problems,
principles, and paradigms, pages 61–62. Morgan Kaufmann Publishers Inc.,
San Francisco, CA, USA, 1987.
[7] Manolis I. A. Lourakis and Rachid Deriche. Camera self-calibration using the singular value decomposition of the fundamental matrix: From point correspondences to 3D measurements. Technical Report RR-3748, INRIA Sophia-Antipolis, 1999.
[8] G. Loy. Computer vision engn4528. A course given at Research School of Information Sciences and Engineering, The Australian National University, 2001. Available from http://users.rsise.anu.edu.au/ gareth/vision.htm. [9] J.B.A. Maintz and M.A. Viergever. An overview of medical image registration
methods. Technical Report UU-CS-1998-22, Institute of Information and Computing Sciences, Utrecht University, 1998.
[10] R. Morh and B. Triggs. Projective geometry for image analy- sis. A Tutorial given at ISPRS, Vienna, 1996. Available from http://lear.inrialpes.fr/people/triggs/pubs/isprs96/isprs96.html.
46 Litteraturförteckning
[11] Magnus Oskarsson. Mathematical imaging group: Course in computer vision, vt-05. En kurs vid Matematikcentrum, Lunds universitet, 2005. Tillgänglig från http://www.maths.lth.se/matematiklth/vision/datorseende.
[12] P. J. Rousseeuw and A. M. Leroy. Robust regression and outlier detection. John Wiley & Sons, Inc., New York, NY, USA, 1987.
[13] Zhengyou Zhang. Determining the epipolar geometry and its uncertainty: A review. International Journal of Computer Vision, 27(2):161, 1997.
[14] Zhengyou Zhang, Rachid Deriche, Olivier D. Faugeras, and Quang-Tuan Lu- ong. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry. Artificial Intelligence, 78(1-2):87– 119, 1995.
[15] Barbara Zitová and Jan Flusser. Image registration methods: a survey. Image
Vision Computing, 21(11):977–1000, 2003.
[16] Reza Aghaeizadeh Zoroofi, Yoshinobu Sato, Shinichi Tamura, and Hiroaki Naitoi. Mri artifact cancellation due to rigid motion in the imaging plane.
Presentationsdatum
2006-03-31
Publiceringsdatum (elektronisk version)
2006-04-03
Institution och avdelning
Institutionen för Medicinsk Teknik (IMT), Medicinsk Informatik (MI)
URL för elektronisk version
http://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-6200
Publikationens titel
Svensk titel Bildbaserad estimering av rörelse för reducering av rörelseartefakter Författare
Mats Jogbäck
Sammanfattning
För att kunna rekonstruera en tredimensionell volym av en hjärna avbildad med hjälp av magnetresonanstomografi (MRI) behöver man korrigera varje snittbild i förhållande till varandra, beroende på oundvikliga rörelser hos den röntgade patienten. Detta förfarande kallas bildregistrering och idag använder man sig primärt av en metod där en bild utses till referensbild och därefter anpassas närliggande bilder, som antas ha en minimal avvikelse, till referensen.
Syftet med detta examensarbete är att använda en annan metod vanligen utnyttjad inom datorseende för att estimera ett rörelsefält utifrån en vanlig videosekvens, genom att följa markörer som indikerar rörelse. Målet är att skapa en robust estimering av huvudets rörelse, som då kan användas för att skapa en mer noggrann korrigering och därmed också en bättre rekonstruktion.
Nyckelord
medicinsk teknik, bildbehandling, rörelseestimering, epipolär geometri
Språk
Svenska
Annat (ange nedan)
Antal sidor 57 Typ av publikation Licentiatavhandling Examensarbete C-uppsats D-uppsats Rapport
Annat (ange nedan)
ISBN (licentiatavhandling)
ISRN LiTH-IMT/MI20-EX–06/429–SE Serietitel (licentiatavhandling)
Serienummer/ISSN (licentiatavhandling)