Poděkování
Rád bych poděkoval mému školiteli doc. Ing. Františku Novotnému, CSc. za cenné rady, připomínky a vedení v celém průběhu mého doktorského studia. Poděkování patří také kolegovi Ing. Vlastimilu Hotařovi, Ph.D. za jeho konzultace při řešení problematiky strojového vidění i korektury práce jako takové. Zároveň děkuji celému týmu katedry Sklářských strojů a robotiky, bez tohoto zázemí by nebyla práce realizovatelná.
Velký dík patří mé rodině za obrovskou psychickou podporu při řešení obtíží a celému děkanátu za trpělivost.
POKROČILÉ TECHNIKY SNÍMÁNÍ LESKLÝCH A OBTÍŽNĚ DETEKOVATELNÝCH MATERIÁLŮ
Anotace
Disertační práce se zabývá přípravou metodiky pro získání dat k vytvoření virtuálního 3D modelu objektů (3D obrazů) s lesklým a obtížně detekovatelným povrchem. V aplikační části se práce zabývá uplatněním vybraných metod v průmyslové praxi, konkrétní aplikace byly orientovány na automobilový průmysl. Nejprve je řešena problematika bin pickingu s detekcí lesklých objektů v přepravce. V další části se práce zabývá kvalitativním hodnocením lesklých transparentních a semi-transparentních objektů pomocí inovativního hardwaru. Detailně se zaměřuje na uplatnění aplikačních možností konfokálních snímačů pro kontrolu zakřivení tvarových skel a na úpravu 2D triangulační metody pro snímání průsvitných a transparentních objektů.
Klíčová slova
Strojové vidění, bin picking, lesklý povrch, konfokální snímač, liniový laser, 2D triangulace
ADVANCED TECHNIQUES FOR IMAGE ACQUISITION OF GLOSSY AND DIFFICULT-TO-DETECT MATERIALS
Annotation
The thesis deals with a methodology preparation for data acquisition of glossy and difficult-to-detect objects in order to obtain a 3D virtual model. Practical part of the thesis deals with an application of chosen methods in industry, specifically in the automotive industry. First part focuses on bin picking application for glossy objects. The following part deals with a quality evaluation of glossy transparent and semi-transparent objects using an innovative hardware. In detail, it evaluates application possibilities of confocal sensors in formed glass inspection and adjustment of standard 2D triangulation method for acquisition of semi-transparent and transparent objects.
Keywords
Machine vision, bin picking, glossy surface, confocal sensor, line laser, 2D triangulation
5
Obsah
Úvod ... 11
1 Cíle disertační práce ... 12
1.1 Motivace ... 12
1.2 Cíle ... 13
2 Rozbor současného stavu poznání ... 14
2.1 Elektromagnetické záření ... 15
2.1.1 Viditelné spektrum ... 15
2.1.2 Rozdělení povrchů ... 19
2.2 Pořízení obrazu ... 21
2.2.1 Možnosti získání obrazových dat ... 22
2.2.2 Kamery ... 22
2.2.3 Vnitřní parametry kamery ... 23
2.2.4 Vnější parametry kamery ... 25
2.2.5 Snímače viditelného záření ... 25
2.2.6 Průmyslové kamery ... 25
2.3 Metody získání 3D informace ... 31
2.4 Aktivní metody získání 3D informace ... 32
2.4.1 Měření sadou 1D snímačů ... 32
2.4.2 Triangulační metody ... 37
2.4.3 Měření doby letu modulovaného laserového paprsku ... 45
2.4.4 Využití stínu ... 47
2.5 Pasivní metody získání 3D informace... 49
2.5.1 Kalibrace kamer ... 50
2.5.2 Získání 3D informace pomocí plošné kamery ... 52
2.5.3 Stereovizní vidění ... 55
2.5.4 Snímání scény 2D snímačem ve více polohách ... 57
2.6 Možnosti interpretace mračna bodů ... 57
2.7 Problematika získání 3D modelu objektů s lesklým povrchem a z transparentních materiálů ... 58
6
2.7.1 Softwarové metody ... 59
2.7.2 Hardwarové metody ... 60
2.7.3 Využití jiných spekter elektromagnetického záření ... 63
3 Odnímání volně ložených pružinových misek z přepravky ... 65
3.1 Přehled realizovaných variant řešení ... 65
3.1.1 2D Triangulace ... 65
3.1.2 3D obraz získaný z ToF senzoru ... 66
3.1.3 3D model získaný pomocí fotometrického sterea ... 66
3.1.4 Detekce objektu pomocí stereoskopie ... 67
3.1.5 Multisenzorové řešení ... 69
3.2 Porovnání vybraných metod ... 69
3.2.1 Experimentální pracoviště ... 69
3.2.2 Komunikace ... 70
3.2.3 2D Triangulace ... 71
3.2.4 Multisenzorové řešení ... 72
3.3 Vývoj chapadla pro bin-picking ... 76
3.4 Porovnání testovaných metod ... 77
4 Rekonstrukce 3D modelu lesklých objektů pomocí konfokálních snímačů ... 79
4.1 Ověření použitelnosti konfokálních snímačů ... 79
4.1.1 Ověření dosažitelné přesnosti pomocí 3D SMS ... 79
4.1.2 Stanovení okrajových podmínek snímačů ... 80
4.2 Vyhodnocení linie na plochém skle se zdeformovanými okraji ... 82
4.2.1 Experimentální pracoviště pro proměření plochých skel ... 83
4.2.2 Výsledky měření plochého skla s deformací okraje ... 84
4.3 Měření prostorových profilů s využitím robotu ... 85
4.3.1 Soubor měřených objektů ... 86
4.3.2 Měření planparalelní destičky ... 87
4.3.3 Měření klínové destičky ... 90
4.3.4 Měření plankonvexní destičky ... 91
4.3.5 Měření gravitačně tvarovaného skla ... 92
7
4.5 Aplikace sady snímačů na robotizovaném pracovišti ... 93
4.5.1 Základní ověření funkčnosti pracoviště ... 97
4.5.2 Porovnání výsledků tvarového skla s výsledky ze 3D scanneru ... 99
4.5.3 Vliv uchopení objektu ... 100
5 Rekonstrukce 3D modelu transparentních či průsvitných objektů pomocí deformace laserového paprsku ... 104
5.1 Vyhodnocení odrazu snímaného paprsku ... 104
5.1.1 Měření plochého skla s deformací okraje ... 105
5.1.2 Měření tvarových etalonů ... 108
5.1.3 Měření gravitačně tvarovaného skla ... 109
5.2 Využití jiných vlnových délek elektromagnetického záření promítaných linií .. 110
5.2.1 Testované metody získání 3D obrazu ... 111
5.2.2 Získání 3D obrazu pomocí 2D triangulace ... 113
5.2.3 Software ... 114
5.2.4 Kalibrace ... 116
5.2.5 Výsledky ... 116
6 Závěr ... 118
6.2 Přínosy pro vědu ... 121
6.3 Přínosy pro praxi ... 121
Literatura ... 123
Vybrané publikace autora ... 133
8 Seznam použitých symbolů
A,B,C natočení v prostoru kolem os z, y, x aM, bM koeficienty mapovacího algoritmu Ap účinná plocha světločivné buňky bbit počet použitých bitů k popisu 1 pixelu bs vzdálenost mezi snímačem a projektorem
bx stereobáze
C průměr otvoru clony
c1,c2 rychlost šíření zvuku v jednotlivých prostředích cM1, cM2 koeficienty McLaurenova rozvoje
cs rychlost šíření světla
cx, cy odchylka středu obrazových souřadnic od optické osy D koeficient distribuce mikroplošek u lesklého povrchu
d tloušťka
ddis horizontální paralaxa dg naměřená tloušťka materiálu
dL průměr čočky
dw reálná tloušťka materiálu
E ozáření
f ohnisková vzdálenost objektivu
F Fresnelův koeficient odrazivosti svázaný s transparencí materiálu fr dvousměrová distribuční funkce odrazu
fb obrazová funkce
fx, fy souřadnice ohniska v jednotkách obrazového bodu g koeficient anisotropie
G geometrický model pro vlastní stínění materiálu u lesklého povrchu gx,gy odhad gradientu ve směru osy x, y
H matice homografie
In intenzita obrazu n-té sinusové mřížky v bodě
K kalibrační matice
ki koeficienty radiální distorze
l0 vzdálenost kamery od referenční roviny lM, LM perioda mřížky promítané struktury
Lp zář
LWD pracovní vzdálenost kamery
lz měřená vzdálenost
M matice vnitřních parametrů kamery
n index lomu
NA clonové číslo
np normála povrchu
pi koeficienty tangenciální distorze PSF impulzní odezva optického systému
Q množství energie
q vektor polohy bodu v obrazových souřadnicích
R odrazivost povrchu
R matice natočení kamery ve vnějším souřadném systému rbp roztečný poloměr UZ snímačů
s vyšetřovaný bod na povrchu objektu si bod dopadu světelného paprsku so bod výstupu světelného paprsku
9
s vektor zvětšení
Si vzdálenost od konfokálního snímače
S BSSRDF distribuční funkce
t čas
t vektor pozice kamery ve vnějším souřadném systému T vektor vzájemné pozice kamer
tC aktuální teplota
TE doba expozice
ui vzdálenost naměřená senzorem Ui
Us velikost oblasti zájmu
us velikost snímače
V směr pohledu pozorovatele W maticevnějších parametrů kamery x,y,z obrazové souřadnice
X,Y,Z prostorové souřadnice snímaného tělesa x´, y´ korigované souřadnice obrazu
α úhel mezi optickou osou soustavy dírkové komory a paprskem dopadajícím na snímač αM úhel natočení mřížek
αp úhel náklonu misky kolem osy x v souřadnicích mezioperační přepravky
αs zorný úhel snímače
αz součinitel pohltivosti zvuku
βp úhel náklonu misky kolem osy y v souřadnicích mezioperační přepravky δs koeficient rozptylu
δs koeficient absorpce
γ koeficient zkosení mezi osami x a y γp činitel objemové roztažnosti plynu Δr topografická výchylka
Δu posun pixelů
Θi úhel dopadu
Θr úhel odrazu
Θt úhel lomu
Θv úhel, který svírá směr pohledu pozorovatele s normálou povrchu
κ počet úrovní jasu
λ vlnová délka
η Relativní index lomu
ρ koeficient odrazivosti (albedo) ρz součinitel odrazivosti zvuku φ azimut ve sférické soustavě
Φ zářivý tok
φbp roztečný úhel UZ snímačů
ω vektor směru
ωi vektor směru dopadu
ωr vektor směru odrazu
f gradient obrazu
10 Seznam použitých zkratek
2D dvourozměrný
3D trojrozměrný
A/D analogově-digitální
BRDF dvousměrová distribuční funkce odrazu
BSSRDF dvousměrová distribuční funkce odrazu s podpovrchovým rozptylem CCD Charge-coupled device, snímač pro viditelné spektrum
CMOS APS Complementary Metal–Oxide–Semiconductor Active Pixel Sensor, snímač pro VIS DRIE Deep reactive-ion etching, hluboké reaktivní iontové leptání
fps frames Per Second – počet snímků za vteřinu
IR infračervené
ISO zesílení signálu
LED Light emitting diod, elektroluminiscenční dioda
MEMS MicroElectroMechanical Systems, MikroElektroMechanické Systémy
MOEMS MicroOptoElectroMechanical Systems, MikroOptoElektroMechanické Systémy NIR blízké infračervené elektromagnetické záření
NUV blízké ultrafialové elektromagnetické záření
PC počítač
PLC programovatelný automat
RAM operační paměť
RGB barevný model červená, zelená, modrá ROI Region Of Interest, oblast zájmu SMS souřadnicový měřící stroj
SW software
TCP Tool Center Point, vztažný bod nástroje
ToF Time of Flight, senzor vzdálenosti založený na detekci doby letu paprsku UV ultrafialové elektromagnetické záření
UZ ultrazvuk
VIS viditelné spektrum elektromagnetického záření
XML eXtensible Markup Language, rozšiřitelný značkovací jazyk
11
Úvod
Strojové vidění představuje dynamicky se rozvíjející odvětví v oblasti automatizace průmyslových linek, neboť umožňuje úspory výrobních nákladů a podporuje trend 100 % kontroly uvnitř výrobního procesu i na konci ve formě výstupní kontroly. Nejčastější nasazení představuje kontrola jakosti výrobků, další častou aplikací je nalezení objektů na technologické scéně např. pro následnou manipulaci, kdy je robotu předána informace o pozici objektu k uchopení.
Vysoce aktuálním řešeným problémem je získávání 3D obrazových dat pomocí strojového vidění, neboť mnoho úkonů v průmyslové praxi vyžaduje získávání rozměrů ve třech osách bezkontaktními technikami. Příkladem může být již zmíněná automatická inspekce, robotická manipulace, odebírání objektů z přepravky (tzv. bin-picking), orientace servisního robotu v prostoru atp. [1]. Důležitost těchto postupů prokazuje využití i mimo strojírenský průmysl, jako je např. v zemědělském [2, 3, 4], potravinářském [5] průmyslu, zdravotnictví [6] nebo nachází využití i ve spotřebním průmyslu [7].
Aplikační úlohy robot vision, detekce tvarů a vad transparentních, či vysoce lesklých materiálů, jako jsou například výrobky ze skla nebo kovové výrobky s lesklým povrchem a povrchem s parazitními reflexemi, zůstávají stále problematické, komplikované a drahé.
Získání 3D modelu z naměřených dat je ztěžováno faktem, že viditelné optické elektromagnetické záření může být materiálem detekovaného objektu od povrchu zrcadlově odraženo, odráženo směrově pod různými úhly, pohlceno, či propuštěno. Výskyt parazitních reflexí, změna míry pohlcení v závislosti na tloušťce a teplotě objektu mohou dále komplikovat snímání objektů. Pokud uvažujeme snímání takovýchto objektů ve viditelné části spektra, je často nutné volit složitou kombinaci několika typů osvětlení a vhodné polohy jednotlivých prvků systému.
Obecně, získání obrazu je nejčastěji založeno na interakci elektromagnetického záření s objektem, především odrazu od povrchu, pohlcení objektem a průchodem záření sledovaným objektem. Nejběžnějším případem v oblasti viditelného elektromagnetického záření je využití reflexe, která je pak závislá vedle zdroje tohoto elektromagnetického záření také na vlastnostech povrchu. Ty lze charakterizovat v rozpětí dvou extrémů, kde prvním je ideální Lambertovský povrch (ideálně difúzní povrch s rovnoměrným odrazem do všech směrů nebo rovnoměrným pohlcením) a druhým extrémem je ideální zrcadlový povrch (s odrazem paprsku pod úhlem rovnající se úhlu jeho dopadu). Pokud má objekt spíše Lambertovský povrch, je z hlediska pořízení obrazu relativně snadno zachytitelný a následně lze získaná data interpretovat. Komplikovanější situace vzniká při pořízení objektů s povrchem, který se blíží zrcadlovému. Takovéto povrchy se označují jako lesklé a získání vhodného obrazu pro jeho následnou interpretaci je podstatně obtížnější. Touto tématikou se zabývá předkládaná práce, která řeší problematiku získání a interpretace obrazu objektů s lesklým povrchem jak netransparentních, tak i transparentních, například skla. Problematika je dále doplněna o povrchy, které mají komplikovaný odraz díky svým povrchovým vlastnostem.
12
1 Cíle disertační práce
Disertační práce vychází z problematiky řešené dlouhodobě na Katedře sklářských strojů a robotiky. Na základě jednotlivých a konkrétních úloh řešených v rámci projektů, grantů a témat závěrečných prací byly specifikovány oblasti, které nejsou stále uspokojivě řešeny.
Zvolenému tématu disertační práce předcházelo zvážení současného stavu získání a interpretace obrazových dat, což lze nazvat základní motivací. Dále byly stanoveny hlavní cíle práce, kde byly také definovány konkrétní oblasti vědeckovýzkumných aktivit.
1.1 Motivace
Trendem současné doby je získání prostorových dat. Tato 3D data jsou následně interpretována a využívána při hodnocení jakosti produktu, zjišťování orientace a polohy objektů, pro orientaci kolaborativních a servisních robotů v prostoru, ale i v komerční sféře v herních konzolách, výukových pomůckách a mnoha dalších aplikacích. Získání a zpracování 3D dat tak podporuje a pomáhá naplňovat idey Inciativy Průmysl 4.0. V současné době existuje mnoho propracovaných principů a metod získání virtuálních 3D modelů, které jsou stále častěji využívány v průmyslové praxi. Tyto metody jsou známy a existují jejich teoretické základy. V praktickém využití ovšem existuje mnoho technických potíží, které musí být řešeny, aby byl objekt vůbec detekován v požadovaném rozlišení, dostatečně spolehlivě a také se zajištěním opakovatelnosti detekce.
Pokud je objekt detekován na základě odrazu dané energie, jsou velmi důležité vlastnosti povrchu takto sledovaného objektu ve vztahu k dopadající energii. U detekce na základě odrazu je také důležité zvážit pronikání zvoleného fyzikálního pole částečně nebo úplně do detekovaného objektu, případně průchod (transmitance) energie objektem. Tyto dva problémy vyskytující se zvlášť nebo dohromady, činní praktické snímání 3D dat mnohem obtížnější. Přestože tyto problémy nejsou jediné při získání 3D dat, jsou dominantní a stále neuspokojivě řešeny, jak ukazuje rešerše v kap. 2.
V technické praxi je k detekci objektů nejvíce využívaným fyzikálním polem elektromagnetické záření ve viditelném spektru (VIS). Zde jsou uvedené problémy s detekcí povrchů objektů nejčastější, a právě na tuto oblast se zaměřuje disertační práce.
Jak je v rešerši popsáno, pro získání 3D dat lze využít i další typy senzorů, jako jsou například ultrazvukové snímače vzdálenosti v kombinaci s kamerou. V literatuře je tento trend označován jako senzorová fúze nebo také multisenzorika, kap. 3.2.4.
Na základě analýzy rešerše použitelných principů, současného stavu techniky a rozboru dané problematiky se práce zabývá několika přístupy získání dat a následné geneze virtuálních třírozměrných modelů, a to pomocí konfokálního snímače a s využitím odrazu především na optickém rozhraní.
13 1.2 Cíle
Disertační práce si klade za cíl přípravu metodiky pro získání dat pro vytvoření virtuálního 3D modelu objektů (3D obrazů) s lesklým a obtížně detekovatelným povrchem pomocí vybraných metod. Jedná se tak o vývoj a adaptaci metodik získání 3D obrazových dat pro následnou interpretaci dat a získání 3D modelu. Cílem práce není problematiku vyřešit kompletně pro všechny materiály, ze kterých může být sledovaný objekt a pro všechny typy možných energie (fyzikálních polí), ale na daných reálných případech vyvinout a aplikovat metodiku s možností přesahu na další podobné materiály.
Vyvinuté, adaptované a použité metodiky mají převážně využívat osvědčeného viditelného spektra elektromagnetického záření, kde senzorika je vyvinuta a dostatečně ověřena. Ke splnění hlavního cíle disertační práce jsou především používány a rozvíjeny dva přístupy získání dat pro následnou interpretaci do virtuálního 3D modelu:
využití odrazu liniového laserového paprsku a
využití konfokálních snímačů.
Práce se ovšem neomezuje jen na tyto přístupy, ale rozvíjí další přístupy jako je využitím fusion senzoriky s více typy snímačů.
Významným dílčím cílem je uplatnit metodiky na konkrétní aplikace v laboratorních podmínkách tak, aby teoreticky řešená problematika byla ověřena a připravena pro průmyslovou praxi. Vlastní aplikace obsahují hardwarovou a softwarovou část. Cílem proto také je posouzení spolehlivosti a přesnosti metodik, stanovení okrajových a dalších podmínek metodik. Vyvinuté a adaptované metodiky budou porovnány s ostatními dostupnými metodami snímání dat pro generování 3D modelu.
Disertace je zaměřena na tyto oblasti využití:
objekty z lesklých kovových materiálů (praktickou aplikací je detekce objektů v bedně pro bin picking, liniový laser a fusion senzorika, kap. 3),
objekt z lesklých a transparentních materiálů (praktickou aplikací je detekce výrobků z čirého skla, využití odrazu liniového paprsku a konfokálních snímačů, kap. 4),
objekt z obtížně detekovatelného odrazově difuzního materiálu (praktickou aplikací je detekce tepelné folie na elektro-baterii, kap. 5).
14
2 Rozbor současného stavu poznání
Disertační práce se zabývá získáním obrazových dat. Obrazovými daty jsou definována rastrová data, která umožňují bezprostředně vytvářet vizuálně interpretovatelný obraz.
Práce využívá metod získání 2D obrazu (plošný dvojrozměrný rastr), potažmo 3D obrazu (třírozměrný prostorový rastr).
K získání obrazových dat je možné využít mnoha typů snímačů, založených na různých fyzikálních principech. Snímače je možné z hlediska získaných dat rozdělit na:
bodové,
liniové,
plošné,
prostorové (3D snímače).
Snímače získávají standardně data v bodech rastru. K získání obrazových dat z bodových a liniových snímačů je nutné použít síť těchto snímačů, případně snímačem definovaně pohybovat a získat rastr postupně. U plošných a prostorových snímačů jsou data v bodech získána současně během definovaného časového intervalu. Trendem strojového vidění je současné využití více snímačů.
Zobrazování objektů je možné s využitím různých fyzikálních polí. Obrazová data je možné obecně získat pomocí následujících polí energie:
Energie elektromagnetického záření od gama záření, přes rentgenové záření a ultrafialové záření, po viditelné záření, infračervené záření, mikrovlny až po radiové vlny.
Energie záření částic, jako jsou elektrony (využíváno u elektronového mikroskopu) a neutrony.
Mechanická energie akustických vln, kdy rychlost šíření akustických vln je přímo úměrná elastickým vlastnostem média, kterým prostupuje (např. princip sonaru, nebo též lékařská sonografie).
Elektrická energie, např. konduktivita prostředí, kdy různé prostředí za různých podmínek má rozdílnou schopnost vést elektrický proud (principu využívá elektrická impedanční tomografie)
Magnetická energie spolu s energií elektromagnetického pole (radiových vln) je využívána u nukleární magnetické rezonance.
Mechanická energie např. kontaktní odměřování a odměřování pomocí změny proudění tekutin.
Nejvíce využívaným fyzikálním polem je elektromagnetické záření ve viditelném spektru (VIS). Senzory pro tuto oblast jsou vyvinuté, technicky vyspělé a ověřené. Nicméně, při použití tohoto spektra jsou uvedené problémy s detekcí lesklých povrchů objektů
15
nejčastější. Komplikovanost úloh pro detekci objektů je při použití standardních postupů velmi vysoká (kap. 2.7).
2.1 Elektromagnetické záření
Při dopadu elektromagnetického záření na obecný povrch objektu dochází k několika jevům znázorněným na obr. 2.1.
Část záření je od sledovaného objektu odrážena, část objektem pohlcena, část způsobí v materiálu objektu sekundární emisi záření, část záření objektem projde a část je vyzářena (emitována) samotným objektem. Podíl jednotlivých částí záření je dán vlastnostmi ozářeného objektu a vlastností elektromagnetického záření, které na objekt dopadá.
Uvedené jevy jsou popsány pro celé spektrum elektromagnetického záření, se změnou vlnové délky záření se mění i míra uplatněných jevů při ozáření objektu.
Obr. 2.1 Základní jevy při dopadu elektromagnetického záření na objekt
2.1.1 Viditelné spektrum
Objekty snímané pomocí strojového vidění jsou standardně z neprůsvitných materiálů.
Dopadající záření lze tedy rozdělit pouze na pohlcené a odražené záření.
V následujícím textu je detailněji popsán vznik obrazu díky odrazu záření od povrchů neprůhledných objektů ve spektru viditelného světla. Většina obrazových senzorů je založena na měření množství světelné energie dopadající na jednotlivé světlocitlivé body rastru. Tyto body jsou u obrazových senzorů označovány jako pixely (picture element).
Naměřená intenzita je označována jako jas pixelů obrazu. Tento jev lze popsat pomocí
16
radiometrických nebo fotometrických veličin. Fotometrické veličiny jsou subjektivní, závislé na pozorovateli, proto budou využity veličiny radiometrické.
Základní radiometrickou veličinou je zářivý tok [W], který vyjadřuje množství energie Q vyzářené či přijaté za jednotku času t:
dt .
dQ
(2.1)
Ozáření E [Wm-2], představuje množství energie i dopadající na jednotku účinné plochy světlocitlivé buňky Ap
.
p i
dA
E d (2.2)
Jednotlivé pixely obrazu jsou kvantifikovány pomocí fotometrické veličiny jas, kdy jsou definovány stupni šedi pixelů obrazu. Ekvivalentní radiometrickou veličinou je zář. Zář (radiance) Lp(s,ω) [Wsr-1m-2] udává světelný výkon , který se z jednotky plochy povrchu Ap vyzáří do určitého prostorového úhlu
cos , ) , (
2
ω ω
d dA s d
L
p
p
(2.3)
kde s je bod, ve kterém je zář vyšetřována a ω je vektor směru záření, popsaný jako bod na povrchu jednotkové koule (obr. 2.6) dvěma úhly. Úhel Θ představuje úhel mezi normálou k elementární ploše Ap a spojnicí k odpovídající obrazové ploše. Veličinu zář strojové vidění interpretuje jako barvu. Princip radiometrické veličiny zář je zobrazen na obr. 2.2.
Obr. 2.2 Schéma radiometrické veličiny zář
Na základě odvození například v [8] je možné získat vztah mezi ozářením E, které je měřeno v obraze a září Lp malé plošky ve scéně, která je zachycena čočkou snímacího zařízení, je dán tzv. rovnicí ozáření
, 4 cos
4 2
f L d
E p l
(2.4)
17
kde dL představuje průměr čočky, f ohniskovou vzdálenost objektivu a α úhel mezi optickou osou soustavy dírkové komory a paprskem dopadajícím na snímač (obr. 2.3).
Obr. 2.3 Vztah mezi intenzitou ozáření E a září L
Činitel cos4α slouží pro popis vinětace (systematická optická vada), která definuje jev, kdy jsou paprsky lámající se s větším úhlem α zeslabeny, tím dochází ke ztmavení nasnímaného obrazu od středu ke krajům [9]. Uvedený vztah platí pro celou snímanou scénu, pro jednotlivé body senzoru je nutné vycházet z funkce odrazivosti.
Hodnota obrazové funkce může být v některých úlohách brána jako odhad záře Lp (v literatuře je odhad záře často označen jako jas), ke které dojde odrazem světelné energie od povrchu objektu. Ozáření E je určeno typem světelného zdroje a jeho umístěním vzhledem ke snímanému objektu a pozorovateli. Hodnotu jasu ovlivňují povrchové vlastnosti objektu. Schopnost povrchu odrážet světlo je definována činitelem odrazivosti.
Jas je zároveň určen lokální geometrií plošky, která je udána její normálou np [8].
Osvětlení elementární plošky pomocí bodového zdroje je vyobrazeno na obr. 2.4, kde V je směr pohledu pozorovatele (snímacího zařízení) a Θi a Θv jsou úhly, které svírá zář Lp a směr pohledu pozorovatele V s normálou np.
Obr. 2.4 Osvětlení elementární plošky s využitím bodového zdroje.
18
Veličiny popsané indexem i (incident) představují veličiny dopadajícího paprsku, veličiny označené indexem r (reflected) představují veličiny odraženého paprsku. Všeobecně jsou odrazové schopnosti materiálu v určitém bodě definovány pomocí BRDF funkce. Tato dvousměrová distribuční funkce odrazu fr popisuje poměr mezi odraženou radiancí
s,ωr
dLr v bodě s a vstupní radiancí dLi
s,ωi
promítnutou na kolmou plochu. Světlo dopadá na povrch ze směru ωi a odráží se z povrchu v bodě s ve směru ωr.ωiPrincip dvousměrové distribuční funkce je zobrazen na obr. 2.5.
Obr. 2.5 Princip dvousměrové distribuční funkce
Orientace plošek se popisuje ve sférické soustavě souřadnic azimutem a polárním úhlem
, jak je zřejmé z obr. 2.6.
Obr. 2.6 Popis orientace plošky ve sférické soustavě souřadnic
Odrazivost většiny využívaných snímaných povrchů však není závislá na otočení podél normály povrchu. Popsaná dvojrozměrná distribuční funkce odrazu se pak zjednoduší, fr
bude záviset pouze na rozdílu azimutů směrů ke světelnému zdroji a pozorovateli φi – φv.
, ,
.
) ,
(
i p i i
r i
r ω ω n ω
ω ω ω ,
d s
dL
s s dL
f
i r
r (2.5)
19
Koeficient odrazivosti nebo také albedo vyjadřuje podíl dopadající energie odražené zpět do poloprostoru:
,
i r
E
E (2.6)
kde Ei
je intenzita záření dopadajícího na plošku povrchu scény a Er
je intenzita vyzářená zpět do prostoru po odrazu, je vlnová délka elektromagnetického záření.Koeficient závisí na vlnové délce dopadajícího elektromagnetického záření, vlastnostech povrchu plošky (míra absorpce záření), na třech úhlech, popisujících vzájemný vztah mezi směrem ke zdroji světla Lp, směrem k pozorovateli V, lokální orientací danou normálou np, obr. 2.4. Kosiny těchto tří úhlů lze napsat jako skalární součin vektorů, proto je funkce odrazivosti R popsána pomocí tří skalárních součinů:
𝑅 = 𝑅(𝒏𝑝∙ 𝑳𝑝, 𝒏𝑝∙ 𝑽, 𝑽 ∙ 𝑳𝑝). (2.7)
2.1.2 Rozdělení povrchů
Většina snímaných objektů je standardně z neprůsvitných materiálů. Dopadající záření lze tedy rozdělit pouze na pohlcenou a odraženou část. U optického záření je pro detekci objektů nejčastěji využíván odraz. K odrazu dochází od povrchu, který má vlastnosti uvedené mezi dvěma extrémy:
Lambertovský povrch (také ideálně matný, ideálně difúzní povrch) je definován jako povrch, který odráží světlo do všech směrů stejně, neboli difúzně. Budeme-li zjednodušeně uvažovat pro osvětlení z jednoho směru zobrazeného na obr. 2.7 (a), kde Li
je světlo dopadající na povrch, které svírá s normálou np úhel Θi. Lambertovský povrch odráží vstupní světelnou energii Li do všech směrů rovnoměrně. Výstupní difúzně rozptýlenou světelnou energii Lr lze získat pomocí integrálu přes polokouli Ω
,
cos .) ,
(s ωr L s ω dωi Lr
i i
(2.8) kdy světlo dopadá na povrch ze směru ωi a odráží se v daném bodě s ve směru ωr [9].
Jas odraženého světla je pak ze všech směrů konstantní, jak je vidět na obr. 2.7a.
Odrazivost Lambertovského povrchu R lze při konstantním koeficientu odrazivosti vyjádřit pomocí kosinového zákona:
i
RL 1 1cos
npLi .
(2.9) Odrazivé vlastnosti materiálu obecně závisí na třech úhlech, které definují vzájemný vztah vůči směru ke zdroji světla Li, směru a pozorovateli V a lokální orientaci povrchu danou normálou. Z rovnice 2.9 je však patrné, že funkce odrazivosti Lambertovského povrchu nezávisí na směru pohledu V [10]. Příkladem takového povrchu pro střed viditelného
20
spektra je bílý piják s koeficientem odrazivosti 0,8, bílý psací papír 0,68, bílý strop nebo žlutý papír 0,6, tmavě hnědý papír 0,14 a tmavý samet 0,004 [8].
Ideální zrcadlový povrch odráží dopadající ozáření pod zrcadlově souměrným úhlem k úhlu dopadu. Vlastní povrch není vidět, ale ukazuje jen zdánlivý zrcadlově převrácený obraz zdrojů elektromagnetického záření. Paprsek dopadající ze směru 𝝎𝒊 = (𝛩𝑖, 𝜑𝑖) se odrazí ve směru:
𝝎𝒓 = (𝛩𝑖, 𝜑𝑖 ± 𝜋). (2.10)
Často interpretováno v rovinném zobrazení zákonem odrazu:
𝛩𝑟 = 𝛩𝑖. (2.11)
Výpočetně praktičtější je použít vztahy založené na skalárním součinu:
𝝎𝒓= 2(𝝎𝒊 ∙ 𝒏 )𝒏 − 𝝎𝑖 . (2.12) Záře odražená od zrcadlového povrchu bude:
𝐿𝑟(𝑠, 𝝎𝒓) = 𝑓𝑟(𝑠, 𝝎𝒓, 𝝎𝒊)𝐿𝑖(𝑠, 𝝎𝒊), (2.13) kde fr (s,ωr,ωi) je BRDF funkce zrcadlového obrazu:
𝑓𝑟(𝑠, 𝝎𝒓, 𝝎𝒊) = 1
𝑐𝑜𝑠 𝛩𝑖 𝛿(𝑐𝑜𝑠 𝛩𝑖− 𝑐𝑜𝑠 𝛩𝑟) 𝛿[𝜑𝑖 − (𝜑𝑟± 𝜋)]. (2.14) Zrcadlová složka je příčinou parazitních reflexí na snímaných objektech. Množství odraženého světla pro lesklé materiály popisují Fresnelovy rovnice, podrobněji v [11].
Příklad odrazu od zrcadlového povrchu je vyobrazen na obr. 2.7b. Vlastní povrch není vidět, ale ukazuje jen zdánlivý zrcadlově převrácený obraz zdrojů elektromagnetického záření. V praxi se této matematické abstrakci nejvíce podobají vyleštěné povrchy kovů, voda nebo povrch skla.
Lesklý povrch je kombinací lambertovského a ideálně zrcadlového povrchu. Větší část záření se odráží zrcadlovým odrazem na základě zákona odrazu. Menší část se odráží rozptýleně difúzním odrazem. Příklad odrazu na lesklém povrchu je znázorněn na obr. 2.7c. Lesklý odraz je výsledkem složení několika jevů. Analytické vyjádření BRDF funkce v obecné formě není známa, používají se však různé její aproximace. Pro popis lesklého povrchu se používá povrch složený z mikroplošek. Jednu z nejjednodušších vyvinul Torrance a Sparrow [12]. Pro použití v počítačové grafice ji Cook a Torrance [13]
popisuje vztahem:
𝑓𝑟(𝑠, 𝝎𝒓, 𝝎𝒊) = 𝐷 𝐺 𝐹
π 𝑐𝑜𝑠 𝛩𝑖𝑐𝑜𝑠 𝛩𝑟 . (2.15)
21
kde D představuje distribuci mikroplošek, G popisuje geometrický model pro vlastní stínění materiálu a F je Fresnelův koeficient odrazivosti svázaný s transparencí materiálu [14]. Detailnější popis odrazivosti objektů lze najít například v literatuře [14,15,16].
Obr. 2.7. Odraz záření od povrchu objektu
Vedle těchto povrchů existuje i celá řada různých jiných typů, jako je například materiál s podpovrchovým rozptylem světla (kap. 5.2), který je popisován pomocí upravené funkce odrazu světla BSSRDF.
2.2 Pořízení obrazu
Obraz (vizualizovaná obrazová data) může být modelován matematicky pomocí spojité skalární funkce fb dvou až čtyř proměnných, která je nazývána obrazovou funkcí. Statický obraz (snímek) s plošným rastrem (2D obraz) je popsán obrazovou funkcí dvou souřadnic fb(x,y) v rovině (obecněji v ploše, např. na přibližně kulové ploše sítnice lidského oka).
Obraz tak představuje obrazovou funkci ve formě dvojrozměrné matice, kde jejími prvky jsou obrazové elementy nazývané pixely (picture element). Pokud se jedná o obraz s plošným rastrem zachycený v čase t, pak obrazová funkce má tři proměnné fb(x,y,t). Tři proměnné má také obrazová funkce v případě obrazů s třírozměrným rastrem (3D obrazů), tj. fb(x,y,z). Obraz pak představuje obrazovou funkci ve formě trojrozměrné matice, kde jejími prvky jsou obrazové elementy nazývané voxely (volumetric element). Speciálním případem je obrazová funkce se čtyřmi proměnnými pro prezentaci 3D obrazů v čase fb(x,y,z).
Obrazová data musí být nejdříve získána a následně jsou data interpretována tak, aby z nich mohla být získána potřebná užitečná informace. Obrazová data jsou získávána z okolního šumu pomocí převážně bezdotykových snímačů. Data jsou kvantovaná (nabývají určitých hladin hodnot) a pouze v určitém konečném rozsahu. Hodnoty, kterých získaná obrazová data nabývají, odpovídají množství/změně naměřené energie zobrazené v daném rastru, hodnoty jsou tak spojeny s měřenou veličinou.
Interpretace obrazových dat znamená získání požadovaných informací převážně užitím nástrojů obrazové analýzy. V textu je často zmiňován pojem objekt, který představuje oblast v obrazu, která je předmětem zájmu. Okolí objektu je pak nazýváno jako pozadí.
Objekt a pozadí spolu tvoří technologickou scénu. K tomu, aby bylo možné objekt a pozadí oddělit, musí být data náležitě interpretována. Tato interpelace však nemusí sama o sobě přinést potřebné informace, je tak třeba dalších nástrojů zpracování obrazu.
22 2.2.1 Možnosti získání obrazových dat
Většinu dat získaných v plošném nebo třírozměrném rastru lze vyjádřit jako vizuálně interpretovatelný obraz. Tato data lze tedy zpracovávat nástroji obrazové analýzy, a to jak pro jediný snímek (staticky), tak v čase.
Obrazová data lze získat z mnoha typů snímačů, které používají různé druhy energie (různé veličiny) a různé způsoby pořízení. V zásadě lze obrazová data získat pomocí:
bodových snímačů,
liniových snímačů,
plošných snímačů,
trojrozměrných (3D) snímačů.
Ve své podstatě všechny snímače získávají data v bodech, které tvoří rastr, ale rozdílná je doba jejich pořízení. U plošných snímačů a 3D snímačů jsou data v bodech získána současně v jeden časový okamžik (přesněji během definovaného časového úseku). V případě bodových a liniových snímačů je nutné zajistit posuv senzorů nebo sledovaného objektu na přesně stanovené pozice s odpovídající přesností polohování a také synchronizaci získaných obrazových dat s polohou snímače, respektive objektu. V případě požadavku 3D dat je nutné i u plošných snímačů zajistit získání třetího rozměru.
V současné době se čím dál více uplatňuje propojení více snímačů dohromady. Jedná se o tzv. Sensor fusion (senzorová fúze nebo také multisenzorika). Jedná se o kombinaci senzorických dat nebo dat získaných z různých zdrojů tak, že výsledná informace má méně nejistoty, než by bylo možné dosáhnout, kdyby byly tyto zdroje použity jednotlivě.
Informace tak může být přesnější, úplnější, spolehlivější nebo může být rozšířena.
Například použití dvou kamer za účelem stereoskopického vidění poskytne navíc informaci o hloubce předmětu na základě dvou 2D obrazů, čehož by se u samostatných kamer nedosáhlo. Podobně je možné využít rastrovaných obrazových dat a ty rozšířit o data z bodových senzorů, které po interpretaci přinesou doplňující informaci o hloubce předmětu v určitém místě.
2.2.2 Kamery
V průmyslové praxi je stále více používáno obrazových senzorů - kamer. Škála všech typů a druhů kamer je v současné době rozsáhlá a pokrývá širokou škálu aplikací. Pro aplikaci strojového vidění v průmyslové praxi je potřebné se zaměřit na průmyslové kamery - kamery odpovídající průmyslovým standardům. Použití běžně dostupných komerčních kamer a fotoaparátů se pro průmyslovou praxi jeví spíše jako provizorní řešení s omezenými vlastnostmi, kterými jsou především životnost, odolnost vůči vlivu okolního prostředí a již provedená komprese snímků, které minimalizují použitelnost pro následné zpracování obrazu. Po získání obrazu následuje obrazová analýza umožňující automatizaci jednotlivých úloh, například hodnocení jakosti, nalezení objektů, rozeznání tvarů,
23
vyhodnocování kódů atd. Samotné pořízení obrazu je pouze jedním z nástrojů strojového vidění.
Pro získání obrazové informace pomocí kamery je zapotřebí zajistit vztah mezi obrazovou rovinou kamery a objektem snímaným ve 3D prostoru. Převedení bodu v prostoru o souřadnicích (X, Y, Z), do obrazových souřadnic (x, y) zajišťuje projektivní transformace.
Bod v obrazové rovině je rozšířen o jednu dimenzi (x, y, w). Vztah mezi prostředími je pak definován jako:
𝒒 = 𝑴𝑾𝑸, (2.16)
kde q představuje vektor polohy bodu v obrazových souřadnicích kamery, M matici vnitřních parametrů kamery a W spojitou matici pro rotaci a translaci souřadného systému objektu do systému kamery.
Pro převod do homogenních souřadnic platí:
[𝑥 𝑦] → [
𝑥 𝑦 1
], (2.17)
zpět z homogenních naopak:
[ 𝑥 𝑦 𝑤
] → [
𝑥 𝑤𝑦 𝑤
],
(2.18)
2.2.3 Vnitřní parametry kamery
Matice vnitřních (intrinsických) parametrů kamery je dána jak harwarovým uspořádáním při výrobě kamery, tak použitým nastavením při získání obrazu. Jednotlivé hodnoty matice jsou s neměnnou konfigurací konstantní pro každé snímání. Kalibrace kamery je tedy nezbytná pouze v případě změny konfigurace kamery (změna objektivu, přeostření apod.).
Matice vnitřních parametrů kamery je dána tvarem:
𝑴 = [
𝑓𝑥 𝛾 𝑐𝑥 0 𝑓𝑦 𝑐𝑦
0 0 1
],
(2.19)
kde fx, fy jsou souřadnice ohniska v jednotkách obrazového bodu, cx, cy představují odchylku středu souřadnic od optické osy obrazové roviny, γ znázorňuje koeficient zkosení mezi osami x a y, z principu bývá většinou nulový.
Kromě vnitřních parametrů kamery je důležité také uvažovat zkreslení obrazu distorzí čočky objektivu. Stejně jako matice vnitřních parametrů není závislá na snímané scéně.
Obdobně jako v předchozím případě je kalibrace kamery nutná opět pouze v případě změny konfigurace kamery. Distorze čočky objektivu se dá rozdělit na radiální a
24
tangenciální. Radiální distorze je častější a je způsobena neideálním tvarem čočky.
Radiální distorze způsobuje efekt tzv. soudkovité nebo poduškové deformace obrazu (Obr.
2.8), kdy deformace roste spolu s vzdáleností od optického středu [17].
Obr. 2.8 Typy radiální deformace obrazu, a) původní obraz, b) soudkovitá deformace, c) podušková deformace obrazu
K výpočtu radiální distorze se nejčastěji využívá polynomický model. Pro korigované souřadnice obrazu x´, y´ platí:
𝑥́ = 𝑥(1 + 𝑘1𝑟2+ 𝑘2𝑟4+ 𝑘3𝑟6) 𝑦́ = 𝑦(1 + 𝑘1𝑟2+ 𝑘2𝑟4+ 𝑘3𝑟6)
(2.20)
kde ki jsou koeficienty radiální distorze, x, y jsou původní souřadnice bodu v obraze a x´, y´
jsou přepočtené hodnoty s odstraněnou radiální distorzí. Koeficient r představuje vzdálenost od středu obrazu, tedy:
𝑟 = √(𝑥 − 𝑐𝑥)2+ (𝑦 − 𝑐𝑦)2 (2.21)
Dominantní jsou převážně první tři výrazy, standardně k popisu vystačíme s koeficienty k1, k2 a k3 [18,19,20].
Druhým typem uvažované distorze je distorze tangenciální. Toto zakřivení je způsobeno nepřesností vyrobeného hardwaru kamery, konkrétně nedokonalou rovnoběžností čočky kamery a obrazové roviny. Je popsáno koeficienty p1 a p2, které stejně jako u radiální distorze upravují souřadnice tak, aby odpovídaly realitě:
𝑥́ = 𝑥 + [2𝑝1𝑦 + 𝑝2(𝑟4+ 2𝑥2)]
𝑦́ = 𝑦 + [2𝑝2𝑦 + 𝑝1(𝑟4+ 2𝑦2)]
(2.22)
25
Kromě radiální a tangenciální distorze existují také další typy deformace snímku, ty ale nemají tak významný vliv. Většina kalibračních programů využívá k popisu právě radiální a tangenciální distorzi. V některé literatuře je tento výpočtový model také označován jako Brownův, nebo Bown-Conradyho model [21,22].
2.2.4 Vnější parametry kamery
Vnější parametry kamery stanovují polohu snímacího zařízení v prostoru a jsou dány maticí:
𝑾 = [ 𝑹 ∣ 𝒕], (2.23)
kde t je vektor pozice kamery a R rotační matice představující natočením ve vnějším souřadném systému. Po dosazení rovnic 2.19 a 2.23 do původní rovnice 2.16 dostaneme výsledný vztah:
[ 𝑥 𝑦 1
] = [
𝑓𝑥 𝛾 𝑐𝑥 0 𝑓𝑦 𝑐𝑦
0 0 1
] [ 𝑹 ∣ 𝒕 ] [ 𝑋 𝑌𝑍 1
] .
(2.24)
2.2.5 Snímače viditelného záření
Snímače viditelného elektromagnetického záření (světla) jsou fotonovými senzory záření, které se používají od 70-tých let 20. století a lze rozdělit do dvou skupin:
Snímače na fotoemisivním principu využívající vnější fotoelektrický jev. Přijetím fotonu je poskytnut dostatek energie, aby se uvolnil volný elektron. Principu je využíváno především u světlocitlivých polovodičů, ve vakuových snímacích elektronkách a fotonásobičích.
Snímače na fotovoltaickém nebo fotovodivostním principu se rozšířily s rozvojem polovodičů a využívají vnitřní fotoelektrický jev. Na tomto principu jsou založeny mimo jiné dva základní typy snímačů pro reálné průmyslové nasazení. Starší je označován CCD (Charge-coupled device), mladší a v poslední době stále více používaný, CMOS APS (Complementary Metal–Oxide–Semiconductor Active Pixel Sensor).
2.2.6 Průmyslové kamery
Průmyslové kamery lze obecně dělit podle tvaru snímacího prvku na:
řádkové kamery, snímací body umístěné v linii,
plošné kamery, snímací body umístěné v matici,
3D kamery.
26
Většina metod strojového vidění používá jako optického detektoru kameru. Základem moderních kamer používaných v dnešních topografických metodách je CMOS nebo CCD čip. Oba čipy pracují na stejném principu, kdy foton po interakci s atomem dokáže přemístit některý z jeho elektronů ze základního do excitovaného stavu. V polovodiči je možno uvolněný valenční elektron přitáhnout k přiloženým elektrodám, které jsou ale od polovodiče izolovány. Vznikají tak potenciálové jámy (miniaturní obrazové buňky), které jsou následně vyčítány, zesíleny a digitalizovány. Digitalizace signálu představuje kvantování podle požadované datové hloubky, tedy na požadovaný počet úrovní jasu.
Jestliže je pro získání obrazových dat o obrazovém elementu (pixelu) použito bbit bitů, je počet úrovní jasu κ:
𝜅 = 2𝑏𝑏𝑖𝑡 (2.25)
Pro většinu aplikací je dostačující použití 8 bitového popisu na jeden pixel, současné kamery však zvládají 10 až 12 bitů na pixel.
Rozdíl mezi CCD a CMOS APS je ve vyčítání elektronů. U CCD snímače je použit posuvný registr a buňky jsou postupně vyčítány, zesilovány a pomocí A/D převodníku je signál digitalizovaný. U CMOS APS jsou buňky snímače vyčítány přímo. Snímač funguje na principu použití tranzistoru, kdy každá buňka má svůj zesilovač a A/D převodník. Může být díky tomu přímo adresována a čtena pomocí jejích souřadnic. Obecně, CCD snímače mají vyšší citlivost, vyšší dynamický rozsah, menší šum a vyšší fill factor . CMOS APS snímače mají menší spotřebu, jsou rychlejší a levnější. Více informací lze najít v odborné literatuře [15,16].
V současné době je v průmyslové praxi nejrozšířenější využití monochromatických kamer (kamer snímající v šedé škále). Vedle měření jasu, je možné získat i informace o vlnové délce, přesněji získat barevnost sledovaných objektů v podobném vyjádření tak, jak je vnímá lidské oko. Pro získání barevného obrazu je možné využít dvou základních principů a to tříčipového uspořádání a jednočipového uspořádání s barevným filtrem.
Plošné rozlišení, neboli vzorkování, je vzdálenost mezi nejbližšími snímanými (vzorkovacími) body v obraze (obrazovými buňkami, pixely). Otázku plošné vzorkovací frekvence (vzdálenosti vzorkovacích bodů) řeší Shannonova věta o vzorkování [16]
Shannonova věta o vzorkování říká, že vzorkovací frekvence musí být alespoň dvakrát vyšší než nejvyšší frekvence ve vzorkovaném signálu. To znamená, že interval vzorkování by se měl zvolit tak, aby byl alespoň dvakrát menší než nejmenší detail v obraze. Při výběru typu vzorkovací mřížky se nejčastěji volí pravidelná čtvercová mřížka [23]. V případě použití nižší vzorkovací frekvence (nižšího rozlišení) může dojít k tzv. aliasingu [9,24]. O rozlišení snímače tak primárně rozhoduje požadovaná přesnost měření.
Vzhledem ke zmíněným podmínkám, musí být rozlišení alespoň dvakrát vyšší než požadovaný nejmenší měřitelný rozměr. Tato teoretická přesnost je však snižována vlivem šumu v obraze, ztrátovou kompresí obrazových dat a dalšími vlivy. Zkušenost ukazuje, že pro zpracování obrazu je třeba volit rozlišení zhruba pětkrát větší než je teoretická mez.
27
Běžné průmyslové kamery dnes mají plošné rozlišení okolo 5 MPx, existují ovšem i kamery s rozlišením až 101MPx [25].
Časové rozlišení snímačů nebo také frekvence, či rychlost snímání odpovídá počtu nasnímaných snímků za vteřinu (fps, Frames Per Second). Tento parametr je obzvláště důležitý při snímání relativně rychlých procesů. Frekvence snímání se v současné době pohybuje od 3 fps až po 750 fps. Obecně platí, že čím vyšší rozlišení snímku, tím nižší frekvence snímání. Moderní průmyslové kamery umožňují zvýšení rychlosti snímání záznamem pouze ve zvolené oblasti zájmu na snímači ROI (Region of Interest). Oblast záznamu na snímači je omezena na pouze část z celé plochy snímače (snižuje se tak plošné rozlišení).
Objektiv představuje systém optických elementů - čoček a soustředí obraz na snímač. U převážné většiny objektivů pro spektrum VIS, NIR a NUV je možné pomocí kroužku na objektivu obraz zaostřit. Objektiv je pro uvedená spektra mimo VIS většinou z křemičitého skla. U běžného optického skla se často jedná o rozsah vlnových délek 300 až 2 700 nm (spektrální oblast je jen přibližná, velmi záleží na složení skla). U křemičitého skla je to 160 (160 nm jen několik procent, 170 nm je propustnost 50 %) až 3 600 nm s oknem nízké propustnosti v rozsahu 2 200 až 2 700 nm (vlivem silné absorpce vody). Existují dopovaná křemenná skla pro IR oblast, kde absorpce způsobená vodou je silně potlačena a rozsah rozšířen i přes 4 000 nm [26].
Obr. 2.9 Vztah mezi zorným úhlem, ohniskovou vzdáleností a velikostí snímače
Hlavním parametrem je ohnisková vzdálenost, která určuje pro danou velikost čipu úhel záběru. Většina objektivů pro průmyslové aplikace má pevnou ohniskovou vzdálenost. Pro daný typ kamery s danou velikostí snímače je třeba určit objektiv, který bude mít vhodný úhel záběru, umožňující snímání celé scény z požadované vzdálenosti. Vychází se z velikosti oblasti zájmu scény, která je určena maximální velikostí předpokládaného
28
snímaného objektu (bez nutnosti výměny objektivu). Oblast by měla být s rezervou nakonec větší, a to i s ohledem na pokles rozlišení a kontrastu objektivu směrem k okrajům. Vztah mezi velikostí oblasti zájmu (US), velikostí snímače (uS), pracovní vzdáleností kamery (LW D) a ohniskovou vzdáleností (f) je zřejmý z obr. 2.9.
Matematicky je pak možno vyjádřit vztah z poměrů:
W D S S
L f U
u (2.26)
Z uvedeného lze pak odvodit vztah pro ohniskovou vzdálenost:
S S W DU L u
f . (2.27)
Mechanická clona objektivu dovoluje regulovat množství světla procházející objektivem.
Tímto nástrojem je možné jednoduše ovlivnit celkovou expozici.
Expozice je pro získání obrazových dat obecným pojmem, který ovlivňuje kvalitu získaných dat u většiny použitých energií k jejich získání. Vedle správného zaostření, nasvětlení scény, volby vhodného objektivu, snímače a dalších faktorů, je třeba na snímač přivést požadované množství světla a vzniklý signál správně zesílit. O tom rozhoduje expozice, která je závislá v optickém spektru elektromagnetického záření na třech hlavních faktorech: doba expozice (čas expozice, rychlost závěrky), clona a zisk (gain, kontrast, u komerčních fotoaparátů známé jako ISO).
Doba expozice určuje, po jakou dobu je otevřena závěrka a snímač je tak vystaven působení světla přicházejícího ze scény. Doba expozice je nastavitelná na hodnoty zaokrouhlené mocniny 2, kdy zvýšení doby o jednu hodnotu vede ke zdvojnásobení expozice (fotonů dopadajících na snímač):
sTE n ,1,2,4,8,15,30,60,...
2 ,1 4 ,1 8 ,1 15 , 1 30 , 1 60 , 1 125 , 1 250 , 1 500 , 1 1000 2 1
(2.28)
kde n je parametr expozice a je celým kladným číslem. U průmyslových kamer je možné se setkat s použitím hodnot v milisekundách.
Clona je průměr otvoru, kterým prochází světlo, tedy je to fyzické omezení množství světla přicházejícího na snímač. Clona je většinou součástí objektivu, NA je clonové číslo a platí pro ně vztah:
𝑁𝐴 = 𝑓
𝐶, (2.29)
kde f je ohnisková vzdálenost [mm] a C je průměr otvoru clony [mm]. Ze vztahu vyplývá závislost clonového čísla na průměru otvoru clony a ohniskové vzdálenosti. Je tím ovlivněno i množství dopadajícího světla procházející optikou kamery, tedy expozice. Při
29
zdvojnásobení průměru clony se expozice (množství dopadajícího světla na snímač) zčtyřnásobí, neboť při zdvojnásobení průměru otvoru clony C se zčtyřnásobí plocha S, kterou prochází světlo
. 4 C2
S (2.30)
Pro zdvojnásobení expozice je třeba zvýšit průměr clony o 2 (1,4). Vliv na snížení množství světla dopadajícího na senzor má také ohnisková vzdálenost. Při zdvojnásobení vzdálenosti klesne množství dopadajícího světla čtyřikrát. Je to dáno tím, že se světlo rozprostře na větší plochu. Clony mají clonová čísla velmi často v řadě, která respektuje výše uvedenou závislost, tedy při změně o jednu hodnotu výše se expozice (dopadající energie ve formě záření) sníží na polovinu:
...
; 22
; 16
; 11
; 8
; 6 , 5
; 4
; 8 , 2
; 2
; 4 , 1
; 1
2 n
N (2.31)
kde n je celým kladným číslem. (Často je clona označována jako: f/1.0, f/5.6, f/8 atd.) Zesílení signálu ze senzoru neboli zisk ovlivňuje u snímačů přímo míru šumu. U fotoaparátů se vyjadřuje jako ISO citlivost. V praxi nemá smysl normovat vlastní zesílení pro kamery, protože citlivost senzorů na světlo je různá. Normalizace se provádí u fotoaparátů i průmyslových kamer, kde se normuje celková citlivost senzoru se zesilovačem. Citlivost se standardně udává v ISO jednotkách a měla by odpovídat citlivosti klasického kinofilmu. Každá sousední hodnota na ISO stupnici mění citlivost vždy právě dvakrát. Typická základní stupnice ISO tedy je:
...
; 1600
; 800
; 400
; 200
; 100
; 50
...
ISO (2.32)
Pokud se zvýší zisk vyjádřený ISO stupnicí dvakrát (např. z ISO 100 na ISO 200), ke stejné expozici stačí poloviční energie vybuzená světlem (velice zjednodušeně řečeno - stačí poloviční množství dopadajících fotonů).
Pomocí tří uvedených parametrů lze nastavovat expozici. Platí, že stejné expozice lze dosáhnout kombinací všech tří faktorů, ale nezíská se stejný obraz. Pro rychle se měnící scénu je nutné snímat v kratších časech. Pak je nutné otevřít clonu (nastavit malé clonové číslo) nebo více zesílit vystupující signál ze snímače. Otevřením clony se sníží hloubka ostrosti. Vzdálenější a bližší části scény od zaostřeného objektu jsou pak rozostřené, což může v některých případech úloh v průmyslové praxi být nežádoucí. Druhá možnost zesílit vystupující signál zase zvyšuje relativní míru šumu v získaném snímku.
Vedle těchto tří faktorů lze ovlivnit expozici pomocí osvětlovačů (zdrojů záření dané vlnové délky nebo častěji v daném rozsahu vlnových délek). Vliv expozice včetně jejího ovlivnění pomocí tří parametrů a zdroje záření (osvětlení) je stejný pro celé optické záření.
Je tak přenositelný i na IR a UV záření.
