Laser scanning Fotogrammetrie Stereo vize Time of Flight
18 Všechny technologie vytváří tzv. bodová mračna, což je shluk bodů v prostoru, každý se svými třemi příslušnými souřadnicemi, obvykle v kartézském souřadném systému.
Významným parametrem je zde hustota bodového mračna, od které se odvíjí i podrobnost extrahovaných 3D informací. Ačkoliv se dá mračno bodů okamžitě zobrazit a renderovat, pro řadu účelů je však tento typ dat nepoužitelný a proto bývá převáděn do polygonálních sítí nebo NURBS5 povrchů, kde může být podroben další analýze. V některých případech však lze s bodovými mračny pracovat přímo, a to nejčastěji jeho osazením na CAD model, kde je porovnávána shoda a její odchylky.
2.2.1. Laser scanning
Metoda nazvaná laser scanning je založena na snímání deformace promítaného liniového laseru. Základní myšlenka laserového skenování spočívá v porovnání předpovídané polohy paprsku, který by dopadal na základní rovinu bez překážek, vůči skutečnému odraženému, čímž jsou přepočtem získány výškové rozdíly pro celou šíři najednou, 2D obraz je potom extrahován přímo z optického senzoru. V tomto systému existují dvě zásadní varianty skenování pomocí laseru, a to s pohyblivým či naklápěcím zdrojem laserového paprsku, nebo s pohyblivým objektem zájmu (Obrázek 7), přičemž je v řešené práci využito prvního způsobu.
Obrázek 7 - Laser scanning systém s pohyblivým zdrojem laseru (vlevo) [20] (upraveno), s pohyblivým objektem (vpravo) [21] (upraveno)
5 Non-uniform rational B-spline, matematický model běžně využívaný v počítačové grafice pro generování křivek a povrchů.
19 Z obrázku Obrázek 8 vyplývá, že velmi významnou roli v přesnosti celého systému hraje úhel mezi liniovým laserem a kamerovým systémem. Z uvedené rovnice je zřejmé, že při velkém úhlu α pouze malá změna výšky znamená velký rozdíl ve velikosti posunutí skutečného odraženého paprsku, nevýhoda ale spočívá v omezeném rozsahu měřených výšek a v Bin Picking systému problematické geometrické stíny za boky kontejneru či plochy objektů, které mají menší úhel, než je úhel α. Zvolený úhel naklopení paprsku je dán jemným bilancováním těchto vlastností s cílem získat co největší přesnost při co minimalizaci geometrických stínů s přihlédnutím na rozsah měřených výšek.
Obrázek 8 - Princip výpočtu výškového rozměru pomocí technologie laser scanning [22] (upraveno)
Při použití pohyblivého zdroje laserového paprsku, což je případ skenovacího zařízení SICK Ruler (Obrázek 7), je úhel α variabilní a navíc se z pravoúhlého trojúhelníku stává obecný. Tato vlastnost vnáší další úroveň obtížnosti do výpočtového algoritmu, který musí být tím pádem ještě komplexnější. Důvodem pro toto zdánlivé zkomplikování skenovacího procesu je skutečnost, že bedna s objekty i machine vision systém mohou zůstat statické na jednom místě. Proto je tento přístup i přes složitější výpočet na trhu s Bin Picking řešeními dominantní. Pro detekci se používá několik následujících uspořádání kamery a laseru vůči analyzovanému objektu:
Obrázek 9 - Čtyři běžné konfigurace pro 3D strojové vidění za použití triangulace [23] (upraveno)
20 Každý z těchto čtyř systémů má svoje silné a slabé stránky, které se berou v potaz při navrhování nejvhodnějšího řešení pro konkrétní případ. Nejčastější parametry rozhodující o výběru nejvhodnější varianty jsou vlastnosti povrchu snímaného objektu a nároky na přesnost jak v rovině kolmé na optický snímač, tak na její normálu.
Tabulka 1 - Porovnání vybraných uspořádání při laserové triangulaci
2.2.2. Fotogrammetrie
Název je složen z trojice latinských slov: photo - světlo, gram - měřit, metry - malovat, což mírně naznačuje i princip, který je založen na pořízení obrazů scény z minimálního potřebného (většinou velkého) množství úhlů, ze kterých se digitálně skládá 3D model na základě vyhodnocených společných bodů na jednotlivých snímcích. Překrytí sousedních snímků by mělo být minimálně 60-70%, pro zmapování objektu s přijatelnou přesností je tedy nutné pořídit velký počet obrazů. Tato technologie se používá většinou v netechnických oblastech jako například 3D mapování obličejů pro 3D tisk, kde nejsou tak vysoké požadavky na přesnost a rychlost vytvoření 3D scény.
Obrázek 10 - Princip fotogrammetrie [24] (upraveno)
Standartní geometrie Obrácená geometrie Zrcadlová geometrie Look-away geometrie
Hlavní přednosti Výpočetně jednoduché Zvýšená rozlišovací schopnost
ostrosti Výpočetně složité Odražené paprsky mohou
způsobovat chyby měření Hrozí okluze Primární použití Obecné využití Aplikace vyžadující
vysokou přesnost
Tmavé nebo vysoce profilované objekty
Vysoce reflektivní materiály (sklo, kovy,…)
21
2.2.3. Stereo vize
Počítačová stereo vize je způsob extrakce 3D informací získaných za pomocí dvou CCD či CMOS kamer. Porovnáním jednotlivých obrazů ze dvou různých směrů stejného objektu lze opět pomocí triangulačního principu docílit vytvoření bodu nebo mraku bodů (viz níže) v prostoru, což je metodicky velice blízké stereopsi – binokulárnímu vidění, kterým přirozeně disponují lidé. Zde je údajem určujícím hloubku bodu tzv. paralaxa6, která určuje zdánlivé posunutí mezi bodem v obrazu z jedné a druhé kamery (viz Obrázek 11):
Obrázek 11 - Princip stereo vize [25] (upraveno)
Důležité je, aby se sledovaný bod nacházel uvnitř pozorovacího úhlu obou kamer a aby měly optické senzory dostatečné rozlišení pro vyhodnocení minimální požadované přesnosti zjišťované hloubky. Bod scény a dvojice optických snímačů tvoří trojúhelník, u kterého je dopočítán příslušný rozměr určující vzdálenost sledovaného bodu od roviny kamer. Hodnoty xl a xr na promítací rovině jsou dány ohniskovou vzdáleností optiky kamer, často se volí totožné.
Obrázek 12 - Výpočet vzdálenosti bodu pomocí triangulace [26] (upraveno)
6 Paralaxa - z řeckého παράλλαξις (parallaxis) znamenající „změna“ - úhel, který svírají přímky vedené ze dvou různých míst v prostoru k pozorovanému bodu.
22
Pro stereo vize s paralelními optickými osami, ohniskovou vzdáleností f, vzdáleností kamer b a příslušnými souřadnicemi obrazových bodů (xl, yl a xr,yr) lze umístění bodu v prostoru zjistit na základě předchozích rovnic:
𝑧 = 𝑓 ∙ 𝑏
Díky těmto výpočtům lze přepočítat vzdálenost jednotlivých odpovídajících bodů z různých obrazů a výsledek zobrazit v plošné matici. Každému číslu pak může být přiřazeno číslo v určitém rozsahu, které odpovídá například stupni šedi. Tímto způsobem je vytvořena tzv. disparitní mapa [27], na jejímž základě je možné získat informaci o hloubce jednotlivých bodů.
2.2.4. Time of Flight
Způsob zjišťování hloubky často také označován ToF je založen na rychlosti světla, kdy měří světelný signál mezi kamerou a objektem pro každý pixel obrazu. ToF kamera patří do skupiny LIDAR7 zařízení a první použitelné přístroje pro komerční účely byly zhotoveny až kolem roku 2000, kdy se polovodičová technika stala pro tuto technologii dostatečně rychlou. Měření většinou probíhá na základě skutečné doby, kterou laserovému paprsku trvalo urazit vzdálenost od zdroje světla k objektu a do kamery, existují ale i principy využívající měření fázového posunu. Rozlišení je v dnešní době zatím ještě relativně nízké (průměrně 640x450 px), ale výhodou je vysoká snímkovací frekvence oproti ostatním technologiím (až 160 snímků za vteřinu).
Obrázek 13 - Princip Time of Flight kamery [28] (upraveno)
7 Light Detection And Ranging, způsob určování vzdálenosti na základě délky putování odraženého světelného paprsku od snímaného objektu.
23
2.3. Dostupné Bin Picking prostředky
Jak již bylo zmíněno výše, o zvládnutí snadného a spolehlivého nasazení Bin Picking systémů v průmyslové praxi se již několik let intenzivně zabývá řada renomovaných firem.
Jelikož začala být Bin Picking úloha reálně zvládnutelná přibližně až na přelomu milénia, na trhu se nachází pouze omezený počet firem nabízejících kompletní řešení, tento počet však v posledních letech vykazuje rostoucí tendenci. V následující kapitole bude uveden výběr významných produktů, využívajících principů popsaných v několika předcházejících stranách.
2.3.1. Pick It – FLEX/TEACH
Tato Belgická firma nabízející následující řešení poskytuje sestavu výrobků v podobě fyzického optického systému, vlastní výpočetní jednotky, softwarového vybavení a soupravy pro kalibraci optické části. Tyto komponenty jsou zde jednotlivě popsány stejně tak, jak je prezentuje výrobce. Možnosti aplikace jsou velice rozšířené – od jednoduchých součástí až po složité díly v podobě výlisků, odlitků apod. Součástí balení jako u všech ostatních výrobků však není průmyslový robot, ten je kupován a instalován zvlášť. Fy na základě specifických požadavků zákazníků spolupracuje se známými výrobci robotů (Universal Robots, Fanuc, KUKA, ABB a Stäubli) tak, aby bylo vyhověno všem kritériím.
Skenování scény probíhá za využití laser scanning principu (2.2.1. ), hlava se stupněm krytí IP 65 promítá na oblast zájmu pomocí laserového zdroje světla specifický vzor, na jehož základě jsou vypočítávány informace o hloubce jednotlivých bodů. Výhodou je absence potřeby speciálního osvětlovacího systému díky využití laseru, zařízení je tak schopno operovat v podmínkách se špatným nebo proměnným osvětlením, tím pádem je méně náchylné na okolní vlivy. Snímkovací frekvence CMOS senzoru je 30 Hz a pracovní plocha může dosahovat velikosti 3,4x2,5 m.
Další důležitou součástí je rozhraní pro komunikaci s člověkem, kterému dominuje na přední části zařízení velká dotyková, čímž se nápadně podobá dnešním tabletům. Ovládací jednotka je rozdělena na dva druhy podle využití – FLEX engine a TEACH engine, každá se svou vlastní hardwarovou výbavou a doporučeným nasazením. V modelu FLEX lze nadefinovat jednoduché geometrické tvary (válce, kvádry, roviny, kružnice, …), které jsou pak vyhledávány v pracovní oblasti. Výhodou je spolehlivé a rychlé vyhodnocení scény i za přítomnosti vysoce reflektivních dílů, které se v průměru pohybuje kolem 0,5 sekundy.
Model TEACH je vhodný pro složitější tvary, které jsou vyhledávány podle předlohy nahrané v systému ve formátu .step a doba analýzy je deklarována výrobcem v rozmezí 1,5 až 3 sekundy [29]. Možností je také hybridní systém zvládající oba typy úloh.
24 Kamerová hlavice může být umístěna buď externě na rámu, nebo přímo na těle robotu, vhodnost je opět závislá na daném využití. Silnou stránkou tohoto systému je především rychlá instalace a naprogramování úlohy, komunikace s řídicí jednotkou robotu nebo s počítačem je realizována přes ethernetové rozhraní, kamerový systém je pak připojen pomocí průmyslového USB 3.0 konektoru.
Obrázek 14 - Pick-it kamerová hlavice (vlevo), případ aplikace (vpravo) [30]
2.3.2. Photoneo PhoXi 3D Scanner L
Slovenská Firma Photoneo nabízí modelovou řadu 3D skenerů s označením PhoXi, obsahující v první řadě CMOS optický snímač a zdroj laserového světla promítající sadu světelných vzorů na sledovaný objekt nebo sledované objekty, digitální kamera při každém promítaném vzoru pořídí snímek, jehož zachycený tvar je z jejího pohledu zkreslený. Firma Photoneo používá vlastní projekční systém založený na koherentním laserovém světlu, jehož paprsky o určité vlnové délce dopadají na rozpoznávané objekty, což díky absenci širokého spektra záření, které se jinak vyznačuje relativně vysokými ztrátami, umožňuje čistě pasivní chlazení.
Díky kombinaci digitální CMOS SONY kamery s rozlišením 2240x1680 pixelů, laserového projektoru a algoritmu, který využívá laser scanning principu, je výstupem měření v ideálním případě 3 000 000 bodů odpovídajících povrchu měřené oblasti.
Analyzování tohoto obrazu s maximálním rozlišením a vytvoření odpovídajícího mraku bodů trvá přibližně 0,2 sekundy, což v případě opakované analýzy znamená 5 měření za sekundu. Na zadní straně skeneru se nachází rozhraní v podobě ethernetového a napájecího konektoru. Díky vlastnímu zdroji světla systém není náchylný na vnější rušivé elementy jako například proměnlivé denní světlo či změnu osvětlení. Tělo je tvořené z uhlíkových vláken, což zaručuje minimální hmotnost, vysokou tuhost a odolnost proti vysokým teplotám.
25 Výpočet 3D scény probíhá v programu PhoXi Control, který je určen pro operační systémy Windows 7,8,10 a distribuci Linuxu Ubuntu. V něm lze upravovat výpočtové algoritmy, nastavovat softwarové spouště, expozici, oblast zájmu a interpretaci dat.
Součástí SW je také porovnávání s předlohovými modely a určování jejich polohy a orientace, což činí systém vhodným pro Bin Picking aplikace.
Obrázek 15 - Kamera Photoneo PhoXi (vlevo), mračno bodů získané analýzou obrazu (vpravo) [31]
2.3.3. SICK – RULER S2114
V první řadě je nutno zmínit, že zde uvedený výrobek je v rámci dlouholeté spolupráce firmy SICK s katedrou KSR skutečně použit při realizaci Bin Picking úlohy, která tento typ vision systému vyžaduje. Oproti ostatním produktům využívajících laser scanningu, které jsou zde uvedeny, je přístup tohoto odlišný tím, jakým způsobem se laserový (v tomto případě) či jiný paprsek promítá na sledovanou oblast. Zde je použit jednoduchý liniový laser o vlnové délce 660 nm, ozařující pruh sledovaného prostoru, čímž je získána pouze 2D informace o šířce a výšce. Doplnění délkového rozměru probíhá díky pohybu laserového paprsku v jeho kolmém směru, což je umožněno natočením odrazného zrcátka přesným pohonem se senzorem, který s relativně vysokou přesností odečítá jeho naklopení (Obrázek 7).
Optický snímač umístěný ve skeneru je charakterizován CMOS architekturou a rozlišením 756x512 pixelů a spektrální citlivostí v pásmu 360 až 690 nm. Zabudovaný liniový laser třídy 2M promítá koherentní paprsek v tomto intervalu, konkrétně s vlnovou délkou 660 nm (viditelné červené světlo) postupně na povrch sledované scény, přičemž jedno měření trvá přibližně 2,5 s. Oblast, kterou je tento skener schopný zachytit, je zvolena podle velikosti evropských a amerických palet, to znamená 1000x1200x750 mm. V tomto rozsahu výrobce garantuje přesnost +- 3 mm.
Přístroj disponuje datovým rozhraním v podobě gigabitového ethernetu, dvou digitálních vstupů a jedním taktéž digitálním výstupem, napájen je za pomoci konektoru na 24 V s maximální spotřebou zařízení 10W. Tělo skeneru je vyhotoveno z hliníku, kryt kamery a laseru z plochého skla s antireflexní povrchovou vrstvou.
26 Výhodou produktu je plná softwarová podpora v podobě programu s názvem SICK PLB, což je řešení přímo navržené na Bin Picking systémy s intuitivním prostředím a užitečnými funkcemi pro dané typy P&P aplikací. Tam lze konfigurovat parametry jako rozměry přepravky, celkovou shodu, vyhodnocování mikrokolizí či míst, za které mají být součásti uchopovány. Více informací o možnostech konfigurace snímání a analyzování scény je uvedeno v praktické části.
Obrázek 16 - SICK RULER (vlevo), příklad použití při Bin Picking aplikaci (vpravo) [32]
2.3.4. FANUC - 3D Area Sensor
3D snímač je složen ze dvou digitálních kamer a projektorové jednotky s definovanou vzájemnou vzdáleností, fungující na stereo vizním principu, popsaným výše. Jednou z originálních konfigurací, které FANUC poskytuje, je připevnění pouze jedné kamery na koncový člen robotu, přičemž zdroj tzv. strukturovaného světla zůstává upevněný na rámu, kdy jsou kamerou postupně vytvořeny dva snímky z různých poloh, které zajistí napolohování kamery průmyslovým robotem. To je sice výhodné z hlediska počáteční investice za snímací systém, toto řešení však prodlužuje dobu potřebnou k vytvoření bodového mračna.
Společné body obrazu pořízené z různých poloh se neidentifikují pouze na základě společných prvků v obrazu, vyhledávají se za pomoci projektoru, jehož promítaná síť bodů dopadá na předměty v pracovním prostoru a následně se odráží do optického senzoru kamery. Tím je získána informace o hloubce, která se zobrazí v podobě mračna bodů, připravená pro další zpracování. Body promítané na povrch zkoumaných těles se nacházejí v oblasti infračerveného světelného spektra s rozlišením 239x139 bodů. Jejich vzdálenost je potom zjevně závislá na tom, jak daleko se promítač nachází od nasvěcovaného povrchu, přičemž platí, že čím blíž je, tím jemnější síť bodů je promítána (tím pádem ale na menší ploše).
27 Kamery dodávané se systémem mohou být různé, doporučené jsou kamery značky KOWA, BASLER nebo SONY s rozlišením poohybujícím se od 320x240 do 1280x1024 pixelů s nastavitelnou expozicí a clonou. Vhodným výběrem konkrétního optického systému lze systém nastavit dle potřeby. Pro kalibraci se používá speciální deska, u které je nutné definovat její polohu vzhledem ke kamerám, tato informace je poté zanesena do softwaru s názvem iRVision určeného pro počítače dodávaného společně s hardwarovým vybavením a na jejím základě je systém zkalibrován. V dodávaném programu iRVision lze manuálně nastavovat celou řadu parametrů jak týkajících se snímaného obrazu, tak proměnných, jako je shoda, překrytí obrazců apod.
Obrázek 17 - Fotografie 3D scanneru (vlevo), příklad použití pro Bin Picking aplikaci (vpravo) [33] (upraveno)
2.3.5. Ensenso X36
Společnost Ensenso nabízí svoje řešení 3D snímače v podobě modulárního stereo vizního systému skládajícího se ze dvou CMOS senzorů, které dohromady pomocí dvou snímaných obrazů vytvářejí disparitní mapu (2.2.3. ). Pro usnadnění vyhledávání odpovídajících bodů se zde využívá výkonného LED projektoru, přičemž může být systém založen na modrém (465 nm), nebo infračerveném (850 nm) světlu. Na sledovanou scénu je LED projektorem promítána síť bodů, která je u tohoto modelu o pár mikrometrů posunována piezoelektrickým aktuátorem připevněným k projektoru, což umožňuje vytvořit přesnější disparitní mapu a tím pádem detailnější mrak bodů pořízením osmi snímků každou kamerou za různého posunutí promítaných světelných značek. Použitá metoda také zvyšuje robustnost měření a snižuje počet operací potřebných při vytváření mraku bodů za použití pouze jedné dvojice sejmutých obrazů (šum, tmavá či lesklá místa, …).
28 Optické senzory nacházející se ve scanneru mají globální závěrku, rozlišení 1280 x 1024 pixelů, světelnost 1,4 a ohniskovou vzdálenost 8-35 mm. Datové a napájecí rozhraní je umístěno na boční části scanneru a skládá se z Gigabitového Ethernetu a konektoru pro externí napájení 24 V. Dalšími možnostmi pro připojení je 24V GPIO8, spoušť a výstup na blesk. Celé zařízení je certifikováno stupněm krytí IP65, které poskytují těla z hliníkových slitin s těsněními.
Celý systém je možno rozšířit ze vzdálenosti kamer 200 mm na 400 mm díky dvěma ramenům, zvyšujícím přesnost snímání (viz 2.2.3. ) a měřený objem, větší rozteč kamer ale také samozřejmě zvětšuje minimální vzdálenost od oblasti zájmu a zástavbové rozměry
Obrázek 18 - Přední pohled (vlevo), zadní pohled s rozšiřujícími rameny (vpravo) scanneru Ensenso X36 [34]
8 GPIO – General Power Input/Output, obecný konektor sloužící pro vstup či výstup (rozhoduje uživatel) umístěné na integrovaném obvodu, s primárně nedefinovaným účelem, využití může být různé.
29
3. Koncepce laboratorního pracoviště a efektoru
V rámci současného projektu je řešeno odebírání plechových lisovaných dílů z poměrně hluboké přepravky (cca, které je v současné době realizováno zaměstnancem.
Tento způsob manipulace je neefektivní a je snaha ho v posledních letech spolehlivě zautomatizovat. To je zde řešeno výše zmíněným systémem s názvem Bin Picking, který přináší celou řadu výhod (2.1). Proto je v diplomové práci tato problematika řešena jak na teoretické, tak na praktické úrovni. V této kapitole je proveden rozbor pracoviště jak stávajícího, tak i plánovaného nového. Pro jeho navržení je nejprve nutné se zaměřit na manipulovaný předmět a zásobník, ze kterého jsou díly odebírány. Na tomto základu je dále postaven výběr layoutu ostatních prvků řešeného Bin Picking pracoviště.
3.1. Popis uchopovaného objektu
V laboratořích Technické univerzity v Liberci, konkrétně v oddělení mechatronických systémů a robotiky je pro realizaci automatické manipulace vyhrazena laboratoř, ve které je možné navrhnout již zmíněný systém automatického odebírání volně ložených dílů.
Objektem manipulace je ocelový díl o tloušťce 3 mm a hmotnosti přibližně 0,6 kg s těžištěm ležícím v ose rotace objektu ve výšce 14,775 mm od jeho široké základny. Povrch objektu je suchý a neobrobený, díl byl vyroben z ocelového plochého polotovaru.
Na dílu se také v nemalé míře vyskytují otřepy a ostré hrany, které představují riziko pro měkké tkáně lidských pracovníků překládajících tyto díly – vzniká tedy nutnost používat pracovní rukavice. Díky této situaci se zde zviditelňuje další výhoda robotické manipulace, kterou je výrazné snížení nebezpečí hrozícího na pracovišti. V neposlední řadě je vhodné zmínit finanční stránku problematiky – pokud by opravdu došlo ke zranění, je zaměstnavatel dle § 369 zákona č. 262/2006 Sb. povinen poskytnout náhradu za ztrátu na výdělku, léčebné náklady, věcnou škodu apod.
Obrázek 19 – 3D model objektu manipulace