KONICA MINOLTA

Aktuální vydání

celé číslo

11

2019

Využití robotů, dopravníků a manipulační techniky ve výrobních linkách

Průmyslové a servisní roboty

celé číslo

Kamery DataCam poskytující syrová obrazová data

V oboru strojového vidění je několik typických úloh, které vyžadují mimořádně kvalitní obraz z kamer; bez pečlivé volby typu kamer končívají pokusy o řešení takovýchto zadání většinou neúspěchem.

 
Právě pro dosažení vysoké kvality obrazu jsou navrženy digitální kamery DataCam (obr. 1). Aby měl uživatel celý řetězec zpracování dat ze senzoru obrazu pod kontrolou, je zde vyloučeno použití procesoru, který by řídil snímání a zpracovával obrazová data, integrovaného přímo v kameře. Přesněji řečeno, integrovaný obvod, který generuje hodinové signály pro CCD čip a digitalizuje jeho výstupní signál s využitím korelovaného dvojitého vzorkování, je využíván. Veškeré další zpracování obrazových dat je ale realizováno až v počítači, ke kterému je kamera připojena. Uživatel tedy má čistá, nezkreslená data v podobě matice osmi- nebo šestnáctibitově digitalizovaných jasů jednotlivých bodů obrazu. V paměti počítače je k dispozici kvalitní obraz s velkou dynamikou, danou šestnáctibitovou digitalizací spolu s malým vlastním šumem elektroniky kamery. Jedinou nevýhodou tohoto řešení je velký datový tok z kamery, ale ten obvykle představuje problém pouze při ethernetovém připojení na velkou vzdálenost; u kamer připojených prostřednictvím USB to žádné potíže nezpůsobuje.1)
 

Kontrola kvality povrchů

Je jistě mnoho úloh strojového vidění, kde není kvalita obrazu podstatná, ale naproti tomu stále přibývá úloh, do kterých se s většinou obvyklých kamer, vyznačujících se velkým šumem, několikabitovou dynamikou a obrazem komprimovaným jako MJPEG nebo MP4, ani nemá cenu pouštět.
 
Jedním takovým typem úloh je kontrola kvality povrchů. Ať již jde o plastové desky nebo lakovaný plech, vždy je nutné nalézt velmi malé a špatně viditelné vady na velkých plochách. Konstruktér obvykle bojuje se třemi hlavními problémy:
  • obrovské množství obrazových dat,
  • u plošně rozsáhlejších vad jejich velmi malý kontrast vzhledem k okolí (obr. 2),
  • nutnost detekovat velký rozsah velikostí vad, od velkých až po velmi malé, subpixelové.
Je tedy zapotřebí velmi mnoho obrazových bodů. Naštěstí je tato úloha velmi dobře paralelizovatelná – lze použít několik kamer paralelně komunikujících každá svým kabelem USB, počítač s několikajádrovým procesorem a masivně paralelní grafický procesor. Relativně velkou zátěž, kterou pro počítač představuje komunikace USB, je možné značně snížit použitím komunikačních adaptérů standardu USB 3.0 připojených pomocí sběrnice PCI-X. Tyto adaptéry využívají přenosy DMA do paměti a výrazně snižují zatížení CPU počítače. Běžně tak lze připojit např. šestnáct dvoumegapixelových kamer, jejichž výstupem jsou syrová (raw) data, která potom zatěžují počítač srovnatelně s jednou kamerou připojenou na adaptér standardu USB 2.0 (obr. 3). Tato stránka problému je tedy vyřešena – současný počítač si s potřebnými toky i objemy dat snadno poradí.
 
Důležitějším předpokladem úspěšného řešení úloh tohoto typu je velký dynamický rozsah obrazu a jeho čistota a stabilita. Obvykle uživatel hledá velmi malé objekty nebo objekty s velmi malým kontrastem k okolí. Rozhodně nelze použít kameru s kompresí obrazu, protože právě hledané atributy jsou prvními „oběťmi“ kompresních algoritmů. Je-li nutné nejjemnější, i okem těžko znatelné struktury v obrazových datech hledat pomocí transformací do frekvenční domény, je potřeba nekomprimovaného obrazu zcela zřejmá. Není dobrý nápad analyzovat s použitím kosinové transformace obraz rekonstruovaný právě z koeficientů diskrétní kosinové transformace formátu JPEG.
 
Je-li k dispozici čistý obraz, který má dostatečně malý šum a velké rozlišení jasů, lze spolehlivě zachycovat i zrnka nečistot a povrchové kazy, které jsou výrazně menší než jeden obrazový bod.
 

Hledání defektů okrajů a hran objektů

Podobné problémy jako optická kontrola kvality povrchů s sebou nese hledání defektů okrajů a hran výrobků. Jde-li o malé výrobky, je to relativně snadné, ale u rozměrných produktů je nutné řešit velmi podobné problémy jako v předchozím případě. Opět se konstruktér neobejde bez velkého počtu kamer (nelze-li z finančních či jiných důvodů použít např. jednu kameru na ramenu robotu) a systém musí zvládnout mohutný tok obrazových dat. Také zde je nutné pohybovat se při detekci vad kolem hranice pixelového rozlišení kamer. Aby byla detekce spolehlivá a stabilní, nesmí být obraz v okolí zkoumaných hran zatížen artefakty komprese – každý pixel může být pro nalezení defektu rozhodující. V úlohách, kde je nutné co nejpřesněji pomocí kamer měřit rozměry, také platí mnoho z již uvedeného. Odhlédne-li se od celé problematiky projektivní optiky a geometrických zkreslení reálných objektivů, také zde je možné při kvalitním obrazu dosahovat subpixelové přesnosti měření.
 
Čtení registračních značek
Kvalita obrazu může být velkým přínosem v oblastech, kde to na první pohled není tak zřejmé. Příkladem mohou být např. v současnosti velmi často používané systémy pro automatické čtení registračních značek automobilů. Cílem je co nejvyšší spolehlivost čtení. Konstruktér se obvykle musí vyrovnat se třemi hlavními komplikacemi:
  • I přesto, že použije osvětlovač v blízkém IR spektru a kamery s patřičným filtrem (obr. 4), intenzivní sluneční svit vytváří v obraze přesvícené odlesky i temná místa (obr. 5). Zásadní výhodou je proto co největší dynamický rozsah kamery.
  • Značky bývají často špinavé nebo zalepené sněhem. Pro úspěch čtení je podstatná schopnost systému separovat oblasti obrazu s jednotlivými znaky. Také zde je častým problémem hranice pixelového rozlišení kamer. K vyhodnocení je třeba čistý a stabilní obraz bez šumu, kompresních artefaktů a s co největší dynamikou.
  • V mnohých případech nelze umístit kameru tak, aby snímala značky přímo zepředu. Kamery musí být v určité výšce mimo vozovku, a snímají tak značky hodně zešikma. Šikmost obrazu dále komplikuje separaci znaků. Není-li obraz poškozen kompresí, lze jej softwarově narovnat se subpixelovou přesností a podstatně tak zvýšit spolehlivost následného čtení znaků.
  •  

 

Shrnutí

Kamery DataCam poskytující syrová obrazová data mohou nejen značně usnadnit, ale mnohdy přímo umožnit řešení úloh, kde je nutné:
  • detekovat jen obtížně rozeznatelné objekty s malým kontrastem vzhledem k okolí,
  • spolehlivě pracovat s objekty nebo jejich částmi o velikosti pouhých několika pixelů,
  • získat z obrazu informace se subpixelovou přesností,
  • reprodukovatelně a přesně rozlišovat barvy (obr. 6, obr. 7),
  • spolehlivě detekovat objekty i při značně proměnlivých světelných podmínkách, např. v přirozeném slunečním světle.
Bylo zde uvedeno jen několik málo příkladů ilustrujících, jak může velký šum, malá dynamika a úpravy obrazu nevhodné pro strojové vidění, časté v mnoha typech kamer, komplikovat řešení některých typických úloh vizuální inspekce.
 
Roman Cagaš,
 
Obr. 1. Kamera DataCam v odolném a základním provedení
Obr. 2. Příklad objektu s malým kontrastem a velkou náročností na dynamiku obrazu
Obr. 3. Odkryté rampy s šestnácti kamerami pro kontinuální inspekci kvality povrchu
Obr. 4. Obraz s velkou dynamikou jasů při šikmém osvětlení sluncem
Obr. 5. Kamera DataCam s IR osvětlovačem pro čtení registračních značek automobilů
Obr. 6. Inspekce s požadavky na přesné rozlišení barev
Obr. 7. Integrace kamerové inspekce do výrobní linky
 

1) Existuje mnoho obrazových procesorů, které se samostatně postarají o veškeré zpracování obrazových dat od okamžiku jejich přečtení ze senzoru CMOS nebo CCD až po výsledný obraz ve sdílené RAM nebo až po proud obrazových dat zařazený do patřičného komunikačního protokolu. Tyto procesory jsou velmi výkonné a dokážou opravdu mnoho – nejenže interpolují Bayerovu masku, nastavují bílou, řídí dobu expozice, ale obvykle i filtrují šum, ovlivňují saturaci barev, zaostřují, provádějí gama korekci, tone mapping, mohou skládat více obrazů do jednoho obrazu s HDR, stabilizují obraz, provádějí dekonvoluci pro vylepšení obrazu, komprimují obraz atd. Dělají všechno pro to, aby uživatelé byli nadšeni, jak krásné obrázky dokáže snímat jejich mobilní telefon, ale pro strojové vidění vesměs nejsou tyto „zkrášlující“ operace tím pravým.