Zdeněk Hurák a kol.
V článku je představen vývojový projekt gyroskopicky a vizuálně stabilizované kamerové základny pro bezpilotní letoun s automatickým sledováním pozemních cílů, který řeší tým složený převážně z pracovníků ČVUT na zakázku pro VTÚL&PVO a jím vyvíjený bezpilotní letoun Manta. Projekt právě je v již pokročilé fázi dokončování řídicího systému a zkoušek prvního funkčního vzoru. Hlavním cílem článku tudíž je seznámit odbornou veřejnost s dosaženými výsledky i s know-how získaným řešitelským týmem. Představit projekt je o to zajímavější, že hlavními vývojáři použitých elektronických podsystémů byli studenti katedry řídicí techniky směřující touto prací k získání titulu inženýra elektrotechniky.
1. Úvod: úloha stabilizace optické osy a projekt Mamok
1.1 Obecný popis úlohy inerciální stabilizace v systému sledování cílů
Úkolem systému inerciální stabilizace a sledování cílů je směrovat optickou osu daného zařízení (kamery, laserového dálkoměru či označovače) při co nejmenší citlivosti směru osy na pohyb základny, na kterou je zařízení připevněno (typicky jde o letoun, automobil, loď). Při použití kamery lze uvedené zadání přeformulovat následovně: „Nasměruj kameru tak, aby se obraz objektu zájmu nacházel ve středu zorného pole, a zajisti, že tam zůstane po požadovanou dobu a nebude se v zorném poli příliš rychle pohybovat.“
Tři základní typy vnějších rušivých vlivů, které se budou snažit daný úkol znesnadnit, jsou:
-
deformace obrazu při průchodu atmosférou,
-
inerciální rotace nosiče (např. po průletu oblastí turbulence),
-
vzájemný pohyb nosiče a cíle (ve směru kolmém na jejich spojnici), ukázané na obr. 1 pro případ kamery umístěné na letounu a sledující nákladní automobil na zemi.
První z uvedených typů rušení nebývá v leteckých systémech běžně kompenzován. Jeho detekce i kompenzace by vyžadovaly určitý systém adaptivní optiky, tj. obdobu systémů nyní již běžně používaných v astronomických dalekohledech.
Rušivé vlivy druhého typu lze detekovat inerciálními zařízeními, typicky gyroskopickými snímači inerciální úhlové rychlosti, připevněnými přímo ke kameře. Kompenzovány mohou být natáčením kamery při použití řiditelných závěsů. S ohledem na složitost systému jsou při jeho použití v letadlech užívány běžně pouze dva závěsy, což znamená omezené možnosti kompenzace. Některé systémy určené k použití na zemi, např. pro mobilní komunikační antény, používají tři závěsy.
Rušení třetího typu se běžně detekuje při použití určitého systém počítačového vidění. Pohyb nosiče (letounu) sice může být systému stabilizace optické osy znám, avšak pohyb pozemního objektu nikoliv. Vzhledem k omezeným rychlostem pohybu obou objektů se lze bez problémů spolehnout na počítačovou vizuální zpětnou vazbu, a tak vytvořit řídicí smyčku nadřazenou rychlé inerciální smyčce.
1.2 Stručný přehled stavu v dané oblasti
Některé význačné články z období 70. až 90. let dvacátého století byly sesbírány v kolekci [7]. Že je téma dosud aktuální, dokládá vydání časopisu IEEE Control Systems Magazine z února 2008, jako celek věnované problematice inerciální stabilizace. Klíčové přehledové články [6], [4] a [1] jsou tak v současnosti asi nejaktuálnějším popisem situace v dané oblasti i seznamem odkazů na další důležitou literaturu.
Modely dynamiky systému byly odvozeny již na přelomu 60. a 70. let minulého století ([9], [10]). K získání náhledu lze využít i novější články [4] a [6], které ale buď nepřihlížejí k pohybu základny, nebo berou v úvahu pouze jednu osu, či se zaměřují pouze na kinematiku.
Detailní a čtivý rozbor teoretických aspektů stabilizace systému přináší [8] v letošním srpnovém vydání již zmíněného časopisu. Ukazuje se, že nelinearita systému, daná jeho geometrií, vede při použití jednoduchých lineárních regulátorů ke ztrátě stability.
1.3 Historie projektu
V rámci projektu Mamok, sponzorovaného MPO ČR a koordinovaného Vojenským technickým ústavem letectva a protivzdušné obrany (VTÚL&PVO), jehož cílem je především vyvinout nový vojenský bezpilotní letoun Manta (obr. 2) coby následovníka úspěšného letounu Sojka (obr. 3), je pro nový letoun vyvíjena inerciálně stabilizovaná kamerová platforma s možností automaticky sledovat objekt prostřednictvím systémů počítačového vidění. Požadavkem je vybavit letoun kamerou pro denní vidění, infračervenou kamerou pro noční vidění a laserovým dálkoměrem.
Vývoj jako celek byl v létě 2006 v rámci komerční zakázky svěřen týmu pracovníků z Fakulty elektrotechnické ČVUT v Praze (FEL ČVUT), vedenému prof. V. Hlaváčem. Malý tým se skládá ze specialistů na řídicí systémy (katedra řídicí techniky) a specialistů na počítačové vidění (Centrum strojového vnímání), pozván do týmu byl i konstruktér-strojař Ing. Milan Bartoš, CSc., z pražské firmy Opten. Tým byl průběžně doplňován velmi šikovnými studenty FEL ČVUT, pracujícími na těchto pracovištích na svých diplomových pracích. Jejich zapojení v daném projektu bylo naprosto konkrétní a výsledky doslova hmatatelné – celý elektronický systém inerciální stabilizace vznikl v rámci špičkových diplomových prací [11] a [13].
Práce na inerciálně stabilizované kamerové základně směřuje k zakončení a předání zadavateli na konci roku 2008. V současnosti je již dokončen jak samotný systém inerciální stabilizace, tak i systém zpracování obrazu (vizuální rozpoznání cíle) a v nadcházejících měsících zbývá tyto dva systémy propojit a rozšířit stabilizace o automatické nasměrování a sledování cíle. Podrobnější technické informace o projektu jsou na jeho webové stránce (
http://dce.felk.cvut.cz/mamok).
2. Mechanické uspořádání
Pro zadaný režim používání systému byla nakonec vybrána běžná konfigurace se dvěma osami rotace: okolo svislé (azimutální) osy z se otáčí vnější závěs, tím je unášen i závěs vnitřní, který se vzhledem k vnějšímu závěsu otáčí okolo vodorovné osy y (elevační, viz dále obr. 7). Použité uspořádání má velmi špatné vlastnosti, jestliže by mělo být používáno pro sledování pozemních objektů přímo pod letounem – v důsledku přítomnosti singularity se v tomto směru ztrácí jeden stupeň volnosti, a systém tak nemůže efektivně kompenzovat nežádoucí rotační pohyby letounu. Funkční vzor zařízení (obr. 4, obr. 5) vytvořil Milan Bartoš (Opten s. r. o).
V následující kapitole jsou stručně zmíněny hlavní nakupované komponenty (subsystémy) základny. Zájemce o podrobnější údaje a popř. o zkušenosti s používáním komponent lze odkázat na [11] a [13] či na webové stránky projektu (
http://dce.felk.cvut.cz/mamok).
3. Hlavní nakupované komponenty základny
3.1 Motory
Zvoleny byly přímé momentové motory (angl. direct drives). Tato volba je pro danou úlohu naprosto zásadní, neboť absence mechanického převodu odstraňuje kinematickou vazbu mezi spojovanými mechanickými částmi. V důsledku toho se např. zatáčení letounu (rotace kolem svislé osy) nepřenáší na rotaci vnějšího závěsu okolo stejné osy, a ten zůstává v inerciálním prostoru stát (přímá demonstrace druhého Newtonova zákona a princip tzv. hmotové stabilizace). Paradoxně tedy čím těžší náklad (kamery), tím snáze lze dosáhnout inerciální stabilizace hlavice vzhledem k dané ose. Další předností motorů použitého typu je jejich velmi malá délka.
Výrobců uvedených motorů není mnoho. Zvažovány byly nabídky firem Axsys a Moog. Nakonec byly vybrány dva motory firmy Moog typu 2910B1. Výrobce v katalogu dostupném na internetu uvádí maximální krouticí moment asi 0,42 N·m a hodnotu motorové konstanty 0,07 N2·m2·W–1. Celý motor o vnitřním průměru asi 4 a vnějším asi 7 cm tvoří dva prstence, rotor a stator. Z hlediska řízení se chovají jako běžné stejnosměrné motory s permanentním magnetem.
Snad jediným negativem této volby jsou administrativní úkony nutné k získání povolení k nákupu motorů vybraného typu (v USA jsou považovány za tzv. vojenskou techniku) a dodací doba v řádu měsíců.
3.2 Kluzné přenosové kroužky
Velmi užitečným zařízením, které umožňuje splnit požadavek na „nekonečné“ otáčení se vnějšího závěsu okolo svislé (azimutální) osy, jsou kluzné kroužky pro přenos elektrických signálů. Zvolený typ od firmy Moog přenáší 24 signálů při proudové zatížitelnosti jedné přenosové cesty až 2 A s garantovaným odporem 60 mΩ.
3.3 Snímače
Použity jsou snímače inerciální úhlové rychlosti ADIS16255 (Analog Devices) s nastavitelným měřicím rozsahem až ±320 °/s, rozlišením 14 b a frekvencí vzorkování až 255 Hz (šířka pásma 50 Hz), vyrobené technikou MEMS. Tři snímače jsou umístěny na těle kamery tak, aby měřily rychlost otáčení okolo všech tří hlavních os (příčná elevační osa, elevační osa a dlouhá optická osa). Navíc je na vnější závěs připevněn čtvrtý snímač, který měří inerciální úhlovou rychlost okolo azimutální osy závěsu. Pro potřeby základní inerciální stabilizace však stačí první dva z uvedených snímačů. Pro účely manuálního ovládání jsou otáčivé osy vybaveny také inkrementálními snímači polohy firmy ESSA Praha s 50 000 pulzy na otáčku (pro vlastní úlohu inerciální stabilizace nepotřebnými).
3.4 Procesor
Zvolen byl velmi výkonný procesor LPC2119 od NXP (dříve Philips), založený na jádru ARM7. Kromě technických parametrů jako podpora CAN, SPI, UART, JTAG či PWM byla důvodem velká zkušenost s tímto typem z dřívějších projektů na katedře řídicí techniky FEL, např. projektu vývoje kráčejícího robota Spejbl, vedeného Markem Pecou (více na
http://dce.felk.cvut.cz/spejbl), což velmi usnadnilo začátek vývojových prací.
3.5 Užitečný náklad
Užitečný náklad základny tvoří infračervená (IR) kamera Miricle 110K pro noční vidění, klasická kamera FCB-IX s rozkladem RGB a laserový dálkoměr Vectronix LRF42 (obr. 6). Zájemce o detaily lze odkázat na webové stránky výrobců.
4. Struktura zpětnovazebního řídicího systému
Řídicí systém je koncipován jako běžný kaskádní servosystém se třemi úrovněmi, jak ukazuje obr. 8:
-
Nejnižší úroveň jako proudová smyčka zajišťující rychlé utlumení vlivu vnějšího rušivého krouticího momentu, např. od aerodynamického odporu.
-
Prostřední úroveň je (inerciální) rychlostní smyčka, jejíž dva regulátory čtou úhlové rychlosti okolo dvou os samotné kamery a ovládají každý svůj motor tak, aby inerciální úhlová rychlost kamer byla nulová (při požadavku prosté inerciální stabilizace) či měla pouze nízkofrekvenční obsah, který stanovuje nadřazená regulační smyčka.
-
Regulační smyčkou nejvyšší úrovně je smyčka směrovací/sledovací (angl. pointing/tracking), která je postavena na systému počítačového vidění a kompenzuje pohyb objektu v zorném poli kamery v důsledku vzájemného pohybu nosiče i cíle.
Činí tak stanovením požadavku na požadovanou inerciální rychlost kamer. Realizace regulátoru prostřední (inerciální) vrstvy v podobě dvou nezávislých regulátorů nedokáže vzít explicitně v úvahu vzájemné dynamické ovlivňování obou os (gyroskopický efekt), nicméně robustně naladěný regulátor je schopen tuto nepřesnost v modelu pokrýt.
Význačným rysem směrovacího/sledovacího regulátoru však je, že pro svou správnou funkci potřebuje i informaci o inerciální úhlové rychlosti kamery okolo její optické osy. Její absence by totiž vedla k jevu naznačenému na obr. 9 a obr. 10. Tomuto jevu lze porozumět krátkým studiem skládání vektorů na obr. 7.
5. Popis hardwaru a softwaru řídicího systému
Schéma zapojení jednotlivých komponent v systému inerciální stabilizace je na obr. 13. Klíčovým omezením při návrhu základny bylo rozdělení celého systému do několika podsystémů dvěma otáčivými klouby. Omezený počet kabelů, které bylo možné převést přes kluzné kroužky, si vynutil umístění všech měřených signálů i akčních zásahů na sběrnici CAN. Při frekvenci snímání úhlové rychlosti 250 Hz se toto řešení ukázalo jako snadno proveditelné a spolehlivé. Signály z gyroskopických snímačů úhlové rychlosti jsou sběrnicí SPI přivedeny do společného uzlu sběrnice CAN umístěného ve vnitřním otáčivém závěsu. Se stejným uzlem komunikují po lince RS-232 i obě kamery (příkazy, ne videosignál) a dálkoměr.
Souvisejícím omezením při návrhu elektroniky byla potřeba dosáhnout minimálního zastavěného prostoru. Prostorové aspekty výrazně komplikovaly výběr součástek, např. blokovacích kondenzátorů a konektorů (obr. 12, obr. 13 a obr. 14).
6. Systém počítačového vidění pro sledování cílů
Úkolem obrazového podsystému je zajistit sledování statických i pohyblivých objektů (cílů). Důležitou úlohou je sledování objektu zájmu i při krátkodobém zakrytí překážkou (např. strom, most). Základním blokem podsystému obrazové zpětné vazby je algoritmus detekce polohy objektu zájmu v obraze. Tento algoritmu musí zajistit nalezení objektu v obraze i v případě změny podmínek pozorování, jakými jsou změna osvětlení, částečné zakrytí či změna úhlu pohledu. Použity jsou algoritmy SSD tracking [2] a Adaboost [5]. Ukázka je na obr. 15.
7. První simulace a experimenty
pracemi, byl 4. září 2008 proveden i experiment se stabilizovanou hlavicí připevněnou na střeše automobilu a vystavenou působení aerodynamického odporu při jízdě rychlostí až 120 km/h po vojenském letišti ve Kbelích (obr. 16). Úlohu stabilizovat obraz pozemních objektů při slalomu i prudkém zatáčení systém plnil již při této první zkoušce v podmínkách blízkých reálným (téměř) vzorově.
8. Závěr a pokračování práce
Článek představil právě běžící projekt vývoje inerciálně stabilizované kamerové základny pro bezpilotní letoun. Vývoj je řešen na zakázku pro VTÚL&PVO na pracovištích Centra strojového vnímání a katedry řídicí techniky FEL ČVUT společně s konstruktérem Milanem Bartošem z firmy Opten. Dokončen bude v závěru roku 2008 a následně představen veřejnosti. Veškerá technická dokumentace k projektu, včetně zdrojových kódů, schémat a podkladů k výrobě desek plošných spojů, je na webových stránkách projektu (
http://dce.felk.cvut.cz/mamok).
Poděkování
Stabilizovaná základna je vyvíjena v rámci programu Malorozměrný víceúčelový bezpilotní monitorovací komplet pro civilní i vojenské využití Mamok (Tandem č. FT-TA2/020). Poděkování patří především kolegům z VTÚL&PVO za přizvání k této zajímavé pracovní příležitosti, velmi kvalitní spolupráci v průběhu řešení projektu a za poskytnutí poměrně velké publikační volnosti. Dále patří Markovi Pecovi, v té době studentu na katedře řídicí techniky, za zveřejnění podkladů pro vývoj jeho kráčejícího robota Spejbl (
http://dce.felk.cvut.cz/spejbl). Práce studentů Martina Řezáče a Jaroslava Žohy byla finančně podpořena projektem Centrum podpory talentů (Cepot, ESF CZ.04.3.07/4.2.01.1/0045,
http://www.cepot.cz). Přece jen nevyhnutelným aspektem studentské práce byla nutnost teprve se naučit dané nástroje používat a teprve poté s jejich použitím odvést zadanou práci. V současnosti jsou již studenti coby graduovaní inženýři zapojeni do projektu standardními finančními mechanismy. Část finanční podpory byla poskytnuta také z prostředků projektu Centrum aplikované kybernetiky (CAK, MŠMT č. 1M0567,
http://www.c-a-k.cz).
Literatura:
[1] DEBRUIN, J.: Control systems for mobile satcom antennas. IEEE Control Systems Magazine, 2008, 28, s. 86–101.
[2] HAGER, G. – BELHUMEUR, P.: Efficient region tracking with parametric models of geometry and illumination. IEEE Trans. Pattern
Analysis and Machine Intelligence, 1998, 20(10), s. 1025.
[3] HENSEN, R. H. A.: Controlled Mechanical Systems with Friction. PhD thesis, Technische Universiteit Eindhoven, 2002.
[4] HILKERT, J. M.: Inertially stabilized platform technology: concepts and principles. IEEE Control Systems Magazine, February 2008. 28 s. 26–46.
[5] GRABNER, H. – GRABNER, M. – BISCHOF, H.: Real-Time Tracking via On-line Boosting. In: BMVC '06: Proceedings of the 17th British Machine Vision Conference, September 2006, volume I, p. 43–52, BMVA.
[6] MASTEN, M. K.: Inertially stabilized platforms for optical imaging systems: Tracking dynamic targets with mobile sensors. IEEE Control Systems Magazine, February 2008, 28, s. 47–64.
[7] MASTEN, M. K. – STOCKUM, L. A. (editors): Selected Papers on Precision Stabilization and Tracking Systems for Acquisition, Pointing and Control Applications. SPIE, 1996, volume MS 123 of SPIE Milestone Series.
[8] OSBORNE, J. – HICKS, G. – FUENTES, R.: Global analysis of the double-gimbal mechanism. IEEE Control Systems Magazine, 2008, 28, s. 44–64.
[9] RUE, A. K.: Stabilization of precision electrooptical pointing and tracking systems. IEEE Transactions on Aerospace and Electronic Systems, 1969, AES-5, s. 805–819.
[10] RUE, A. K.: Precision stabilization systems. IEEE Transactions on Aerospace and Electronic Systems, 1974, AES-10, s. 34–42.
[11] ŘEZÁČ, M.: Návrh řízení pro systém stabilizace optické osy kamerového systému pro bezpilotní letoun. [Diplomová práce.] ČVUT, 2008.
[12] SPONG, M. W. – HUTCHINSON, S. – VIDYASAGAR, M.. Robot Modeling and Control. Wiley, 2006.
[13] ŽOHA, J.: Elektronika pro systém stabilizace optické osy kamerového systému. [Diplomová práce.] ČVUT, 2008.
Zdeněk Hurák, Martin Hromčík, Martin Řezáč, Jaroslav Žoha,
katedra řídicí techniky FEL ČVUT v Praze
Pavel Krsek, Václav Hlaváč, Tomáš Pajdla,
Centrum strojového rozpoznávání FEL ČVUT v Praze
Milan Bartoš, Opten s. r. o.
Obr. 1. Ilustrace zadání úlohy inerciální stabilizace optoelektronického zařízení a základní rušivé vlivy posouvající sledovaný cíl ze středu zorného pole kamery
Obr. 2. Nový bezpilotní letoun Manta
Obr. 3. Bezpilotní letoun Sojka při vzletu z mobilní vypouštěcí plošiny
Obr. 4. Pohled na prostorový model hlavice základny
Obr. 5. Vyvinutý funkční vzor inerciálně stabilizované základny
Obr. 6. Užitečný náklad základny (zleva): RGB kamera FCB-IX pro denní vidění, IR kamera Miricle 110K pro noční vidění, laserový dálkoměr Vectronix LRF42
Obr. 7. Princip inerciální stabilizace kamery umístěné na letounu: změřená inerciální úhlová rychlost ωEyokolo elevační osy kamery je kompenzována elevačním motorem, změřená inerciální úhlová rychlost ωEzokolo svislé osy kamery) je kompenzována azimutálním motorem
Obr. 8. Blokové schéma celkového systému inerciální stabilizace a automatického sledování s využitím počítačového vidění (v prostředí Simulink)
Obr. 9. Sledovaný dům je v zorném poli příliš nalevo a cílem je „umístit“ jej doprostřed: systém počítačového vidění detekuje regulační odchylku pouze v horizontálním směru, a tak zadá požadavek
Obr. 10. Po nastavení referenční hodnoty na otáčení pouze okolo příčné elevační osy (svislá osa kamery) je tento požadavek transformován (1/cos θ, θ – elevační úhel kamery) na otáčky azimutálního motoru: výsledkem je obraz domku při dolním okraji zorného pole a navíc natočený
Obr. 11. Schéma zapojení (modré jsou samostatné desky plošných spojů)
Obr. 12. Veškerá řídicí elektronika musela být vyvinuta na míru s velmi tvrdými prostorovými omezeními: pohled na desky dvou řídicích počítačů
Obr. 13. Deska s H-můstkem pro elevační motor
Obr. 14. Pohled do útrob základny
Obr. 15. Příklad sledování objektu v sekvencích pořízených operátorem (nepravidelná modrá čára je trajektorií objektu v zorném poli)
Obr. 16. Zkouška systému inerciální stabilizace na jedoucím automobilu