II. Dynamische 3D-Flugsteuerung (Flight Control) des UAS
Eine erste große Herausforderung für den autonomen Indoorflug eines UAS als Trägerplattform für Applikationen - die allesamt über den Navigationsstatusvektor georeferenzierbar sind - besteht darin, dazugehörige Flight Control (FC) als Gesamtsystem in Hardware, Algorithmen und Software zu entwickeln.
Die autonomen Steuerungen und entsprechende Regelungsalgorithmen von Land-, Wasser und Luftfahrzeugen basieren generell auf der sog. Regelungsdifferenz, lediglich die Aktuatorik und die betreffenden Stellgrößen sind unterschiedlich. Unter der Regelung wird der fortlaufende Abgleich von „Ist auf Soll“ mit der Prämisse der Herstellung der Identität im Zeitraum einer Regelungsdauer verstanden. Die Flugphysik von UAS basiert mit dem in der Summe der einzelnen Propellerdrehzahlen erzeugten zeitabhängigen 3D Gesamtschubvektor f(t) sowie dem 3D-Gesamtdrehmomentvektor auf der Grundlage der Euler- und Newton-Gleichungen. Aus diesen lassen sich dann mit der Masse m und der Trägheitsmatrix J des UAS die 6 translatorischen und rotatorischen Geschwindigkeits- sowie und die 6 translatorischen und rotatorischen Beschleunigungsterme ermitteln.
Zur automatisierten Flugregelung entlang einer räumlichen Trajektorie werden nun – anders als bei der o.g. Fernsteuerung bzw. dem Joystick - der Soll-Zustand y(t)Soll bzw. die Regelabweichung e(t) ausschließlich über das Trajektorienprofil über zugewiesene Eigenschaften definiert. Dies sind in erster Instanz die Sequenz von zu durchfliegenden 3D-Raumpunkten P(i,Soll), welche die 3D-Trajektorie festlegen sowie das an die 3D-Trajektorie gebundene Geschwindigkeitsprofil (Geschwindigkeitsbetrag entlang der Trajektorie). Daraus ergibt sich in zweiter Instanz der bzgl. der Komponenten des navigierten Istzustandsvektors yt,Ist abzugleichender Regelabweichungsvektor e(t) . Dieser enthält die Komponenten der Positionsabweichung in der Querkomponente, der Geschwindigkeitsabweichung in der Querkomponente sowie der Geschwindigkeitsabweichung in der Längskomponente der Trajektorie.
Die Regelabweichungen führen auf einen PID-Regler für die beiden Querabweichungskomponenten und einen PI Regler für die Längsabweichung beim autonomen Trajektorienflug.
Trajektoriendefinition über das 3D-Polygon von gewünschten Wegpunkten Pi,Soll
III. Georeferenzierung und Photogrammetrie
Im Folgenden sind spezifische Ziele für photogrammetrische und Georeferenzierungsaufgaben im MiteSens-Projekt aufgeführt:
- Bereitstellung eines genauen Raumbezugs (Ort) für Objekte (Spinnmilben)
- Bereitstellung einer Orthomosaikkarte der Region of Interest (ROI), die als Basiskarte dienen kann, um andere räumliche Informationen anzuzeigen
- Bereitstellung von Höheninformationen zum Pflanzenwachstum
- Visualisierung symbolischer (klassifizierter) Bilder als Überlagerung auf einem Orthomosaik und als dreidimensionale klassifizierte Punktwolkenkarte (Voxel)
Darüber hinaus werden erweiterte photogrammetrische Produkte wie Punktwolken und Voxelmodelle intern für die autonome Navigation und die Vermeidung von Hindernissen verwendet. Solche Modelle werden insbesondere in Fällen unvermeidlich, in denen sich die Betriebsumgebung ändert.
Georeferenzierung von Punktwolken
Ein typischer Georeferenzierungs-Workflow umfasst die Verwendung einer Trajektorie, basierend auf dem aus der Navigation ermittelten Zustandsvektor y(t)Ist und der LiDAR-Punktwolken mit Zeitstempel, um die Position und Ausrichtung von Punkten in der Punktwolke zu ermitteln. Abb. 1 zeigt die paketbasierte Zeitreferenzierung eines typischen 3D-LiDAR-Mehrstrahlsensors. Obwohl auf einzelne Umdrehungen basierende Zeitstempel für sich langsam bewegende Plattformen (unter 1 m / s) ausreichen, wird im MiteSens-Projekt aufgrund der möglichen höheren Dynamik eine vollständige Georeferenzierung auf der Basis von Paketzeitstempeln implementiert.
Abb. 1: Draufsicht einer Punktwolke einer einzelnen Umdrehung, die mit eindeutigen Paketzeitstempeln eingefärbt wurde
Die Georeferenzierung eines einzelnen Punktes der Punktwolke erfolgt nach der Georeferenzierungsgleichung wie folgt
mit:
- PGe Koordinaten eines Einzelpunkts im globalen Referenzframe
- Pbe Koordinaten deszu navigierenden Bodys im globalen Frame
- Rbe Attitude (Roll, Pitch, Yaw) in Matrixform des Bodys im globalen Frame
- Rs,i,jb Rotation des LIDARs (Sensorindex i,j eines Multisensorsystems) im Body Frame
- rs Koordinaten des Laserpunkts im LIDAR Frame
- li,jb Koordinaten des LIDAR (Sensor i,j) im Body Frame
Abb. 2a: Georeferenzierte Punktwolke, dargestellt mit Satellitenbild
Abb. 2b: Perspektivische Ansicht der 3D-Punktwolke.
Abb. 2: Vorläufige Georeferenzierungsergebnisse basierend auf dem Open-Source-Datensatz NCLT (Carlevaris-Bianco et al., 2016).
Bild-Georeferenzierung
Oberflächenmodelle und Punktwolken können unter Verwendung eines lokalen Koordinatensystems ohne globale Referenzierung konstruiert werden. Um Bilddaten global zu referenzieren, muss eine Transformation des lokalen Koordinatensystems in ein globales Koordinatensystem (Georeferenzierung) angewendet werden. Standortinformationen im MiteSens-Projekt können entweder über eine hochgenaue Navigationszustandsschätzung verfügbar sein, die von der Flugsteuerung (Navigation) bereitgestellt wird, oder über die Verwendung von eingemessenen Bodenkontrollpunkten (Markern).
Bei zuverlässigen und genauen Positions- und Orientierungsdaten kann ein Datum für das Objektkoordinatensystem durch direkte Messung ohne Verwendung von Referenzpunkten definiert werden, was als direkte Georeferenzierung bezeichnet wird. Alternativ soll ein integrierter Georeferenzierungsansatz verwendet werden, bei dem Sensordaten mit Referenzpunkten kombiniert werden, beispielsweise über optische Markierungen.
Die Ausgabe einer Georeferenzierung ist ein Transformationsdatensatz, der die Konvertierung von Punktwolken und 3D-Modellen von lokalen in globale Koordinaten ermöglicht. Die folgende Abbildung gibt einen Überblick über die Transformationen, die am Georeferenzierungsverfahren beteiligt sind.
Abb. 3: Konzept zur Georeferenzierung von Bildpunkten
Referenzen
Carlevaris-Bianco, N., Ushani, A. K., & Eustice, R. M. (2016, August). University of Michigan North Campuslong-term vision and lidar dataset.The International Journal of Robotics Research,35(9), 1023–1035. doi:10.1177/0278364915614638
IV. Hardware im MiteSens Projekt
Die MiteSens FlightControl (FC) Hardware ist eine innovative und professionelle Neuentwicklung, die vom multisensorischen Design, der Zeitsynchronisation und der Motoransteuerung her alle technologischen Anforderungen zum nahtlosen UAV Out/Indoor Flug (Navigation/SLAM und Steuerung), zum Monitoring des Pflanzenbestandes (Photogrammetrie- und Georeferenzierungsaufgaben) und zum Datenmanagement der MiteSens UAS zu leisten hat. Dabei wird u. a. die taktische IMU von Analog Devices verwendet, um präzisen 3D-Beschleunigungs- und Drehratendatenwerte als Komponente der multisensorischen Datenfusion (GNSS, MEMS, Optik) zur Navigationszustandsschätzung und SLAM bereitzustellen. Weitere MEMS-Sensoren des FC-Boards sind eine zweite Onboard-IMU, ein 3D Magnetfeldsenor, ein Inklinometer sowie ein barometrischer Sensor. Als Controller wird der STM32H7 Cortex M7 Microcontroller verwendet.
Abb. 1: 3D-Ansicht der kompakten NAVKA MITESENS FC Hardware
Die hochpräzise Zeitsynchronisation der FC Box (Abb. 1) ist essentiell, um die geforderte Genauigkeit der Navigationszustandsschätzung und des SLAM in Position und Orientierung zu erreichen, sowie um einen einheitlichen Zeitbezug für die photogrammetrischen Georeferenzierung des 3D-Voxelmodells, der Roh- und der klassifizierten Bilddaten bereitzustellen. Sie wird durch die Verwendung der IEEE1588-Zeitsynchronisationsstandards und über Ethernet-Verbindungen der Komponenten erreicht. Das hochpräzise Multi-GNSS-Multifrequenz-ZED F9-Modul kann im Außen- und Innenbereich als Referenzuhr zur Zeitsynchronisation und im Außenbereich als präzise DGNSS- und PPP-Positions- und Geschwindigkeitskomponente für die Sensordatenfusion bei der Navigationszustandsschätzung und SLAM verwendet werden.
Der MITESENS Flight Controller (FC) kann mit einer 6V-Batteriespannung als Systemeingang betrieben werden und verfügt über mehrere Spannungsausgänge, um die Bordsensoren sowie externe 12-V-Geräte (Multispektralkamera, Laserscanner, Stereokamera) mit Strom zu versorgen. An Bord der FC befinden sich zwei 120-A-Stromsensoren, um die Spannung und den Stromverbrauch der FC zu überwachen, ferner können externe Sensoren zur Strommessung über Onboard-Steckverbinder an die FC angeschlossen werden.
Die sensorischen Highlights der MITESENS FC sind
- Tactical Grade Inertial Measurement als Bestandteil der Navigationszustandsschätzung und SLAM
- Positionsgenauigkeit im Zentimeter- und Subzentimeterbereich durch GNSS PPP und DGNSS RTK
- Hochgeschwindigkeits-Mikrocontroller mit bis zu 480 MHz zur effizienten Verarbeitung hoher Datenraten von den MEMS-Sensoren
- IEEE 1588-Zeitsynchronisation unter Verwendung von MEMS (IMU) zu GNSS-Zeitimpulsen als Referenz
- Ethernet-Schnittstelle für Highspeed-Datenkommunikation
- Neigungsmesser und Magnetometer zur Verbesserung der Lageinformationen in der Navigationszustandsschätzung, SLAM- und Georeferenzierungsalgorithmen
- Redundante Trägheitssensorik
- Option zur externen Anbindung von bis zu 2 weiteren GNSS-Modulen
- Onboard integriertes GNSS U-BLOX F9P-Modul
- Selektive Authentifizierung der Startberechtigung
Die MITESENS-Hardware wurde mit Autodesk Eagle PCB als 4-Lagen-Platine entwickelt. Das Boardsdesign ist robust, und die FC kann sowohl für die Remote Control als auch für die autonome Navigation und Steuerung von UAV eingesetzt werden. Die Energieverwaltung erfolgt effizient, sodass die FC-Box als Gesamtsystem auch die Stromversorgung und den Betrieb externer Sensorik leisten. Zur Stromversorgung externer Geräte stehen weitere geregelte 12V zur Verfügung. Die Taktquelle zum Mikrocontroller und Ethernet-PHY wird durch die 0-Ohm-Jumper-Konfiguration konfigurierbar gehalten. Über die Anschlüsse auf der Oberseite der Platine können verschiedene externe IEEE 1588 zeitsynchronisierte Geräte (Lidar, Kamera, Distanzsensoreinheiten) an die FC-Box angeschlossen werden. Das Systemdesign ist darauf ausgelegt, die Anbindung von bis zu 3 GNSS-Modulen an die FC-Box-Hardware zu berücksichtigen. Eine Boot-Auswahl zur MCU erfolgt über den Schalter. Zur Startberechtigung kann eine zusätzliche Antenne zur Identifizierung verwendet werden.
Harby Wasserroboter
Der "Harby" Wasserroboter ist ein automatisiert fahrender und in Größe und Anwendungszweck skalierbarer Katamaran. Die Ansteuerung erfolgt Internet-basiert in bidirektionaler Kommunikation mit Übertragung des aktuellen Navigationsstatusvektors und Bilddaten. Die jetzige Robotikanwendung von Harby zielt auf die Reinigung von Hafenbecken ab. Dabei soll neben multisensoriellem SLAM auch eine automatisierte Erkennung und Umfahrung von Hindernissen entwickelt und implementiert werden.
Das FuE-Projekt Harby umfasst zwei Forschungs- und Entwicklungsstufen. In der ersten wird für den seitens der Firma Weico entwickelten steuerbaren Katamaran die multisensorielle Navigation und Remote Control Steuerung entwickelt. Daran setzt in Stufe 2 die Realisierung des automatisierten Fahrens im ITRF-basierten Bezug an.
Projektübersicht:
Projektstufe 1: abgeschlossen April 2019
Projektstufe 2: Mai 2019 - April 2020
Kooperationspartner: Firmen Weico und Soleon, Italien
