GSA Smartphone GNSS Raw Data Task Force

Die GNSS-Positionsbestimmung von Smartphones wurde bis vor einiger Zeit noch komplett auf den internen GNSS-Chips berechnet. Der Algorithmus, die verwendeten Korrekturdaten und damit auch die Positionsgenauigkeit war daher von Seiten der Hardwarehersteller vorgegeben.
Mit der Freigabe der GNSS-Rohdaten auf Smartphones seit Android 7.0 gilt dies jedoch für viele Geräte nicht mehr. Die GSA Smartphone GNSS Raw Data Task Force (https://www.gsa.europa.eu/gnss-applications/gnss-raw-measurements/gnss-raw-measurements-task-force) bringt daher Forschung und Industrie zusammen, um den Markt für hochgenaue Positionierung unter Verwendung der Smartphone-GNSS-Rohdaten zu stärken.

Die Forschungen und Entwicklungen an der HSKA im Rahmen des NAVKA-Projekts befassen sich mit Cycleslips- und Ambiguity-robusten GNSS-Algorithmen und Softwareentwicklungen (DGNSS, PPP) unter Verwendung von GNSS-Rohdaten - auch von den Galileo-Satelliten - wie sie seitens des Smartphones zur Verfügung stehen. Die Algorithmen- und Softwarentwicklungen beziehen sich zum einen auf Anwendungen zur reinen Positionsbestimmung zum anderen auf solche Georeferenzierung und Identifizierung von Objekten in mobilen GIS-Anwendungen, wobei zusätzlich die MEMS-Sensoren und die Kamera des Smartphones sowie kommerzielle Laserdistos verwendet bzw. algorithmisch fusioniert werden.

  

Screenshot des Plugins zum Loggen und Streamen von binären Daten im ubx Protokoll in die GnssLogger - App von Google

 

Links: Statische Untersuchungen zur möglichen Genauigkeit von Smartphone GNSS Rohdaten bei guter Satellitensichtbarkeit.
Rechts: Abweichung der Smartphone-Position vom Sollwert in E (East), N (North) und U (Up)

Bei Verwendung einer virtuellen Referenzstation ist Dezimetergenauigkeit erreichbar (blau), eine statischen PPP-Auswertung mit IGS-Korrekturdaten kann Submetergenauigkeit liefern (grün)

 

UAV-basiertes Monitoringsystem für Spinnmilben im Unterglasanbau

TP5 - Hochschule Karlsruhe (HKA)

Dynamische UAS Steuerung und 3D-Georeferenzierung

MiteSens – Konzept, Ziele und FuE-Konsortium

Ziel des von der Bundesanstalt für Landwirtschaft und Ernährung (BLE) finanzierten Verbundprojekts MITESENS ist die Entwicklung eines UAS (Unmanned Aerial Vehicle) basierten Systems zum Monitoring von Spinnmilben bei typischen Pflanzenbeständen (Erdbeeren, Gurken, Rosen) im Unterglasanbau (MiteSens).

Abb.: MitesSens Gesamtsystem mit Aufgaben und Leistungen der Konsortiumsmitglieder sowie Interaktionen und Datenschnittstellen. (Graphik aus Hortico 4.0 Meeting 9. Dez. 2020)

Die Abbildung zeigt das MitesSens Gesamtkonzept sowie die Aufgaben der verschiedenen Mitglieder (Universität Hohenheim, University of Applied Sciences Karlsruhe (HKA), Wolution, Multikopter, IB Bauer, LVG Heidelberg und LTZ Augustenberg) sowie die Interaktionen und die Datenschnittstellen auf. Die Projektlaufzeit ist 31.03.2023.

MiteSens soll in der Lage sein, sowohl den frühen Befall von Pflanzenblättern mit Spinnmilben zu detektieren, als auch entsprechende Bekämpfungsmaßnahmen mit Prädatoren und/oder integrierbaren Pflanzenschutzmitteln (Akariziden) zu überwachen und deren Erfolg zu bewerten. MiteSens basiert dabei auf bildgebenden Verfahren. In Verbindung mit einem UAS (MiteSens UAS) mit intelligenter Flugsteuerung (Flight Control) als Kameraträger sind grundsätzlich eine hohe raumzeitliche Auflösung des Spinnmilben-Monitorings, ein berührungsloser Einsatz sowie eine autonome Anwendung möglich.

I. Einleitung und Gesamtdarstellung

II. Dynamische 3D-Flugsteuerung (Flight Control) des UAS

III. Georeferenzierung und Photogrammetrie

IV. FC-Hardware

V. Weitere Informationen

MiteSens Projektbeschreibung zum Gartenbau 4.0 durch Förderer Bundesanstalt für Landwirtschaft und Ernährung (BLE) (https://service.ble.de/ptdb/index2.php?detail_id=18370053)

Mitesens Projektbeschreibung zur Innovationsförderung und Wissenstransfer von Verbundprojekten zum Gartenbau 4.0 (https://hortico40.de/index.php/projekte/mitesens) durch HortiCo 4.0 (https://hortico40.de)

Präsentationen zum aktuellen Stand innerhalb des Verbundprojektss HortiCo 4.0 zum Download:

  • Präsentation_Hortico_Dez_2020
  • Präsentation_Hortico_Mai_2021

F&E Projekt HOBA

1. Einführung

Das F & E-Projekt „Homogenbereichsassistent zur automatischen, baustellenspezifischen Erfassung von Bodenklassen nach der neuen VOB 2016 HO-BA)“, kurz HO-BA, befasst sich mit der Entwicklung eines Systems zur automatischen Klassifizierung, Segmentierung und 3D-Georeferenzierung als Voxel-Volumenmodell von Bodentypen nach dem neuen VOB 2016. HOBA wird vom Bundesministerium für Wirtschaft und Energie (BMWI) bis 01/2023 als sogenanntes ZIM (Zentrales Innovationsprogramm Mittelstand) Forschungs- und Entwicklungsprojekt finanziert.

HOBA ist am Institut für Angewandte Forschung (IAF) des Zentrums für Angewandte Forschung (CAR) der Fachhochschule Karlsruhe (HKA) angesiedelt. Die Forschungen und Entwicklungen (FuE) erfolgen im Labor für GNSS & Navigation (goca.info/Labor.GNSS.und.Navigation) in Zusammenarbeit mit dem Hauptindustriepartner MTS Schrode AG (www.mts-online.de ) sowie deren Partner VEMCON GmbH (https://www.vemcon.de/).

Abbilung 1: Bagger mit verteilten MTS-Sensoren und HOBA-Box im Bereich der Baggerschaufel

Das Ziel der Forschungen und Entwicklungen an der HKA ist die Entwicklung der Hardware und Software einer kompakten Sensor- und Computersystemeinheit, die mit Datenschnittstellen zur Bagger-IT im Bereich der Baggerschaufel montiert ist - im Folgenden als "HKA HOBA-Box" bezeichnet.

Die Hardware- und Softwareentwicklung der HKA HOBA-Box leistet einen innovativen Beitrag zur BIM-konformen digitalen Echtzeitdokumentation von Aushubarbeiten im Tiefbau. Als Ergebnis der HKA HOBA-Box resultiert dabei eine auf Basis von GNSS/-MEMS/RGB/ToF3D-Kameraoptik Multisensorik erfolgende 3D-Georeferenzierung des Aushubs im ETRF89/ITRF in Verbindung mit der sensorgestützten Erfassung und Berechnung eines sogenannten "Voxel"-basierten 3D-Volumenmodells des Aushubkörpers. Die HKA HOBA-Box leistet die Klassifizierung der Bodentypen des Geländes unter Verwendung bildbasierter KI/ML-Algorithmen und errechnet über den u.g. Navigationszustandsvektors y(t) die Zuweisung der nach Bodentypen klassifizierten und georeferenzierten 2D-Bilder auf die Voxelelemente des 3D-Volumeenmodells.

Die vollständigen Georeferenzierungsschritte der Box basieren auf der algorithmischen Fusion sowie SLAM aller internen Sensordaten der HKA HOBA-Box (IMU, Magnetometer, Barometer, Neigungsmesser, GNSS, ToF3D-Kamera und RGB-Kamera) im allgemeinen NAVKA-Multisensor-Multiplattform-Leverarm-Design. Alle Sensordaten tragen zur Berechnung einer Bayes'schen Sensorfusion zugunsten des Navigationszustandsvektors

bei. Im Falle von SLAM (Simultaneous Localization and Mapping) zugunsten eines Fusions- und Zustandsvektors y(t)SLAM=(y(t),m(t)). Die Erweiterung von y(t) um m(t) umfasst die aus der Datenbasis der optischen Sensordaten der ToF sowie der digitalen RGB-Kamera in der Zustandsschätzung bzw. SLAM generierte 3D-Karte.

Bei der autarken Boxvariante 1 der HKA HOBA-Box (Abb. 1, Abb. 2) werden ausschließlich die Daten der Sensoren der HKA HOBA-Box zur Sensorfusion und SLAM zur Berechnung von y(t) und y(t)SLAM=(y(t),m(t)) auf der Box verwendet. Bei der Boxvariante 2 werden y(t) und  y(t)SLAM=(y(t),m(t)) erneut mit den Daten aller Sensoren - mit Ausnahme der GNSS-Daten - auf der HKA HOBA-Box berechnet. Der Grund ist die ungünstige Platzierung von GNSS am Ort der Box, nämlich in der Nähe der Schaufel, im Hinblick auf Signalabschirmungen und Mehrwegeeffekte. Stattdessen verwenden die Sensorfusion und SLAM in der Boxvariante 2 die MTS-Navigationsteillösung y(t)'=(xe ye ze )', die über den lokalen Maschinenserver bereitgestellt wird (siehe lokaler Maschinenserver, Abb. 2).

Die HKA HOBA-Box ermöglicht - in beiden Varianten auf multisensorischer  (GNSS/MEMS/RGB/ToF-3D-Kameraoptik) Datenbasis - die 3D-Georeferenzierung des Aushubs im ETRF89/ITRF als ein nach Bodenarten in "Voxeln" klassifiziertes 3D-Volumenmodells.

2.  Hardware-Entwicklungen

Die zentrale Recheneinheit der HKA HOBA-Box (Abb. 2) besteht aus einem NVIDIA Jetson TX2 Rechner, der über eine NVIDIA Pascal-GPU mit 256 Kernen, einen 64-Bit-ARMv8 64-Bit-CPU-Komplex mit Hex-Kern und einen 8-GB-LPDDR4-Speicher mit 128-Bit-Schnittstelle verfügt. Die CPU besteht aus einer 2-Denver 64-bit CPU in Verbindung mit einer Quad-Core A57 Komponente.

Die internen Sensoren der HKA HOBA-Box Variante 1 umfassen ein ZED F9 GNSS, eine kompakte ICM 20948 MEMS-Sensoreinheit (3-Achs-Gyroskop, 3-Achs-Magnetometer und 3-Achs-Beschleunigungsmesser), ein MS5611 MEMS-Barometer und einen SCL3300-Neigungsmesser. Die HKA HOBA-Box Variante 2 verwendet die von MTS aus dem Corpus der Aushubmaschine (Abb. 1) installiertem beiden GNSS (Abb. 1) sowie den Daten der Neigungsmesser auf der Aushubmaschine (Abb. 1) unter Verwendung der Denavit-Hartenberg-Transformation ermittelten Position des Body- (b) bzw. Box-Koordinatenursprungs y(t)'= (xe ye ze)'.

Abbildung 2: Design der HKA HOBA-Box sowie Datenkommunikation auf der Aushubmaschine

Als Sicherungslaufwerk für die Datensicherung über definierte Schwellenwerte und / oder eine definierte Sicherungsrate (z. B. stündlich) wird eine WD Red SA500 NAS SATA SSD 1 TB Festplatte verwendet. Die LUCID Helios-2 TOF mit integriertem RBG IP67-Kit (Triton 3.2MP) wird als optische Komponente der HKA HOBA-Box umfasst zusätzlich eine Digitalkamera des LU-CID Helios-2 TOF, die neben der ML/KI-basierten Klassifizierung auch die Texturierung der erzeugten Punktwolken leisten kann.

Die Prototyp-Box (Abb. 3) ist als vollständiges System für die laufenden Algorithmenentwicklungen zur Navigation/SLAM, Bildverarbeitung, Voxelmodell-Ermittlung und Georeferenzierung sowie die damit einhergehenden Softwareentwicklungen eingerichtet, während die endgültige kompakt-smarte Box ebenfalls in der Entwicklung ist.

Abbildung 3: Prototyp-Box für Systemalgorithmen und Softwareentwicklung 1.) ToF, 2.) Backup-Laufwerk, 3.) Zusätzliche Giga-Ethernet-Ports, 4.) Digitalkamera-MIPI-CSI, 5.) Zusätzliche Pins für CAN und andere Funktionen

3.  Algorithmen und Softwareentwicklungen

Das beschriebene Hardware-Design (Abb. 2) und die Prototyp-Box bilden die Basis für die Algorithmen und Software-Implementierungen zur HKA HOBA-Box (Abb. 4). Alle Berechnungen werden zentral auf der HKA HOBA-Box bzw. dem NVIDIA Jetson TX2-Computer durchgeführt.

Das Betriebssystem der HOBA-Box ist Linux 18.04 LTS "Bionic Beaver" mit ROS Distribution (Robot Operating System-Melodic). Das HOBA-System verfügt nach Entwicklungstand bereits über eine Python und C/C ++ basierte Deep Learning Komponente unter Installation aller notwendigen Abhängigkeiten. Erste experimentelle Tests mit der Softwarekomponenten TF1.x und PyTorch wurden erfolgreich zur Bilderkennung, -Klassifizierung, und -Segmentierung unter Verwendung von Transferlernen mit verschiedenen vorab trainierten Modellen durchgeführt, z. B. ReNet, FCN-ReNet, SSD-Mobilenet, Inception V3 usw.

Abbildung 4: Datenfluss in der HKA HOBA-Box

Zurück zur Projektübersicht

I. Einleitung und Gesamtdarstellung

MiteSens – Konzept, Ziele und FuE-Konsortium

Ziel des von der Bundesanstalt für Landwirtschaft und Ernährung (BLE) finanzierten Verbundprojekts MITESENS ist die Entwicklung eines UAS (Unmanned Aerial Vehicle) basierten Systems zum Monitoring von Spinnmilben bei typischen Pflanzenbeständen (Erdbeeren, Gurken, Rosen) im Unterglasanbau (MiteSens).

Abb.1: MitesSens Gesamtsystem mit Aufgaben und Leistungen der Konsortiumsmitglieder sowie Interaktionen und Datenschnittstellen. (Graphik aus Hortico 4.0 Meeting 9. Dez. 2020)

Die Abb. 1 zeigt das MitesSens Gesamtkonzept sowie die Aufgaben der verschiedenen Mitglieder (Universität Hohenheim, University of Applied Sciences Karlsruhe (HKA), Wolution, Multikopter, IB Bauer, LVG Heidelberg und LTZ Augustenberg) sowie die Interaktionen und die Datenschnittstellen auf. Die Projektlaufzeit ist 31.03.2023.

MiteSens soll in der Lage sein, sowohl den frühen Befall von Pflanzenblättern mit Spinnmilben zu detektieren, als auch entsprechende Bekämpfungsmaßnahmen mit Prädatoren und/oder integrierbaren Pflanzenschutzmitteln (Akariziden) zu überwachen und deren Erfolg zu bewerten. MiteSens basiert dabei auf bildgebenden Verfahren. In Verbindung mit einem UAS (MiteSens UAS) mit intelligenter Flugsteuerung (Flight Control) als Kameraträger sind grundsätzlich eine hohe raumzeitliche Auflösung des Spinnmilben-Monitorings, ein berührungsloser Einsatz sowie eine autonome Anwendung möglich.

Die Ableitung der nötigen Befallsinformationen (Ort, Stärke, raumzeitliche Dynamik des Spinnmilbenbefalls) aus den verorteten Bildinformationen basiert auf einem ML (maschinelles Lernen) Ansatz, der die entsprechenden Auswertungen in Echtzeit durchführt, somit eine schnelle Reaktion auf einen möglichen Befall ermöglicht und darüber hinaus bei verschiedenen Kulturen eingesetzt werden kann.

Die zentrale Komponente des Gesamtsystem MiteSens ist ein mehrere Aufgaben wahrnehmendes UAS (Unmanned Aerial System) in Verbindung mit einer Ground-Control-Station zur Datenkommunikation sowohl mit dem UAS als auch mit der Cloud als allgemeine technische Datenschnittstelle des Konsortiums (Abb.1). Auf dem UAV (Unmanned Aerial Vehicle) als Sensor- und Kommunikations-Trägerplattform des UAS befinden sich - neben der dem Monitoring des Milbenbefalls dienenden Multispektralkamera – in kompakter Form die GNSS, MEMS (Micro-Electro-Mechanical-Systems) Sensorik sowie die optische Sensorik (Multispektral-Kamera, Optische Kameras zur Navigation und Hinderniserkennung, Laserscanner (LIDAR) zur 3D Bestandserfassung als Voxel-Modell) und schließlich die Datenkommunikationskomponenten (WIFI, Internet).

Die GNSS/MEMS/Optik Multisensorik dient in erster Instanz der Navigation und der sich damit verbindenden Flugsteuerung, d.h.

  • Bestimmung des 18 parametrigen Navigations-Istzustandes y(t)Ist (Abb. 2)
  • Dynamische Hinderniserkennung per optischer Sensorik (Kamera, Laserscanner)
  • Automatisierte Flugregelung (Flight Control (FC)) entlang einer 3D-Trajektorie y(t)Soll

Der Navigations-Istzustand y(t)Ist kann in Verbindung mit dem Laserscanner, der der 3D-Gebäude- und Bestandserfassung, der „3D-Map m(t)“ dient, in Doppelfunktion auch zur Navigationszustandsschätzung dienen. Im Fall einer um m(t) erweiterten Zustandsschätzung spricht man von SLAM (Simultaneous Localization and Mapping) (y_(t)Ist),m(t) ).

Grundsätzlich übernimmt der im globalen ITRF (International Terrestrial Reference Frame) bzw. in Europa dem INSPIRE konform ermittelten ETRF89 Navigations-Istzustand y(t)Ist eine damit im Raumbezug, d.h. örtlich wie auch zeitlich global identifizierbar gehaltene 3D Georeferenzierung der Laserpunktwolken m(t) und des darauf gewonnenen Gebäude- und Pflanzenbestandes sowie der unklassifizierten und der klassifizierten Multispektralbilder s(t) bzw. s(t)‘.

Aus den Laserpunktwolken m(t) können dann das BIM-gerechte

  • 3D Gebäudemodell b sowie das
  • 3D Voxelmodell v des Pflanzenbestandes rechnerisch ermittelt werden.

Über Methoden der Bildverarbeitung kann das 3D Gebäudemodell b als digitaler Zwilling des durchflogenen Gebäudes dann widerum als Marker für die MEMS/Optik Datenfusion bei der Indoornavigation (hat ohne die GNSS-Komponente auszukommen) verwendet werden. Die klassifizierten Multispektralbilder s(t)‘ werden dann ebenfalls auf der Grundlage des Navigationszustandsvektor y(t)Ist auf das 3D-Voxellmodell v zurückgerechnet. Daraus resultiert schließlich das ITRF/ETRF89 georeferenzierte räumliche 3D Voxelmodell v‘ des Milbenbestandes. Aus der vollständigen 3D-Information v‘ können dann vertikale oder horizontale Schnitte (2D Orthokarten) abgeleitet werden.

Abb. 2: Sensorik der MiteSens UAS Flight-Control (FC) zur Zustandsschätzung y(t)Ist, Spinnmilbenerkennung und Datenkommunikation

Weitere Projektinformationen findet sich auch auf der Webseite der Förderungsgebers, der Bundesanstalt für Landwirtschaft und Ernährung unter dem nachfolgenden Link https://service.ble.de/ptdb/index2.php?detail_id=18370053&site_key=141&sLfd=laufend&zeilenzahl_zaehler=1684&NextRow=1550