Abschlussbericht
Multisensorsysteme
Sean Shugar (2913720), Paul-Robert Meinicke (3135870), Pieris Sourkounis (10013204),
Qi Deng (10032934), Boen Zhu (10034944)
Leibniz Universität Hannover
I. AUFBAU UND B ESCHREIBUNG DES UAV- BASIERTEN
MSS
Multisensorsysteme (MSS) haben das übergeordnete Ziel,
Daten effizient aus der Umgebung zu erfassen. Diese Daten
können z.B. durch die Wahrnehmung von Objekten durch
Sensoren erzeugt werden. MSS besitzen daher zahlreiche
Sensoren zur Objekterfassung mit unterschiedlichen Messprin-
zipien, wie z.B Laserscanner oder Kameras. Des Weiteren
werden in MSS Anwendungen auch sogenannte referenzie-
rende Sensoren verwendet. Dazu gehören unter anderem 3D-
Positionierungsensoren. Das MSS versucht alle Vorteile der
jeweiligen einzelnen Sensoren zu nutzen und zu kombinieren
um eine eindeutige Position und Orientierung zu ermitteln.
Die Güte der Ermittlung der Position und Orientierung hängt
stark von den Sensoren ab, weshalb oft komplementäre und
auch sogar redundante Sensoren in MSS verwendet werden.
Durch die immer komplexer und vielfältiger werdenden
Anwendungen finden MSS immer mehr Einsatz, da einzelne
Sensoren für komplexe Anforderungen nicht geeignet sind.
MSS haben dazu den weiteren Vorteil, dass sie den Auto-
matisierungsgrad erhöhen. Des Weiteren sind sie aufgrund der
Anzahl der Sensoren oft zuverlässiger.
Eine Anwendung von MSS sind in Unmanned Aerial Ve-
hicles (UAV), wie der DJI Matrice 600, zu finden. UAV sind
Luftfahrzeuge, die ohne eine an Bord befindliche Besatzung
autark durch Computer betrieben und navigiert werden. In der
folgened Anwendung wurde ein Uav um ein MSS erweitert,
welches aus einem Gimbal, einem Onboardcomputer sowie
mehreren Sensoren. Zu den Sensoren gehören ein Laserscan-
ner, Kameras, eine IMU sowie GNSS.
Als Laserscanner wird der Velodyne Puck VLP-16 benutzt.
Laserscanner überstreichen Oberflächen bzw. Körper mit ei-
nem Laserstrahl um diese zu vermessen. Sie erzeugen somit
Punktwolken. Der Laserscanner ist um das Kamerasystem
acA2500-60uc von Basler erweitert um Datenpunkte unter-
schiedlicher Sensoren zu fusionieren um präziser zu sein. Ab-
gerundet wird das MSS mit der IMU VN-200 von Vectornav.
Eine IMU (Inertiale Messeinheit) ist eine Kombination mehre-
rer Beschleunigungs- und Drehratensensoren und ermöglichen
die relative Positionsbestimmung, wenn die satellitengestüt-
ze Positionierung an ihre Grenzen stößt oder nicht benutzt
wird. Hier wird sie zusammen mit GNSS eingesetzt um die
Genauigkeit und Zuverlässigkeit der Positionsbestimmung zu
verbessern.
II. R EALISIERUNG DER K ALIBRIERUNG UND
S YNCHRONISIERUNG
Damit beim Betrieb des UAVs korrekte Daten erfasst
werden, benötigt es zunächst einer Kalibration, sowie einer
anschließenden Synchronisation der etwaigen Sensoren.
a) Kalibrierung: In der Kalibrierung wird versucht einen
Bezug zwischen den unterschiedlichen Koordinatensystemen
der einzelnen Sensoren zu realisieren. Um die Transforma-
tionen zwischen allen Sensorkoordinaten zu bestimmen, wird
eine Innenkalibrierung durchgeführt. Dafür wird als Hilfestel-
lung ein Schachbrettmuster verwendet wie in Abbildung 2, um
die Kameraposition in Relation zu der des Laserscanner zu
bestimmen. Dazu wird das Schachbrett in unterschiedlichen
Positionen ausgerichtet, sodass es sowohl im Kamerabild
als auch in der Laserscannerpunktwolke an unterschiedlichen
Positionen und Orientierungen erfasst wird. Anschließend wer-
den die erfassten Daten in Matlab mit Hilfe der Kamera und
LIDAR Toolbox kalibriert. Diese Methode dient jeweils zur
Bestimmung der inneren Orientierung der Kamera und des
relativen Bezugs vom Laserscanner zur Kamera. Die innere
Kalibrierung des Laserscanners wird dabei mithilfe eines „Pan
and tilt target“ und einem Tachymeter realisiert. Das Prinzip
ist in Abbildung 1 zu sehen.
Abbildung 1. Prinzip Kalbrierung Laserscanner (links) und Schachbrett
(rechts)
Über einen Lasertracker kann das Plattformkoordinatensys-
tem des UAV realisiert werden. Es werden 3 Punktkoordinaten
über einem Kreuzprodukt definiert. Mithilfe eines Corner Cube
Reflektor (CCR) der auf die Plattform gelegt wird, werden
die Koordinaten mit dem Lasertracker bestimmt. Für den
absoluten räumlichen Bezug wird darüber hinaus zwischen der
Kamera und dem Laserscanner des UAVs mehrere Targets und
CCRs (Abbildung 3) im Raum verwendet. Dazu dient der La-
sertracker als Referenzgerät für die Erfassung der Koordinaten.
Es werden an mehreren festen Positionen Targets angebracht
und diese mit der Kamera und dem Laserscanner abgelichtet
bzw. abgescannt. Anschließend werden die Messergebnisse
über Matlab analysiert.
Abbildung 2. Target
b) Synchronisierung: Für eine direkte Georeferenzierung
von bewegenden Systemen ist eine Zeitsynchronisation zwi-
schen dem Mapping-Sensor und der Trajektorienerfassung
entscheidend. Die Synchronisation wird über Zeitstempeln
(engl.: timestamps) ermöglicht. Damit die gemessenen Daten
der Sensoren einen Zeitstempel erhalten, benötigt es einer
zusätzlichen Hardware basierten oder einer Software basierten
Lösung. Damit die Sensoren einen gemeinsamen zeitlichen
Bezug haben benötigen sie eine Referenz. Dabei ist darauf
zu achten, dass ein kleiner Zeitoffset von 0,01 Sekunden bei
einer höheren Geschwindigkeit von 30 km/h schon zu einer
Abweichung von 8 cm führen kann. Das bedeutet, dass selbst
eine kleine Abweichung, bei einer hohen Geschwindigkeit
zu einer großen Ungenauigkeit führen kann. Bei den auf
Hardware basierten Methoden gibt es mehrere Lösungen:
• Die NTP (Network Time Protokolling), bei der die Zeit
über das Internet übertragen wird, jedoch eine Zeitverzö-
gerung von 25ms beinhaltet.
• Die DCF77, bei der die Zeit über eine Funkverbindung
übertragen wird. Die Genauigkeit ist abhängig von der
Antenne und kann zwischen 5ms bis 150ms betragen.
• Die PPS, ist eine GPS-Zeitreferenz. Die Ausgabe des
Signals hängt von der Verfügbarkeit einer Empfängerpo-
sition ab. Es sind mindestens vier Satelliten nötig. Die
Ungenauigkeit ist jedoch sehr Gering (Größenordnung
von µs). Um einen zeitlichen Bezug herzustellen wird
zur Hilfe ein GNSS-Empfänger verwendet der an einem
GPS-Receiver verbunden ist.
Für eine mögliche Software basierte Umsetzung werden, zur
Programmierung, zusätzliche Sensoren und die Integration von
externen Sensorsignalen in den Datenstrom des Laserscanners
benötigt. In dem hier genutzten UAV System wird ein ROS
Zeitsynchronisierer verwendet. Die hiermit gewonnenen syn-
chronisierten Dateien werden anschließend mit Matlab analy-
siert und interpoliert. Hierbei werden die Bilder der Kamera
den jeweiligen Punktewolken des Laserscanners zugeordnet,
indem die Punktwolke mit dem geringsten zeitlichen Versatz
einem Kamerabild zugeordnet wird.
III. DATENERFASSUNG
Die von den Sensoren erzeugten Rohdaten, müssen in-
nerhalb des Multisensorsystems, teilweise verarbeitet oder
gespeichert werden. Das genaue Vorgehen hängt vom Anwen-
dungszweck des Systems ab. Die Daten werden in der Regel
auf einer, im Multisensorsystem integrierten, Rechnereinheit
zwischengespeichert oder direkt ausgewertet. Bei Anwen-
dungen, die die Daten der Sensoren zur Orientierung oder
Überwachung verwenden, müssen die Daten in der Regel in
Echtzeit ausgewertet werden. Hierfür wird ein Rechensystem
mit entsprechender Leistungsfähigkeit benötigt. Ein Beispiel
für eine solche Anwendung wären autonome Fahrzeuge. Ein
anderer Anwendungsbereich ist das Erstellen von Datensätzen
für die spätere Auswertung bzw. Bearbeitung nach Ende der
Messung. Zu dieser zweiten Anwendung gehört auch das in
diesem Bericht betrachtete Multisensorsystem. Das betrachtete
System ist hierfür mit einem sogenannten „Next Unit Com-
puter“ (NCU) von Intel, bestehend aus einem Motherboard,
einem Prozessor, einem Arbeits- und einem Massenspeicher,
ausgestattet. Dieser Rechner zeichnet sich durch seine sehr
geringe Größe aus und ist dadurch für das betrachtete System
geeignet. Verglichen mit einem herkömmlichen Rechnersys-
tem kann auf eine Grafikkarte verzichtet werden, da mit
diesem System lediglich Daten abgespeichert werden und
keine Visualisierung von Inhalten erzeugt werden soll. Als
Framework für die Datenerfassung wird das Robot Operating
System (ROS) verwendet. ROS wurde für die Softwareent-
wicklung im Bereich der Robotik entwickelt und erlaubt es
mit Hilfe von sogenannten „nodes“ mehrere Rechenprozesse
zu parallelisieren. Diese wichtige Eigenschaft lässt sich auch
für andere Multisensorsysteme nutzen, bei denen gleichzeitig
Daten von mehreren Sensoren erfasst werden müssen. ROS
kann mit verschiedenen Programmiersprachen (z.B. C++ oder
Python) bedient werden und ist ein außerdem auch open-
source. Die nodes führen grundsätzlich eigenständige Pro-
grammabläufe durch. Die einzelnen nodes können Nachrichten
(messages) an bestimmte „topics“ veröffentlichen und auch
Nachrichten empfangen, indem sie ein entsprechendes topic
„abonnieren“. Diese Nachrichten können aus allen grundlegen-
den Datentypen, wie z.B. „integer“ oder „boolean“, bestehen.
Als Grundlage für diese Kommunikation muss zu Beginn des
Programms der „ROS-Master“ mittels des Befehles „roscore“
ausgeführt bzw. gestartet werden. Die Nachrichten die an
ein topic veröffentlicht werden, können mittels einer ROS
Funktion namens Rosbag in einer Datei gespeichert werden.
Dabei können in einer Rosbag-Datei mehrere topics gleichzei-
tig aufgezeichnet werden. Bei der Anwendung auf Multisen-
sorsysteme werden die einzelnen Sensoren als eigene Knoten
dargestellt, die die von den Sensoren produzierten Daten
veröffentlichen. Diese Daten, mit beliebiger Taktung, werden
dann kontinuierlich in einer Rosbag-Datei gespeichert. Für die
Einbindung von Sensoren gibt es für verschiedene Sensortypen V. M ETADATEN
bereits vorgefertigte Funktionen. Dabei wird eine gewisse Zahl Dies hier ist ein Blindtext zum Testen von Textausgaben.
an Sensoren bereits in den offiziellen ROS-Paketen unterstützt. Wer diesen Text liest, ist selbst schuld. Der Text gibt lediglich
Für weitere Sensoren gibt es von der community entwickelte den Grauwert der Schrift an. Ist das wirklich so? Ist es
Pakete Bei der Aufnahme der Daten muss darauf geachtet gleichgültig, ob ich schreibe: „Dies ist ein Blindtext“ oder
werden, dass die einzelnen Sensordaten mit einer zeitlichen „Huardest gefburn“? Kjift – mitnichten! Ein Blindtext bietet
Markierung versehen werden, um diese später synchronisieren mir wichtige Informationen. An ihm messe ich die Lesbarkeit
zu können. In der Rosbag wird automatisch ein sogenannter einer Schrift, ihre Anmutung, wie harmonisch die Figuren
„timestamp“ erstellt, der angibt wann die Aufzeichnung des zueinander stehen und prüfe, wie breit oder schmal sie läuft.
Rosbags gestartet wurde und in welchem zeitlichen Abstand Ein Blindtext sollte möglichst viele verschiedene Buchstaben
weitere Nachrichten gespeichert wurden. enthalten und in der Originalsprache gesetzt sein. Er muss
keinen Sinn ergeben, sollte aber lesbar sein. Fremdsprachige
IV. AUSWERTUNG /Q UALITÄTSBEURTEILUNG Texte wie „Lorem ipsum“ dienen nicht dem eigentlichen
Zweck, da sie eine falsche Anmutung vermitteln.
Die Auswertung des Multisensorsystems ermöglicht das
Auffinden von Leistungsmängeln des Multisensorsystems bzw.
die Leistung des Multisensorsystems kann quantitativ bewertet
werden.
In der Regel werten wir ein Multisensorsystem aus, um die
von den Sensoren erzeugten Rohdaten so zu verbereiten, dass
sie aussagekräftiger sind. Auch um festzustellen, ob die von
den Sensoren erzeugten Daten aussagekräftig genug sind und
um das Messsystem zu validieren.
Nachdem wir die vom Sensor erzeugten Rohdaten erhalten
haben, führen wir zunächst eine Koordinatentransformation
durch, um die 3D Koordinaten im globalen Koordinatensystem
zu erhalten. Im ersten Schritt werden die gemessenen Daten
(vom Laserscanner gewonnene Polarelemente) in ein karte-
sisches Koordinatensystem umgerechnet. Im zweiten Schritt
werden die im ersten Schritt gewonnenen Daten dann mit
statischen Kalibrierparametern in das Koordinatensystem der
Systemplattform umgerechnet.Der letzte Schritt mit Posenpa-
rametern wird in das Weltkoordinatensystem umgerechnet.
Nach der Koordinatentransformation der Rohdaten impor-
tieren wir diese dann in die Analysesoftware zur weiteren
Bearbeitung und Analyse. Häufig verwendete Verarbeitungs-
software und Tools sind CloudCompare , MATLAB usw. Mit
Hilfe von Verarbeitungssoftware können wir die Daten fil-
tern(Tiefpassfilter,Kalman Filter,SLAM),segmentieren(Region
Growing,RANSAC) and visualisieren usw.
In Multisensorsystemen gibt es oft viele Faktoren, die die
Qualität der Messergebnisse beeinflussen (z. B. Sensor, Bedie-
ner, Messobjekt, etc.). Deshalb müssen wir unsere Messdaten
auswerten.Der Grundgedanke der Auswertung ist, die durch
die Messung gewonnenen Daten mit aussagekräftigeren Daten
(durch ein anderes Messwerkzeug oder Messverfahren) zu
vergleichen.Für kleinevolumige Messaufgaben (z.B. in Innen-
räumen) verwenden wir in der Regel flächenbasierte Verfahren,
parameterbasierte Verfahren, die ein präzisere Messwerkzeuge
erfordern.Für großvolumige Messaufgaben (z.B. im Außenbe-
reich) können wir auf Basis der Trajektorie und auf Basis der
3D-Punktwolke validieren. Dies erfordert in der Regel eine
höhere Ebene der Referenztrajektorie oder Punktwolke.Beim
Vergleich der beiden Werte gilt: Je kleiner die Abweichung,
desto überzeugender sind unsere Messdaten und desto höher
ist die Leistung unseres Messsystems.