Sie sind auf Seite 1von 3

Abschlussbericht

Multisensorsysteme
Sean Shugar (2913720), Paul-Robert Meinicke (3135870), Pieris Sourkounis (10013204),
Qi Deng (10032934), Boen Zhu (10034944)
Leibniz Universität Hannover

I. AUFBAU UND B ESCHREIBUNG DES UAV- BASIERTEN II. R EALISIERUNG DER K ALIBRIERUNG UND
MSS S YNCHRONISIERUNG

Multisensorsysteme (MSS) haben das übergeordnete Ziel, Damit beim Betrieb des UAVs korrekte Daten erfasst
Daten effizient aus der Umgebung zu erfassen. Diese Daten werden, benötigt es zunächst einer Kalibration, sowie einer
können z.B. durch die Wahrnehmung von Objekten durch anschließenden Synchronisation der etwaigen Sensoren.
Sensoren erzeugt werden. MSS besitzen daher zahlreiche a) Kalibrierung: In der Kalibrierung wird versucht einen
Sensoren zur Objekterfassung mit unterschiedlichen Messprin- Bezug zwischen den unterschiedlichen Koordinatensystemen
zipien, wie z.B Laserscanner oder Kameras. Des Weiteren der einzelnen Sensoren zu realisieren. Um die Transforma-
werden in MSS Anwendungen auch sogenannte referenzie- tionen zwischen allen Sensorkoordinaten zu bestimmen, wird
rende Sensoren verwendet. Dazu gehören unter anderem 3D- eine Innenkalibrierung durchgeführt. Dafür wird als Hilfestel-
Positionierungsensoren. Das MSS versucht alle Vorteile der lung ein Schachbrettmuster verwendet wie in Abbildung 2, um
jeweiligen einzelnen Sensoren zu nutzen und zu kombinieren die Kameraposition in Relation zu der des Laserscanner zu
um eine eindeutige Position und Orientierung zu ermitteln. bestimmen. Dazu wird das Schachbrett in unterschiedlichen
Die Güte der Ermittlung der Position und Orientierung hängt Positionen ausgerichtet, sodass es sowohl im Kamerabild
stark von den Sensoren ab, weshalb oft komplementäre und als auch in der Laserscannerpunktwolke an unterschiedlichen
auch sogar redundante Sensoren in MSS verwendet werden. Positionen und Orientierungen erfasst wird. Anschließend wer-
Durch die immer komplexer und vielfältiger werdenden den die erfassten Daten in Matlab mit Hilfe der Kamera und
Anwendungen finden MSS immer mehr Einsatz, da einzelne LIDAR Toolbox kalibriert. Diese Methode dient jeweils zur
Sensoren für komplexe Anforderungen nicht geeignet sind. Bestimmung der inneren Orientierung der Kamera und des
MSS haben dazu den weiteren Vorteil, dass sie den Auto- relativen Bezugs vom Laserscanner zur Kamera. Die innere
matisierungsgrad erhöhen. Des Weiteren sind sie aufgrund der Kalibrierung des Laserscanners wird dabei mithilfe eines „Pan
Anzahl der Sensoren oft zuverlässiger. and tilt target“ und einem Tachymeter realisiert. Das Prinzip
ist in Abbildung 1 zu sehen.
Eine Anwendung von MSS sind in Unmanned Aerial Ve-
hicles (UAV), wie der DJI Matrice 600, zu finden. UAV sind
Luftfahrzeuge, die ohne eine an Bord befindliche Besatzung
autark durch Computer betrieben und navigiert werden. In der
folgened Anwendung wurde ein Uav um ein MSS erweitert,
welches aus einem Gimbal, einem Onboardcomputer sowie
mehreren Sensoren. Zu den Sensoren gehören ein Laserscan-
ner, Kameras, eine IMU sowie GNSS.
Als Laserscanner wird der Velodyne Puck VLP-16 benutzt.
Laserscanner überstreichen Oberflächen bzw. Körper mit ei-
nem Laserstrahl um diese zu vermessen. Sie erzeugen somit
Punktwolken. Der Laserscanner ist um das Kamerasystem
acA2500-60uc von Basler erweitert um Datenpunkte unter-
schiedlicher Sensoren zu fusionieren um präziser zu sein. Ab- Abbildung 1. Prinzip Kalbrierung Laserscanner (links) und Schachbrett
gerundet wird das MSS mit der IMU VN-200 von Vectornav. (rechts)
Eine IMU (Inertiale Messeinheit) ist eine Kombination mehre-
rer Beschleunigungs- und Drehratensensoren und ermöglichen Über einen Lasertracker kann das Plattformkoordinatensys-
die relative Positionsbestimmung, wenn die satellitengestüt- tem des UAV realisiert werden. Es werden 3 Punktkoordinaten
ze Positionierung an ihre Grenzen stößt oder nicht benutzt über einem Kreuzprodukt definiert. Mithilfe eines Corner Cube
wird. Hier wird sie zusammen mit GNSS eingesetzt um die Reflektor (CCR) der auf die Plattform gelegt wird, werden
Genauigkeit und Zuverlässigkeit der Positionsbestimmung zu die Koordinaten mit dem Lasertracker bestimmt. Für den
verbessern. absoluten räumlichen Bezug wird darüber hinaus zwischen der
Kamera und dem Laserscanner des UAVs mehrere Targets und siert und interpoliert. Hierbei werden die Bilder der Kamera
CCRs (Abbildung 3) im Raum verwendet. Dazu dient der La- den jeweiligen Punktewolken des Laserscanners zugeordnet,
sertracker als Referenzgerät für die Erfassung der Koordinaten. indem die Punktwolke mit dem geringsten zeitlichen Versatz
Es werden an mehreren festen Positionen Targets angebracht einem Kamerabild zugeordnet wird.
und diese mit der Kamera und dem Laserscanner abgelichtet
bzw. abgescannt. Anschließend werden die Messergebnisse III. DATENERFASSUNG
über Matlab analysiert. Die von den Sensoren erzeugten Rohdaten, müssen in-
nerhalb des Multisensorsystems, teilweise verarbeitet oder
gespeichert werden. Das genaue Vorgehen hängt vom Anwen-
dungszweck des Systems ab. Die Daten werden in der Regel
auf einer, im Multisensorsystem integrierten, Rechnereinheit
zwischengespeichert oder direkt ausgewertet. Bei Anwen-
dungen, die die Daten der Sensoren zur Orientierung oder
Überwachung verwenden, müssen die Daten in der Regel in
Echtzeit ausgewertet werden. Hierfür wird ein Rechensystem
mit entsprechender Leistungsfähigkeit benötigt. Ein Beispiel
für eine solche Anwendung wären autonome Fahrzeuge. Ein
anderer Anwendungsbereich ist das Erstellen von Datensätzen
für die spätere Auswertung bzw. Bearbeitung nach Ende der
Messung. Zu dieser zweiten Anwendung gehört auch das in
Abbildung 2. Target
diesem Bericht betrachtete Multisensorsystem. Das betrachtete
System ist hierfür mit einem sogenannten „Next Unit Com-
b) Synchronisierung: Für eine direkte Georeferenzierung
puter“ (NCU) von Intel, bestehend aus einem Motherboard,
von bewegenden Systemen ist eine Zeitsynchronisation zwi-
einem Prozessor, einem Arbeits- und einem Massenspeicher,
schen dem Mapping-Sensor und der Trajektorienerfassung
ausgestattet. Dieser Rechner zeichnet sich durch seine sehr
entscheidend. Die Synchronisation wird über Zeitstempeln
geringe Größe aus und ist dadurch für das betrachtete System
(engl.: timestamps) ermöglicht. Damit die gemessenen Daten
geeignet. Verglichen mit einem herkömmlichen Rechnersys-
der Sensoren einen Zeitstempel erhalten, benötigt es einer
tem kann auf eine Grafikkarte verzichtet werden, da mit
zusätzlichen Hardware basierten oder einer Software basierten
diesem System lediglich Daten abgespeichert werden und
Lösung. Damit die Sensoren einen gemeinsamen zeitlichen
keine Visualisierung von Inhalten erzeugt werden soll. Als
Bezug haben benötigen sie eine Referenz. Dabei ist darauf
Framework für die Datenerfassung wird das Robot Operating
zu achten, dass ein kleiner Zeitoffset von 0,01 Sekunden bei
System (ROS) verwendet. ROS wurde für die Softwareent-
einer höheren Geschwindigkeit von 30 km/h schon zu einer
wicklung im Bereich der Robotik entwickelt und erlaubt es
Abweichung von 8 cm führen kann. Das bedeutet, dass selbst
mit Hilfe von sogenannten „nodes“ mehrere Rechenprozesse
eine kleine Abweichung, bei einer hohen Geschwindigkeit
zu parallelisieren. Diese wichtige Eigenschaft lässt sich auch
zu einer großen Ungenauigkeit führen kann. Bei den auf
für andere Multisensorsysteme nutzen, bei denen gleichzeitig
Hardware basierten Methoden gibt es mehrere Lösungen:
Daten von mehreren Sensoren erfasst werden müssen. ROS
• Die NTP (Network Time Protokolling), bei der die Zeit kann mit verschiedenen Programmiersprachen (z.B. C++ oder
über das Internet übertragen wird, jedoch eine Zeitverzö- Python) bedient werden und ist ein außerdem auch open-
gerung von 25ms beinhaltet. source. Die nodes führen grundsätzlich eigenständige Pro-
• Die DCF77, bei der die Zeit über eine Funkverbindung grammabläufe durch. Die einzelnen nodes können Nachrichten
übertragen wird. Die Genauigkeit ist abhängig von der (messages) an bestimmte „topics“ veröffentlichen und auch
Antenne und kann zwischen 5ms bis 150ms betragen. Nachrichten empfangen, indem sie ein entsprechendes topic
• Die PPS, ist eine GPS-Zeitreferenz. Die Ausgabe des „abonnieren“. Diese Nachrichten können aus allen grundlegen-
Signals hängt von der Verfügbarkeit einer Empfängerpo- den Datentypen, wie z.B. „integer“ oder „boolean“, bestehen.
sition ab. Es sind mindestens vier Satelliten nötig. Die Als Grundlage für diese Kommunikation muss zu Beginn des
Ungenauigkeit ist jedoch sehr Gering (Größenordnung Programms der „ROS-Master“ mittels des Befehles „roscore“
von µs). Um einen zeitlichen Bezug herzustellen wird ausgeführt bzw. gestartet werden. Die Nachrichten die an
zur Hilfe ein GNSS-Empfänger verwendet der an einem ein topic veröffentlicht werden, können mittels einer ROS
GPS-Receiver verbunden ist. Funktion namens Rosbag in einer Datei gespeichert werden.
Für eine mögliche Software basierte Umsetzung werden, zur Dabei können in einer Rosbag-Datei mehrere topics gleichzei-
Programmierung, zusätzliche Sensoren und die Integration von tig aufgezeichnet werden. Bei der Anwendung auf Multisen-
externen Sensorsignalen in den Datenstrom des Laserscanners sorsysteme werden die einzelnen Sensoren als eigene Knoten
benötigt. In dem hier genutzten UAV System wird ein ROS dargestellt, die die von den Sensoren produzierten Daten
Zeitsynchronisierer verwendet. Die hiermit gewonnenen syn- veröffentlichen. Diese Daten, mit beliebiger Taktung, werden
chronisierten Dateien werden anschließend mit Matlab analy- dann kontinuierlich in einer Rosbag-Datei gespeichert. Für die
Einbindung von Sensoren gibt es für verschiedene Sensortypen V. M ETADATEN
bereits vorgefertigte Funktionen. Dabei wird eine gewisse Zahl Dies hier ist ein Blindtext zum Testen von Textausgaben.
an Sensoren bereits in den offiziellen ROS-Paketen unterstützt. Wer diesen Text liest, ist selbst schuld. Der Text gibt lediglich
Für weitere Sensoren gibt es von der community entwickelte den Grauwert der Schrift an. Ist das wirklich so? Ist es
Pakete Bei der Aufnahme der Daten muss darauf geachtet gleichgültig, ob ich schreibe: „Dies ist ein Blindtext“ oder
werden, dass die einzelnen Sensordaten mit einer zeitlichen „Huardest gefburn“? Kjift – mitnichten! Ein Blindtext bietet
Markierung versehen werden, um diese später synchronisieren mir wichtige Informationen. An ihm messe ich die Lesbarkeit
zu können. In der Rosbag wird automatisch ein sogenannter einer Schrift, ihre Anmutung, wie harmonisch die Figuren
„timestamp“ erstellt, der angibt wann die Aufzeichnung des zueinander stehen und prüfe, wie breit oder schmal sie läuft.
Rosbags gestartet wurde und in welchem zeitlichen Abstand Ein Blindtext sollte möglichst viele verschiedene Buchstaben
weitere Nachrichten gespeichert wurden. enthalten und in der Originalsprache gesetzt sein. Er muss
keinen Sinn ergeben, sollte aber lesbar sein. Fremdsprachige
IV. AUSWERTUNG /Q UALITÄTSBEURTEILUNG Texte wie „Lorem ipsum“ dienen nicht dem eigentlichen
Zweck, da sie eine falsche Anmutung vermitteln.
Die Auswertung des Multisensorsystems ermöglicht das
Auffinden von Leistungsmängeln des Multisensorsystems bzw.
die Leistung des Multisensorsystems kann quantitativ bewertet
werden.
In der Regel werten wir ein Multisensorsystem aus, um die
von den Sensoren erzeugten Rohdaten so zu verbereiten, dass
sie aussagekräftiger sind. Auch um festzustellen, ob die von
den Sensoren erzeugten Daten aussagekräftig genug sind und
um das Messsystem zu validieren.
Nachdem wir die vom Sensor erzeugten Rohdaten erhalten
haben, führen wir zunächst eine Koordinatentransformation
durch, um die 3D Koordinaten im globalen Koordinatensystem
zu erhalten. Im ersten Schritt werden die gemessenen Daten
(vom Laserscanner gewonnene Polarelemente) in ein karte-
sisches Koordinatensystem umgerechnet. Im zweiten Schritt
werden die im ersten Schritt gewonnenen Daten dann mit
statischen Kalibrierparametern in das Koordinatensystem der
Systemplattform umgerechnet.Der letzte Schritt mit Posenpa-
rametern wird in das Weltkoordinatensystem umgerechnet.
Nach der Koordinatentransformation der Rohdaten impor-
tieren wir diese dann in die Analysesoftware zur weiteren
Bearbeitung und Analyse. Häufig verwendete Verarbeitungs-
software und Tools sind CloudCompare , MATLAB usw. Mit
Hilfe von Verarbeitungssoftware können wir die Daten fil-
tern(Tiefpassfilter,Kalman Filter,SLAM),segmentieren(Region
Growing,RANSAC) and visualisieren usw.
In Multisensorsystemen gibt es oft viele Faktoren, die die
Qualität der Messergebnisse beeinflussen (z. B. Sensor, Bedie-
ner, Messobjekt, etc.). Deshalb müssen wir unsere Messdaten
auswerten.Der Grundgedanke der Auswertung ist, die durch
die Messung gewonnenen Daten mit aussagekräftigeren Daten
(durch ein anderes Messwerkzeug oder Messverfahren) zu
vergleichen.Für kleinevolumige Messaufgaben (z.B. in Innen-
räumen) verwenden wir in der Regel flächenbasierte Verfahren,
parameterbasierte Verfahren, die ein präzisere Messwerkzeuge
erfordern.Für großvolumige Messaufgaben (z.B. im Außenbe-
reich) können wir auf Basis der Trajektorie und auf Basis der
3D-Punktwolke validieren. Dies erfordert in der Regel eine
höhere Ebene der Referenztrajektorie oder Punktwolke.Beim
Vergleich der beiden Werte gilt: Je kleiner die Abweichung,
desto überzeugender sind unsere Messdaten und desto höher
ist die Leistung unseres Messsystems.