Sie sind auf Seite 1von 75

Fakultät für Ingenieurwissenschaften

Studiengang Elektrotechnik

Implementierung eines kamera- und beschleunigungsbasierten Sensor-


Tracking-Verfahrens für Magnetic Field Distortion- (MFD-) Messun-
gen an großen Prüfobjekten

Master-Thesis zur Erlangung des akademischen Grades


Master of Science

Erstprüfer Prof. Dr.-Ing. Dietmar A. Brück


Zweitprüfer Prof. Dr.-Ing. Martin Buchholz

vorgelegt von Wilfred Tikamchue Tchamou


Matrikelnummer 3543684

Abgabetermin 06.11.2016
ii

Sperrvermerk

Die vorliegende Arbeit enthält vertrauliche Daten des Fraunhofer-Instituts für Zerstö-
rungsfreie Prüfverfahren (IZFP). Sie darf aus diesem Grund nur zur Bewertung der The-
sis im Rahmen der ASPO verwendet werden. Ohne ausdrückliche Genehmigung durch
das Fraunhofer-Institut darf die Thesis weder Dritten zugänglich gemacht, noch ganz
oder in Auszügen veröffentlicht werden. Die Sperrfrist endet zwei Jahre nach dem Ein-
reichen der Arbeit bei der HTW des Saarlandes.

Unbeschadet hiervon bleibt die Weitergabe der Arbeit an die mit der Prüfung befassten
Mitarbeiter der Hochschule bzw. Prüfer möglich, die ihrerseits zur Geheimhaltung ver-
pflichtet sind, sowie die Verwendung der Arbeit in eventuellen prüfungsrechtlichen
Rechtsschutzverfahren nach Maßgabe der geltenden verwaltungsprozessualen Regeln.

Saarbrücken, den 06.11.2016

(Unterschrift)

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


iii

Erklärung

Ich, Wilfred Tikamchue, versichere, diese Master-Thesis selbständig verfasst, keine


anderen, als die angegebenen Quellen und Hilfsmittel benutzt, sowie alle wörtlich oder
sinngemäß übernommenen Stellen, in der Arbeit gekennzeichnet zu haben.

Saarbrücken, den 06.11.2016

(Unterschrift)

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


iv

Vorwort

Die vorliegende Arbeit entstand im Rahmen meiner Tätigkeit als wissenschaftliche


Hilfskraft am Fraunhofer-Institut IZFP Saarbrücken.

Mein besonderer Dank gilt Dr.-Ing. Klaus Szielasko, Leiter der Abteilung Materialcha-
rakterisierung, für die Möglichkeit als studentische Hilfskraft tätig zu werden, für die
Themenstellung und die Unterstützung meiner Arbeit.

Dr.-Ing. Sergey Lugin, Sergey, Pushkarev, M.Sc danke ich ebenfalls für die tolle Unter-
stützung.

Darüber hinaus danke ich Prof. Dr.-Ing. Dietmar A. Brück und Prof. Dr.-Ing. Martin
Buchholz für die Übernahme der Betreuung seitens der Hochschule.

Weiterhin bedanke ich mich bei allen Mitarbeitern und Mitarbeiterinnen der Abteilung
Materialcharakterisierung für die entspannte Arbeitsatmosphäre und Zusammenarbeit,
insbesondere Sergey, Pushkarev, M.Sc.

Meiner Familie danke ich für Ihr Verständnis und Unterstützung trotz großer Entfer-
nung während der gesamten Zeit meines Studiums.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


v

Kurzfassung

Die vorliegende Arbeit beschreibt der Implementierung eines Kamera-basierten Tra-


ckingsystems zur Durchführung zerstörungsfreie Messungen. Die Motivation hierfür lag
in der Verortung der aufgenommenen Messdaten. Zur Bestimmung der Sensorposition
wurden Marker und Bildverarbeitungsalgorithmen eingesetzt.

Der Schwerpunkt dieser Arbeit lag in der Softwareentwicklung, welche um die Kom-
plexität der Applikation zu vereinfachen, in mehrere Module und Untermodule unter-
teilt wurde. Die Module beinhalten die wesentlichen Funktionen für die Hardware-
Kommunikation sowie für die Ermittlung der Sensorposition.

Als Entwicklungsplattform wurde LabVIEW von National Instruments mit NI-IMAQ


Bibliothekverwendet. Das in dieser Arbeit implementierte System, welches mit dem
Name Sensor-Tracking versehen wurde, ermöglicht die Verortung der Messdaten und
deren Darstellung in Echtzeit.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


vi

Abstract

The present work describes the implementation of a camera-based sensor tracking sys-
tem for non-destructive testing purposes. The motivation for this work was to place the
measured data recorded with the sensor coordinates. Image processing algorithms were
applied to search the sensor body markers on the acquired images to obtain the sensor
position. The focus of this work was the software development and was divided into
several modules and sub-modules to be able to verify the complexity of the application,
allow scalability and traceability. The modules contain the essential functions for hard-
ware communication as well as the determination of the sensor position. As a develop-
ment platform, LabVIEW from National Instruments with IMAQ Library was chosen.
The system implemented in this work projects the measurement data onto resulting im-
age (camera live image as an option) and displayed during the measurement.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


vii

Inhalt

1 Einleitung ............................................................................................................. 9
1.1 Motivation ............................................................................................................. 9
1.2 Aufgabenstellung ................................................................................................... 9
1.3 Aufbau der Arbeit ................................................................................................ 10

2 Grundlagen ........................................................................................................ 11
2.1 Bildverarbeitungsgrundlage zur Erkennung und Verfolgung eines Objekts ....... 11
2.1.1 Geometric Pattern Matching................................................................................ 13
2.1.2 Binarisierungsverfahren im engl. Thresholding .................................................. 14
2.1.3 Partikelfilter im Binärbild.................................................................................... 20
2.1.4 Bestimmung der Anzahl der Bildregionen im Binärbild ..................................... 21
2.1.5 Merkmalsextraktion ............................................................................................. 26
2.1.6 Bestimmung der Sensororientierung ................................................................... 27
2.1.7 Objektverfolgung ................................................................................................. 28
2.2 Kamerakalibrierung ............................................................................................. 29
2.3 Magnetische Feldverzerrung ............................................................................... 32

3 Hardwarekomponenten .................................................................................... 34
3.1 Kamera ................................................................................................................ 34
3.2 80-kanalige Hallsondenelektronik ....................................................................... 35

4 Software .............................................................................................................. 37
4.1 Bildverarbeitung mit IMAQ-Vision .................................................................... 37
4.2 Das Sensortracking-System ................................................................................. 38
4.2.1 Das Modulare Messsystem (MMS) ..................................................................... 39
4.2.2 Module ................................................................................................................. 39
4.3 Datenerfassungsmodul „Monitoring“ .................................................................. 43
4.4 Positionsermittlungsmodul „Marker Track“ ....................................................... 45
4.4.1 Untermodul „Bildaufnahme“............................................................................... 46
4.4.2 Untermodul „Calibration“ ................................................................................... 47
4.4.3 Untermodul „Image Manager“ ............................................................................ 49
4.4.4 Untermodul „Marker Erkennung“ ....................................................................... 50
4.5 Visualisierungsmodul „DataPlot“ ....................................................................... 51

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


viii

4.5.1 Untermodul „Overlay“ ........................................................................................ 55


4.6 Testdurchlauf ....................................................................................................... 55
4.7 Evaluierung des „Sensortracking-Systems“ ........................................................ 59
4.7.1 Genauigkeit.......................................................................................................... 59
4.7.2 Geschwindigkeit .................................................................................................. 60
4.7.3 Umgebungseinflüsse............................................................................................ 62

5 Zusammenfassung und Ausblick ..................................................................... 63


5.1 Zusammenfassung ............................................................................................... 63
5.2 Ausblick ............................................................................................................... 64

Literaturverzeichnis ..................................................................................................... 66

Anhang A Modul Positionsermittlung ..................................................................... 69

Anhang B Visualisierungsmodul .............................................................................. 70

Anhang C Datenerfassungsmodul ............................................................................ 71

Abbildungsverzeichnis.................................................................................................. 72

Abkürzungsverzeichnis ................................................................................................ 75

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


1 Einleitung 9

1 Einleitung

1.1 Motivation
Das Fraunhofer-Institut für Zerstörungsfreie Prüfverfahren in Saarbrücken (IZFP) be-
schäftigt sich mit den physikalischen Methoden der zerstörungsfreien Prüfung, der Cha-
rakterisierung von Werkstoffen und mit der Kontrolle und Überwachung von Ferti-
gungsprozessen und Anlagenkomponenten. [1]

Ein Beispiel hierfür ist die Messung der magnetischen Feldverzerrung (engl. MFD1)
Diese Prüftechnik erlaubt Inhomogenitäten in der Topografie ferromagnetischer Werk-
stoffe abzubilden. Beispiele hierfür können korrosionsbedingte Fehlstellen, Einschlüsse
oder Restmagnetfelder sein. Für einen Flächenscan wird der Sensor über den Messbe-
reich bewegt und die gemessenen Daten werden auf einem Intensitätsgraph visualisiert.
Um zu einem späteren Zeitpunkt die gemessenen Daten einer Prüffläche exakt zuzuord-
nen, muss im Vorfeld manuell festgelegt worden sein, in welchem Bereich der Sensor
bewegt wurde. Da dieser Arbeitsschritt mit viel Aufwand verbunden ist, war es sinnvoll
diese Dokumentation der Messfläche inkl. Zuordnung der Messdaten zu automatisieren.

Um die mit dem Sensor aufgenommenen Messdaten mit deren Position zu fusionieren,
soll eine Kamera verwendet werden, mit deren Hilfe die Position des Sensors über vor-
definierte Marker und durch Einsatz von Bildverarbeitungsalgorithmen ermittelt wird.
Während das Abfahrens eines Prüfobjekts, werden die aufgenommenen Messdaten pa-
rallel den Ortskoordinaten zugeordnet, um den Flächenscan und ggf. zu einem späteren
Zeitpunkt eine Offline-Auswertung zu ermöglichen.

1.2 Aufgabenstellung
Es soll ein Sensortracking-System entwickelt werden. Dazu soll eine 80-kanalige Hall-
sondenelektronik mit integriertem Beschleunigungssensor und WLAN-Interface mit
einer Permanentmagnet-Reihe ausgerüstet und in ein Gehäuse verbaut werden. Die Sen-
soren liefern während den Scan eines Messobjekts einen Messdatenstrom, der nach ei-
nem Protokoll unter National Instruments LabVIEW entgegengenommen und zur Dar-
stellung gebracht wird. Um die Stabilität des Systems zu gewährleisten, sollen beim

1
Magnetic Field Distortion

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


1 Einleitung 10

Ausfall des Tracking-Systems die Beschleunigungsdaten genutzt werden, um den vo-


rübergehenden Ausfall zu kompensieren.

Auf die Sensorbox sollen zur Ermittlung der Sensorkoordinaten Marker angebracht
werden, die mit Hilfe einer Kamera erkannt, verfolgt und anschließend sollen die Sens-
ordaten miteinander verknüpft werden. Zur Darstellung dieser Daten soll zuerst ein Bild
des Prüfobjekts aufgenommen und anschließend die Messdaten in das Bild projiziert
werden. Um die Messergebnisse und das Prüfobjekt miteinander zu vergleichen, soll es
möglich sein, die Messdaten auszublenden.

Die hierfür zu entwickelnde Software soll von Grund auf programmiert werden und
stellt deswegen den größten Teil der Aufgabe dar.

1.3 Aufbau der Arbeit


Die vorliegende Arbeit setzt sich aus drei Teilen zusammen. Im ersten Teil (Kapitel 2)
werden die theoretischen Grundlagen vorgestellt. Hier werden die zur Erkennung der
Marker eingesetzten Bildverarbeitungsalgorithmen sowie die Prüftechnik der Magnet-
feldverzerrung erläutert. Kapitel 3 stellt die in dieser Arbeit verwendete Hardwarekom-
ponente dar.

Die Programmierung der Software bildet der Kern dieser Arbeit und wird im Kapitel 4
vorgestellt. Als Entwicklungsplattform dient LabVIEW Version 2014 von National In-
struments. Das Sensortracking-System soll später im MMS2 (siehe Kapitel 4.2.1) integ-
rierbar sein, um die Kommunikation mit weiteren Modulen zu ermöglichen. Aus diesem
Grund wurden bereits Vorkehrungen zur Anbindung weiterer Module getroffen.

Zum Schluss soll im Kapitel 4.6 die Anwendung des Sensor-Tracking demonstriert
werden. Darüber hinaus wird die korrekte Handhabung erklärt. Die Darstellung der Er-
gebnisse erfolgt ebenfalls in diesem Kapitel. Im Anschluss daran erfolgt die Evaluie-
rung des Sensor-Tracking im Hinblick auf die Genauigkeit, die Geschwindigkeit sowie
die Umgebungseinflüsse.

Die im Rahmen dieser Arbeit entwickelte Software setzt hohe und spezifische
LabVIEW-Kenntnisse voraus. Zur Einführenden Lektüre empfehlen sich „LabVIEW
Advanced Programming Techniques“ und „Einführung in LabVIEW“.

2
Modulare Messsystem

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 11

2 Grundlagen
Dieses Kapitel beinhaltet die Grundladen zur Realisierung der Aufgabenstellung. Hier-
zu gehören die Vorstellung des MFD-Verfahrens sowie die für diese Arbeit notwendi
gen Verfahren der Bildverarbeitung. [3]

2.1 Bildverarbeitungsgrundlage zur Erkennung und Verfolgung


eines Objekts
Die Objekterkennung und Verfolgung in einer Videosequenz lassen sich in drei Katego-
rien unterteilen:

Bildbearbeitung
 Bildaufnahme
 Vorverarbeitung
 Segmentierung

Bildanalyse

 Partikelfilter aus dem Binärbild


 Merkmalextraktion für die Objektverfolgung
 Verfolgungsprozess des gefilterten Objektes

Muster- und Objekterkennung

 Objekterkennungsprozess
 Objekterkennung : Vergleich der Merkmalsvektoren

Die in dieser Arbeit implementierten Algorithmen zur Erkennung und Verfolgung des
Sensors beschränken sich auf zwei Vorgänge (Bildbearbeitung und Bildanalyse). Ab-
bildung 2.1 fasst die einzelnen Verarbeitungsschritte von der Aufnahme bis zur Ob-
jekterkennung zusammen, die in folgenden Kapiteln dieses Abschnitts in einzelnen
Etappen kurz erläutert werden.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 12

Abbildung 2.1 : Bildverarbeitungsschritte zur Erkennung eines Objekts.

Bei der Bilderfassung wird ein Objekt mit Hilfe einer Kamera elektronisch aufgenom-
men und als digitales Bild gespeichert.

Die mit der Kamera erfassten Bilder besitzen oft nicht die gewünschte Bildqualität und
sollten daher weiter verarbeitet werden. Gründe dafür sind beispielsweise ungleichmä-
ßige Bildausleuchtung oder auch Rauschen, das in einem Vorverarbeitungsschritt voll-
ständig entfernt werden kann. Nach der Bildvorverarbeitung erfolgt die Binarisierung,
das heißt, das gesuchte Objekt wird aus der Videosequenz herausgefiltert. Dieses Ver-
fahren basiert auf dem Prinzip der Trennung von Objekten und Bildhintergrund mit Hil-
fe von Schwellwerten. Das resultierende Binärbild enthält oft noch unerwünschte Parti-
kel, die mit Hilfe von morphologischen Filtern nachbearbeitet werden können. Im Er-
gebnis-Binärbild liegen nun die gesuchten Objekte und können dementsprechend nach
Flächeninhalt oder Form extrahiert werden.

Um zur Anwendung des Sensor-Tracking3 zurück zu kommen, muss zum Beginn dieser
Arbeit entschieden werden, welcher Tracking-Algorithmus für die Erkennung und Ver-
folgung des Sensors am besten geeignet ist. Da die Erkennung des Sensors für weitere
Verarbeitungsprozesse von großer Bedeutung ist, muss ein Tracking-Algorithmus aus-
gewählt werden, welcher gegenüber äußere Einflüsse und Helligkeitsschwankungen

3
Verfolgung

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 13

robust ist. Dafür gibt es eine Vielzahl an Algorithmen, die nach der Reihe getestet wer-
den können. Diese sind in der Tabelle 1 aufgelistet. Im Sensor-Tracking wurde zwei
Verfahren getestet und diese werden in den Abschnitten nach der Tabelle kurz erläutert.

Tracking Mustererkennung Farbe/Kontrast

Geometric Pattern Marker basiert


Mean-Shift Algorithmus
Matching Binarisierung

Optischer Fluss und Bewegungs-


-- --
vektoranalyse

Tabelle 1 : Tracking-Algorithmen.

2.1.1 Geometric Pattern Matching


Dieses Verfahren dient zum Suchen von Objekten in einem Bild. Dazu muss zuerst ein
optimales Muster des zu suchenden Objekts generiert werden. Hier können bereits die
ersten Schwächen dieses Verfahrens auftreten. Das Vergleichsbild soll beispielsweise
dieselbe Auflösung wie im Originalbild besitzen. Dazu muss das gesuchte Objekt aus
dem Eingangsbild ausgeschnitten werden. Anschließend erfolgt die Einstellung mit de-
nen nach dem Bildmuster gesucht werden soll. [20]

Um das gesuchte Template in einem Bild zu finden, muss dieses in seiner Größe skaliert
und rotiert dargestellt werden. Dieser Vorgang führt zu einer Verzögerung des Algo-
rithmus, da zwischen Bild und Muster ein mehrmaliges Abgleichen durchgeführt wird,
um eine endgültige Aussage treffen zu können.

Darüber hinaus muss sichergestellt sein, dass zwischen Musterbild und aktuellem Bild
kein großer Farbkontrast vorliegt. Dies lässt sich schnell durch Helligkeitsschwankun-
gen von außen erkennen.

Die dritte Schwäche dieses Algorithmus liegt in ihrer Funktionsweise begründet. Abbil-
dung 2.2 zeigt die Funktionsweise des „Geometric Pattern Matching“. Hierbei wird das
Musterbild abschnittsweise über das zu untersuchende Bild bewegt und an jeder Positi-
on ein Ähnlichkeitsmaß berechnet. Tritt an einer Position ein hinreichender Ähnlich-
keitswert auf, wird davon ausgegangen, dass sich das gesuchte Objekt dort befindet.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 14

Jeder Abschnitt wird dabei mit dem zuvor definierten Vergleichsparameter verglichen.
Falls die festgelegten Bedingungen nicht erfüllt sind, wird das Musterbild verschoben
und die Analyse beginnt erneut. Ist das Template über das gesamte Bild abgerastert
worden, wird anschließend „Treffer“ ausgegeben. Die Dauer dieses Vorgangs hängt
somit von der Datenmenge des Bildes und der Schrittweite der Abschnitte ab. Dies be-
deutet, dass bei Änderung der Schrittweite (Pixel) die für den Abgleich mit dem Mus-
terbild benötigte Zeitdauer beeinflusst wird. Bei großen Schrittweiten wird der Algo-
rithmus schneller aber ungenauer. Für die Erkennung des Sensors konnte das Geometric
Pattern Matching aufgrund von Helligkeitsschwankungen und extensive Zeitdauer des
Algorithmus aus nicht eingesetzt werden. [2]

Abbildung 2.2 : Funktionsweise des Geometric Pattern Matching

2.1.2 Binarisierungsverfahren im engl. Thresholding


Das zweite Verfahren, das in Rahmen dieser Arbeit untersucht wurde, ist bekannt unter
dem Name Binarisierungsverfahren (engl. Thresholding). Dieses Verfahren kann so-
wohl auf Grauwert- als auch auf Farbbilder angewandt werden. Da die Erkennung des
Sensors mit Hilfe von Farbmarkern erfolgt bzw. die eingesetzte Kamera RGB-Bilder
liefert, wird das Verfahren für Farbbilder verwendet.

Das Color-Thresholding oder Farb-Schwellwertbildung ist eine Methode der Segmen-


tierung und dient dazu, wie in Kapitel 2 angeführt, Objekte in einem Bild oder einer
Videosequenz vom Bildhintergrund zu trennen. Dieser Schritt ist entscheidend in der

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 15

Bildverarbeitungskette, da eine schlechte Binarisierung zu unbrauchbaren Ergebnissen


führen kann. Hierzu spielt die Auswahl der Schwellwerte eine große Rolle.

Die Binarisierung ermöglicht das Trennen des Urbildes auf genau zwei Grauwerte,
meist Weiß (G = 255) zum Objekt und Schwarz (G = 0) zum Bildhintergrund. Dies lässt
sich folgendermaßen in einer Funktion darstellen:

0 𝑓ü𝑟 𝑥 < 𝑠
𝑓(𝑥) = { (1)
1 𝑆𝑜𝑛𝑠𝑡

Bei der Binarisierung ist es wichtig, den entsprechenden Farbraum, in dem gearbeitet
wird, auszuwählen. Da das Sensor-Trackingssystem gegen Lichtverhältnisse möglichst
stabil sein sollte werden im Folgenden zwei Farbräume vorgestellt, die sich stark unter-
scheiden und für die Objekterkennung eine entscheidende Rolle spielen. Um den Unter-
schied zwischen beide Farbräumen (RGB und HSL) zu zeigen, ist es sinnvoll den jewei-
ligen Farbraum separat zu untersuchen. Der bekannteste Farbraum ist der RGB-Raum
und wird heutzutage in den meisten Farbkameras eingesetzt. [3]

RGB-Raum :

Das RGB-Farbmodell kann man sich als dreidimensionalen Würfel vorstellen, in dem
jede Achse eine Grundfarbe (Rot, Grün, Blau) darstellt. Innerhalb des Würfels befinden
sich die Farben des RGB-Farbraums und deren Hauptdiagonale repräsentiert die Grau-
töne. Diese werden entsprechend ihrer Koordinaten angegeben (vgl. Abbildung 2.3).

Abbildung 2.3 : Darstellung des RGB-Farbraums. [4]

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 16

Jede Farbe im RGB-Raum setzt sich aus drei Farbkomponente zusammen, die Koordi-
naten im RGB-Raum bilden. Bei einer beliebigen Koordinate – z.B. RGB (100, 234 ,50)
– kann die Farbe jedoch nicht ohne weiteres bestimmt werden, da Farbton, Helligkeit
und Sättigung im RGB-Farbraum zusammengefasst sind. Bei Helligkeitsschwankungen
ändern sich auch die RGB-Anteile. Dies bedeutet, dass das Arbeiten im RGB-Raum
zwar für die Objekterkennung verwendet werden kann, die Variation der Helligkeit aber
zu einer Änderung der RGB-Anteile führt. Daher ist es sinnvoll, in einem Farbraum zu
arbeiten, in dem Farb- und Helligkeitsinformationen getrennt dargestellt werden kön-
nen. Der HSL-Raum bietet diese Möglichkeit. [5]

HSL-Raum [7]

Im HSL-Farbraum wird jede Farbe durch drei Eigenschaften Farbton (Hue), Farbrein-
heit (Saturation) und Helligkeit (Luminance) definiert und beschrieben. Dieser Far-
braum kommt im Vergleich zum RGB-Raum dem menschlichen Farbempfinden sehr
nahe und ein gewünschter Farbton kann intuitiv gemischt werden. Im HSL-Farbraum
sind die Farbwerte und Helligkeitswerte im Unterschied zu RGB getrennt. Dies bietet
den Vorteil, dass die Helligkeit einer Farbe verändert werden kann, ohne die tatsächli-
che Farbe der Pixel zu beeinflussen. Da die meisten Kameras RGB-Bilder liefern, muss
eine Farbraum-Transformation von RGB nach HSL durchgeführt werden. Dazu lässt
sich durch einfache Geometriebeziehungen im RGB Farbraum folgende Formel gewin-
nen:

Hue: [21]

𝜑 𝑤𝑒𝑛𝑛 𝐵 ≤ 𝐺
𝐻= { (2)

360 − 𝜑 𝑤𝑒𝑛𝑛 𝐵 > 𝐺

Mit:

1
[(𝑅 − 𝐺) + (𝑅 − 𝐵)]
𝜑 = cos−1 { 2 }
(3)
[(𝑅 − 𝐺)2 + (𝑅 − 𝐵)(𝐺 − 𝐵)]1/2

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 17

Saturation

3
𝑆=1− [min(𝑅, 𝐺, 𝐵)] (4)
(𝑅 + 𝐺 + 𝐵)

Luminance:

1
𝐿= (𝑅 + 𝐺 + 𝐵) (5)
3

Abbildung 2.4 zeigt den Farbverlauf des HSL-Farbraums.

 Farbton
Die Farben, auch Frequenzen der Wellenlänge genannt, beschreiben einen Farbkreis
und können zwischen 0° und 360° oder durch die Zahlenwerte 0 bis 255 angegeben
werden.

 Sättigung

Dieser Wert beschreibt die Reinheit der ausgewählten Farbe, das Verhältnis zwischen
Farbe und Grauanteil. Eine Vollfarbe beispielsweise enthält keine Grauanteile. Die Zah-
lenwerte liegen zwischen 0 und 255.

 Helligkeit

Ein Farbton verliert mit zunehmenden Grauanteilen an Helligkeit. Die Helligkeit kann
ohne Veränderung des eigentlichen Farbtons angepasst werden.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 18

Abbildung 2.4 : Darstellung des HSL-Farbmodells. [6]

Bei der Betrachtung des HSL-Modells lässt sich feststellen, dass jede Eigenschaft sepa-
rat in einem Kanal dargestellt wird. Diese hat den Vorteil, dass die Helligkeit getrennt
von dem Farbton verarbeitet werden kann und somit bei Helligkeitsänderungen der
Farbwert unverändert bleibt.

Nachdem den Farbraum ausgewählt worden ist, kann nun Auswahl des Farbraums das
„Color-Thresholding“ erfolgen. Bei der Arbeit in dreidimensionalen Raum muss die
Binarisierung auf jeden Kanal angewandt werden. Zunächst wird das von der Kamera
aufgenommenen Bilder in den HSL-Farbraum konvertiert. Anschließend werden aus
jedem Bild die HSL-Kanäle extrahiert. Das Farbbild liegt nun in drei verschiedenen
Grauwertbildern vor (vgl. Abbildung 2.5). Jedes Bild besteht nur noch aus Pixeln zwi-
schen 0 und 255.

Abbildung 2.5 : Aufspalten der Kanäle aus dem Farbbild a) Originalbild, b) Farbton-Kanal, c) Sättigungs
kanal, d) Helligkeitskanal.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 19

Nun wird das passende Schwellwertintervall ausgewählt, um die gewünschte Farbe vom
Rest des Bildes zu trennen. In Abbildung 2.4 ist eine Grauwertverteilung der Farbwerte
in Prozent zu sehen. Die grüne Farbe liegt beispielsweise im Bereich von 70 bis 140
und wird durch folgende Formel im Intervall von 0 bis 255 umgerechnet:

255
𝐺𝑝𝑖𝑥𝑒𝑙 = × 𝑘 (6)
360

k : Farbintervall in Prozent

Eine automatische Bestimmung der Schwellwerte im Sensor-Tracking war nicht mög-


lich, da die Objekte (Marker und Bildhintergrund) unterschiedliche Grauwerte hatten.
Dies lässt sich vor allem durch mehrere Maxima im Grauwerthistogramm des L-Kanals
im Abbildung 2.6 Bild b erkennen.

Abbildung 2.6 : Grauwertunterschiede im L-Kanal (Helligkeitskanal).

An dieser Stelle sind die Grauwertintervalle für die Binarisierung so ausgewählt, dass
im Ergebnis-Binärbild die zu erkennende Farbe mit Variation der Helligkeit und Sätti-
gung komplett enthalten ist. Aus diesem Grund mussten mehrere Schwellwerte be-
stimmt werden. Diese wurden als Intervalle angegeben. Wendet man nun die Schwell-
werte auf die einzelnen Farbkanäle an, dann entstehen mehrere Binärbilder, die mitei-
nander verknüpft werden müssen, wie in Abbildung 2.7 dargestellt.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 20

Abbildung 2.7 : Binarisierung auf den einzelnen Kanälen des HSL-Bildes.

2.1.3 Partikelfilter im Binärbild


Nach der Segmentierung bzw. der Binarisierung liegen im Ergebnisbild noch uner-
wünschte Partikel, die mit Hilfe von morphologischen Filtern entfernt werden können.
Die bekanntesten Filter sind hier die Erosion und Dilatation. Die Erosion wird einge-
setzt, um isolierte Pixel zu entfernen. Dadurch werden die Objekte kleiner. Die Dilatati-
on dagegen führt grundsätzlich zu einer Vergrößerung von Objekten (vgl. Abbildung
2.8).

Störpixel

Abbildung 2.8 : Ergebnisbild nach der Erosion (b) des Eingangsbildes (a), Ergebnisbild nach der Dilation
des Eingangsbildes (b).

Für beide Verfahren werden sogenannte Strukturelemente eingesetzt, die über das zu
verarbeitendem Bild verschoben werden, wie in Abbildung 2.9 .

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 21

Abbildung 2.9 : Morphologische Filter Erosion und Dilatation. [11]

2.1.4 Bestimmung der Anzahl der Bildregionen im Binärbild


Nach der Binarisierung und Beseitigung von Rauschen liegen nun mehrere Objekte im
Binärbild. Um das gewünschte Objekt herauszufiltern wird zunächst die Anzahl der
zusammenhängenden Partikel (Regionen) im Binärbild ermittelt. Eine verbreitete Me-
thode hierzu ist die Regionenmarkierung (engl. Labeling). Darunter versteht man die
Suche und Etikettierung von Regionen im Binärbild. Bei diesem Verfahren werden zu-
einander benachbarte Pixel schrittweise zusammengefügt. Jede Region erhält dabei eine
eindeutige Identifikationsnummer (labels). Um die Regionen zu bilden, muss definiert
werden, unter welchen Voraussetzungen zwei Pixel miteinander verbunden sind. Dazu
gibt es in der Bildverarbeitung zwei Möglichkeiten die Nachbarn eines gegebenen Pixel
zu bestimmen: die Vierer- und Achternachbarschaft, in Abbildung 2.10 dargestellt.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 22

Abbildung 2.10 : Definition der Punktnachbarschaft

Die Vierernachbarschaft bezeichnet die orthogonal angrenzenden Punkte eines Bild-


punkts, bei der Achternachbarschaft werden ebenfalls diagonale Nachbarn berücksich-
tigt.
Das nachfolgende Beispiel soll das Verfahren der Regionenmarkierung mit Achter-
nachbarschaft illustrieren. Der Ausgangspunkt sei ein Binärbild bestehend aus den Wer-
ten 0 (Hintergrund), 1 (Vordergrund) sowie 2,3… als Labels.

In einem ersten Schritt wird das Bild zeilenweise von links nach rechts und von oben
nach unten durchlaufen und jeder Vordergrundpixel wird vorläufig markiert. Dabei
kann es zur Kollision der Markierungen innerhalb einer Region kommen. Daher werden
im nächsten Schritt die kollidierenden Markierungen aufgehoben und die zusammen-
hängenden Teilregionen einem gemeinsamen „Label“ zugeordnet. [2]
In Abbildung 2.11 ist ein Binärbild mit drei unterschiedlichen Regionen dargestellt.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 23

Abbildung 2.11 : Drei Regionen im Binärbild.

Das aktuelle Bildelement erhält einem Label, sobald es eine Vordergrundpixel ist (vgl.
Abbildung 2.12).

Abbildung 2.12 : Sequenzielle Regionenmarkierung im Binärdbild.

Der nächste naheliegende Pixel erhält genau das gleiche Label, falls der zuvor besuch-
ten Nachbarn ein Vordergrundpixel ist (Vgl. Abbildung 2.13).

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 24

Abbildung 2.13 : Pixel mit gleichem Vordergrundnachbar Label.

Der Vorgang wird weiter durchgeführt bis ein Pixel getroffen wird, welches zwei Nach-
barn mit unterschiedlichen Labels (Kollision) hat. Hierbei wird dem Pixel eines der
„Label“ zugewiesen und die Kollision (2,5) gespeichert (vgl. Abbildung 2.14). Ist das in
Abbildung 2.11 dargestellte Bild komplett abgerastert, dann treten drei Kollisionen auf,
die behoben werden müssen. Diese sind in Abbildung 2.14 durch Kreise markiert. [10]

Abbildung 2.14 : Ergebnis nach dem ersten Schritt.

Im zweiten Schritt geht es um die Auflösung der im ersten Schritt bereits kollidierten
Markierungen. Hierbei werden die Kollisionen aufgelöst, indem das kleinste gemeinsa-
me „Label“ für die gesamte Region genommen wird (vgl. Abbildung 2.15).

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 25

Abbildung 2.15 : Ergebnis einer sequenziellen Regionenmarkierung.

Nun sind die Regionen im Binärbild bekannt und anschließend wird eine Auswertung
durchgeführt. Diese beinhaltet die Eigenschaft der Regionen wie Flächeninhalt, Mas-
senschwerpunkt oder Orientierung der einzelnen Partikel. Im Sensor-Tracking genügt es
zwei Eigenschaften zu bestimmen, um das gewünschte Objekt zu verfolgen.

Flächeninhalt A: Summe aller Pixel einer Region.


Massenschwerpunkt:

∑𝑋
X = (7)
𝐴

∑𝑦
Y= (8)
𝐴

Wobei x und y die jeweiligen Pixel-Koordinaten und X und Y die Koordinaten des
Massenschwerpunkts sind.

Zur Berechnung der oben genannten Objekteigenschaften wird eine bereits vorgefertigte
Funktion „Imaq Particle Analysis Report“ verwendet.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 26

2.1.5 Merkmalsextraktion
Nach Binarisierung und Entrauschen des Binärbildes sind nun die Objektbereiche be-
kannt. Wie in Abbildung 2.8 c) zu sehen ist, sind mehrere Objekte dargestellt. In diesem
Kapitel geht es darum, durch bestimmte Merkmale wie Flächeninhalte oder Forme das
tatsächliche Objekt herauszufiltern. Für eine gute Objekterkennung sind folgende Ei-
genschaften erforderlich:

 Translationsinvariant

Hier geht es darum, das Objekt unabhängig von seiner Lage zu erkennen. Auch bis zu
einem gewissen Abstand sollte das Objekt erkennbar sein..

 Rotationsinvariant
Dreht man das Objekt beliebig oder kippt man es leicht, dann sollte die Erkennung auch
problemlos funktionieren. Es lässt sich feststellen, dass eine Merkmalsextraktion basie-
rend auf der Form diese Eigenschaft bereits nicht erfüllen kann, da das Kippen des Sen-
sors zu einer „Verformung“ des Objektes und somit führt zu falschen Ergebnissen führt.

Die Extraktion der Marker aus dem Binärbild im Sensor-Tracking erfolgte aufgrund der
oben genannten Bedingungen über die Fläche des Objektes, da diese Eigenschaft so-
wohl translations- als auch rotationsinvariant ist. Im Binärbild (Abbildung 2.8 c) wird
die Fläche der vorhandenen Partikel berechnet und nach dem größten Partikel gesucht.

Die Merkmalsextraktion spielt eine sehr große Rolle für das Tracking, denn aufgrund
der ermittelten Bildkoordinaten finden weitere Berechnungen zur Bestimmung der Posi-
tion der Marker statt.

Abbildung 2.16: Binärbild bestehend nur noch aus dem Marker.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 27

2.1.6 Bestimmung der Sensororientierung


Um die vom zeilenförmigen Sensor gelieferten Messdaten auf das Messobjekt zu proji-
zieren, ist es erforderlich nicht nur die Position, sondern auch die Orientierung des Sen-
sors zu bestimmen. Da alle Sensorelemente geradlinig angebracht sind und der Raster-
abstand zwischen den Sensoren ca. 2,5 mm beträgt, wurde zuerst versucht über einen
Marker die Positionen der einzelnen Sensoren zu bestimmen. Man kann sich das so vor-
stellen wie eine Gerade, die durch einen Punkt im Kartesischen Raum geht. Das Prob-
lem dabei ist, dass die gerade beliebig im Raum orientiert sein kann. Zur Lösung dieses
Problems kam ein zweiter Marker zum Einsatz. Dadurch sind Anfang und Ende der
Sensorleiste festgelegt (vgl. Abbildung 2.17).

Abbildung 2.17 : Sensorleiste, Marker 1 und 2 bestimmen die Positionen des ersten und letzten Sensors.

Nimmt man nun einen der Vektoren ⃗⃗⃗⃗


𝑣1 als Stützvektor, dann kann die parametrische
Geradengleichung, die durch diese Vektoren verläuft, bestimmt werden, wobei der Vek-
tor ⃗⃗⃗⃗⃗⃗⃗⃗⃗
𝑣1 𝑣2 als Richtungsvektor anzunehmen ist. Die Geradegleichung lautet dann:

𝑔: = ⃗⃗⃗⃗
𝑣1 + 𝑡𝑣
⃗⃗⃗⃗⃗⃗⃗⃗⃗
1 𝑣2
(9)

0≤𝑡 ≤1

Mit der Geradengleichung soll die Orientierung des Sensors bestimmbar sein.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 28

2.1.7 Objektverfolgung
Zwischenzusammenfassung: Nachdem nun der Farbraum konvertiert ist und die pas-
senden Schwellwertintervalle für die Binarisierung ausgewählt sind, kann die Objekt-
verfolgung beginnen. Die Objektverfolgung stellt die Objekttrajektorien ausgehend von
Szenebildern dar.

Dazu benötigt man den Schwerpunkt des Objekts, die bereits in Kapitel 2.1.4. Abbil-
dung 2.18 fasst noch einmal die bisher bearbeitenden Schritte zusammen.
Die Prozessschritte der Kameraeinstellungen sowie die Datenübertragung per USB sind
dunkelblau hinterlegt. Die hellblau hinterlegten Vorgänge zeigen die Bestimmung der
Objektposition.

Abbildung 2.18 : Ablauf von der Bildaufnahme bis zur Objekterkennung.

Abbildung 2.19 zeigt das Ergebnis der Marker-Erkennung aus dem Originalbild. Wie es
zu sehen ist wird die grüne Schraubkappe der Creme nicht erkannt. Grund dafür ist eine
Kalibrierung des Messfelds, die auf dem Prinzip der Bildhintergrundsubtraktion basiert
(siehe Kapitel 4.4.2)

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 29

Abbildung 2.19 : Originalbild (Links), verarbeitetes Bild (Rechts).

2.2 Kamerakalibrierung
In vielen Bildverarbeitungsanwendungen ist eine Kamerakalibrierung erforderlich, um
die durch die Objektiv-Kamera verursachten Verzerrungen eines Bildes zu entzerren.
Ohne diese Kalibrierung ist die Projektion eines Weltpunktes auf die Bildebene nicht
exakt. Um die Abbildung eines Objekts zu rekonstruieren, ist es erforderlich, die Ver-
zerrung zu errechnen. Im Sensor-Tracking wurde versucht eine softwaretechnische
Bildkalibrierung vorzunehmen, mit deren Hilfe die tonnenförmige Verzerrung des Ob-
jektivs entfernt werden kann. Dafür wurde ein Kalibriermuster (Abbildung 2.20) er-
stellt, um die Objektivkorrekturdaten zu gewinnen.

Abbildung 2.20 : Kalibriermuster. [12]

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 30

Die einzelnen Punkte auf dem Muster stehen senkrecht zueinander und weisen eine be-
stimmte Größe auf. Diese variiert mit der Entfernung der Kamera zum Messobjekt. Die-
se Punkte werden softwaretechnisch durch ein Binarisierungsverfahren erkannt, so dass
nur noch ein Punktgitter erscheint. Darüber hinaus soll das Kalibriermuster das kom-
plette Messfeld abdecken, um zu gewährleisten, dass alle Punkte einen festen Abstand
zueinander haben. Durch eine Partikelanalyse werden die Mittelpunkte aller Punktgitter
festgelegt. [12]

Abbildung 2.21 : Mittelpunkte der Gitterpunkte.

Im Anschluss daran erfolgt eine Berechnung der relativen Verzerrung, die sich aus-
schließlich durch die Differenz aus Ist- und Soll Positionen der Kalibriermarken ablei-
ten lässt. In einer Formel lässt sich dies wie folgt ausdrücken:

𝑌𝐼𝑠𝑡− 𝑌𝑆𝑜𝑙𝑙
𝐷𝑌𝑟𝑒𝑙 = ∙ 100% (10)
𝑌𝑆𝑜𝑙𝑙

Abbildung 2.22 zeigt eine originale Bildaufnahme (links) und ein durch Software korri-
giertes Bild. Hierbei wir das Eingangsbild mit Hilfe von hinterlegten Kalibrierdaten
entzerrt. Vergleicht man nun die beiden Bilder, lässt sich feststellen, dass die Wölbung
am Rand des Eingangsbildes korrigiert wurde. Im korrigierten Bild (b) erscheinen die
Ränder etwas gebogen. Um einen Überblick über die im Bild enthaltene Verzerrung zu
gewinnen, wird eine statische Fehlerrechnung durchgeführt. Dabei werden die prozen-

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 31

tuale Verzerrung (Distortion) sowie der maximale vorkommende Fehler dargestellt (vgl.
Tabelle 2).

Abbildung 2.22 : Korrektur der Verzerrung Eingangsbild links (a), korrigiertes Bild rechts (b)

Mean Error 0,02 cm

Max Error 0,02 cm

% Distortion 0,24

Tabelle 2 : Wichtigste Kalibrierdaten:

Die Kalibrierung mit Hilfe eines Kalibriermusters ist rechenintensiv, um eine laufende
Korrektur der Bildverzerrung zu implementieren. Dabei kam es pro Bildberechnung zu
einer Verzögerung von bis zu einer halben Sekunde bei einer Auflösung von 640 x 480
Pixeln. Gemäß Tabelle 2 beträgt die prozentuale Verzerrung 0,24% und ist somit ver-
nachlässigungswert. Dies bedeutet, dass die Verzerrung der Objektiv-Kamera keinen
großen Einfluss auf die Berechnung der Sensorposition hat.

Aus diesem Grund war es sinnvoll eine einfache Kalibrierung durchzuführen, um die
Bilddaten (Pixel) in Weltkoordinaten auszugeben. Dies geschieht durch die Bestim-
mung des Abstands zwischen zwei Bildpunkten und durch eine Umrechnung in vom
Benutzer eingegebene Weltkoordinaten.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 32

2.3 Magnetische Feldverzerrung


Im Rahmen dieser Masterarbeit wurde ein Verfahren, das magnetische Feldverzer-
rungsverfahren (engl. Magnetic Field Distortion, kurz MFD) eingesetzt. Dieses Verfah-
ren erlaubt durch eine spezielle Sensoranordnung bestehend aus einer Permanentmag-
netzeile und magnetfeldsensitiven Sensoren (z.B. Hall- oder GMR-Sensoren) eine
hochaufgelöste Detektion magnetischer Inhomogenitäten (z.B. geometrische Fehlstellen
oder Restmagnetfelder) an der Oberfläche ferromagnetischer Materialien. [13]

Abbildung 2.23 : Feldlinienverlauf an unbeschädigtem (links) und beschädigtem ferromagnetisches Ma-


terial. [13]

Der in diesem Verfahren eingesetzte MFD-Sensor nutzt Permanentmagneten, die in


einem Abstand bis zu 1cm zur Materialoberfläche liegen, während die Messung der
oberflächennahen Feldstärke mit dem zuvor beschriebenen Hallsonde-Array erfolgt.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


2 Grundlagen 33

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


3 Hardwarekomponenten 34

3 Hardwarekomponenten

3.1 Kamera
Die Sensorpositionen wurde mit Hilfe der Somikon 4K-Action-Kamera ermittelt.

Abbildung 3.1 : Action Kamera mit WLAN-Interface. [14]

Diese verfügt über verschiedene Auflösungen und erfasst bei einer Auflösung von 1920
x 1080 (Full HD) bis zu 60 Bildern pro Sekunde. Die Auswahl dieser Kamera wurde
aus verschiedenen Gründen getroffen. Zum einem ermöglicht das in der Kamera inte-
grierte WLAN-Interface die kabellose Live-Bildübertragung per WLAN. Zum anderen
sollte das Sensortracking-System flexibel sein, das heißt eine Messung sollte möglichst
entfernt vom Computer durchgeführt werden können.

Da die von National Instruments gelieferten Treiber nur bestimmte Kameras (Axis IP
Camera, Basler IP Camera) mit WLAN-Betrieb unterstützen, wurde die mit der Kamera
erfassten Bilder per USB übertragen. Um die Verarbeitung der Daten und Rechenleis-
tung möglichst gering zu halten wurde eine Auflösung von 640 x 480 Pixeln für das
Sensor-Tracking ausgewählt. Damit wird eine Bilderfassung bis zu 30 Bildern pro Se-
kunde erreicht. In Tabelle 3 sind die wichtigsten Daten der Kamera zusammengefasst.
[19]

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


3 Hardwarekomponenten 35

 4K-Action-Cam mit Farb-Display und WiFi

Auflösung 640 x 480

Video-Mode 5

Bild-winkel 170°

Blende f / 2,8

Tabelle 3 : Wichtige Daten der Kamera.

3.2 80-kanalige Hallsondenelektronik


Zur Erfassung der magnetischen Feldverzerrung wurde ein Gehäuse (Sensorbox) ange-
fertigt, das der folgenden Komponente enthält:

 Hallsonde vom Typ SS 39ET mit 80 Kanälen


 Hauptplatine mit Beschleunigungssensor und Gyroskop
 Magnetleiste, bestehend Permanentmagneten
 WLAN-Antenne (2,46 GHz WRT Monopole UFL) zur Funkverbindung
 Spannungsversorgung

In der Sensorbox wurde eine 80-kanalige Hallsondenzeile mit einer Länge von ca. 20
cm verbaut. Diese dient zur Erfassung der Daten bzw. zur Detektion magnetischer
Feldverzerrung an oberflächennahen ferromagnetischen Objekten. Die an der Sensor-
leiste angeschlossene Platine ist mit einem Beschleunigungssensor, Gyroskop und ei-
nem WLAN-Interface ausgerüstet und ermöglicht die Übertragung der Messdatenströ-
me per WLAN an den Computer.

Abbildung 3.2 : 80 kanalige Sensorzeile (b) und Permanentmagnet-Reihe (c)

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


3 Hardwarekomponenten 36

Die Platine wird mit einer Spannung bis maximal 15V DC versorgt. Zur Durchführung
der MFD-Verfahren wird die Sensorleiste mit einer Permanentmagnet-Reihe
(Abbildung 3.2 c) bestückt.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 37

4 Software

4.1 Bildverarbeitung mit IMAQ-Vision


National Instruments Hard-und Software findet in jedem Industriebereich Anwendung.
Einige Beispiele hierfür sind die Optische Maßkontrolle, die Identifikation und Klassi-
fikation, die Positionierung bzw. die Lage von Objekten sowie die Oberflächeninspekti-
on. Die Funktionalitäten dafür findet man in der NI Bildverarbeitungssoftware beste-
hend aus dem NI Vision Development Modul, welches dem „Vision Assistant“ beinhal-
tet.

Das Vision Development Module stellt in Bibliotheken für LabVIEW, C/C++, Visual
Basic und .NET Entwicklungsumgebungen bereit. Es bietet eine umfassende Auswahl
von hunderten optimierten Bildverarbeitungsfunktionen wie OCR (Zeichenerkennung),
Partikelanalyse, Barcodeleser, geometrische Messungen und viele mehr. Mit dem ent-
haltenen „Vision Assistant“ lassen sich Prototypen sowie LabVIEW-Code generieren
ohne spezielle Programmierkenntnisse zu besitzen. Dieses greift dann auf die NI Vision
Library zu, wodurch sich durch Konfiguration komplexe benutzerdefinierte Algorith-
men erstellen lassen. Die Oberfläche (vgl. Abbildung 4.1) ermöglicht einfaches und
effizientes Prototyping durch die Darstellung der ursprünglichen Grafik, der Anzeige
der einzelnen Bildverarbeitungsschritte im Skriptfenster sowie die Darstellung der Än-
derung im Bild. Zusätzlich kann daraus ein LabVIEW VI oder C und Visual Basic Code
erzeugt werden.

Abbildung 4.1 : Hauptfenster Vision Assistant.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 38

Zur Ansteuerung einer Kamera unter LabVIEW benötigt man die Vision Acquisition
Software. Diese beinhaltet die wichtigsten Treiber und ist ebenfalls mit LabVIEW,
C/C++ und Visual Studio. NET kompatibel. Unterstützt werden folgende Kameras mit
GigE, NI-Framegrabbern, IIDC-Kompatiblen EEE-1394 Kameras und CameraLink.

Das in LabVIEW integrierten Vision Development Module besteht aus verschiedenen


Bibliotheken. Darunter findet man die Vision Hilfsmittel (vgl. Abbildung 4.2 a) für
Datei- und Speicher-Handling, ROI4-Funktionen sowie auch Bildmanipulation. Die
Image Processing VIs (vgl. Abbildung 4.2 b) sind Low-Level VIs für Filter, FFT5 und
auch für die Objektanalyse. Die High-Level VIs befinden sich unter der Palette „ Ma-
chine Vision“, welche alle Standardinspektionen beinhaltet. [16]

Abbildung 4.2 : NI IMAQ Bibliotheken

4.2 Das Sensortracking-System


Zur Inbetriebnahme der in dieser Arbeit verwendeten Hardwarekomponente zur Daten-
aufnahme, bedurfte es der Programmierung der Software, welche mit dem Namen Sen-
sor-Tracking“ versehen wurde. Folgende Anforderungen sollte das Sensor-Tracking-
System erfüllen:
 Inbetriebnahme der Kamera
 Erfassung der Messdaten
 Erkennung und Positionsermittlung des Sensors über Marker
 Durchführung einer Messung im Offline- und Onlinebetrieb
 Projizieren der Messergebnisse auf das Livebild oder in eine statisches Szene
 Überblenden der Messdaten in das Foto des Prüfobjekts

4
Region of Interest
5
Fast Fourier Transform

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 39

 Speicherung der Messergebnisse

4.2.1 Das Modulare Messsystem (MMS)


Das am Fraunhofer IZFP entwickelte Modulare Messsystem, kurz MMS dient dazu
computergestützte Messungen bis zur Auswertung und Protokollierung zu vereinfachen,
da diese meist komplexe Softwarestrukturen erfordern. Somit wird den Entwicklungs-
aufwand und Fehlerhaftigkeit minimiert. Die Nutzung von MMS erlaubt das Trennen
der Gesamtsoftware in Module, die unterschiedliche Aufgaben erfüllen:

 Datenerfassung
 Datenverarbeitung
 Ergebnisanzeigen
 Protokollierung
 Messablauf

Das Laden der einzelnen Module erfolgt über das MMS Interface. Beim Ablauf einer
Messung werden diese zyklisch aufgerufen. Der in MMS integrierte Controller löst den
Start der Messzyklen aus. [18]

Abbildung 4.3 : MMS-Hauptfenster mit geladenen Modulen, Zyklusablauf durch den Pfeil dargestellt.

4.2.2 Module
Aufgrund der Übersichtlichkeit, Erweiterbarkeit und Wiederverwendbarkeit wurde die
Software Sensor-Tracking modular aufgebaut. Sie besteht aus drei Hauptmodulen, die
miteinander kommunizieren. Das Modul „Monitoring“ liefert die mit der Hallsonde
erfassten Messdaten sowie die Gyroskop-und Beschleunigungssensor Daten. Diese Da-

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 40

ten werden in einem Datensatz gespeichert und zum nächsten Modul weitergeleitet. Zur
Datenerfassung können auch weitere Module verwendet werden. Beim Laden der Mo-
dule ist die Reihenfolge zu beachten (vgl. Abbildung 4.3). Das zweite Modul „Marker
Track“, welches für die Bestimmung der Sensorposition und dessen Orientierung zu-
ständig ist, dient zur Verfolgung der auf die Sensorbox angebrachten Marker, solange
diese sich im Sichtfeld der Kamera befinden. Die gelieferten Positionen des Sensors
werden ebenfalls im MMS-Datensatz gespeichert. Zur Visualisierung der Messergeb-
nisse wurde ein drittes Modul „DataPlot“ implementiert. In diesem Modul werden die in
MMS-Datensatz gespeicherten Daten ausgelesen, weiterverarbeitet und zur Darstellung
gebracht. Die Programmstruktur der Module basiert auf dem Producer/Consumer-
Entwurfsmuster mit einer erweiterten User Interface-Schleife. [17]

Die Kommunikation zwischen den Modulen erfolgt über verschiedene Untermodule


und virtuelle Instrumente (VI), die zusätzlich zu den Hauptmodulen parallel laufen.
Diese steuern ebenfalls die Hardwareverbindung oder die Fehlerüberwachung.

Abbildung 4.4 veranschaulicht die grundlegende Programmstruktur der Sensor-


Tracking-Module von der Kommunikation bis hin zur Hardwareverbindung.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 41

Abbildung 4.4 : Übersicht „Sensor-Tracking“.

Wie bereits angeführt, basiert die Programmstruktur der Hauptmodule auf dem Pro-
ducer/Consumer-Prinzip. Diese Struktur ist mit einer zusätzlichen User Interface-
Schleife erweitert. Abbildung 4.5 verdeutlicht die grundlegende Architektur des Ent-
wurfsmusters. Zu Beginn werden Eingaben des Benutzers von der Producer-Schleife
erfasst und direkt an die Consumer-Schleife über Queues weitergegeben. Somit steht
die Producer-Schleife frei und kann neue Benutzereingabe annehmen. Sollte zum Bei-
spiel in der Consumer-Schleife ein Prozess sofort beendet werden, kann dies durch das
Senden einer Beendigungsnachricht an die Consumer-Schleife erfolgen.

In der Consumer-Schleife findet die tatsächliche Verarbeitung der vom Benutzer gene-
rierten Ereignisse statt. Es werden weiterhin interne dynamische Ereignisse erzeugt, die
beispielsweise signalisieren, dass ein Prozess beendet oder ein Fehler aufgetreten ist.
Während der Bearbeitung wird der Benutzer darüber informiert, welches Ereignis statt-
findet. Mit einer erweiterten User Interface-Schleife wurde dieses garantiert. Diese
Schleife übergibt, die von der Verbraucher Schleife verarbeiten den Daten an das Front-
panel.

Die Kommunikation zwischen Haupt- und Untermodul findet über Ereignisse statt. Soll
ein Untermodul ein Ereignis auslösen, wird dieses von der Producer-Schleife empfan-

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 42

gen, und von der Consumer-Schleife verarbeitet und gegebenenfalls eine Rückmeldung
über ein Ereignis an das Modul geschickt.

Abbildung 4.5 : Funktionsweise des Producer/Consumer Entwurfsmusters

Fehler prüfen
In jeder Applikation können Fehler auftreten. Im Sensor-Tracking erfolgt die Fehlerbe-
handlung über das VI „Error check“. Bei jedem Programmdurchlauf wird geprüft, ob
ein Fehler aufgetreten ist oder nicht.

Sollte dies der Fall sein, dann wird ein Ereignis dynamisch erzeugt und der Benutzer
erhält eine Rückmeldung. Abbildung 4.6 zeigt der Error Handler.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 43

Abbildung 4.6 : Error Handler

4.3 Datenerfassungsmodul „Monitoring“


In diesem Modul findet die Verbindung der Hallsonde mit dem Computer sowie die
Erfassung und Übertragung der Messdaten bis zur Darstellung statt. Über das MMS-
Fenster wird das Datenerfassungsmodul geladen und gestartet. Abbildung 4.8 zeigt den
schematischen Ablauf des Datenerfassungsmoduls. Zuerst wird der Sensor initialisiert,
indem ein Init-Befehl an das Gerät gesendet wird. Die Verbindung erfolgt nach Laden
des Moduls automatisch. Diese wird über eine festgegebene IP-Adresse vorgegeben.
Wichtig hierbei ist es, eine manuelle Verbindung des Sensors im Netzwerk zu erstellen
wie in Abbildung 4.7 angezeigt.

Abbildung 4.7 : Netzwerkverbindung des Datenerfassungsmoduls „MONITORING“

Nach erfolgreicher Verbindung ist eine Kalibrierung erforderlich. Dadurch werden die
Sensoren zurückgesetzt. Beim Start einer Messung über das MMS-Fenster können nun
die Daten aufgenommen, analysiert und dargestellt werden.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 44

Abbildung 4.8 : Programmablauf des Datenerfassungsmoduls.

In Abbildung 4.9 ist das Frontpanel des Datenerfassungsmoduls dargestellt. Im Device


Settings befindet sich die Einstellung der Sensorbox. Im Signalverlaufsgraph werden
die erfassten Daten angezeigt.

Abbildung 4.9 : Hauptfenster des Datenerfassungsmoduls

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 45

4.4 Positionsermittlungsmodul „Marker Track“


Das Positionsermittlungsmodul, welches mit dem Namen „Marker Track“ versehen ist,
dient zur Erkennung und Bestimmung der Sensorposition. In diesem Modul befinden
sich mehrere Untermodule, die unterschiedliche Funktionen erfüllen. Dazu zählen unter
anderem folgende:

 Bilderfassung
 Kamera-Kalibrierung
 Marker-Erkennung
 Position- und Winkelberechnung
 Marker-Verfolgung

und werden jeweils separat erklärt. In Abbildung 4.10 ist das im Rahmen dieser Arbeit
entwickelte User-Interface dargestellt. Es besteht aus vier Bereichen. Im oberen Bereich
(1) befindet sich eine Statusleiste für eventuelle Rückmeldungen an den Benutzer. In
diesem Bereich hat der Benutzer auch die Möglichkeit über ein Aufzählungselement in
unterschiedliche Bild-Modi zu wechseln.

Abbildung 4.10 : Hauptfenster des Positionsermittlungsmoduls

Im linken Bereich (2) werden verschiedene Einstellungen vorgenommen. Im Register


„Camera Settings“ muss – falls verschiedene Kameras angeschlossen sind – die richtige
ausgewählt werden. Um Speicherkonflikte zu vermeiden, ist es erforderlich, den Bildern

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 46

unterschiedlichen Namen zu geben. Diese befinden sich auch in diesem Register und
können vom Benutzer nicht geändert werden.

Im Register „Particle Analysis“ befindet sich die wichtigste Einstellung zur Erkennung
der Marker. Über den Button „Marker“ können drei unterschiedliche Marker (Rot, Grün
und Blau) ausgewählt werden. Bei der Auswahl wird der Schwellwertbereich automa-
tisch angepasst.

Im rechten Bereich (4) werden die von der Kamera erfassten Bilder angezeigt. Zum
Schluss wird im unteren Bereich eine Kalibrierung vor der Marker-Erkennung vorge-
nommen und eine Darstellung der aktuellen Position und Marker-Orientierung für den
Benutzer sichtbar gemacht. Dieses Modul läuft unabhängig vom Datenerfassungs- und
Visualisierungsmodul und kann somit für andere Zwecke eingesetzt werden. Sollte bei-
spielsweise die Position eines Roboters bestimmt werden, dann genügt es, einen Marker
auf der Roboterhand anzubringen, um ihre Position zu ermitteln. Weiterhin können an-
dere Module, die am Fraunhofer IZFP für MMS entwickelt wurden, problemlos an das
Modul „Marker Track“ angebunden werden.

4.4.1 Untermodul „Bildaufnahme“


Dieses Modul steuert die Kamera von der Verbindung bis zur Aufnahme und Darstel-
lung des Bildes. Zum Beginn wird die Kamera konfiguriert. Dazu werden sämtliche
Einstellungen (Video Mode, Kamera ID) geladen und gespeichert. Hierbei erfolgt eben-
falls eine Speicherzuweisung für die zu erfassenden Bilder. Danach kann die Kamera
über die Befehle „Start“, „Stopp“ und „Schließen“ gesteuert werden. Um die Leistung
des Programms zu steigern, werden unnötige Bilder im Speicher beim Schließen des
Programms gelöscht.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 47

Abbildung 4.11 : Ablauf Untermodul „Bildaufnahme“

Abbildung 4.11 zeigt den Ablauf des Programms.

4.4.2 Untermodul „Calibration“


Um die Marker-Erkennung zu verbessern, wurde dieses Modul zusätzlich implemen-
tiert, da bereits am Anfang verschiedene Probleme aufgetreten sind. So funktionierte
beispielsweise die Marker-Erkennung nicht, wenn sich im Bildhintergrund ein anderes
Objekt gleicher Farbe befand. Zur Beseitigung dieses Problems erwies sich die Methode
der Hintergrundsubtraktion als sehr wirkungsvoll. Hierbei geht es zunächst darum, Bil-
der (Hintergrund) aufzunehmen, welche das später zu erkennende Objekt nicht enthal-
ten. Danach wird vom zu analysierende Bild dieses Hintergrundbild subtrahiert. Als
Ergebnis der Subtraktion erhält man nur das zu erkennende Objekt. Der Ablauf des
Moduls ist in Abbildung 4.12 dargestellt.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 48

Abbildung 4.12 : Ablauf Untermodul „Calibration“.

Abbildung 4.13 zeigt die Ergebnisse der Realisierung einer Bildhintergrundsubtraktion.


Wichtig ist die Verwendung des absoluten Betrags bei der Subtraktion. Sollte ein Ob-
jektpunkt heller sein als der entsprechende Hintergrundpunkt, dann kann diese zu nega-
tiven Werten im Ergebnisbild führen, was nicht passieren sollte.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 49

Abbildung 4.13 : Methode der Bildsubtraktion.

4.4.3 Untermodul „Image Manager“


Da im Sensor-Tracking verschiedene Bilder verwaltet werden müssen, geschieht die-
über das Untermodul „Image Manager“. Dadurch wird die Programmierung vereinfacht
und der Zugriff an die einzelnen Bilder festgelegt. Dieses Modul ist nach einer einfa-
chen LabVIEW-Struktur bekannt unter dem Namen FGV6 mit vier Zuständen aufge-
baut. Zuerst werden im Zustand „Init“ alle Speicher allokiert. Danach können die verar-
beitenden Bilder im Speicher hinzugefügt oder ausgelesen werden. Diese findet in den
Zuständen „Add Image“ und „Get Image“ statt. Zur Durchführung der Bildhinter-
grundsubtraktion wird nach der Kalibrierung nur das Binärbild gespeichert und die von
der Kamera erfassten RGB-Bilder (Unnötige Bilder) im Zustand „Dispose Image“ ge-
löscht, um den Speicher frei zu geben. Es darf nur ein Zustand ausgeführt werden, damit
es nicht zu einem Speicherkonflikt kommt. Abbildung 4.14 zeigt den Programmcode.

6
Funktional Globale Variable

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 50

Abbildung 4.14 : Blockdiagramm Untermodul „Image Manager“

4.4.4 Untermodul „Marker Erkennung“


Das Untermodul „Marker Erkennung“ dient zur Ermittlung der Marker-Position im
Raum. Die bereits in Kapitel 2.1 angeführten Schritte, sind in Abbildung 4.15 darge-
stellt.

Abbildung 4.15 : Ablauf des Untermoduls „Marker- Erkennung“

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 51

Beim Laden des Moduls über das MMS-Fenster werden zuerst die von der Kamera ge-
lieferten Bilder verarbeitet, um die Marker aus dem Video herauszufiltern. Hierzu er-
folgt die Binarisierung des Live-Bildes, wie in Abbildung 4.16 angezeigt. Anschließend
wird das Binärbild mit morphologischen Filtern (Erosion und Dilatation) entrauscht. Im
Anschluss daran wird der aktuelle binarisierte Frame von dem Bildhintergrund subtra-
hiert. Aus den gewonnenen Ergebnissen werden die gewünschten Objekte (Marker)
extrahiert

Das Modul liefert nach jedem Programmdurchlauf die Positionen der zwei Marker (An-
fang und Ende der Sensorleiste), mit deren Hilfe die jeweilige Position der Sensorele-
mente sowie dessen Orientierung bestimmt werden. Die berechneten Positionen werden
unter den Bezeichnungen (Pos𝑥1 … , Pos𝑦1 …) im MMS-Datensatz gespeichert und an
das Visualisierungsmodul zur weiteren Verarbeitung geschickt. Die Bezeichnungen sind
wichtig, um die Daten später aus dem Datensatz auszulesen. Abbildung 4.16 zeigt den
Programmcode eines binarisierten Frames.

Abbildung 4.16 : Blockdiagramm des Color-Thresholding unter LabVIEW

4.5 Visualisierungsmodul „DataPlot“


Um die Messdaten mit den Sensorpositionen miteinander zu verknüpfen, wurde ein
drittes Modul, welches mit dem Namen Visualisierung (vgl. Abbildung 4.17) versehen
ist, implementiert. Dessen Frontpanel ist in drei Bereiche unterteilt. Im oberen Bereich
kann der Benutzer zwischen zwei Darstellungsmodi wechseln. Im rechten Fenster wer-

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 52

den Information für den Nutzer angezeigt und links mittig die Messdaten dargestellt. In
diesem Modul werden die gemessenen Daten in drei verschiedenen Varianten darge-
stellt. Als erstes werden die Messdaten auf einem Intensitätsgraph geplottet. Die zweite
Variante ermöglicht dem Benutzer die Messdaten direkt mit dem Messobjekt zu analy-
sieren. Dazu gibt es zwei Betriebsmodi (ON und OFF-Line).

Online-Mode (Live Image and Sensor Data)

Beim Online-Mode handelt es sich um die Durchführung einer Messung in Echtzeit.


Hierbei werden die Messergebnisse während einer Messung ins Live-Bild des Messob-
jekts projiziert. Um fehlerfreie und fehlerbehaftete Stellen auf dem Messobjekt zu un-
terscheiden, werden die Messergebnisse zuerst auf einem Intensitätsgraph farbkodiert
dargestellt. Weiterhin besteht die Möglichkeit über einen Schieberegler die Messdaten
auf dem Foto des Prüfobjekt ein-und auszublenden.

Offline-Mode (Static Scene and Sensor Data)

Diese Mode ähnelt dem Online-Mode mit dem einzigen Unterschied, dass die Messer-
gebnisse in ein statisches Bild des Messobjekts abgebildet werden.

Sensor Data

Es besteht die Möglichkeit die Messdaten auf einem Intensitätsgraph ohne Bild des
Prüfobjekts, anzuzeigen.

Abbildung 4.17 : Hauptfenster des Visualisierungsmoduls „DataPlot“.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 53

Module Settings
Einstellung der Filterfunktion, um die im MMS-Datensatz gespeicherten Messdaten
nach bestimmten Bezeichnern zu filtern.
Intensitätsgraph [15]

Um die Messdaten darzustellen, wurde ein Intensitätsgraph verwendet. Dieser bietet


eine übersichtliche und leichte Interpretierbarkeit der Messdaten. Durch die Zuordnung
von bestimmten Farbwerten zu jedem Messwert lässt sich ein Bild erzeugen, bestehend
aus einer Matrix von Pixeln. Die Zuordnung der Farben ermöglicht es, relevante Merk-
male im Bild hervorzurufen.

Die Funktionsweise der Intensitätsdarstellung ist vergleichbar mit zweidimensionalen


Graphen. Hierbei werden die Daten aus drei Dimensionen in zwei Dimension darge-
stellt (vgl. Abbildung 4.18).

Abbildung 4.18 : Intensitätsgraph

Abbildung 4.19 zeigt den Programmablauf des Visualisierungsmoduls. In diesem Mo-


dul findet die Verknüpfung der Sensor- und Kameradaten statt. Die MMS-Datensätze
werden nach den für das Modul nötigen Bezeichnern durchsucht, da in der MMS-Liste
mehrere Module geladen werden können und somit auch nicht benötigte Daten vorhan-
den sein können.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 54

Abbildung 4.19 : Ablauf des Visualisierungsmoduls „DataPlot“.

Die von der Hallsonde gelieferten Messdaten liegen in einem 1D-Array vor. Um diese
Daten für die spätere Darstellung der tatsächlichen Länge der Sensorleiste anzupassen
wurde eine Interpolation vorgenommen. Abbildung 4.20 zeigt das Blockdiagramm des
Moduls „Resample Data“. Die Überlagerung der Daten geschieht im Untermodul
„Overlay“.

Abbildung 4.20 : Blockdiagramm „Data resampling“.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 55

4.5.1 Untermodul „Overlay“


Das Modul „Overlay“ dient zur Überlagerung der Messdaten auf das Live- oder stati-
sche Bild des Prüfobjektes. Die von National Instruments zur Verfügung gestellten
Overlay-Funktionen konnten in diesem Fall nicht verwendet werden. Diese eignen sich
besonders für die Überlagerung einfacher Formen (Kreis, Rechtseck, usw.) auf Bilder
Daher wurde dieses VI selbst implementiert.

Zuerst werden die Daten in einem Intensitätsgraph dargestellt. Die Funktionalität des
Intensitätsgraphs wurde bereits in Kapitel 4.5 erklärt. Danach wird der Intensitätsgraph
sowie das Bild des Prüfobjekts in ihre RGB-Anteile zerlegt, miteinander verknüpft und
interpoliert. Die Interpolation hierbei ermöglicht es, die Messdaten mit einstellbarer
Transparenz in das Foto des Prüfobjekts einzublenden. Abbildung 4.21 zeigt die teil-
weise Implementierung des Moduls „Overlay“.

Abbildung 4.21 : Blockdiagramm des Moduls „Overlay“

4.6 Testdurchlauf
Um die Messergebnisse und die Bedienbarkeit des Sensor-Tracking vorzuführen wird
im Folgenden schrittweise eine Messung durchgeführt. Dazu wird eine Stahlplatine mit
einer kalottenförmigen Bohrung mit einem Durchmesser von 15 mm und einer Tiefe
von 7 mm verwendet. Abbildung 4.22 zeigt den kompletten Versuchsaufbau.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 56

Abbildung 4.22 : Versuchsaufbau

Mit einem Kamerahalter wird die Kamera ungefähr senkrecht zum Messobjekt in einem
Abstand von ca. 1,07 m montiert. Zur Erkennung des Sensors sind zwei grüne Marker
mit jeweils einer Größe von 25x25 mm² an diesem angebracht.

Zur Durchführung der Messung werden zuerst die Module über das MMS-Fenster gela-
den (vgl. Abbildung 4.3). Danach sollen Datenerfassungs- und Positionsermittlungsmo-
dul auf die Messung vorbereitet werden, indem eine Kalibrierung vorgenommen wird.
Im Datenerfassungsmodul erfolgt die Kalibrierung über das Klicken auf den Button
„Calibrate“. Dies bewirkt einen Offsetabgleich der Sensoren. Beim Kalibirieren sollten
die Sensoren auf einer fehlerfreien Stelle liegen. Abbildung 4.23 zeigt die von der Hall-
sonde erfassten Messdaten. . An fehlerfreien Stellen verläuft das Signal auf der Nullli-
nie, der Ausschlag („Peak“) deutet auf fehlerbehaftete Stellen hin.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 57

Abbildung 4.23 : Messablauf des Datenerfassungsmoduls

Im Positionsermittlungsmodul erfolgt ebenfalls die Kalibrierung über den Button


„Calibrate“. Dies ist nötig, um die auf die Sensorbox angebrachten Marker zu erkennen,
indem eine Bildhintergrundsubtraktion (4.4.2) intern durchgeführt wird. Nach erfolgrei-
cher Kalibrierung werden die Marker automatisch erkannt und als grüne helle Pünkt-
chen markiert (vgl. Abbildung 4.24).

Abbildung 4.24 : Marker Erkennung nach Bildhintergrundsubtraktion

Werden keine Markierungen angezeigt, sollte überprüft werden, ob diese nicht verdeckt
sind. Darüber hinaus sollte je nach Helligkeitsverhältnisse der Schwellwertbereich an-
gepasst werden. Dazu sollte in das Binärbild gewechselt werden (vgl. Abbildung 4.25).

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 58

Abbildung 4.25 : Wechselmodus zwischen den Bildern

Hier können die Schwellwerte für das Binarisierungsverfahren eingestellt werden. Je


heller das Bild ist, desto höher sollen die Schwellwerte im Helligkeitskanal eingestellt
werden. Der Farbton-kanal bleibt dabei unverändert. Der Schwellwertbereich soll im
Sättigungskanal in Abhängigkeit der ausgewählten Marker geändert werden. Bei voll-
gesättigter Farbe sollen die Schwellwerte entsprechend größer gesetzt werden. Es ist
empfehlenswert einen Filzstoff-Marker zu verwenden, da diese gegen Reflektionen bes-
ser geeignet ist und die Erkennung somit ungestört bleibt. Nach Änderung der Schwell-
werte ist eine neue Kalibrierung erforderlich. Diese findet im Zustand „Live Image“
statt.

Beim Starten der Messung lassen sich die Ergebnisse im Visualisierungsmodul anzei-
gen. Abbildung 4.26 zeigt die Ergebnisse einer Messung nach einer Online-Messung.
Die Messergebnisse werden während der Abfahrt auf die Oberfläche des Prüfobjekts
projiziert. Der rote Punkt in Abbildung 4.26 zeigt die an die Stahlplatte angebrachter
kalottenförmiger Bohrung (fehlerhafte Stelle). Darüber hinaus können die Messdaten
mit einem Schieberegler ausgeblendet werden.

Abbildung 4.26 : Darstellung der Messergebnisse bei der Online Messung

Zur Durchführung einer Offline-Messung kann über einen Button zwischen die Modi
gewechselt werden (vgl. Abbildung 4.27).

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 59

Abbildung 4.27 : Umschalten zwischen On und Offline Messung

Weiterhin lassen sich die Messdaten im Modus „Sensor Data“ als Intensitätsgraph an-
zeigen. Abbildung 4.28 zeigt die Ergebnisse einer Messung im Offline Mode.

Abbildung 4.28 : Ergebnisse einer Messung im Offline-Modus

Wie zu beobachten ist, kann die Fläche eines Messobjekts beliebig gescannt werden.
Die Zuordnung der Messdaten bzw. die Ausrichtung des Sensors wird hierbei berück-
sichtigt.

4.7 Evaluierung des Sensortracking-Systems


Die Bestimmung der Sensorposition und deren Orientierung gelten als Voraussetzungen
für ein funktionierendes Tracking-System. Um die Stabilität des Systems zu beurteilen
werden im Folgenden drei Aspekte betrachtet. Diese beziehen sich auf einen unter La-
borbedingungen durchgeführten Test. Falls das System im Freien eingesetzt werden
sollte, muss dementsprechend Umgebungsbedingungen berücksichtigt werden.

4.7.1 Genauigkeit
Die Genauigkeit eines Tracking-Systems hängt von verschiedenen Faktoren (Lichtver-
hältnisse, Reflektionen, usw.) ab. Hierbei geht es darum zu untersuchen, wie präzise der
Sensor mit Hilfe von Markern erkannt wird. Um diese zu prüfen, wurden verschiedene

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 60

Szenarios durchgeführt. Zuerst wurde die Kamera an unterschiedliche Entfernungen


und senkrecht zum Prüfobjekt angebracht. Um die Abschätzung der Genauigkeit prüfen
zu können, wurde mit quadratischen Markern mit 25mm Seitenlänge gearbeitet, indem
diese in unterschiedlichen Abständen und Winkeln zur Kamera gehalten wurden. Dabei
stellte sich heraus, dass die Genauigkeit schlechter wird, je weiter sich der Marker von
der Kamera entfernt, da die Flächen der zu erkennenden Marker immer kleiner werden.

Das nächste Szenario überprüft den Einfluss von Verdeckungen. Hierzu wurden die
1
Marker mit einem weißen Blatt zu etwa in der Mitte verdeckt. Abbildung 4.29 zeigt
2

die Ergebnisse einer verdeckten Szene. Die Marker werden trotz einer teilweisen Ver-
deckung detektiert.

Abbildung 4.29 : Verdeckte Szene

Die Marker-Erkennung hängt zum einem von der Größe des Markers und zum anderen
von der Entfernung der Kamera. Außerdem hat der Winkel, in dem die Kamera in Be-
zug auf das zu erkennende Objekt angebracht ist, einen Einfluss auf die Marker-
Erkennung. Im idealen Fall ist die Kamera in einem Winkel von 90° fixiert.

4.7.2 Geschwindigkeit
Ein Tracking-System ist dann nützlich, wenn es in Echtzeit reagiert und somit dem Be-
nutzer weitgehend normale Bewegungen gestattet. Daher wurde in dieser Arbeit die
Performance des Tracking-Systems analysiert. Der Schwerpunkt dieser Arbeit lag aller-

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 61

dings auf die Funktionalität des Systems (eine Code-Optimierung sollte erst erfolgen,
wenn dieser stabil läuft).

Zur Evaluierung der Tracking-Geschwindigkeit wurde ein Intel (R) i5 Prozessor (~ 2,3
GHz, 8192 MB RAM) verwendet. Die vorliegenden Zeitmessungen sind in Zwei Kate-
gorien unterteilt. Zuerst wird die Leistung des Marker-Erkennung-VI (Zeitdauer von der
Marker-Erkennung bis zur Berechnung von deren Positionen) bei einer Auflösung von
320x240 und 640x480 Pixeln betrachtet. Abbildung 4.30 zeigt die Ergebnisse der Ana-
lyse von jeweils 49 Positionen. In der Legende sind die Zeitdauer sowie die Anzahl der
Positionen angegeben.

Abbildung 4.30 : Berechnung der Zeitdauer zur Erkennung und Berechnung der Marker Pos

Die zweite Kategorie bewertet die Leistung des gesamten Systems von der Datenerfas-
sung und der Positionsermittlung bis zur Darstellung der Ergebnisse. Hierzu wurden
wieder die oben angegebenen Auflösungen verwendet. Vergleicht man nun die Zeit-
messungen bei den verschiedenen Auflösungen, kann man sagen, dass bei geringer Auf-
lösung das System schneller ist (vgl. Abbildung 4.31). Man muss aber beachten, dass
eine niedrige bzw. schlechte Auflösung die Bildqualität beeinträchtigen und somit die
Erkennung erschweren kann. Daher ist es empfehlenswert mit einer hohen Auflösung
zu arbeiten und bei Bedarf die Leistungsoptimierung eher an der Software zu realisie-
ren.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


4 Software 62

Abbildung 4.31 : Zeitdauer des DataPlot VI

Die Tabelle 4 zeigt die Bewegungsgeschwindigkeit bei Tracking auf einer Strecke von
500mm.

Auflösung 320x240 640x480

Strecke 500mm 500mm

Geschwindigkeit 4,7m/s 1,6m/s

Tabelle 4 : Bewegungsgeschwindigkeit des Sensors auf 500mm.

4.7.3 Umgebungseinflüsse
Das Sensortracking-System wurde bis jetzt lediglich unter Labor Bedingungen bzw. im
Innenraum getestet. Die Größe des Markers spielt eine entscheidende Rolle für die Er-
kennung in Bezug auf die Entfernung der Kamera. Aufgrund der Größe kann das Tra-
cking-System bei größeren Distanzen bzw. kleinen Markern oder geringer Kameraauf-
lösung weniger zuverlässig arbeiten.

In Bezug auf die Lichtverhältnisse zeigte sich bei Ein- und Ausschalten des Raumlichts
ein geringer Einfluss auf die Erkennung des Markers. Auch bei teilweisen Verdeckun-
gen zeigte sich das System stabil.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


5 Zusammenfassung und Ausblick 63

5 Zusammenfassung und Ausblick

5.1 Zusammenfassung
Im Rahmen dieser Arbeit wurde ein Sensortracking-System zur Durchführung von
Magnetfeldverzerrung (Magnetic-Field-Distortion)-Messungen, implementiert. Dieses
Verfahren ermöglicht das Auffinden von Inhomogenitäten auf der Oberfläche ferro-
magnetischer Materialien.

Das Sensortrackingsystem besteht aus drei Modulen die in das Modulare Messsystem
(MMS) des IZFP integriert wurden. Hierbei handelt es sich um eine Master-Slaves Ar-
chitektur, wobei der „MMS-Controller“ die Aufgabe der Master übernimmt und die
Module die der Slaves. Die Module sind nach demselben Entwurfsmuster aufgebaut.

Das DAQ-Modul steuert die Verbindung der Hallsonden des MFD-Sensors und die Er-
fassung der Daten bis zur Darstellung. Das Positionsermittlungsmodul liefert die Positi-
on des Sensors im Raum. Um die Sensor-und Kameradaten miteinander zu verknüpfen
und darzustellen, wurde ein drittes Modul namens „DataPlot“ implementiert.

Da sich der größte Teil dieser Arbeit mit der Bildverarbeitung der Messdaten beschäf-
tigt, wurde zuerst das Positionsermittlungsmodul „Marker Track“ implementiert. Zuerst
musste ein passender Trackingalgorithmus ausgewählt werden, welcher gegen äußere
Einflüsse (Helligkeitsschwankungen) robust ist. Dazu wurden zwei Bildverarbeitungs-
verfahren zum einen das Geometric Pattern Matching und zum anderen die Binarisie-
rung untersucht und miteinander verglichen. Dabei stellte sich heraus, dass das Binari-
sierungsverfahren gegen Lichtverhältnisse widerstandfähig ist. Hierzu musste in einem
entsprechenden Farbraum (HSL) gearbeitet werden, in dem sich Farbton und Helligkeit
getrennt voneinander darstellen ließen.

Um die mit der Hallsonde ausgerüsteten Marker identifizieren zu können, wurden ver-
schiedene Bildverarbeitungsverfahren angewendet. Dazu gehörten die Binarisierung mit
einstellbaren Schwellwertintervallen, die Etikettierung („Labeling“) für die Ermittlung
der Anzahl der Partikel im Binärbild sowie der Einsatz morphologischer Filter (Erosion
und Dilatation) zur Beseitigung des Rauschens im Binärbild.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


5 Zusammenfassung und Ausblick 64

Die Programmierung dieses Moduls wurde aufgrund unterschiedlicher Bildverarbei-


tungsverfahren in Untermodule unterteilt, um die Komplexität des Programms zu ver-
einfachen. Weiterhin ist die Objekterkennung und Objektverfolgung ein sehr komplexes
Gebiet der digitalen Bildverarbeitung. Aufgrund von Helligkeitsschwankungen ließen
sich keine festen Schwellwerte bestimmen. Diese müssen daher manuell angepasst wer-
den.

Der Datenaustausch zwischen den Modulen findet über den MMS-Datensatz sowie dem
Melder statt. Beim Starten einer Messung besteht die Möglichkeit im Visualisierungs-
modul die Messdaten in drei verschiedenen Modi (Darstellung der Messdaten in das
Live-Bild des Prüfobjekts, Anzeige der Messdaten auf ein statisches Bild des Prüfob-
jekts, Darstellung der gemessenen Daten auf einem Intensitätsgraph) zu betrachten.

Abschließend wurde demonstriert, wie das Sensortracking-System zu verwenden ist und


eine Evaluierung im Hinblick auf die Performance des Systems durchgeführt. Somit
wurde die Aufgabenstellung erfüllt und das System ist bereits einsatzbar. Bei Bedarf
kann die Leistung des Systems optimiert werden.

5.2 Ausblick
Um die Anwendung des Sensortracking-Systems flexibel zu gewährleisten, sollte in
naher Zukunft der MFD-Sensor mit einer Spannungsversorgungsbatterie ausgerüstet
werden. Es soll möglich sein, die Bilderfassung und Bildübertragung über eine mit Na-
tional Instruments Treibern kompatiblen Kamera einzusetzen. Hierzu zählen unter ande-
rem die IP-Kameras von der Firma Axis oder Basler. Falls USB-Kameras eingesetzt
werden, muss geprüft werden, dass keine Kompatibilitätsprobleme vorlegen. Informati-
onen hierzu befinden sich auf der National Instruments Seite, die unter folgendem Link
zu finden ist.

Die Marker-Erkennung erfolgte über das „Color Thresholding“. Dazu wurde den
Schwellwertbereich manuell festgelegt und kann eventuell angepasst werden. Sinnvoller
wäre es das Schwellwertintervall dynamisch anzupassen. Dafür soll eine Histogramm-
Analyse durchgeführt und die für die Marker-Erkennung relevanten Schwellbereiche
ausgewählt werden.

Des Weiteren stellte sich bei Aufnahme mit höherer Auflösung eine Verzögerung des
Systems aufgrund der Rechenlast heraus. Eine Möglichkeit zur Lösung des Problems

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


5 Zusammenfassung und Ausblick 65

wäre die komplette Programmierung des Systems auf die Realtime Ebene auf FPGA-
Basis (heranzuziehen). Dafür kann man z.B. von National Instruments bestimmte
Hardwarekomponenten (Real-Time Compact Vision System, kurz CVS) beschaffen.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Literaturverzeichnis 66

Literaturverzeichnis

[1] C. Boller, „Das Fraunhofer Institut für Zerstörungsfreie Prüfverfahren IZFP,“


[Online].Available:http://www.uni-
saarland.de/fakultaet/nt/professuren/archiv/professuren-materialwissenschaft-und-
werkstofftechnik-fr-84/prof-dr-ing-christian-boller.html. [Zugriff am 30 09 2016].

[2] W. Bruger und M. James Burge, Digitale Bildverarbeitung, Eine Einführung mit
Java und Image J, Berlin, 2005.

[3] R. Bruder, „TU-Clausthal,“ 25 01 2002. [Online]. Available: http://www2.in.tu-


clausthal.de/~reuter/ausarbeitung/Ralf_Bruder_-_Digitale_Bildverarbeitung.pdf.
[Zugriff am 28 10 2016].

[4] „ITWissen,“[Online]. Available: http://www.itwissen.info/definition/lexikon/RGB-


Farbmodell-RGB-color-model.html. [Zugriff am 28 10 2016].

[5] H. Handels, Medizinische Bildverarbeitung, Bildanalyse, Mustererkennung und


Visualisierung für die computergestützte ärztliche Diagnostik und Therapie,
Wiesbaden, 2009.

[6] J. Beyerer, F. Puente Leon und C. Frese, Automatische Sichtprüfung Grundlage,


Methoden und Praxis der Bildgewinnung und Bildauswertung, Sprinter Verlag
Berlin, 2012.

[7] T. Tally, SilverFast-Das offizielle Buch, Germany, 2004,2010.

[8] R. Bitter, LabVIEW Advanced Programming Techniques, United States of


America, 2007.

[9] W. Georgi und E. Metin, Einführung in LabVIEW, München Wien, 2006.

[10] G. Föll, „Informatik hAW Hamburg,“ 03 03 2010. [Online]. Available:


https://users.informatik.haw-hamburg.de/~ubicomp/projekte/master09-10-
aw1/foell/bericht.pdf. [Zugriff am 12 08 2016].

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Literaturverzeichnis 67

[11] N. Instruments, „Image Processing Manual,“ 02 1999. [Online]. Available:


http://www.ni.com/pdf/manuals/322916a.pdf. [Zugriff am 10 09 2016].

[12] N. Instruments, „IMAQ Vision for LabVIEW User Manuel,“ 08 2004. [Online].
Available: http://www.ni.com/pdf/manuals/371007a.pdf. [Zugriff am 10 09 2016].

[13] S. Youssef, K. Szielasko, A. Sourkov, B. Gupta und A. Youssef, „Surface


Inspection and Remanence Imagin with Magnetic Field Distortion Measurement,“
2016. [Online]. Available: http://bibliothek.izfp.fhg.de/publica/2016/16042.pdf.
[Zugriff am 15 09 2016].

[14] „Somikon 4K-Action-Cam mit UHD-Video bei 24 fps, 16-MP-Sony-Sensor,


IP68,“ PEARL, [Online]. Available: http://www.pearl.de/a-NX4224-
1306.shtml;jsessionid=g7D753002E9D52BB729F52B1B60867A94. [Zugriff am 5
10 2016].

[15] R. Jamal und A. Hagestedt, LabVIEW Das Grundlagenbuch, München: ISBN 3-


8273-2051-8, 2004.

[16] N. Instruments, „Industrielle Bildverarbeitung mit dem LabVIEW Vision


Development Module,“ 10 04 2008. [Online]. Available:
http://www.ni.com/webcast/656/de/. [Zugriff am 02 11 2016].

[17] N. Instruments, LabVIEW Core 3 Course Manual, Austin, Texas USA, 2010.

[18] R. Tschuncky, „Diplomarbeit: Entwicklung eines Mustererkennungs- und


Klassifikationsmodul für die indirekte Charakterisierung von
Werkstoffeigenschaft,“ IZFP Saarbrücken, 2004.

[19] N. Instruments, „Is My Camera Supported by National Instruments?,“ 12 09 2008.


[Online]. Available:
http://digital.ni.com/public.nsf/allkb/4331B4AA3AE95233862574C200539A2F.
[Zugriff am 18 09 2016].

[20] K. Hofstetter, „Erweiterung der Technologiedemonstration "NI Smart Table


Soccer" um Bildverarbeitungsfunktionen für Object Tracking und
Bewegungsmustererkennung,“ National Instruments, München, 2014.

[21] R. c.Gonzales und R. E.Woods, „Digital Image Processing,“ University of


Tennessee.

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Literaturverzeichnis 68

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Literaturverzeichnis 69

Anhang A Modul Positionsermittlung

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Literaturverzeichnis 70

Anhang B Visualisierungsmodul

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Literaturverzeichnis 71

Anhang C Datenerfassungsmodul

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Abbildungsverzeichnis 72

Abbildungsverzeichnis
Abbildung 2.1 : Bildverarbeitungsschritte zur Erkennung eines Objekts. .................... 12
Abbildung 2.2 : Funktionsweise des Geometric Pattern Matching ............................... 14
Abbildung 2.3 : Darstellung des RGB-Farbraums. [5] .................................................. 15
Abbildung 2.4 : Darstellung des HSL-Farbmodells [6]................................................. 18
Abbildung 2.5 : Aufspalten der Kanäle aus dem Farbbild a) Originalbild, b)
Farbton-Kanal, c) Sättigungs kanal, d) Helligkeitskanal. ......................... 18
Abbildung 2.6 : Grauwertunterschiede im L-Kanal (Helligkeitskanal). ....................... 19
Abbildung 2.7 : Binarisierung auf den einzelnen Kanälen des HSL-Bildes. ................ 20
Abbildung 2.8 : Ergebnisbild nach der Erosion (b) und der Dilatation (c) des
Eingangsbildes (a). .................................................................................... 20
Abbildung 2.9 : Morphologische Filter Erosion und Dilatation. [11] ........................... 21
Abbildung 2.10 : Definition der Punktnachbarschaft .................................................... 22
Abbildung 2.11 : Drei Regionen im Binärbild. ............................................................. 23
Abbildung 2.12 : Sequenzielle Regionenmarkierung im Binärdbild............................. 23
Abbildung 2.13 : Pixel mit gleichem Vordergrundnachbar Label. ............................... 24
Abbildung 2.14 : Ergebnis nach dem ersten Schritt. ..................................................... 24
Abbildung 2.15 : Ergebnis einer sequenziellen Regionenmarkierung. ......................... 25
Abbildung 2.16: Binärbild bestehend nur noch aus dem Marker. ................................. 26
Abbildung 2.17 : Sensorleiste, Marker 1 und 2 bestimmen die Positionen des
ersten und letzten Sensors. ........................................................................ 27
Abbildung 2.18 : Ablauf von der Bildaufnahme bis zur Objekterkennung. .................. 28
Abbildung 2.19 : Originalbild (Links), verarbeitetes Bild (Rechts). ............................. 29
Abbildung 2.20 : Kalibriermuster [12] .......................................................................... 29
Abbildung 2.21 : Mittelpunkte der Gitterpunkte. .......................................................... 30
Abbildung 2.22 : Korrektur der Verzerrung Eingangsbild links (a), korrigiertes
Bild rechts (b) ............................................................................................ 31
Abbildung 2.23 : Feldlinienverlauf an unbeschädigtem (links) und beschädigtem
ferromagnetisches Material.[13] ............................................................... 32
Abbildung 3.1 : Action Kamera mit WLAN-Interface. [14] ......................................... 34
Abbildung 3.2 : 80 kanalige Sensorzeile (b) und Permanentmagnet-Reihe (c) ............ 35
Abbildung 4.1 : Hauptfenster Vision Assistant. ............................................................ 37
Abbildung 4.2 : NI IMAQ Bibliotheken........................................................................ 38
Abbildung 4.3 : MMS-Hauptfenster mit geladenen Modulen, Zyklusablauf durch
den Pfeil dargestellt. .................................................................................. 39

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Abbildungsverzeichnis 73

Abbildung 4.4 : Übersicht „Sensor-Tracking“. ............................................................. 41


Abbildung 4.5 : Funktionsweise des Producer/Consumer Entwurfsmusters................. 42
Abbildung 4.6 : Error Handler ....................................................................................... 43
Abbildung 4.7 : Netzwerkverbindung des Datenerfassungsmoduls
„MONITORING“ ..................................................................................... 43
Abbildung 4.8 : Programmablauf des Datenerfassungsmoduls. .................................... 44
Abbildung 4.9 : Hauptfenster des Datenerfassungsmoduls ........................................... 44
Abbildung 4.10 : Hauptfenster des Positionsermittlungsmoduls .................................. 45
Abbildung 4.11 : Ablauf Untermodul „Bildaufnahme“ ............................................... 47
Abbildung 4.12 : Ablauf Untermodul „Calibration“. .................................................... 48
Abbildung 4.13 : Methode der Bildsubtraktion. ............................................................ 49
Abbildung 4.14 : Blockdiagramm Untermodul „Image Manager“ .............................. 50
Abbildung 4.15 : Ablauf des Untermoduls „Marker- Erkennung“................................ 50
Abbildung 4.16 : Blockdiagramm des Color-Thresholding unter LabVIEW ............... 51
Abbildung 4.17 : Hauptfenster des Visualisierungsmoduls „DataPlot“. ....................... 52
Abbildung 4.18 : Intensitätsgraph.................................................................................. 53
Abbildung 4.19 : Ablauf des Visualisierungsmoduls „DataPlot“. ................................ 54
Abbildung 4.20 : Blockdiagramm „Data resampling“. ................................................. 54
Abbildung 4.21 : Blockdiagramm des Moduls „Overlay“ ............................................ 55
Abbildung 4.22 : Versuchsaufbau ................................................................................. 56
Abbildung 4.23 : Messablauf des Datenerfassungsmoduls ........................................... 57
Abbildung 4.24 : Marker Erkennung nach Bildhintergrundsubtraktion ........................ 57
Abbildung 4.25 : Wechselmodus zwischen den Bildern ............................................... 58
Abbildung 4.26 : Darstellung der Messergebnisse bei der Online Messung ................. 58
Abbildung 4.27 : Umschalten zwischen On und Offline Messung ............................... 59
Abbildung 4.28 : Ergebnisse einer Messung im Offline-Modus ................................... 59
Abbildung 4.29 : Verdeckte Szene ................................................................................ 60
Abbildung 4.30 : Berechnung der Zeitdauer zur Erkennung und Berechnung der
Marker Pos ................................................................................................ 61
Abbildung 4.31 : Zeitdauer des DataPlot VI ................................................................. 62

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Abbildungsverzeichnis 74

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue


Abkürzungsverzeichnis 75

Abkürzungsverzeichnis

F M
FGV Funktional Globale Variable MFD Magnetic Field Distortion Siehe
MMS Modulare Messsystem
H
HTW Hochschule für Technik und N
Wirtschaft NI National Instruments

I O
IMAQ Image Acquisition OCR optical character recognition
IP Internet Protocol
U
IZFP Institut für Zerstörungsfreie
USB Universal Serial Bus
Prüfung

L V
VI virtuelles Instrument
LabVIEW Laboratory Virtual
Instrumentation Engineering
W
Workbench
WLAN Wireless Local Area Network

HTW-Saar / Fraunhofer IZFP B.Eng. W. Tikamchue