Passive Infrarot-Lokalisierung

Dipl.-Ing. Jrgen Kemper

Situation / Ziele
w Die Lokalisierung von Menschen in Gebuden wird zuknftig eine immer wichtigere Rolle spielen Zur Realisierung ortbasierter Dienste (Location-Based-Services) muss der Aufenthaltsort einer Person bekannt sein Bereits existierende Lsungen haben verschiedene Nachteile (Erfordern das Tragen aktiver Hardware / verletzen Privatsphre) w Ziel ist die Entwicklung eines Systems zur Lokalisierung von Personen, das kein Mitfhren aktiver Hardware erforderlich macht Lokalisierung von Menschen anhand ihrer Krperwrmestrahlung Erfassung der Wrmestrahlung mit Hilfe herkmmlicher Infrarotsensoren (Thermopiles) Kostengnstig, unauffllig und anonym

Grundlagen
Anforderungen an / Bewertung von Lokalisierungssysteme(n)
w Bei der Entwicklung eines Inhaus-Lokalisierungssystems sollten folgende Aspekte bercksichtigt werden: Komfort Einfach in der Handhabung, unauffllig fr den Nutzer (keine Mitfhren sogenannter Tags notwendig) Schutz der Privatsphre (Benutzung von Kameras problematisch) Genauigkeit 50cm sind fr die meisten Anwendungen ausreichend Kosten Einfache Installation und Verzicht auf teure Spezialhardware w Existierende Lokalisierungssysteme basieren zumeist auf Funk, Ultraschall, aktivem Infrarot oder Kameras und haben unterschiedliche Nachteile:
Genauigkt. Privatsph. Komfort Sonstiges

Infrarotstrahlung
w Jedes Objekt mit einer Temperatur ber dem absoluten Nullpunkt gibt Energie in Form elektromagnetischer Strahlung ab w Der physikalische Zusammenhang zwischen abgestrahlter Energie, Temperatur und Wellenlnge wird fr einen schwarzen Krper (idealer Strahler) durch das Plancksche 50 Gesetz beschrieben (siehe Grafik) M =

Sensorik
w Thermopiles Cold Junction Hot Junction Reihenschaltung von Thermoelementen Infrarotstrahlung erwrmt Membran (Absorber) Umwandlung in elektr. Spannung Ausgangssignal proportional zu Temperaturdifferenz zwischen Objekt und Umgebung Ansprechzeiten zwischen 20 und 50ms Spektrale Empfindlichkeit durch Filter beeinflussbar (hier: 8 - 14mm) w Verwendung preisgnstiger Zeilensensoren (Ambiplex) Anordnung mehrerer Pixel in einem Gehuse Pixel haben unterschiedliche Blickrichtungen Erhhung der Auflsung durch spez. Algorithmen Liefert - Angle of Arrival (AoA) - Ma fr die Zuverlssigkeit des Messwertes Technische Daten - Blickfeld (FoV) von 48 - Genauigkeit von 2 - Reichweite von bis zu 10m

Linse

Absorber

Ultraschall Funk (UWB) Funk (NB) Aktiv-IR Kamera

O + -

+ + -O

O O O O --

Ja Ja Ja Ja Nein

Problematisch fr Haustiere Elektrosmog Elektrosmog

-

Idee: Lokalisierung mit IR-Sensoren anhand der Krperwrmestrahlung eines Menschen kein Tag notwendig, keine Verletzung der Privatsphre, gnstig

35 w Berechnung der gesamten 30 abgestrahlten Energie 25 Stefan-Boltzmann-Gesetz 4 = AT 20 w Die Emissivitt e beschreibt die 15 Fhigkeit (relativ zu der eines 10 schwarzen Strahlers) eines Mate5 rials, elektrom. Strahlung abzu00 geben, d. h. 0 e 1. w Der Mensch strahlt maximal bei ca. 9,4mm

Spezifische Ausstrahlung M [W/m]

()c1

(exp(c2 /T) 1)

45 40 Atmosphrisches Fenster

50C 36C 20C 0C -20C

Temp. Referenz

Kosten

Wellenlnge maximaler Ausstrahlung bei Krpertemperatur

Tag

FoV

10

Abhngig vom Licht

Berechenbar durch Wiensches Gesetz max =

2898mmK T

15 20 25 Wellenlnge l [mm]

30

35

40

Sender

Passive Infrarotlokalisierung
Prinzipielle Gegebenheiten
w Jedes Objekt emittiert Wrmestrahlung Diese Strahlung ist weder moduliert noch zeitlich begrenzt Strahlung der Umgebung (Hintergrundstrahlung) kann nicht von der eines Menschen unterschieden werden (Hintergrundstrahlung ist Strquelle) Erkennung und Eliminierung notwendig Die Strahlung von zwei verschiedenen Personen / Objekten kann nicht unterschieden werden w Infrarotstrahlung wird hnlich wie sichtbares Licht an Oberflchen reflektiert und / oder absorbiert Polierte metallische Oberflchen weisen hnlich gute Reflektionseigenschaften auf wie Spiegel fr sichtbares Licht (niedrige Emissivitt) Glas ist wie menschliche Haut ein sehr guter Absorber (hohe Emissivitt) Materialien mit hoher Emissivitt sind gleichzeitig gute Absorber w Das Ausgangssignal von Thermopile-Sensoren wird durch die Temperaturdifferenz zwischen den Objekten im Sichtfeld des Sensors und der Umgebung bestimmt Objekte mit Raumtemperatur knnen als Strquelle vernachlssigt werden Nicht nur warme, sondern auch kalte Objekte sind potenzielle Strer Bei Umgebungstemperaturen von 37C sind Menschen nur schwer detektierbar

Herausforderungen
w Erkennung und Eliminierung von Strquellen (Hintergrundstrahlung) Um eine genaue Lokalisierung zu ermglichen, mssen die Signalanteile, die durch Strquellen hervorgerufen werden, eliminiert werden (Signalfilterung) Hintergrundstrahlung besteht aus statischen und dynamischen Anteilen: Statisch - von Objekten mit konstanter oder sich sehr langsam ndernder Temperatur - Eliminierung durch Gleichanteilsbestimmung und Differenzbildung Dynamisch - sich bewegende Objekte oder Objekte mit sich schell ndernder Temperatur (z. B. geschaltete Lampen oder Monitore, Heizungen) - Erkennung und Eliminierung dieses Signalanteils ist eine der Hauptaufgaben w Abschattung / Verdeckung Transmissionseigenschaften der meisten Materialen fr Infrarot ist sehr gering Personen knnen von anderen Objekten verdeckt werden Personen knnen sich gegenseitig verdecken Die Verdeckung von heien Objekten im Hintergrund (Hund vor Heizung) kann zu starken Vernderungen im Sensorsignal fhren.

Herausforderungen (Fortsetzung)
Quelle 1 w Erkennung und Lokalisierung mehrerer Personen Da keine Unterscheidung der Infrarotstrahlung verschiedener Objekte mglich ist, kann nur eine FoV rumliche Unterscheidung erfolgen Eine Separierung von Quellen ist dann mglich, wenn sie sich im Sichtfeld nicht benachbarter Pixel eines Sensors befinden Quelle 2 sie von unterschiedlichen Sensoren gesehen werden w Tracking Um die Lokalisierungsgenauigkeit zu erhhen, sollte(n) bei jeder Positionsbestimmung die vorherige Position(en) bercksichtigt werden (Tracking) Einsatz eines probabilistischer Filters (Bayessches Filter) w Einfache Installation / Inbetriebnahme Um einen hohen Akzeptanzgrad und geringe Installationskosten zu erreichen, sollte der Installationsaufwand eines Systems sehr gering sein. Eine gute Lokalisierung erfordert eine genaue Systemkalibrierung Hier: genaue Position und Ausrichtung der Sensoren Manuelle Einrichtung sehr aufwndig (zeit- und kostenintensiv) Idee: Softwaregesttzte Inbetriebnahme / Kalibrierung (siehe unten)

OpenGl-Simulator
Problem Eine ausschlielich auf Hardware basierende Entwicklung von Algorithmen zur Lokalisierung und der Filterung der Hintergrundstrahlung wre sehr aufwndig Idee Software zur Simulation dynamischer Infrarot-Inhausszenarien und der entsprechenden Sensorsignale Ansatz Entwicklung eines hardwarebeschleunigten OpenGl-Simulators w Vor- und Nachteile von OpenGL - nicht so genau wie typischerweise verwendete, langsame Raytracer - Reflektionen werden nicht direkt untersttzt + nahezu echtzeitfhig durch Hardwarebeschleunigung (Grafikkarte) + Simulation dynamischer Ablufe mglich w Eigenschaften / Features des Simulators Zusammenstellen der Szene basierend auf einer Objektdatenbank Objekte beinhalten Geometrie und rtliches / zeitliches Temp.-Verhalten Im Simulator ist eine Parametrierung der Objekte mglich (z. B. Startund Endtemperatur, Skalierung des zeitlichen Verhaltens) Vllig freie Platzierung mglich Nutzung eines standardisierten Dateiformats (Collada) zur geometrischen Beschreibung der Modelle und ihres Verhaltens Anzeigen der Szene als Realbild zur Modellierung und als Infrarotbild zur Veranschaulichung der Simulation Simulation von Array-Sensoren und / oder mehreren Sensoren gleichzeitig mglich Verwendung jeglicher Sensorcharakteristiken mglich Ermittlung der Sensorwerte durch gewichtetes Mittel der relevanten Bildinformationen (siehe unten) Realisierung von Reflektionen ber spezielle Algorithmen w Simulation von Sensoren OpenGL erzeugt ein Bild, das dem einer Lochkamera entspricht Sensoren hingegen weisen eine richtungsabhngige Charakteristik C(a,f) auf Generierung der Sensorwerte durch Gewichtung w(x,y) der Bildpixel Generierung der Gewichtung w(x,y) aus der Sensorcharakteristik C(a,f) Fr jedes Pixel lsst sich die Blickrichtung (vert. / horz. Winkel) bestimmen Sensorausgangswert ist gewichtetes Mittel der relevanten Bildpixel

Softwaregesttzte Inbetriebnahme
Problem Inbetriebnahme des angestrebten Systems ist zeitlich aufwndig (Position und Ausrichtung der Sensoren) Idee Verminderung des Kalibrierungsaufwand durch softwaregesttzte Inbetriebnahme Ansatz Entwicklung einer Software zur automatischen Kalibrierung des Systems basierend auf einfachen Messungen w Ablauf der Kalibrierung Mehrere Sensoren sind sinnvoll im Raum verteilt an den Wnden angebracht (siehe Bild) Eine Person luft durch den Raum und bleibt an mehreren Positionen kurz stehen, damit Sensormessungen aufgenommen werden knnen Die Positionen sind beliebig, sollten aber unterschiedlich sein und den kompletten Raum abdecken Durch akustische Signale wird der Person mitgeteilt, wann sie stehen bleiben soll, wann sie sich weiter bewegen darf und wann die Kalibrierung beendet ist Fr eine Kalibrierung von 4 Doppelsensoren (zwei versetzt ausgerichtete Sensoren pro Position) sind 12 18 Messungen notwendig Ein Kalibrierungsvorgang dauert ca. 5 Minuten. Ein manuelles Ausmessen mit zwei Personen dauert ca. 1 2 Stunden (!)
yPj w Kalibrierungsalgorithmus yPj - ySi Geometrische Beziehung zwischen Sensoren und tan (qSi + fSiPj) = xPj - xSi Objektposition ist durch den Tangens gegeben Fr jedes Sensor-Position-Paar ergibt sich eine solche geometrische Beziehung Gesamtzahl dieser Gleichungen lsst sich in einem nichtlinearen Gleichungssystem darstellen ySi Das Lsen dieses Systems erfolgt mit der sogenannten Newton-Raphson-Methode Lse f( x ) = 0 durch iterative Nherung (zweidimensionales Beispiel) (a) Berechne die Ableitung in f(x1 = Startwert) (b) Berechne die Nullstelle x2 der resultierenden Geraden durch f(x1) y (c) x2 ist der Startwert fr den nchsten Iterationsschritt Finden einer Lsung nicht garantiert (Konvergenz des Verfahrens ist nicht Nullstelle immer gegeben) Die gefundene Lsung und die Konvergenz ist von den Startwerten abhngig x3 Mehrfaches Ausfhren des Verfahrens bis eine vernnftige Lsungen gefunden wurde fhrt jedoch meistens zum Ziel x2 Verbesserung der Lsungen durch die Verwendung eines berbestimmten Gleichungssystems (mehr Messungen als notwendig Least-Square-Ansatz) y Pj Si,Pj Si Si xSi xPj Startwert x

afov

C(f,q)

W(x,y) n x y

afov q f d n

x0

x1

Abteilung Informationstechnik Prof. Dr.-Ing. Uwe Schwiegelshohn In Kooperation mit