Grundlagen der Bilderzeugung und

Bildanalyse
Mustererkennung
Prof. Dr. H. Burkhardt
Lehrstuhl fr Mustererkennung und
Bildverarbeitung
Institut fr Informatik
Albert-Ludwigs-Universitt Freiburg
H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Inhalt
0. Vorbemerkungen
1. Einleitung und Anwendungsgebiete
2. Grundlagen der Mustererkennung
(quivalenzklassen, lageinvariante Merkmalsextraktion)

3. Lageinvariante Graubilderkennung
(Die Klasse CT, parallele Implementierung, zweidimensionale Erweiterung, Reaktion auf systematische und stochastische
Strungen, Clustereigenschaften)

4. Lageinvariante Konturbilderkennung
(Konturextraktion, Fourieranalyse, Fourierdeskriptoren fr die quivalenzklasse hnlicher und affiner Muster)

5. Allgemeine Anstze zur Berechnung von Invarianten

(Integralinvarianten, Differentialinvarianten, Normalisierungsverfahren, Anwendungen der Gruppenmittel)

6. Optimale Merkmalsselektion
(Karhunen-Loeve Transformation)

7. Bayes- oder Optimal-Klassifikator

(MAP- und MLE-Kriterium, rekursive Schtzung der Parameter)
8. Neuronale Netze
(Regression mit neuronalen Netzen, Perceptron, Multilagen-Perzeptron, Backpropagation Algorithmus)
9. Polynomklassifikator
(polynomiale Regression, Lernregel fr Polynomklassifikator)

10. Die Support-Vektor-Maschine (SVM)

(VC-Theorie, optimal trennende Hyperebene, Trick mit Kernen)

11. Vorstellung von Projekten

(Handschrifterkennung, Erkennung von Bltenpollen, Tangentendistanz und SVM)

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Literatur zur Mustererkennung:

(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
(10)
(11)

(12)

H. Burkhardt. Transformationen zur lageinvarianten Merkmalgewinnung. VDIVerlag, 1979 (Im Sekretariat zum Selbstkostenpreis von 5 erhltlich).
H. Schulz-Mirbach. Anwendung von Invarianzprinzipien zur Merkmalgewinnung in
der Mustererkennung. Dissertation, TU Hamburg-Harburg, Feb. 1995. Reihe 10, Nr.
372, VDI-Verlag
S. Theodoridis und K. Koutroumbas. Pattern Recognition. Academic Press, 1999.
R.O. Duda, P.E. Hart und D.G. Stork. Pattern Classification (Second Edition). J.
Wiley, 2001.
J. Schrmann. Pattern Classification. J. Wiley, 1996.
W.I. Smirnov. Lehrgang der hheren Mathematik, Bd. II. Harri Deutsch, 1995.
R.C. Gonzalez und R.E. Woods. Digital Image Processing. Addison-Wesley, 1993.
C.M. Bishop. Neural Networks for Pattern Classification. Oxford University Press,
Oxford, 1995.
M. T. Hagan, H. B. Demuth und M. Beale. Neural Network Design. PWS Publishing
Company, 1996.
N. Cristianini und J. Shawe-Taylor. An Introduction to Support Vector Machines.
Cambridge University Press, 2000.
H. Burkhardt und S. Siggelkow. Invariant features in pattern recognition fundamentals and applications. In C. Kotropoulos and I. Pitas, editors, Nonlinear
Model-Based Image/Video Processing and Analysis, pages 269-307. John Wiley &
Sons, 2001
A.R. Webb. Statistical Pattern Recognition (Second Edition). John Wiley & Sons,
2002

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Kapitel 1
Einleitung und Anwendungsgebiete

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Erkennungsleistung des Menschen im

Vergleich zum Rechner
Mensch enorm leistungsfhig beim klassifizieren von Mustern
(Text, Sprache, Musik, Bilder ), selbst fr die sehr
unterschiedlichen Erscheinungsformen der selben Objekte
(Bedeutungsklassen).
Unterschiedliche Erscheinungsformen eines 3D-Objektes:
Perspektivische Projektion auf die Netzhaut; Okklusionen, d.h.
Verdeckungen und damit nur Teilansichten verfgbar
Unterschiedliche Prsentation eines Musikstcks: Variation
des Instruments und damit des Spektrums, Tonlage, Tempi
Wir lsen tglich tausende von komplexen
Musterekennungsproblemen
H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Bedeutungsklasse VW-Kfer

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Bedeutungsklasse VW-Kfer

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Erkennungsleistung des Menschen im

Vergleich zum Rechner
Assoziative
Fhigkeiten

Kombinatorische
Fhigkeiten

Mensch

***

Maschine

***

Ziel ist nicht, den Menschen nachzuahmen, sondern man sucht nach mathematisch/technisch
realisierbaren Methoden (Flugzeug bildet nicht den Vogelflug mit Flgelschlag nach)
Zumal die menschliche Vorgehensweise weitgehend unerklrt ist (auer einfachen
Vorverarbeitungsschritten) so dient sie doch in wertvoller Weise mehr als Orientierung und
Motivierung (Existenzbeweis fr eine Lsung) denn als methodische Untersttzung.

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Einfache Erkennungsaufgabe:
Klassifikation von Objekten

5
2

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

Klassifikation von Objekten

Charakterisierung mit zwei Merkmalen
Objekt

Flche

Umfang

10

10

10

10

13

16

11

5
2

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

10

Klassifikation von Objekten

Charakterisierung mit drei Merkmalen
Objekt
1

Flche
4

Umfang
8

Farbe
schwarz

10

grn

10

blau

10

rot

10

gelb

13

schwarz

16

schwarz

11

schwarz

1
2

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

11

Eindimensionaler Merkmalsraum
Umfang
16
15
14
13
12
11
10
9
8

7
6
8
45 2 3
1

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

12

Zweidimensionaler Merkmalsraum
Umfang
16
15
14
13
12
11
10
9
8

7
6
8
4

3
1

Farbe
H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

13

Einfhrungsdemo: Handschrifterkennung
Objektraum

Musterraum

Sensor
(Tablett)

Normalisierung
von Position +
Scherung

Merkmalsraum

Bedeutungsraum

Klassifikator

Vorverarbeitung +
Merkmalsextraktion

Abtastung+Grennormalisierung

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

Merkmalsreduktion

ME-I, Kap. 1

14

frog on hand von Claus Bahlmann

http://lmb.informatik.unifreiburg.de/people/bahlmann/frog.en.html

Demo der Handschrifterkennung

des Tablet-PCs

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

15

ANWENDUNGSGEBIETE DER DIGITALEN

BILDVERARBEITUNG UND
MUSTERERKENNUNG
1. Visuelle Qualittskontrolle und
Produktionsberwachung, Robotik

Materialprfung, Oberflchen- und Schliffbildanalyse,

Ultraschallbildauswertung, Schadenfrherkennung
(Turbinengerusche, Bruch von Bohrern), Bestckungsprfung,
Infrarotbildauswertung, Werkstckerkennung, Navigation

2. Bilddatenbertragung mit Datenkompression

(Bildcodierung)

Videokonferenz, Bildtelefon, Internet-Anwendungen

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

16

3.

Zeichenerkennung und automatische Dokumentauswertung

und -bearbeitung

4.

Sprach- und Musikerkennung

5.

Anschrift- und Belegleser (OCR-A, OCR-B), Handschrifterkennung

und Verifikation von Unterschriften
Briefsortieranlagen: (Hand- und Maschinenschrift)
30.000 Briefe pro Stunde => 500 /min => 8,3 /sek
Menschl. Operateur: 1.800 /h
Bilder und Texte analysieren (SER), symbolische Auswertung von
Kartenmaterial und Zeichnungen, symbolische Speicherung der Objekte
Spracherkennung, automatische Auskunftssysteme, Sprachverifikation
(Zugangskontrollsysteme)
Automatisches Erstellen von Noten aus Musikaufnahmen
(Volksmusik/Musikaufzeichnungen von Eingeborenen)

Medizinische Bildauswertung

EKG (Elektrokardiagramm-Messung der Aktionsstrme des Herzens

=> Hinweis auf Schdigung des Herzmuskels, sowie Leistungs- und
Stoffwechselstrungen)
EEG (Elektroenzephalogramm-Messung der Aktionsstrme im Gehirn
=> Hinweis auf Gehirnstrungen)

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

17

Tomographie (MR,CT), Ultraschall, Rntgenbilder, mikroskopische Analysen

(Zellbildklassifikation, Chromosomen, Gewebsschnitte, Blutbild)

Medizinische Studie von USA:

(Quelle: H. Niemann)

Die medizinisch auszuwertenden Datenmengen sind enorm gro. In USA

werden jhrlich ca. 650 Mio. Rntgenaufnahmen gemacht und man schtzt,
da 30% der Anomalien bei der Rntgendiagnose unentdeckt bleiben.
Gebiet Zelldiagnose: hier werden 20.000-40.000 Personen beschftigt und man
nimmt an, da 40% nicht zufriedenstellend ausgewertet werden.
Fr die Blutbildanalyse hingegen gibt es bereits sehr gute Gerte. Im Bereich
der Rntgenbildanalyse gibt es noch erheblichen Forschungsbedarf!

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

18

6. Satelliten- und Flugbildauswertung (multispektrale Sensoren)

Remote sensing (Auswertung von Flugzeug- und Satellitenbildern),

Photogrammetrie, Umweltberwachung, Meteorologie und Ozeanographie
(Wolkenbilder, Wellenbildanalyse), Vegetationsberwachung
(Schdlingsbefall, Ernteertrge, Baumbestand), Exploration und Geologie,
Geographie (Stadtplanung, autom. Kartenerstellung)

7. Biologie

berwachung von Zellwachstumsvorgngen (mit und ohne Tracer), Analyse

von Mikroorganismen z.B. in Klrschlamm (biologischer Sensor)

8. Kriminalistik

Fingerabdrcke, Erkennung von Gesichtern, Geschossspuren

9. Verbesserung der Auflsung von Licht- und

Elektronenmikroskopen

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

19

Allgemeines Schema zur Bildverarbeitung und

Mustererkennung
menschlicher
Beobachter

Digitalisierung

Kamera

Kontinuierliches
Muster

Objektraum R

Bildvorverarbeitung

Klassifikation

Digitales
Muster

Musterraum RP

Merkmalsextraktion

z.B.

Merkmalsraum RN

5122

200

20

Eindim. Bedeutungsraum ZK

Im allgemeinen gibt es keinen geschlossen Lsungsweg fr ein Mustererkennungsproblem.

Wegen der Komplexitt der Aufgabenstellung whlt man eine gestufte, modulare Vorgehensweise
H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

20

Objektraum:
f(x) Vektorfunktion in Abhngigkeit einer vektoriellen
unabhngigen Variablen x
z.B. Farbe und Intensitt als Funktion von
2-3 Ortskoordinaten, oder: Betrag und Orientierung eines
elektromagnetischen Feldes als Funktion von Ort und Zeit
Musterraum:
f(x) hufig skalare Funktion
z.B. Graubild als Funktion von Ort und Zeit
beim Einsatz von Kameras i.a. Projektion einer 3D-Szene
in die Kameraebene (Zentral- oder vereinfacht:
Parallelprojektion)
oder: Tonaufzeichnung von Sprache oder Musik ber der
Zeit
H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

21

Wie beschreibt man mathematisch die

Wirkung des Sensors?
xX

y Y

n
zZ

Sensor
X:
Z:

Objektraum
Musterraum

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

22

Die mathematische Abbildung A beschreibt die Eigenschaften

des Sensors:

z = A(x) + n

(I)

Hufig ist zustzliches Wissen vorhanden, welche in Form

von Nebenbedingungen vorliegen, wie z.B. nur positive
Intensitten mglich, Zeit- oder Ortsbegrenztheit oder ein
diskreter Wertevorrat. Diese Nebenbedingungen lassen sich
hufig in Form von einer Fixpunktbedingung angeben:

x = C ( x)
H. Burkhardt, Institut fr Informatik, Universitt Freiburg

(II)
ME-I, Kap. 1

23

Welche Flle bei der Bildaufnahme

(Sensor) kann man unterscheiden:
A ist bijektiv
d.h. die quivalenz- oder Bedeutungsklassen bilden
abgeschlossene und damit vollstndige Mengen, z.Bsp.
Geometrische Transformationen mit den Eigenschaften einer
mathematischen Gruppe wirken auf die Objekte
Unvollstndige und gestrte Daten
- Unvollstndige Beobachtungen durch eine Abbildung A auf
Unterrume (tomographische Projektionen, Okklusionen und
partielle Ansichten), daraus folgt: mathematisch schlecht
gestellte inverse Probleme
- gestrte Beobachtungen (n0)
H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

24

Wie fgt sich die Mustererkennung in die

allgemeine Schtztheorie fr Bilder oder
allgemeiner Signale ein?
In der Schtztheorie unterscheidet man
zwischen:
Schtzaufgabe (Estimation)
Detektion
Mustererkennung

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

25

Charakterisierung der drei Aufgabenstellungen

in Signalvektorrumen:
quivalenzklassen

Strung n

x1
X

1.
2.
3.

y2

x2
x3

y1

x4

y3

y4

Vollbesetzter Objektsignalraum: Signalschtzung

Es existiert nur eine Untermenge aller mglichen
Signale: Detektion
Es existieren endlich viele Signalklassen
(quivalenz- oder Bedeutungsklassen): Mustererkennung

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

Y,Z

xX
x{xi}X
xEi{xi}X
ME-I, Kap. 1

26

Beispiel fr die Signalschtzung:

Aufgaben der Metechnik
xX

y Y

n
zZ

Sensor

Gegeben z, gesucht x

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

27

Beispiel fr die Signaldetektion: Digitale

Signalbertragung
n
y Y
xX
zZ
A
bertragungsleitung
0100110101
1
0

x = 0

1
1

0,9
0,1
A

y = 0,1
1,1
1, 2

Gegeben z, gesucht x
x liegt auf einem Hyperkubus!

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

28

Bedeutung der Merkmalsextraktion

1.

2.

Extraktion von Merkmalen, welche hohe Relevanz fr die

quivalenzklassenzugehrigkeit oder auch hohe
Diskriminierfhigkeit besitzen
Reduktion der Dimension des Musterraumes u.a. aus
Aufwandsgrnden fr den nachfolgenden
Klassifikatorentwurf, unter Beibehaltung von guten
Separationseigenschaften (hinreichende Distanz zwischen
den Klassen im Merkmalsraum)

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

29

Letzter Schritt: Klassifikation, d.h. Separation des

Merkmalsraumes in Bedeutungsklassen

X3
X2
X1

Die Menge Unbekannt kann eine

Klasse bilden (Klassifikation mit
Zurckweisung)
Die Bedeutungsklasse wird hufig
reprsentiert durch eine Stichprobe
(Lernstichprobe)
Sie sollte eine gewisse Kompaktheit
im Sinne einer Metrik besitzen (Cluster)

H. Burkhardt, Institut fr Informatik, Universitt Freiburg

ME-I, Kap. 1

30