Künstliche

Neuronale Netzwerke in der

fernerkundungsbezogenen
Bildklassifikation
von
André Armstroff

Abb. 1: Hypocampus
 Gliederung
1 Einleitung

2 Grundlagen Künstlicher Neuronaler Netze

2.1 Definition und Zielsetzungen künstlicher neuronaler Netze
2.2 Historischer Abriss
2.3 Aufbau künstlicher neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze
2.5 Eigenschaften künstlicher neuronaler Netze

3 Anwendungsbeispiel:
Fernerkundung von Waldveränderungen

4 Anwendungsbeispiel:
Praxisteil
2 Grundlagen Künstlicher Neuronaler Netze
2.1 Definition und Zielsetzungen künstlicher neuronaler Netze
Definition:
„Künstliche neuronale Netzwerke (KNNs) sind umfangreiche Netzwerke
extrem einfacher Berechnungseinheiten, die sehr stark untereinander
verbunden sind und parallel ablaufen.“
(GOPAL et al. 1996: 399) (eigene Übers.)

- Teilgebiet der Neurobiologie

- Nachahmung biologischer Netzwerke

(Gehirn)

- Hohe Flexibilität

Anwendung in verschiedenste Abb. 2: Geflecht von Neuronen

Wissenschaftsdisziplinen der Großhirnrinde (verändert)
 2 Grundlagen Künstlicher Neuronaler Netze
2.1 Definition und Zielsetzungen künstlicher neuronaler Netze

Unterscheidung zwei großer Anwendungsbereiche neuronaler Netze

KNNs zum Lösen konkreter KNNs zum Verständnis-

Anwendungsprobleme gewinn über die
verschiedenster Bereiche Funktionsweise des
menschlichen Gehirns.

Industrie Finanzwesen
Qualitätskontrolle Kursprognosen
Sortierung Unterschriften-
Robotersteuerung erkennung

Medizin Telekommunikation
Gewebeanalyse Netzoptimierung
Klinikmanagement Datenkompression
2 Grundlagen Künstlicher Neuronaler Netze
2.1 Definition und Zielsetzungen künstlicher neuronaler Netze

Anwendungen in der Fernerkundung

- Bildvorverarbeitung (Bildrekonstruktion, Bildrestauration, Bild-Enhancement)

- Datenreduzierung (Bildkomprimierung, Feature-Extraktion)

- Bildsegmentierung

- Objekterkennung
2 Grundlagen Künstlicher Neuronaler Netze
2.2 Historischer Abriss

- 1943: Entwicklung des McCulloch-Pitts-Neuron

- Nur Verarbeitung und Ausgabe von binären Abb. 3: Walter Pitts

(1924 - 1969)
Signalen möglich

- Netzwerkstruktur und Lernvorgang blieben im

verborgenen

- Realisierung logischer Verknüpfungen

(und; oder; nicht) Abb. 4: Warren McCulloch
(1898 - 1972)
 2 Grundlagen Künstlicher Neuronaler Netze
2.2 Historischer Abriss

- 1949: Hebbsche Lernregel

“When an axon of cell A is near enough to excite

cell B and repeatedly or persistently takes part in
firing it, some growth process or metabolic
change takes place in one or both cells such that
Abb. 5: Donald O. Hebb
A's efficiency, as one of the cells firing B, is (1904 – 1985)
increased”
(HEBB 1949: 62)
2 Grundlagen Künstlicher Neuronaler Netze
2.2 Historischer Abriss

- 1958: Veröffentlichung des ersten

Perzeptron-Modells

Lernregel:
Anpassung des Netzwerks durch Berechnung
der Differenz zwischen Soll- und Ist-Output
Abb. 6: Frank Rosenblatt
(1928 - 1969)
 2 Grundlagen Künstlicher Neuronaler Netze
2.2 Historischer Abriss

- 1974: Formulierung des Backpropagation-Ansatzes

(Paul Werbos)

- 1986: Wiederentdeckung des Backpropagation-

Verfahrens von Rumelhart, Hinton und Williams
Abb. 7: Paul Werbos

Abb. 8: David Rumelhart Abb. 9: Geoffrey Hinton Abb. 10: Ronald Williams
(1948- ) (1947- )
2 Grundlagen Künstlicher Neuronaler Netze

2.3 Aufbau künstlicher neuronaler Netze

2 Grundlagen Künstlicher Neuronaler Netze
2.3 Aufbau künstlicher neuronaler Netze

KNNs bestehen aus Neuronen (Units, Knoten), die untereinander oder mit der
Außenwelt kommunizieren. …

Input-Units: empfangen Signale (Reize,

Muster) von der Außenwelt

Hidden-Units: empfangen Signale von Input-

/ Hidden-Units und senden sie an Output- /
Hidden-Units weiter Abb. 12: Schematische Darstellung
eines neuronalen Netzes
Output-Units: geben Signale an
Außenwelt weiter
2 Grundlagen Künstlicher Neuronaler Netze
2.3 Aufbau künstlicher neuronaler Netze

…Diese Kommunikation findet über Verbindungen (Connections, Kanten) statt.

- Gewichte drücken die Verbindungsstärke aus:

+ erregendender (exzitatorischer) Einfluss

eines Neurons auf ein anderes

- hemmender (inhibitorischer) Einfluss eines

Neurons auf ein anderes
Abb. 12: Schematische Darstellung
±0 aktuell kein Einfluss eines Neurons auf ein eines neuronalen Netzes
anderes
2 Grundlagen Künstlicher Neuronaler Netze
2.3 Aufbau künstlicher neuronaler Netze

Die Bias-Unit

- Neuron ohne Input (Aktivitätslevel ist immer +1)

- Gewicht der Connection bestimmt den Einfluss der Bias-Unit

Beispiele in Abbildung:

- Fall 1: - markierte Unit erhält nur geringen Input

- Bias-Gewicht ist positiv

Markierte Unit bleibt aktiv
- Fall 2: - markierte Unit erhält großen Input
- Bias-Gewicht ist negativ

Markierte Unit bleibt inaktiv Abb. 13: Schematische Darstellung eines
neuronalen Netzes mit Bias-Unit (rot)
 2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze
Input einer Unit hängt von 2 Faktoren ab:

- Aktivitätslevel der sendenden Einheit(en)

- Gewichte zwischen den Units
J
∗w
- Input, den Unit i aus Unit j erhält = aj * wij
∑a
j =1
j ij J
aj = Aktivitätslevel der sendenden
Unit j
- Netto-Input i der Unit i = ∑ a j ∗ wij wij = Gewicht zwischen der sendenden
(j) und der empfangenden (i) Unit
j =1
Beispiel:

2 -3
1 -7 Netto-Input = (2 * (-3)) + ((-1) * 1) + (3 * 0) = (-7)
-1

3 0
Abb. 14: Berechnung des Netto-Inputs (eigene Darstellung)
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Aktivitätsfunktion

Aktivitätsfunktion: Zusammenhang zwischen Netto-Input und dem Output

(Aktivitätslevel) einer Unit

Unterscheidet folgender Aktivitätsfunktionen:

Linear, Linear mit Schwelle, Binär, Sigmoidal

Beispiel:
Abb 15: Zweidimensionales
2 -3 Liniendiagramm mit sigmoider
Sigmoidal- Aktivitätsfunktion
1 -7 0,001
-1 Funktion

3 0

Abb. 16: Berechnung des Aktivitätslevels (eigene Darstellung)

2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Vorteile der Sigmoidalen Aktivitätsfunktion:

- Begrenzung des Aktivitätslevels

- Differenzierbarkeit

- Bearbeitung nicht-linearer Probleme

Abb 15: Zweidimensionales
Liniendiagramm mit sigmoider
Aktivitätsfunktion
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Abb. 19: Types of Decision Regions

2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

- Optimale Komplexität ist zu finden:

- Zu einfache Modelle geben Datenstruktur

nicht richtig wieder

- zu komplexe Modelle sind zu

rechenaufwändig, können alles darstellen

Abb. 20: Beschreibung eines nicht-linearen Problems mittels

unterschiedlich komplexer neuronaler Netze / Polynominalgrade
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Unterscheidung zwischen Trainings- und Ausbreitungs- / Testphase

Trainingsphase:

- Präsentation der Trainingsdaten

- Veränderung der Gewichte nach bestimmten Regeln (Lernregeln)

Man unterscheidet grundsätzlich zwischen:

- supervised learning: - korrekter Output vorgegeben

- daran Optimierung der Gewichte
- unsupervised learning: - kein Output vorgegeben
- Kategorisierung anhand der Struktur des Inputs
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Unterscheidung zwischen Trainings- und Ausbreitungs- / Testphase

Ausbreitungs- / Testphase:

- Keine Gewichtsveränderung

- Untersuchung, ob Trainingsphase erfolgreich war, durch…

- Trainingsdaten: - Überprüfung ob Trainingsphase fehlerhaft war

- neue Daten: - Überprüfung der Anwendbarkeit des neuronalen Netzes

auf neue Aufgaben (Übertragbarkeit)
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Lernregeln:

- Beschreibung des Vorgehens beim Verändern der Gewichte

Definition:
Die Lernregel ist ein Algorithmus, der das Neuronale
Netz verändert und ihm so beibringt,
für eine vorgegebene Eingabe eine
gewünschte Ausgabe zu produzieren.
(KRIESEL 2007: 35)

Beipiele für Lernregeln: - Hebbsche Lernregel

- Delta-Regel (Widrow-Hoff-Lernregel)
- Backpropagation
- Kompetitives Lernen (unüberwacht)
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Hebbsche Lernregel:

Gewichtsänderung bei gleichzeitiger Aktivität beider Units:

Mit ai = Aktivitätslevel der empfangenden Unit

∆wij = ε * ai * aj aj = Aktivitätslevel der sendenden Unit
ε = vordefinierter Lern-Parameter
∆wij = Änderung des Gewichts zwischen
Unit j und i

Delta-Regel (Widrow-Hoff-Lernregel):

∆wij = ε * δi * aj
Mit δi = ai (Soll) – ai (Ist)
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Backpropagation

Voraussetzungen:
- Vollständig verbundenes, vorwärtsgerichtetes (feedforward) Netz
- differenzierbare Aktivierungsfunktion

2 Netzdurchläufe:

1. Input läuft (von vorn nach hinten) durch das

Netzwerk und produziert Output

2. Fehlersignal (Differenz zwischen Soll- und Ist-

Output) läuft in die entgegengesetzte Richtung
(ebenfalls über die gewichteten Connections) Abb. 21: Schematischer Aufbau
eines feedforward
Backpropagation-Netzwerks
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

- Schrittweise Anpassung der Gewichte, bis

Gesamtfehler unter vordefinierten Schwellenwert
fällt

- Wiederholung des Vorgangs bis mit einem

Gewichtssatz für alle Trainings-Inputs ein
hinreichend kleiner Fehler erreicht wird

Aktivierungsfunktion muss differenzierbar sein, da:

Ursprung des Gesamtfehlers ermittelt werden kann

(dieser setzt sich anteilig aus den Fehlern der Input-
/Hidden-Unit in Abhängigkeit von deren Gewichten, Abb. 21: Schematischer Aufbau
zusammen) eines feedforward
Backpropagation-Netzwerks
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Ziel des Lernen (der Gewichtsanpassung):

Finden eines globalen Fehlerminimums auf einer Hyperebene in einem durch
Gewichte und Fehlerdimension aufgespannten Raum

2 Möglichkeiten:

1. Berechnen aller möglicher

Gewichtskombinationen

E [w] ≡ ∑ (t d − od ) 2
r 1
2 d∈D
D = Gesamtheit aller Trainingspixel Abb. 22: Fehler-Hyperebene im 3-D-
Raum (verändert)
 2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

2. Gradientenabstiegsverfahren:

- Beginn mit zufälligen Gewichten

- Berechnung der Gradienten in alle
Richtungen
- Verschiebung der Gewichte in Richtung
des größten Gradienten um
vorbestimmten Wert (Lernrate)
- Neuberechnung der Gradienten für den
neuen Gewichtssatz
…bis lokales Minimum gefunden ist
Abb. 22: Fehler-Hyperebene im 3-D-Raum
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Probleme des Gradientenabstiegsverfahrens

- Lokales Minimum statt globalem

- Stagnation der Fehlerminimierung auf

flachen Plateaus

- Überspringen von Minima

- Direkte Oszillation

- Indirekte Oszillation
Abb. 23: Fehler-Hyperebene im 3-D-Raum (2)
2 Grundlagen Künstlicher Neuronaler Netze
2.4 Funktionsweise künstlicher neuronaler Netze

Mögliche Lösung der Probleme

1. Änderung der initialen Gewichte

2. Änderung der Lernrate
- Erhöhung
- Vorteile: - schnellere Überwindung von Plateaus, schnelles erreichen
weit entfernter Minima
- Nachteile: - Minima werden häufiger übersprungen, Gefahr der
Oszillation wächst
- Senkung
- Vorteile: - Minima werden seltener übersprungen, Gefahr der
Oszillation sinkt
- Nachteile: - höherer Zeitaufwand, verlangsamtes / verhindertes
Durchlaufen von Plateaus
3. Einführung einer Momentum-Rate
2 Grundlagen Künstlicher Neuronaler Netze

2.5 Eigenschaften künstlicher neuronaler Netze

- Verteilte Speicherung:
Informationen sind über das gesamte Netz oder zumindest über einen Teil
davon verteilt

- Parallelverarbeitung

- Toleranz gegenüber internen Schäden

- Toleranz gegenüber externen Fehlern

- hohe Flexibilität (hohe Lernfähigkeit, hohe Freiheitsgrade)

 2 Grundlagen Künstlicher Neuronaler Netze
2.5 Eigenschaften künstlicher neuronaler Netze

Nachteile von KNN-Verfahren

- sehr langsames Trainingsverfahren (großer Rechenaufwand)

- sehr viele Trainingsdaten nötig
- keine garantierte Identifizierung eines globalen Fehlerminimums
- Black-Box System – fehlende Kenntnis darüber, wie und mit welcher
Sicherheit der Input den Output erzeugt
- Unkenntnis über optimale Netzwerkarchitektur
- Gefahr des Netz-Übertrainierens
 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen

- Sucharita Gopal und Curtis Woodcock

- Journal „Transaction on Geoscience and Remote Sensing“

Vol. 34, No. 2, März 1996

- Titel: „Remote Sensing of Forest Change Using Artificial Neural Networks“

- Untersuchungsgebiet: Becken des Tahoe-Sees in Kalifornien

- erstmalige Anwendung neuronaler Netzwerke zur Change Detection in der FE

- Versuch durch ANNs den Grad der Koniferen-Mortalität abzuschätzen

 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
Abb. 25: Lake Tahoe (verändert)

Abb. 24: USA

 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen

- Verwendung eines Three-Layer-Feedforward-Networks mit

Backpropagation-Algorithmus
- keine Feedback-Connections
- 10 Input-Units
- 15 Hidden Units
- 1 Output-Unit
- zufällige Initialgewichtung
[-0,1;0,1]

Abb.26: Zur Change Detection verwendete Netz-Architektur

 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
Input: Landsat: TM-Daten
Output: Änderung der untersuchten Gebiete zwischen 1988 und 1991
(Daten über 61 bzw. 26 Bestände aus 2 Felduntersuchungen für die Trainings-
und Testphase)

2 Möglichkeiten der Input-Vektor-

Darstellung:

- 10 Inputvektoren aus 10 TM-Kanälen

(5 von 1988 und 5 von 1991)

Output: absolute Änderung

- 5 Inputvektoren (TM11991-TM11988,
TM21991-TM21988…)

Output: relative Änderung

Abb.26: Zur Change Detection verwendete Netz-Architektur

 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
2 Mögliche Arten von Input-Daten: - individuelle Pixelwerte als Input
- Map Units (Bestandseinheiten) als Input

- Daten über 61 Bestände zum Training

- Daten über 26 Bestände zum Testen
des erzeugten Netzes

- Normalisierung der Input- (und der

Output-) Daten auf [0;1]

Abb.26: Zur Change Detection verwendete Netz-Architektur

 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen

Ablauf des KNNs:

- Einspeisung von jeweils immer 5 Input-Signalen

- Änderung der Gewichte nach jedem Durchlauf um:

∂e( z | x, w(n))
w(n + 1) = w(n) + η + γ∆w(n)
∂w(n)
Mit: w(n) = Gewichtungsvektor während des 5 * n-ten Input-Signals
η = Lernrate = 0,3
γ = Momentum-Rate = 0,6
de/dw(n) = Fehleränderung in Abhängigkeit der Änderung der Gewichtungen w(n)
z = Soll-Output
x, w(n) = vom Input x und den Gewichtungen w(n) abhängiger Ist-Output
 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen

- Durchführung von 5 Trainingsdurchläufen mit jeweils unterschiedlichen

Initial-Gewichtungen

Durch mehrere Trainingsdurchläufe ermittelte Optimalwerte:

- η = 0,3
- γ = 0,6
- 15 - 20 Hidden Units
 3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen

Untersuchung der 26 Bestände in der Test-Phase:

r² = 0,839 RMSE = 6,80

Früherer Nicht-KNN-Ansätze:
r² = 0,48 – 0,7 RMSE = 9,91 – 7,86

Abb. 27: Vergleich zwischen beobachteter und vorhergesagter Änderung

 4 Anwendungsbeispiel:
Praxisteil

- Landsat-Szene des Ruhr-Gebiets

(Path: 196 Row: 24) vom 25.05.1989

Abb. 28: Deutschland Topographie (verändert)

 4 Anwendungsbeispiel:
Praxisteil
Daten-Vorverarbeitung:

- Import der einzelnen Kanäle von tif in

pix

- anhängen der Kanäle 2-5 und 7 an den

ersten (mittels „Transfer Layers“
(Focus))

- Subsetting eines Teilgebietes

(Sauerland) zur Weiterverarbeitung

Abb. 28: Deutschland Topographie (verändert)

 4 Anwendungsbeispiel:
Praxisteil

Referenzdaten:
Google Earth (20.02.2004)

+ leichte Unterscheidung
zwischen Laub- und
Nadelwald

- 15 Jahre zwischen beiden

Szenen

- Szenen aus verschiedenen

Jahreszeiten

Abb. 29: Sauerland (verändert)

 4 Anwendungsbeispiel:
Praxisteil
Implementierung Neuronaler Netze in Geomatica:

Drei Module in XPACE / Algorithm Librarian:

- NNCREAT
- NNTRAIN
- NNCLAS

-Unüberwachtes Training steht in Geomatica nicht zur Verfügung

- automatisch Anwendung von Backpropagation und Sigmoidale

Aktivierungsfunktionen
 4 Anwendungsbeispiel:
Praxisteil

- Erstellung von
Bitmap-Segmenten in
PCI Image Works für
die Klassen:

- Wasser
- Laubwald
- Nadelwald
- Urbane Gebiete
- Ackerland
- bloßer Boden

Abb. 30: Segmenterstellung in PCI Image Works

(eigene Darstellung)
 4 Anwendungsbeispiel:
Praxisteil

- Verwendung der Landsat-TM-Kanäle 1 - 5, 7

- Hidden-Layer: 1 oder 2 (à 5 Units)

Bester Versuch: - 6-5-6 Netzwerk

- 1 Hidden-Layer
Abb. 31: NNCREAT-Modul (eigene Darstellung)
 4 Anwendungsbeispiel:
Praxisteil

- Momentum-Raten zwischen 0 und 1

- Lern-Raten zwischen 0 und 1
- 1000-2000 Iterationen
Bester Versuch: - 1000 Iterationen
- Momentum-Rate: 0,4
- Lern-Rate: 0,4 Abb. 32: NNTRAIN-Modul (eigene Darstellung)
4 Anwendungsbeispiel:
Praxisteil

Abb. 33: NNCLASS-Modul

(eigene Darstellung)

Abb. 34: Klassifikationsergebnis

(eigene Darstellung)
 4 Anwendungsbeispiel:
Praxisteil

Abb. 35: SIEVE-Modul

(eigene Darstellung)

Abb. 36: Gesiebtes Klassifikationsergebnis (eigene Darstellung)

 Literatur
BISCHOF, H., SCHNEIDER, W. & A. PINZ (1992): Multispectral Classification of
Landsat-Images Using Neural Networks. In: IEEE Transactions on Geoscience and
Remote Sensing, 30, 3, 482-489.
BISHOP, C. (1995): Neural Networks for Pattern Recognition. Oxford University Press:
New York.
BOCK, S. (1995): Ein Ansatz zur polygonbasierten Klassifikation von Luft- und
Satellitenbildern mittels künstlicher neuronaler Netze. In: Kieler Geographische
Schriften, Band 91. Selbstverlag des Geographischen Instituts der Universität Kiel.
CALLAN, R. (2003): Neuronale Netze im Klartext. Pearson Studium: München.
CANTY, M. (1999): Fernerkundung mit neuronalen Netzen. Expert Verlag: Renningen-
Malmsheim.
EGMONT-PETERSEN, M., DeRIDDER, D. & H. HANDELS (2002): Image
Processing with Neural Networks. A Review. In: Pattern Recognition, 35, 2279-2301.
GOPAL, S. & C. WOODCOCK (1996): Remote Sensing of Forest Change Using
Artificial Neural Networks. In: IEEE Transactions on Geoscience and Remote
Sensing, 34, 2, 398-404.
HEBB, D. (1949): The Organization of Behavior. A Neuropsychological Approach. New
York: Wiley.
 Literatur
KRIESEL, D. (2007): Ein kleiner Überblick über neuronale Netze.
<http://www.dkriesel.com/ fileadmin/downloads/neuronalenetze-de-gamma2-
dkrieselcom.pdf> (Stand: 2007-10-16) (Zugriff: 2007-11-14).
RITTER, H.; MARTINEZ, T. & K. SCHULTEN (1992²): Neuronale Netze. Eine
Einführung in die Neuroinformatik selbstorganisierender Netzwerke. Addison-
Wesley Publishing Company: Bonn.
WEIPRECHT, J. (2004): Neuronen, Modell, künstliche neuronale Netze.
<http://www.weiprecht.de/ANN/jw_ann.html> (Stand: 2004.01.16)
(Zugriff: 2007-11-05).
 Abbildungen
Abb. 1: TECHNISCHE UNIVERSITÄT WIEN (2007): Hypocampus. <http://www.tuwien.ac.at/
fileadmin/t/tuwien/fotos/pa/download/20_2007/hypocampus.jpg> (Stand: 2007-11-13)
(Zugriff: 2007-11-13).
Abb. 2: NEUE ZÜRICHER ZEITUNG (o.J.): Geflecht von Neuronen der Großhirnrinde.
<http://www.nzz.ch/images/Neuronen_1.544945.gif> (Stand: 2007-11-13)
(Zugriff: 2007-11-13).
Abb. 3: BECK, F. & G. REY (o.J.): Warren McCulloch. <http://www.neuronalesnetz.de/
einleitung.html> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 4: BECK, F. & G. REY (o.J.): Walter Pitts. <http://www.neuronalesnetz.de/
einleitung.html> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 5: UNIVERSIDAD NACIONAL DE EDUCATIÓN A DISTANCIA(o.J.): Donald O.
Hebb. <http://www.uned.es/psico-2-psicologia-general-II/links/photogallery/
1pp/personajes/Donald_Hebb.jpg> (Stand: 2007-11-13) (Zugriff: 2007-11-13).
Abb. 6: DEPARTAMENTO DE MATEMÁTICA (o.J.): Frank Rosenblatt.
<http://www.math.ist.utl.pt/cienciaviva/foto1.jpg> (Stand: 2000-07-21)
(Zugriff: 2007-11-13).
Abb. 7: WORLD FEDERATION ON UNITED NATIONS ASSOCIATIONS (o.J.): Paul
Werbos. <http://www.unfuture.org/unfforum/data/cheditor/0611/_.jpg> (Stand: o.S.)
(Zugriff: 2007-11-13).
 Abbildungen
Abb. 8: UNIVERSITY ON CALIFORNIA, SAN DIEGO (2003): David Rumelhart.
<http://alumni.ucsd.edu/awards/photos/2006/glushko.jpg> (Stand: 2007-10-12)
(Zugriff: 2007-11-13).
Abb. 9: UNIVERSITY OF TORONTO (2007): Geoffrey Hinton. <http://www.cs.toronto.edu/
~hinton/Geoff4.jpg> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 10: NORTHEASTERN UNIVERSITY (2006): Ronald Williams. <http://www.ccs.neu.edu/
groups/faculty/images/rjw_05.jpg> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 11: UNIVERSITÉ DE FRANCHE-COMTÉ (2007): Complex Neural Network.
<http://info.iut-bm.univ-fcomte.fr/staff/abbas/ddn_simlab/images/
complex_neural_network.gif> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 12: BECK, F. & G. REY (o.J.): Schematische Darstellung eines neuronalen Netzes.
<http://www.neuronalesnetz.de/units.html> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 13: BECK, F. & G. REY (o.J.): Schematische Darstellung eines neuronalen Netzes mit Bias-
Unit (rot). <http://www.neuronalesnetz.de/aktivitaet.html> (Stand: o.S.)
(Zugriff: 2007-11-13).
Abb. 14: ARMSTROFF, A. (2007): Berechnung des Netto-Inputs.
Abb. 15: BECK, F. & G. REY (o.J.): Zweidimensionales Liniendiagramm mit sigmoider
Aktivitätsfunktion. <http://www.neuronalesnetz.de/aktivitaet.html> (Stand: o.S.)
(Zugriff: 2007-11-13).
Abb. 16: ARMSTROFF, A. (2007): Berechnung des Aktivitätslevels
 Abbildungen
Abb. 17: ARMSTROFF, A. (2007): Grauwerte zweier Landbedeckungsklassen in 2 Kanälen.
Abb. 18: ARMSTROFF, A. (2007): Schematische Darstellung eines neuronalen Netzes zur
Bearbeitung eines linearen Problems.
Abb. 19: LIPPMANN, R. (1987): Types of decision regions. In: ASSP Magazin. Volume 4, Issue
2, Apr 1987 Page(s): 4 – 22.
Abb. 20: BISHOP, C. (1995): Beschreibung eines nicht-linearen Problems mittels unterschiedlich
komplexer neuronaler Netze / Polynominalgrade. Oxford University Press: New York.
Abb. 21: KERBER, M. (2002): Schematischer Aufbau eines feedforward Backpropagation-
Netzwerks. <http://www.cs.bham.ac.uk/~mmk/Teaching/AI/figures/
backpropagation.jpg> (Stand: 2005-06-06) (Zugriff: 2007-11-14).
Abb.: 22: ANONYMOUS (2007): Continuous Descent. <http://www.20sim.com/webhelp4/
Toolboxes/time_domain/ContinuousDescent.gif> (Stand: o.S.) (Zugriff: 2007-11-15).
Abb. 23: GILLIS, J. (2006): Fehler-Hyperebene im 3-D-Raum (2). <http://upload.wikimedia.org/
wikipedia/commons/6/68/Gradient_ascent_%28surface%29.png> (Stand: 2006-01-18)
(Zugriff: 2007-11-15).
Abb. 24: ANONYMOUS (2007): USA. http://www.welt-atlas.de/datenbank/karten/
karte-0-9013.gif (Stand: o.S.) (Zugriff: 2007-11-15).
Abb. 25: IRWIN, J. (2005): Lake Tahoe. <http://www.holoscenes.com/maps/tahoe.jpg>
(Stand: o.S.) (Zugriff: 2007-11-15).
 Abbildungen
Abb. 26: GOPAL, S. & C. WOODCOCK (1996): Zur Change Detection verwendete Netz-
Architektur. In: IEEE Transactions on Geoscience and Remote Sensing, 34, 2, 400.
Abb. 27: GOPAL, S. & C. WOODCOCK (1996): Vergleich zwischen beobachteter und
vorhergesagter Änderung. In: IEEE Transactions on Geoscience and Remote Sensing,
34, 2, 401.
Abb. 28: ANONYMOUS (2007): Deutschland Topographie. <http://
www.mygeo.info/landkarten/deutschland/Deutschland_Topographie.jpg>
(Stand: 2007-11-16) (Zugriff: 2007-11-16).
Abb. 29: MINISTERIUM FÜR BAUEN UND VERKEHR DES LANDES NORDRHEIN-
WESTFAHLEN (2006): Sauerland. <http://www.lvp.nrw.de/igvp/download/str/
str-xs-so.gif> (Stand: 2006-01-12) (Zugriff: 2007-11-16).
Abb. 30: ARMSTROFF, A. (2007): Segmenterstellung in PCI Image Works.
Abb. 31: ARMSTROFF, A. (2007): NNCREAT-Modul.
Abb. 32: ARMSTROFF, A. (2007): NNTRAIN-Modul.
Abb. 33: ARMSTROFF, A. (2007): NNCLASS-Modul.
Abb. 34: ARMSTROFF, A. (2007): Klassifikationsergebnis.
Abb. 35: ARMSTROFF, A. (2007): SIEVE-Modul.
Abb. 36: ARMSTROFF, A. (2007): Gesiebtes Klassifikationsergebnis.
Abb. 37: FACHHOCHSCHULE KAISERSLAUTERN (2007): Multielektroden-Array mit
aufgewachsenen neuronalen Netzwerk. <http://www.fh-kl.de/fileadmin/
mst.fh-kl.de/bilder/PMMEA2.png> (Stand: 2007-11-07) (Zugriff: 2007-11-16).
 Vielen Dank

für die Aufmerksamkeit

Abb. 37: Multielektroden-Array mit aufgewachsenen neuronalen Netzwerk