Kapitel6 Ho

Eigenwertaufgaben
Heinrich Voss
voss@tu-harburg.de
Hamburg University of Technology
Institute for Numerical Simulation
Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel 6 2010 1 / 80
Eigenwertaufgaben
Eigenwertaufgaben
Wir betrachten in diesem Kapitel die numerische Behandlung von
vollbesetzten Eigenwertaufgaben.
Abschnitt 6.1 Ergebnisse aus Lineare Algebra
Abschnitt 6.2 Potenzmethode
Abschnitt 6.3 QR Algorithmus
Eigenwertaufgaben
Vorbetrachtungen
Da Eigenwerte und Eigenvektoren reeller Matrizen komplex sein knnen,
betrachten wir gleich fr A C
nn
das spezielle Eigenwertproblem
Ax = x (1)
.
Besitzt (1) eine nichttriviale Lsung x C
n
\ {0}, so heit eine Eigenwert
von A und x ein zugehriger Eigenvektor.
Die Menge aller Eigenwerte einer Matrix A heit das Spektrum von A und
wird mit (A) bezeichnet.
Eigenwertaufgaben
Vorbetrachtungen
Genauer heit x = 0 mit (1) ein Rechtseigenvektor von A zu .
Ist eine Eigenwert von A, so besitzt auch die Gleichung
y
H
(A I) = 0 (2)
nichttriviale Lsungen. Jedes y C
n
, das die Gleichung (2) erfllt, heit ein
Linkseigenvektor von A.
Die Notation ist hier nicht einheitlich. In einigen Bchern werden die
nichttrivialen Lsungen von y
T
(A I) = 0 die Linkseigenvektoren von A
genannt.
Wenn wir nur von Eigenvektoren sprechen, so sind stets Rechtseigenvektoren
gemeint.
Eigenwertaufgaben
Vorbetrachtungen
Die Eigenwerte von A sind die Nullstellen des charakteristischen Polynoms
() := det(A I).
Ist

ein k-fache Nullstelle von (ist also das Polynom () durch (
)
k
aber nicht durch (
)
k+1
teilbar), so heit k die algebraische Vielfachheit
von

.
Da den Grad n besitzt, besitzt also A genau n Eigenwerte, wenn man jeden
Eigenwert entsprechend seiner algebraischen Vielfachheit zhlt.
Die geometrische Vielfachheit eines Eigenwerts

ist die Dimension des
Lsungsraums des linearen Gleichungssystems
(A
I)x = 0.
Nach LA Satz 8.18 ist fr jeden Eigenwert die geometrische Vielfachheit
kleiner oder gleich der algebraischen Vielfachheit.
Eigenwertaufgaben
Vorbetrachtungen
Gilt B = X
1
AX mit einer regulren Matrix X C
nn
, so heien die Matrizen
A und B hnlich, den bergang von A zu B nennt man eine
hnlichkeitstransformation.
hnliche Matrizen besitzen (vgl. LA Satz 8.15) dieselben Eigenwerte
einschlielich ihrer algebraischen und geometrischen Vielfachheit.
Naheliegend ist es nun, die Matrix A, deren Eigenwerte bestimmt werden
sollen, durch geeignete hnlichkeitstransformationen auf eine Gestalt zu
bringen, aus der man die Eigenwerte (oder jedenfalls Nherungen hierfr)
von A leicht ablesen kann oder fr die das Eigenwertproblem leichter gelst
werden kann.
Da folgende Lemma ermglicht es, die Dimension des Eigenwertproblems zu
reduzieren.
Eigenwertaufgaben
Lemma
Besitzt A C
nn
eine Blockzerlegung
A =
_
A
11
A
12
O A
22
_
mit A
11
C
mm
, A
22
C
nmnm
, so gilt
(A) = (A
11
) (A
22
). (3)
Eigenwertaufgaben
Beweis
Es gelte
Ax =
_
A
11
A
12
O A
22
__
x
1
x
2
_
=
_
x
1
x
2
_
mit x
1
C
m
und x
2
C
nm
.
Gilt x
2
= 0, so ist A
22
x
2
= x
2
und (A
22
).
Ist x
2
= 0, so gilt A
11
x
1
= x
1
und (A
11
). Es ist also
(A) (A
11
) (A
22
).
Zhlt man alle Eigenwerte entsprechend ihrer algebraischen Vielfachheit, so
besitzt A n Eigenwerte, A
11
m Eigenwerte und A
22
n m Eigenwerte. Damit
kann die Inklusion nicht echt sein, und es ist (3) bewiesen.
Eigenwertaufgaben
Jordansche Normalform
Ist J die Jordansche Normalform der Matrix A und X
1
AX = J, so kann man
(vgl. LA Abschnitt 8.5) alle Eigenwerte und Eigenvektoren (und auch
Hauptvektoren) von A aus J und der Transformationsmatrix X sofort ablesen.
Trotzdem wird die Jordansche Normalform in der numerischen Mathematik
nicht verwendet. Den Grund zeigt
Eigenwertaufgaben
Beispiel
Die Strung
J
:=
_
_
_
_
_
0 1 0 . . . 0
0 0 1 . . . 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . 0
_
_
_
_
_
R
nn
der Jordanschen Normalform J
0
mit dem n-fachen Eigenwert 0 besitzt das
charakteristische Polynom
() = (1)
n
(
n
).
J
besitzt also n verschiedene Nullstellen, und ist daher auf Diagonalgestalt

transformierbar. Dies zeigt, dass die Struktur der Jordanschen Normalform
nicht stabil unter kleinen Strungen ist.
Eigenwertaufgaben
Unitre Transformationen
Wir betrachten ferner nicht beliebige hnlichkeitstransformationen, denn die
nichtsingulre Transformationsmatrix X kann schlecht konditioniert sein.
In diesem Fall ist die Transformation X
1
AX anfllig fr Rundungsfehler.
Um dies auszuschlieen, beschrnken wir uns auf unitre
Transformationsmatrizen U, fr die also gilt U
H
U = I. Fr diese ist
Ux
2
2
= (Ux)
H
(Ux) = x
H
U
H
Ux = x
H
x = x
2
2
fr alle x C
n
, daher gilt U
2
= 1, und da mit U auch U
1
= U
H
unitr ist,
erhlt man
2
(U) = 1.
Eigenwertaufgaben
Schursche Normalform
Wir wissen (vgl. LA Satz 8.31), dass man genau die normalen Matrizen mit
unitren Matrizen auf Diagonalgestalt transformieren kann.
Allgemeine Matrizen kann man auf obere Dreiecksgestalt transformieren, aus
der man dann wieder die Eigenwerte unmittelbar ablesen kann.
Satz 6.3 [Schursche Normalform]
Es sei A C
nn
. Dann existiert eine unitre Matrix U, so dass
U
H
AU = T (4)
obere Dreiecksgestalt besitzt.
T heit Schursche Normalform der Matrix A.
Eigenwertaufgaben
Bemerkung
Besitzt A die Schur Zerlegung
U
H
AU = diag{
1
, . . . ,
n
} + N
mit einer strikten oberen Dreiecksmatrix N, so gilt unabhngig von der Wahl
von U fr die Schur Norm
N
2
S
= U
H
AU
2
S
j =1
|
j
|
2
= A
2
S
j =1
|
j
|
2
.
Es gilt N
2
S
= 0 genau dann, wenn A eine normale Matrix ist.
N
S
=: (A) heit die Abweichung von A von der Normalitt.
Eigenwertaufgaben
Quasidreiecksgestalt
Bei der bisherigen Behandlung der hnlichkeitstransformationen haben wir
einen wichtigen Aspekt nicht bercksichtigt. Ist die Ausgangsmatrix A reell, so
wird man nur orthogonale Matrizen U (d.h. reelle unitre Matrizen) zur
Transformation benutzen, da sonst U
H
AU komplexe Elemente enthlt.
Besitzt A komplexe Eigenwerte, so kann A hiermit offenbar nicht auf obere
Dreiecksgestalt transformiert werden (die Diagonale enthlt ja die
Eigenwerte).
Da mit C \ R auch

Eigenwert von A ist (das charakteristische Polynom
hat reelle Koefzienten!), kann man A auf Quasidreiecksgestalt
transformieren.
Eigenwertaufgaben
Quasidreiecksgestalt
Dabei heit eine Matrix R Quasidreiecksmatrix, falls
R =
_
_
_
_
_
R
11
R
12
R
13
. . . R
1k
O R
22
R
23
. . . R
2k
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
O O O . . . R
kk
_
_
_
_
_
obere Blockdreiecksgestalt besitzt und die Diagonalblcke R
jj
alle die
Dimension 1 oder 2 besitzen.
Eigenwertaufgaben
Reelle Schur Form
Sei A R
nn
. Dann existiert eine orthogonale Matrix U, so dass U
T
AU
quasidreieckig ist. U kann so gewhlt werden, dass jeder
2 2Diagonalblock R
jj
nur komplexe Eigenwerte besitzt.
Eigenwertaufgaben
Strungsstze
Viele Verfahren zur Bestimmung von Eigenwerten bestehen darin, Matrizen
X
k
zu bestimmen, so dass X
1
k
AX
k
mehr und mehr einer Diagonalmatrix
gleicht.
Wir fragen daher, wie gut die Eigenwerte einer Matrix durch ihre
Diagonalelemente approximiert werden.
Eigenwertaufgaben
Satz von Gerschgorin
Sei
A := (a
ij
) C
nn
, z
i
:=
n
j =1
j =i
|a
ij
|, s
j
:=
n
i =1
i =j
|a
ij
|.
Dann gilt
(i) Alle Eigenwerte von A liegen in der Vereinigung der Kreise
Z
i
:= {z C : |z a
ii
| z
i
}.
(ii) Alle Eigenwerte von A liegen in der Vereinigung der Kreise
S
j
:= {z C : |z a
jj
| s
j
}.
(iii) Jede Zusammenhangskomponente von
n
i =1
Z
i
bzw.
n
j =1
S
j
enthlt genau so
viele Eigenwerte von A wie Kreise an der Komponente beteiligt sind, wobei
Kreise und Eigenwerte entsprechend ihrer (algebraischen) Vielfachheit
gezhlt sind.
Eigenwertaufgaben
Beweis
(i): Sei Ax = x, x = 0. Dann gilt
( a
ii
)x
i
=
j =i
a
ij
x
j
fr alle i .
Sei i {1, . . . , n} ein Index mit |x
i
| = x
. Dann folgt
| a
ii
|
j =i
|a
ij
|
x
j
x
i
..
1
z
i
,
und daher gilt Z
i
.
(ii) folgt aus (i), da A und A
T
dieselben Eigenwerte besitzen.
Eigenwertaufgaben
Beweis cnt.
(iii) Wir betrachten fr t [0, 1]
A(t ) := D + t (A D) mit D := diag{a
11
, . . . , a
nn
}.
Dann sind fr A(t ) die Radien der Kreise Z
i
(t ) bzw. S
j
(t ) gleich tz
i
bzw. ts
j
und die Mittelpunkte a
ii
bzw. a
jj
.
Offenbar ist die Behauptung fr t = 0 richtig. Wchst nun t , so bleibt wegen
der stetigen Abhngigkeit der Eigenwerte von den Elementen der Matrix A(t ),
also von t , die Anzahl der Kreise und Eigenwerte in einer Komponente
konstant, solange sie nicht mit einer anderen Komponente zusammenstt.
Geschieht dies, so addieren sich die Kreise und Eigenwerte. Die Behauptung
ist also fr alle t 0 und damit fr A = A(1) richtig.
Eigenwertaufgaben
Bemerkung
Die Aussage (iii) lsst sich nicht verschrfen zu: In jedem Kreis S
i
bzw. Z
j
liegt mindestens ein Eigenwert von A,
denn sei
A =
_
0 1
2 0
_
.
Dann sind die Eigenwerte
1/2
=
2, und es liegt kein Eigenwert in

Z
1
= S
2
= {z : |z| 1}.
Fr viele Eigenwert Routinen kann man zeigen, dass die berechneten
Eigenwerte
1
, . . . ,
n
die exakten Eigenwerte einer gestrten Matrix A + E
sind, wobei E eine kleine Norm besitzt.
Wir fragen daher, wie Strungen die Eigenwerte einer Matrix beeinussen.
Beispielhaft hierfr ist:
Eigenwertaufgaben
Satz von BauerFike
Es sei A diagonalisierbar.
Ist Eigenwert von A + E C
nn
und
X
1
AX = = diag{
1
, . . . ,
n
},
so gilt
min
(A)
| |
p
(X)E
p
.
Dabei bezeichnet
p
die von der Hldernorm
x
p
:=
_
_
n
j =1
|x
j
|
p
_
_
1/p
, p 1,
induzierte Matrixnorm und
p
die Kondition bzgl.
p
.
Eigenwertaufgaben
Beweis
Fr (A) ist die Aussage trivial. Sei also / (A).
Da X
1
(A + E I)X singulr ist, ist auch
I + ( I)
1
(X
1
EX) = ( I)
1
X
1
(A + E I)X
singulr.
Also existiert y C
n
, y
p
= 1 mit
y + ( I)
1
(X
1
EX)y = 0
Eigenwertaufgaben
Beweis cnt.
Hieraus folgt
1 = y
p
= ( I)
1
(X
1
EX)y
p
max
zp=1
( I)
1
(X
1
EX)z
p
= ( I)
1
X
1
EX
p

1
min
(A)
| |
X
1
p
E
p
X
p
,
wobei ausgenutzt wurde, dass die pNorm einer Diagonalmatrix gleich dem
Betrag des betragsmaximalen Elements der Matrix ist.
Eigenwertaufgaben
Korollar
Fr normale Matrizen erhlt man insbesondere
Korollar 6.9
Es sei A eine normale Matrix und ein Eigenwert von A+E C
nn
. Dann gilt
min
(A)
| | E
2
Beweis
Da A normal ist, kann man in Satz 6.8 X unitr whlen, und die Behauptung
folgt dann aus
2
(X) = 1.
Eigenwertaufgaben
Potenzmethods
Wir betrachten in diesem Abschnitt ein Verfahren zur Bestimmung des
betragsgrten Eigenwerts und zugehrigen Eigenvektors, eine Modikation
hiervon, um auch andere Eigenwerte zu berechnen und eine simultane
Variante.
Wir besprechen die Methoden vor allem zum besseren Verstndnis des dann
im nchsten Abschnitt folgenden Arbeitspferdes zur Berechnung von
Eigenwerten und Eigenvektoren, des QR Algorithmus.
Eigenwertaufgaben
Potenzmethods
Wir betrachten fr A C
nn
die spezielle Eigenwertaufgabe
Ax = x. (1)
Es sei A diagonalisierbar, Ax
i
=
i
x
i
, i = 1, . . . , n, und es besitze A einen
dominanten Eigenwert
1
, d.h.
|
1
| > |
2
| . . . |
n
|. (2)
Eigenwertaufgaben
Potenzmethods
Es sei u
0
C
n
, u
0
= 0, gegeben.
Multipliziert man
u
0
=:
n
i =1
i
x
i
m mal mit der Matrix A, so folgt
A
m
u
0
=
n
i =1
m
i
x
i
=
m
1
_
1
x
1
+
n
i =2
i
_
1
_
m
x
i
_
. (3)
Wegen (2) konvergiert daher die Folge {
m
1
A
m
u
0
} gegen ein Vielfaches von
x
1
, falls
1
= 0 gilt, d.h. {A
m
u
0
} konvergiert gegen die Eigenrichtung
span{x
1
} zum dominanten Eigenwert
1
, wenn der Startvektor u
0
eine
Komponente in Richtung von x
1
besitzt.
Eigenwertaufgaben
Potenzmethods
Gilt |
1
| = 1, so erhlt man fr groe m Exponentenberlauf oder -unterlauf.
Man wird also die Folge {A
m
u
0
} noch geeignet normieren und erhlt die
Potenzmethode oder das von Mises Verfahren.
Sei irgendeine Norm auf C
n
und u
0
C
n
\ {0}.
Algorithmus 6.14 [Potenzmethode]
1: for m=0,1,... until convergence do
2: v
m+1
= Au
m
;
3: k
m+1
= v
m+1
;
4: u
m+1
= v
m+1
/k
m+1
;
5: end for
Eigenwertaufgaben
Potenzmethods
Hug wird eine andere Skalierung der erzeugten Folge gewhlt, die billiger
ist als die Normierung. Sei dazu C
n
ein gegebener Vektor. Hiermit
iterieren wir gem
Algorithmus 6.15 [Potenzmethode]
2: v
m+1
= Au
m
;
3: k
m+1
=
H
v
m+1
;
4: u
m+1
= v
m+1
/k
m+1
;
5: end for
Eigenwertaufgaben
Konvergenzsatz
Es sei
1
dominanter Eigenwert von A und
u
0
:=
n
i =1
i
x
i
mit
1
= 0 und C
n
.
Es seien u
m
und k
m
nach Algorithmus 6.15 berechnet. Gilt dann
H
u
m
= 0 fr
alle m N und
H
x
1
= 0, so ist
lim
m
k
m
=
1
, lim
m
u
m
=
1
H
x
1
x
1
.
Eigenwertaufgaben
Beweis
Offensichtlich gilt
u
m
= A
m
u
0
/
H
A
m
u
0
.
Daher ist
k
m
=
H
v
m
=
H
Au
m1
=
H
A
A
m1
u
0
H
A
m1
u
0
=

H
A
m
u
0
H
A
m1
u
0
,
und aus
lim
m
m
1
A
m
u
0
=
1
x
1
folgt
lim
m
1
1
k
m
=
lim
m
H
(
m
1
A
m
u
0
)
lim
m
H
(
(m1)
1
A
m1
u
0
)
= 1,
Eigenwertaufgaben
Beweis cnt.
d.h.
lim
m
k
m
=
1
und
lim
m
u
m
= lim
m
A
m
u
0
H
A
m
u
0
=

1
x
1
+
n
i =2
i
(
i
/
1
)
m
x
i
H
x
1
+
n
i =2
1
(
i
/
1
)
m
H
x
i
=
x
1
H
x
1
.
Eigenwertaufgaben
Bemerkungen
1. Eine huge Wahl von ist = e
k
fr ein k {1, . . . , n}, d.h. man normiert
im Eigenvektor die kte Komponente zu 1, wobei man nicht vorhersagen
kann, welches k geeignet ist.
2. Ist A R
nn
nichtnegativ und irreduzibel, so ist der zum Spektralradius
gehrende Eigenvektor positiv, und man kann = (1, 1, . . . , 1)
T
whlen, wenn
u
0
positive Komponenten hat.
3. Wir haben
1
= 0 vorausgesetzt. Diese Voraussetzung ist nicht
einschneidend, denn durch Rundungsfehler wird (fast immer) ein u
m
erzeugt,
das eine Komponente in Richtung von x
1
besitzt.
4. Ist
1
mehrfacher Eigenwert von A und A diagonalhnlich, so bleiben alle
berlegungen richtig, wenn nur u
0
eine Komponente in Richtung des
Eigenraumes von A zu
1
besitzt oder eine solche durch Rundungsfehler
erzeugt wird.
Eigenwertaufgaben
Bemerkungen
5. Ist A R
nn
mit |
1
| = |
2
| > |
3
| . . . |
n
| und
1
=
2
(also
1
=
2
oder
1
=
2
), so erhlt man keine Konvergenz, sondern es treten in der
Folge {u
m
} Oszillationen auf. Auch in diesem Fall kann man aus (drei
aufeinanderfolgenden Elementen) der Folge {u
m
} Nherungen fr die zu
1
und
2
gehrenden Eigenvektoren ermitteln. Eine ausfhrliche Diskussion
ndet man in Zurmhl, pp. 283 ff.
6. Schlielich haben wir vorausgesetzt, dass A diagonalisierbar ist. Ist dies
nicht erfllt, so muss man u
0
als Linearkombination von Hauptvektoren
darstellen und erhlt ebenfalls Konvergenz des Verfahrens (vgl. Collatz, pp.
325 ff.).
Eigenwertaufgaben
Bemerkungen
7. Fr die Konvergenzgeschwindigkeit gilt mit
q := max
i =2,...,m
|k
m+1
1
| =
H
A
m+1
u
0
H
A
m
u
0

1
H
A
m
u
0
H
(A
m+1
u
0
1
A
m
u
0
)
m+1
1
H
A
m
u
0
H
_
n
i =2
i
_
_
1
_
m+1
1
_
m
_
x
i
_
m+1
1
H
A
m
u
0
2
n
i =2
|
i
|
1
1
x
i
2
Cq
m
(4)
d.h. wir haben lineare Konvergenz mit dem Konvergenzfaktor q.
Ist also |
1
| von den Betrgen der brigen Eigenwerte gut getrennt, so erhlt
man rasche Konvergenz, i.a. ist das Verfahren aber sehr langsam.
Eigenwertaufgaben
Bemerkungen
8. Bisweilen kann die Konvergenzgeschwindigkeit durch eine
Spektralverschiebung verbessert werden, d.h. betrachte A +I, C. Dann
gehen die Eigenwerte ber in
i
+, und die Konvergenzgeschwindigkeit wird
bestimmt durch
q := max
i =2,...,n
i
+
1
+
.
Die Verbesserung hierdurch ist meistens unwesentlich.
Eigenwertaufgaben
Inverse Iteration
Eine erhebliche Beschleunigung der von Mises Iteration erhlt man durch die
inverse Iteration, die 1944 von Wielandt eingefhrt wurde bei der
Stabilittsanalyse von Strukturen, die kleine Strungen bekannter Systeme
sind. In diesem Fall sind gute Approximationen fr die relevanten Eigenwerte
bekannt, und man erhlt (wie wir noch sehen werden) rasche Konvergenz.
Heute wird die inverse Iteration vor allem verwendet zur Bestimmung von
Eigenvektoren, wenn wenige Eigenwerte und Eigenvektoren gesucht sind.
Eigenwertaufgaben
Inverse Iteration
Sei =
i
fr alle i . Dann besitzt die Matrix (I A)
1
die Eigenwerte
1/(
i
) und die Eigenvektoren stimmen mit denen von A berein.
Fhrt man die von Mises Iteration fr (I A)
1
aus und gilt
|
i
| < |
j
|, j = 1, . . . , n, j = i ,
mit einem einfachen Eigenwert
i
von A, so ist
1
i
dominanter Eigenwert
von (I A)
1
und die Konvergenzgeschwindigkeit wird bestimmt durch
q := max
j =i

i

j
.
Ist also eine gute Nherung fr
i
, so erhlt man sehr schnelle Konvergenz.
Eigenwertaufgaben
Inverse Iteration; feste Shifts
2: solve (I A)v
m+1
= u
m
;
3: k
m+1
=
H
v
m+1
;
4: u
m+1
= v
m+1
/k
m+1
;
5: end for
Wie fr die Potenzmethode erhlt man im Fall |
i
| < |
j
| fr alle j = i
u
m
x
i
H
x
i
, k
m

1

i
unter den entsprechenden Voraussetzungen
i
= 0,
H
v
m
= 0,
H
x
i
= 0.
Eigenwertaufgaben
Inverse Iteration; variable Shifts
Die Konvergenz ist natrlich linear. Dies wird verbessert, wenn man
gleichzeitig iteriert:
Algorithmus 6.19 [Inverse Iteration; variable Shifts]
2: solve (
m
I A)v
m+1
= u
m
for v
m+1
3: k
m+1
=
H
v
m+1
;
4: u
m+1
= v
m+1
/k
m+1
;
5:
m+1
=
m
1/k
m+1
;
6: end for
Es gilt ja k
m+1

1
i
. Hieraus erhlt man eine Schtzung
(m+1)
fr
i
durch
k
m+1
1/(
(m)
(m+1)
),
und damit die Aufdatierung des Shifts in Algorithmus 6.19
Eigenwertaufgaben
Konvergenzsatz
Sei

ein algebraisch einfacher Eigenwert von A mit zugehrigem Eigenvektor
u, und es gelte
H
u =
H
u
0
= 1.
Dann konvergiert das Verfahren in Algorithmus 6.19 lokal quadratisch gegen
bzw. u.
Beweis
Wir zeigen, dass das Verfahren genau die Iterationsvorschrift des
Newton-Verfahrens fr das Gleichungssystem
F(u, ) :=
_
u Au
H
u 1
_
=
_
0
0
_
ist und dass F
( u,
) nichtsingulr ist. Dann folgt die quadratische

Konvergenz sowohl fr den Eigenvektor als auch den Eigenwert aus einem
Satz in Mathematik III. Wir werden auf das Newton Verfahren in Kapitel 7
eingehen.
Eigenwertaufgaben
Beweis cnt.
Es gilt
F
(u, ) =
_
I A u
H
0
_
.
Das Newton-Verfahren ist also gegeben durch
_
(m)
I A u
m
H
0
__
u
m+1
u
m
(m+1)
(m)
_
=
_
(m)
u
m
Au
m
H
u
m
1
_
d.h.
(
(m)
I A)u
m+1
+
_
(m+1)
(m)
_
u
m
= 0
H
u
m+1
= 1,
und dies ist quivalent Algorithmus 6.19.
Eigenwertaufgaben
Beweis cnt.
Es sei
F
( u,
)
_
v
_
= 0
d.h.
(
I A)v + u = 0,
H
v = 0.
Im Falle = 0 gilt (
I A)v = 0, d.h., da

ein einfacher Eigenwert von A ist,
v = u fr ein C, und es folgt 0 =
H
v =
H
u = .
Im Falle = 0 gilt
(
I A)v = u = 0,
und daher
(
I A)
2
v = (
I A) u = 0.
v ist also ein Hauptvektor 2. Stufe, und daher besitzt

mindestens die
algebraische Vielfachheit 2.
Eigenwertaufgaben
Bemerkung
Man entnimmt dem Beweis sofort, dass das Verfahren in Algorithmus 6.18
auch dann lokal konvergiert, wenn A nicht diagonalisierbar ist.
Die inverse Iteration konvergiert sogar kubisch, wenn die Matrix A
symmetrisch ist und wenn die Nherung fr den Eigenwert aufdatiert wird mit
dem Rayleighschen Quotienten
(m)
=
(u
m
)
H
Au
m
u
m
2
2
.
Diese Aufdatierung ist auch bei nicht symmetrischen Matrizen sinnvoll wegen
des folgenden Lemmas. Man erhlt dann wie in Abschnitt 8 quadratische
Konvergenz (s. Stewart, pp. 346 ff.).
Eigenwertaufgaben
Lemma
Sei A C
nn
beliebig, x C
n
, und fr C
r () := Ax x
der zugehrige Defekt.
Dann gilt
r ()
2
= min! =
x
H
Ax
x
2
2
.
Beweis
r ()
2
= min! ist ein lineares Ausgleichsproblem zur Bestimmung von mit
der Koefzientenmatrix x und der rechten Seite Ax. Die Normalgleichung
hierzu lautet
x
H
x = x
H
Ax.
Eigenwertaufgaben
Inverse Iteration
Auf den ersten Blick scheint es eine Schwierigkeit bei der inversen Iteration zu
sein, dass die Koefzientenmatrix
(m)
I A des zu lsenden linearen
Gleichungssystems bei Konvergenz von
(m)
gegen einen Eigenwert von A
mehr und mehr singulr wird, die Kondition also wchst und damit der Fehler
der Lsung des Gleichungssystems wchst.
Man kann jedoch zeigen (vgl. Chatelin, pp. 217 ff.), dass (bei gut
konditionierten Problemen) der Fehler, der bei der Lsung von
(
(m)
I A)v
m+1
= u
m
gemacht wird, vornehmlich die Richtung des
Eigenvektors zu , also die gewnschte Richtung, hat.
Eigenwertaufgaben
QR Algorithmus
Der QR Algorithmus dient dazu, alle Eigenwerte einer Matrix A C
nn
zu
bestimmen.
Er wurde von Francis und Kublanovskaya unabhngig voneinander im Jahr
1961 eingefhrt.
Er wird heute als das beste Verfahren zur Lsung der vollstndigen
Eigenwertaufgabe fr nichtsymmetrische Probleme angesehen.
Eigenwertaufgaben
Grundform des QR Algorithmus
Es sei A
0
:= A. Die Grundform des QR Algorithmus ist gegeben durch
Algorithmus 6.24 [QR Algorithmus; Grundform]
1: for i=0,1,... until convergence do
2: Zerlege A
i
= Q
i
R
i
(QR Zerlegung)
3: A
i +1
= R
i
Q
i
;
4: end for
Die durch den QR Algorithmus erzeugten Matrizen A
i
sind einander hnlich
und damit hnlich zu A, denn es gilt
A
i +1
= R
i
Q
i
= Q
H
i
(Q
i
R
i
)Q
i
= Q
H
i
A
i
Q
i
.
Eigenwertaufgaben
Konvergenzsatz
Es seien die Eigenwerte von A C
nn
dem Betrage nach voneinander
verschieden und angeordnet gem
|
1
| > |
2
| > > |
n
| > 0. (5)
Es sei A = XX
1
, und es besitze die Matrix Y := X
1
eine LR Zerlegung.
Dann konvergiert der QR Algorithmus im Wesentlichen, d.h. fr A
i
:= (a
(i )
jk
)
j ,k
gilt
lim
i
a
(i )
jk
= 0 fr j > k
lim
i
a
(i )
kk
=
k
fr k = 1, . . . , n.
Eigenwertaufgaben
Bemerkung
Am Ende sind die Eigenwerte von A in A
i
der Gre der Betrge nach
geordnet.
Beispiel 6.29
Die Matrix
A =
_
_
1 1 1
4 6 3
4 4 1
_
_
besitzt die Eigenwerte
1
= 3,
2
= 2 und
3
= 1, und fr die Matrix der
Eigenvektoren gilt (bis auf die Normierung)
X =
_
_
0 1 1
1 1 2
1 0 2
_
_
und X
1
=
_
_
2 2 1
0 1 1
1 1 1
_
_
.
Eigenwertaufgaben
Beispiel
Die Voraussetzungen von Satz 6.27 sind also erfllt.
Man erhlt
A
10
=
_
_
3.000034 0.577363 8.981447
9.78e 6 1.999995 1.4142593
6.91e 6 3.99e 6 0.999972
_
_

Eigenwertaufgaben
Bemerkung
Wegen (5) ist A diagonalisierbar, d.h. X und damit Y existieren.
Die einzige Forderung in Satz 6.27 an die Matrix X ist also, dass Y := X
1
eine LR Zerlegung besitzt.
Verzichtet man hierauf, so erhlt man
lim
i
a
(i )
kk
=
(k)
fr eine Permutation von {1, . . . , n} (vgl. Wilkinson, p. 519 ff.).
Eigenwertaufgaben
Beispiel
Fr die Matrix
A =
_
_
1 0 1
2 3 1
2 2 2
_
_
mit den Eigenwerten
1
= 3,
2
= 2,
3
= 1 und den Eigenvektoren
X =
_
_
1 1 1
2 1 1
2 1 0
_
_
und X
1
=
_
_
1 1 0
2 2 1
0 1 1
_
_
.
ist die Voraussetzung von Satz 6.27 nicht erfllt.
Die Matrix X
1
(1 : 2, 1 : 2) ist singulr.
Eigenwertaufgaben
Beispiel
Die orthogonale Iteration liefert nach 30 Schritten
A
30
=
_
_
3.0000058 2.0000014 2.9999975
1.16e 6 0.9999989 0.9999978
1.16e 6 6.69e 5 1.9999953
_
_
.
Die Diagonalelemente scheinen also gegen die Eigenwerte zu konvergieren,
wobei sie allerdings nicht nach der Betragsge geordnet sind. Diese
Konvergenz wrde auch bei exakter Rechnung eintreten (vgl. Bemerkung
6.30).
Iteriert man weiter, so erhlt man (durch Rundungsfehler)
A
70
=
_
_
3 + 5.2e 13 3.5355303 0.7071247
1.48e 13 1.9999949 1.0000051
7.52e 19 5.07e 6 1.0000051
_
_
.
Eigenwertaufgaben
Bemerkungen
Ist A R
nn
, so gilt Q
k
R
nn
, R
k
R
nn
fr alle k, und der ganze
Algorithmus verluft in R.
Sind alle Eigenwerte betragsmig verschieden, so sind sie alle reell,
und der QRAlgorithmus konvergiert. Besitzt A jedoch komplexe
Eigenwerte, so kann die Grundform nicht konvergieren.
Ist A C
nn
Hermitesch, so sind alle A
m
Hermitesch, und A
m
konvergiert
unter den Voraussetzungen von Satz 6.27 gegen eine Diagonalmatrix.
Eigenwertaufgaben
Beschleunigung des QR Algorithmus
Ein Nachteil der Grundform des QR Algorithmus ist, dass sie sehr aufwendig
ist. Ist A voll besetzt, so bentigt man in jedem Schritt O(n
3
) Operationen zur
Bestimmung der QR Zerlegung. Dies wird im nchsten Unterabschnitt
verbessert.
Wir beschleunigen nun den QR Algorithmus auf zwei Weisen. Erstens
erhhen wir mit Hilfe von Shifts die Konvergenzgeschwindigkeit, und zweitens
zeigen wir, dass die Hessenberg Gestalt einer Matrix im Laufe eines QR
Schritts erhalten bleibt.
Da die QR Zerlegung einer Hessenberg Matrix nur O(n
2
) Operationen
bentigt, werden wir Matrizen vor Anwendung des QR Algorithmus zunchst
unitr auf Hessenberg Gestalt transformieren.
Eigenwertaufgaben
Explizite Shifts
Sei A
1
:= A. Wir betrachten dann die geshiftete Version des QR Algorithmus:
Algorithmus 6.35 [QR Algorithmus mit Shifts]
1: for i=0,1,... until convergence do
2: whle geeigneten Shift
i
;
3: zerlege A
i

i
I = Q
i
R
i
;
4: A
i +1
= R
i
Q
i
+
i
I;
5: end for
Eigenwertaufgaben
Explizite Shifts
Fr die durch Algorithmus 6.35 erzeugten Matrizen gilt
R
i
= Q
H
i
(A
i

i
I),
und
A
i +1
= Q
H
i
(A
i

i
I)Q
i
+
i
I = Q
H
i
A
i
Q
i
. (10)
Die A
i
sind also alle der Matrix A hnlich und haben dieselben Eigenwerte.
Um die Parameter
i
geeignet zu whlen, berlegen wir uns einen
Zusammenhang von Algorithmus 6.35 und der inversen Iteration.
Eigenwertaufgaben
Satz 6.36
Es seien
U
i
:= Q
1
Q
2
. . . Q
i
, S
i
:= R
i
R
i 1
. . . R
1
.
Dann gilt
U
i
S
i
= (A
i
I)(A
i 1
I) . . . (A
1
I). (11)
Beweis
Zunchst folgt aus (10) durch Induktion
A
i +1
= U
H
i
AU
i
. (12)
Eigenwertaufgaben
Beweis
Fr i = 1 besagt (11)
U
1
S
1
= Q
1
R
1
= A
1
I,
und dies ist gerade die Zerlegung im ersten Schritt von Algorithmus 6.35.
Sei (11) bereits fr i 1 bewiesen. Dann folgt aus der Denition von A
i +1
R
i
= (A
i +1
i
I)Q
H
i
= U
H
i
(A
i
I)U
i
Q
H
i
= U
H
i
(A
i
I)U
i 1
,
und hieraus erhlt man durch Rechtsmultiplikation mit S
i 1
und
Linksmultiplikation mit U
i
U
i
S
i
= (A
i
I)U
i 1
S
i 1
= (A
i
I)(A
i 1
I) . . . (A
1
I)
nach Induktionsannahme.
Eigenwertaufgaben
Inverse Iteration
Aus der Darstellung (11) folgt sofort
(A
H

i
I)
1
. . . (A
H

1
I)
1
e
n
= U
i
(S
H
i
)
1
e
n
.
Da mit S
H
i
auch (S
H
i
)
1
eine untere Dreiecksmatrix ist, gilt
U
i
(S
H
i
)
1
e
n
=
i
U
i
e
n
fr ein
i
C,
d.h. die letzte Spalte von U
i
ist eine Nherung fr einen Eigenvektor von A
H
,
die man ausgehend von e
n
mit der inversen Iteration mit den Shifts
1
, . . . ,
i
erhlt.
Eigenwertaufgaben
Rayleigh Quotienten Shift
Man kann also schnelle Konvergenz erwarten, wenn man
i
als
Rayleighquotienten von A
H
an der Stelle u
i 1
n
, der letzten Spalte von U
i 1
,
whlt.
Es ist

i
= (u
i 1
n
)
H
A
H
u
i 1
n
= (u
i 1
n
)
H
Au
i 1
n
(10)
= (e
n
)
T
A
i
e
n
=: a
(i )
nn
,
d.h.
i
= a
(i )
nn
.
Dieser Shift heit Rayleigh Quotienten Shift.
Eigenwertaufgaben
Hessenberg Gestalt
Eine weitere Verbesserung des Verfahrens (Verkleinerung des Aufwandes)
erhlt man, wenn man A zunchst unitr auf obere Hessenberg Gestalt
transformiert.
Dabei sagt man, dass eine Matrix A Hessenberg Gestalt hat, wenn
a
ij
= 0 fr alle i > j + 1.
Diese Gestalt bleibt nmlich, wie wir noch sehen werden, whrend des
gesamten QR Algorithmus erhalten.
Eigenwertaufgaben
Hessenberg Gestalt
Wir bestimmen daher eine unitre Matrix U, so dass U
H
AU obere
Hessenberg Gestalt hat.
U knnen wir als Produkt von n 2 Spiegelungen der Gestalt I 2uu
H
aufbauen:
Sei
A =
_
a
11
c
T
b B
_
mit b = 0.
Wir bestimmen dann w C
n1
mit w
2
= 1 und
Q
1
b := (I
n1
2ww
H
)b = ke
1
,
und hiermit P
1
=
_
1 0
T
0 Q
1
_
.
Eigenwertaufgaben
Hessenberg Gestalt
Dann gilt
A
1
:= P
1
AP
1
=
_
_
_
_
_
_
_
a
11
c
T
Q
1
k
0
.
.
. Q
1
BQ
1
0
_
_
_
_
_
_
_
.
Damit hat die erste Spalte schon die Gestalt, die wir in einer Hessenberg
Matrix bentigen.
Die Spalten 2, . . . , n 2 knnen wir dann genauso behandeln (vgl. die
Vorgehensweise bei der QR Zerlegung einer Matrix).
Eigenwertaufgaben
Hessenberg Gestalt
Eine andere Methode, A unitr auf Hessenberg Gestalt zu transformieren,
baut U als Produkt von
1
2
(n 1)(n 2) ebenen Drehungen (oder Reexionen)
auf. Wir bestimmen dazu U
23
, so dass das Element (3, 1) in U
23
A
verschwindet.
Multiplikation von rechts mit U
H
23
ndert dann nur die zweite und dritte Spalte,
zerstrt also nicht die bereits erzeugte 0 in der Position (3, 1).
Zu A
1
:= U
23
AU
H
23
bestimmen wir dann U
24
, so dass U
24
A
1
an der Stelle (4, 1)
eine Null hat. Diese (und auch die an der Stelle (3, 1)) bleibt erhalten bei der
Multiplikation von rechts mit U
H
24
.
Eigenwertaufgaben
Hessenberg Gestalt
Man erhlt eine Hessenberg Matrix, wenn man Matrizen U
ij
in der Reihenfolge
(i , j ) = (2, 3), (2, 4), . . . , (2, n), (3, 4), (3, 4), . . . , (n 1, n)
whlt,
so dass das Element an der Stelle
(3, 1), (4, 1), . . . , (n, 1), (4, 2), (5, 2), . . . , (n, n 1)
annulliert wird.
Eigenwertaufgaben
Hessenberg Gestalt
Sei A =: A
1
obere Hessenberg Matrix und
1
C ein Shift-Parameter, z.B.
1
:= a
(1)
nn
.
Wir multiplizieren dann fr i = 1, . . . , n 1 die Matrix
U
i 1,i
. . . U
12
(A
1
I)
mit einer ebenen Drehung U
i ,i +1
, so dass das Element an der Stelle (i + 1, i )
annulliert wird.
Dann besitzt
R
1
:= U
n1,n
. . . U
12
(A
1
I)
obere Dreiecksgestalt, und Q
1
:= U
H
12
. . . U
H
n1,n
ist der unitre Anteil in der QR
Zerlegung von A
1
I in Algorithmus 6.35.
Eigenwertaufgaben
Hessenberg Gestalt
Die neue Iterierte A
2
erhlt man dann gem
A
2
= R
1
U
H
12
. . . U
H
n1,n
+
1
I.
Da die Multiplikation von rechts mit U
H
i ,i +1
nur die i -te und (i + 1)-te Spalte
verndert, ist klar, dass A
2
wieder obere Hessenberg Matrix ist.
Die obere Hessenberg Gestalt der Matrizen bleibt also im Verlaufe des QR
Algorithmus erhalten.
Da ein QR Schritt fr eine Hessenberg Matrix nur O(n
2
) Operationen
erfordert, lohnt sich diese vorbereitende Transformation von A.
Eigenwertaufgaben
Hermitesche Matrix
Ist A Hermitesch, so sind alle A
i
Hermitesch.
Transformiert man also A zunchst auf Tridiagonalgestalt, so bleiben alle A
m
wie eben tridiagonal, und man bentigt sogar in jedem QR Schritt nur O(n)
Operationen.
Eigenwertaufgaben
Hessenberg Gestalt
Die Matrizen U
i ,i +1
mssen nicht whrend des ganzen QR Schritts
abgespeichert werden, denn die Multiplikation von links mit U
i ,i +1
ndert nur
die Zeilen i und i + 1.
In U
23
U
12
(A
1
1
I) und R
1
stimmen also bereits die beiden ersten Zeilen und
Spalten (beachte die Hessenberg Gestalt) berein.
Da die Multiplikation von rechts mit U
H
12
nur die Spalten 1 und 2 verndert,
kann man die Transformation eines QR Schritts in folgender Reihenfolge
durchfhren (
A := A
1
1
I) :
A U
12
A U
23
U
12
A U
23
U
12
AU
H
12
U
34
U
23
U
12
AU
H
12
U
34
U
23
U
12
AU
H
12
U
H
23
. . . U
n1,n
. . . U
12
AU
H
12
. . . U
H
n1,n
=: A
2
1
I.
Eigenwertaufgaben
Hessenberg Gestalt
Dies wird in dem folgenden Algorithmus, der einen QR Schritt mit Shift fr
eine Hessenberg Matrix beschreibt, bereits bercksichtigt.
Wir verwenden darin die Prozedur
(, , ) = rot(, ),
die bei gegebenen , C die Parameter , , berechnet, so dass
_

__
_
=
_
0
_
gilt.
Eigenwertaufgaben
QR Algorithmus mit Shifts
1. := ann
a11 := a11
2. for k = 1, . . . , n do
(i) If k = n, then goto (iv)
(ii) (k , k , k ) := rot (akk , ak+1,k )
akk := k
ak+1,k := 0
ak+1,k+1 := ak+1,k+1
for j=k+1,. . . ,n do
akj
ak+1,j
:=
k k
k k
akj
ak+1,j
end
(iii) If k=1, then step k
(iv) for i=1,2,. . . ,k do
(ai ,k1, aik ) := (ai ,k1, aik )
k1 k1
k1 k1
,
ak1,k1 := ak1,k1 +
end
3. ann := ann + .
Eigenwertaufgaben
Deation
Wendet man diesen Algorithmus wiederholt an, so wird a
(i )
n,n1
rasch
(quadratisch; vgl. Lemma 6.22) gegen 0 gehen.
Ist |a
(i )
n,n1
| klein genug, so setzt man es gleich 0 und erhlt eine Matrix der
Gestalt
A
i
=
_
_
_
_
_
_
_
_
_
+ + . . . + +
+ + . . . + +
0 + . . . + +
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . + +
0 0 . . . 0 0
_
_
_
_
_
_
_
_
_
= U
H
i
AU
i
.
a
(i )
nn
ist also eine Nherung fr einen Eigenwert von A (nicht notwendig wie in
Satz 6.27 fr den betragskleinsten Eigenwert, da die Shifts diese Eigenschaft
zerstren), und die Eigenwerte der fhrenden (n 1, n 1) Hauptuntermatrix
(oben +) von A
i
sind Nherungen fr die brigen Eigenwerte von A. Man
kann also mit einer verkleinerten Matrix den Algorithmus fortsetzen.
Eigenwertaufgaben
Deation
Darber hinaus gehen auch die brigen Subdiagonalelemente von A
i
gegen 0
(vgl. Satz 6.27).
Ist eines dieser Elemente klein genug, etwa a
(i )
k+1,k
0, so kann man offenbar
zwei kleinere Hessenberg Matrizen
a
(i )
11
a
(i )
12
. . . a
(i )
1,k1
a
(i )
1k
a
(i )
21
a
(i )
22
. . . a
(i )
2,k1
a
(i )
2k
0 a
(i )
32
. . . a
(i )
3,k1
a
(i )
3k
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . a
(i )
k,k1
a
(i )
kk
a
(i )
k+1,k+1
a
(i )
k+1,k+2
. . . a
(i )
k+1,n1
a
(i )
k+1,n
a
(i )
k+2,k+1
a
(i )
k+2,k+2
. . . a
(i )
k+2,n1
a
(i )
k+2,n
0 a
(i )
k+3,k+2
. . . a
(i )
k+3,n1
a
(i )
k+3,n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . a
(i )
n,n1
a
(i )
nn
mit dem QR Algorithmus behandeln.

Eigenwertaufgaben
Deation
Als Kriterium fr klein genug whlt man mit = 10
t
, wobei t die Zahl der
signikanten Stellen bezeichnet,
|a
(i )
k+1,k
| min{|a
(i )
kk
|, |a
(i )
k+1,k+1
|}
oder (weniger einschneidend)
|a
(i )
k+1,k
| (|a
(i )
kk
| +|a
(i )
k+1,k+1
|).
Eigenwertaufgaben
Beispiel
Wir demonstrieren den Konvergenzverlauf fr die Hessenberg Matrix
A =
_
_
_
_
1 2 3 4
2 1 1 0
0 3 2 1
0 0 2 4
_
_
_
_
R
(4,4)
.
Die folgende Tabelle enthlt die Subdiagonalelemente bei dem oben
beschriebenen Abbruch mit t = 16:
Eigenwertaufgaben
Beispiel
i a21 a32 a43
1 2 3 2
2 1.83e0 2.23e0 1.61e0
3 1.65e0 1.43e0 3.55e 1
4 6.78e 1 3.65e0 3.82e 2
5 7.63e 1 1.17e0 1.63e 3
6 8.32e 1 5.32e 1 3.93e 6
7 1.18e0 1.52e 1 3.03e 11
8 1.64e0 4.97e 2 1.62e 21
9 3.22e0 2.89e 5
10 1.81e0 5.33e 10
11 5.32e 1 2.48e 19
12 4.46e 3
13 5.89e 8
14 1.06e 17
Eigenwertaufgaben
Beobachtungen
Nach einer Anlaufphase wird die Zahl der gltigen Stellen des letzten
bercksichtigten Diagonalelements von Schritt zu Schritt ungefhr verdoppelt.
Dies zeigt die quadratische Konvergenz des Verfahrens.
Fr die Grundform des QR Algorithmus wird diese Genauigkeit erst nach ca.
300 Schritten erreicht.

Kapitel6 Ho

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Kapitel6 Ho

Hochgeladen von

Copyright:

Verfügbare Formate

Eigenwertaufgaben

besitzt also n verschiedene Nullstellen, und ist daher auf Diagonalgestalt

2, und es liegt kein Eigenwert in

) nichtsingulr ist. Dann folgt die quadratische

mit dem QR Algorithmus behandeln.

Das könnte Ihnen auch gefallen