Sie sind auf Seite 1von 120

Numerische Mathematik fr die Fachrichtungen

Informatik und Ingenieurwesen


Daniel Wei
Sommersemester 2015

Inhaltsverzeichnis
0 Vorbereitung: Linearen Algebra
0.1 Matrizen . . . . . . . . . . . . .
0.1.1 Matrix-Matrix Produkt .
0.1.2 Spezielle Matrizen . . .
0.1.3 Rang einer Matrix . . .
0.2 Eigenwerte und Eigenvektoren .
0.3 Normen und Skalarprodukte . .

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

1
1
1
3
5
5
7

1 Lineare Gleichungssysteme
1.1 LR-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1 Vorwrts- und Rckwrtssubstitution . . . . . . . . . . .
1.1.2 Existenz der LR-Zerlegung . . . . . . . . . . . . . . . . .
1.2 Einschub: Gleitkommarechnung, Matrixnormen . . . . . . . . .
1.2.1 Gleitkommarechnung . . . . . . . . . . . . . . . . . . . .
1.2.2 Matrixnormen . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Kondition linearer Gleichungssysteme . . . . . . . . . . . . . . .
1.4 Stabilitt der Gau-Elimination . . . . . . . . . . . . . . . . . .
1.5 Cholesky-Verfahren fr symmetrische, positiv definite Matrizen .
1.6 QR-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.7 Lineare Ausgleichsprobleme . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

8
9
11
12
18
18
20
21
30
33
35
36

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

2 Nichtlineare Gleichungssysteme
40
2.1 Fixpunktiterationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2 Das Newton-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3 cg-Verfahren fr lineare Gleichungssysteme
3.1 Die Hauptidee . . . . . . . . . . . . . . . . .
3.2 Fehlerabschtzungen des cg-Verfahrens . . .
3.3 Vorkonditioniertes cg-Verfahren . . . . . . .
3.4 cg-Verfahren fr Normalengleichungen . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

47
50
53
53
55

4 Interpolation und Approximation


56
4.1 Polynominterpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.1.1 Kondition des Problems . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2

4.2

4.3

4.1.2 Newtonsche Interpolationsformel / Dividierte Dierenzen


4.1.3 Das Restglied der Polynominterpolation . . . . . . . . .
4.1.4 Tschebysche-Interpolation . . . . . . . . . . . . . . . .
Kubische Spline-Interpolation . . . . . . . . . . . . . . . . . . .
4.2.1 Konstruktion . . . . . . . . . . . . . . . . . . . . . . . .
4.2.2 Kondition der Spline-Interpolation . . . . . . . . . . . .
4.2.3 Fehlerabschtzung fr eingespannte kubische Splines . .
Bzier-Technik . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.1 Bernstein-Polynome, Bernstein-Darstellung . . . . . . . .
4.3.2 Algorithmus von de Casteljau . . . . . . . . . . . . . . .
4.3.3 Bernstein-Polynome bezglich beliebiger Intervalle . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

60
64
65
74
77
79
81
81
83
88
90

5 Numerische Integration
5.1 Kondition des Problems . . . . . . . . . . . . .
5.2 Quadraturformeln . . . . . . . . . . . . . . . . .
5.2.1 Ordnung einer Quadraturformel . . . . .
5.2.2 Symmetrische Quadraturformeln . . . .
5.2.3 Quadraturformeln mit erhhter Ordnung
5.2.4 Untersuchung des Quadraturfehlers . . .

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

94
. 96
. 97
. 98
. 101
. 103
. 106

6 Eigenwertprobleme
6.1 Kondition des Problems
6.2 Vektoriteration . . . . .
6.3 Inverse Vektoriteration .
6.4 Spektrale Bisektion . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

Literaturverzeichnis

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

111
111
112
114
115
117

Kapitel 0
Vorbereitung: Linearen Algebra
In diesem vorbereitenden Kapitel, wiederholen wir (nur) die fr die Vorlesung relevanten
Aussagen der Linearen Algebra.

0.1

Matrizen

Eine (n m)-Matrix A ist eine Struktur, in welcher m n Zahlen in Form von n Zeilen und
m Spalten angeordnet sind
0
1
a11 . . . a1m
B
.. C .
A = @ ...
. A
an1 . . . anm

Dabei bezeichnet aij das Element in der i-ten Zeile und der j-ten Spalte. Eine Matrix mit nur
einer Spalte wird oft als Spaltenvektor und eine Matrix mit nur einer Zeile als Zeilenvektor
bezeichnet.

0.1.1

Matrix-Matrix Produkt

Sei A eine (n m)-Matrix und v ein m-dimensionaler (Spalten-)Vektor. Wir definieren die
Matrix-Vektor Multiplikation
0 Pm
1
j=1 a1j vj
B
C
..
(1)
(m)
Av := @
A = A v1 + . . . + A vm
.
Pm
j=1 anj vj

nach dem Motto Zeile mal Spalte welche als Linearkombination der Spalten A(j) (j-te Spalte von A) interpretiert werden kann. Von dieser Interpretation werden wir immer wieder
Gebrauch machen. Sei z.B. ej = (0, . . . , 0, 1, 0, . . . , 0)T 2 Rm der j-te Einheitsvektor, also
der Vektor mit lauter Nullen und einer 1 in der j-ten Komponente, so liefert das Produkt
Aej = A(j) die j-te Spalte von A.
1

KAPITEL 0. VORBEREITUNG: LINEAREN ALGEBRA

Fr einen (Zeilen-)Vektor w 2 Rn definieren wir das Vektor-Matrix Produkt


Pn
Pn
wT A =
i=1 ai1 w1 , . . . ,
i=1 ain wi = w1 A(1) + . . . + wn A(n)

wiederum nach dem Motto Zeile mal Spalte welches als Linearkombination der Zeilen A(i)
von A verstanden werden kann. Es gilt eTi A = A(i) .
Der Spezialfall zweier Vektoren v, w 2 Rn ergibt das euklidische Standardskalarprodukt
wT v = w1 v1 + . . . + wn vn = hw, vi,
also auch
v T v = v12 + . . . + vn2 = kvk22 ,
wobei k.k2 die euklidische Norm bezeichnet (siehe unten).
Die Multiplikation zweier Matrizen A 2 Rnm und B 2 Rml , also AB = C 2 Rnl , ist
definiert durch
cij =

m
X

aik bkj fr i = 1, . . . , n und j = 1, . . . , l.

k=1

Dabei muss die Anzahl der Spalten des linken Matrixfaktors mit der Anzahl an Zeilen des
rechten bereinstimmen. Dies ist fr zwei Vektoren w 2 Rn und v 2 Rm , wovon einer transponiert wird, insbesondere der Fall:
0
1
w 1 v1 w 1 vm
B
.. C = wv | |wv 2 Rnm .
wv T = @ ...
1
m
. A
w n v1

w n vm

Liegen Matrizen in Blockgestalt vor, z.B.

A11 A12
A=
,
A21 A22

B=

B11 B12
,
B21 B22

wobei die einzelnen Blcke Ai,j und Bi,j wiederum Matrizen geeigneter Gren sind, so liefert
die Definition der Matrix-Matrix Multiplikation oben

A11 A12
B11 B12
A11 B11 + A12 B21 A11 B12 + A12 B22
AB =
=
A21 A22
B21 B22
A21 B11 + A22 B21 A21 B12 + A22 B22 .
Geeignete Gren der beteiligten Matrizen liegen vor, wenn alle Produkte wohldefiniert sind.
Immer wieder werden wir Blockstukturen von Matrizen auch in Hinblick auf die Multiplikation
ausnutzen.

KAPITEL 0. VORBEREITUNG: LINEAREN ALGEBRA

0.1.2

Spezielle Matrizen

Invertierbare Matrizen
Eine quadratische Matrix A 2 Rnn heit invertierbar, wenn eine ebenfalls quadratische
Matrix B 2 Rnn mit
AB = I
existiert. Dabei ist I 2 Rnn eine Diagonalmatrix, also mit Eintrgen ungleich 0 nur auf der
Hauptdiagonalen, welche zustzlich auf der Hauptdiagonalen nur Werte gleich 1 stehen hat,
die sogenannte Einheitsmatrix. Wir nennen dann B die Inverse zu A und schreiben A 1 := B.
Tatschlich gilt dann auch A 1 A = I. Da fr die Einheitsmatrix immer IC = C und CI = C
fr beliebige Matrizen C geeigneter Gre gilt, kann die Multiplikation einer Matrix C von
links (AC) oder rechts (CA) mit einer invertierbaren Matrix A rckgngig gemacht werden,
indem man mit der Inversen von A von links bzw. rechts multipliziert:
A 1 AC = IC = C,

CAA

= CI = C.

Permutationsmatrizen
Eine quadratische Matrix P 2 Rnn heit Permutationsmatrix, falls die Spalten (Zeilen)
von P aus Einheitsvektoren bestehen, wobei jeder Einheitsvektor ek genau einmal als Spalte
(Zeile) auftritt, z.B.
0
1
0 1 0
P = @0 0 1A .
1 0 0
Fr A 2 Rmn ist AP eine Matrix mit genau den Spalten von A in entsprechend P permutierter Reihenfolge. Fr B 2 Rnm ist P B eine Matrix mit genau den Zeilen von B, die wiederum
gem P angeordnet sind. Die Permutationsmatrix, die genau die Spalten bzw. Zeilen mit
Index r und s vertauscht, lautet
P (s,r) = I

er eTr

es eTs + er eTs + es eTr = I

(es

er )(es

er )T .

Oenbar ist das Vertauschen von Spalten (Zeilen) mit Index r und s umkehrbar, indem man
genau diese Spalten (Zeilen) ein weiteres Mal tauscht, d.h.
P (s,r) P (s,r) = I

2(es

er )(es

er )T + (es

er ) (es
|

er )T (es
{z
=2

er )(es
}

er )T = I,

also (P (s,r) ) 1 = P (s,r) . Fr allgemeine Permutationsmatrizen gilt jedoch nicht immer P P =


P 2 = I wie das Beispiel oben zeigt.

KAPITEL 0. VORBEREITUNG: LINEAREN ALGEBRA

Symmetrische Matrizen
Eine Matrix A 2 Rnn heit symmetrisch, falls A = AT gilt. Das Produkt zweier symmetrischer Matrizen A und B muss nicht symmetrisch sein, da die Matrizenmultiplikation nicht
kommutativ ist:
(AB)T = B T AT = BA.
Dass die Transponierte eines Produktes, das Produkt der Transponierten in umgekehrter
Reihenfolge ist (erstes Gleichheitszeichen), lsst sich mit der Definition der Matrizenmultiplikation leicht nachrechnen. Fr eine beliebige Matrix B 2 Rnn sind daher die symmetrischen
Produkte B T B und BB T symmetrisch. Auch die Matrizen BAB T und B T AB, falls wohldefiniert, sind mit symmetrischem A wiederum symmetrisch.
Beispiel 1. Um ein mglichst einfaches Beispiel zu konstruieren fr zwei symmetrische Matrizen dessen Produkt nicht symmetrisch ist, betrachten wir (2 2)-Matrizen

a11 a
d1 0
A=
,
D = diag{d1 , d2 } =
.
a a22
0 d2
Ganz allgemein werden bei einem Produkt AD mit einer Diagonalmatrix D die Spalten von
A mit den Diagonaleintrgen von D multipliziert, also (AD)(i) = di A(i) , whrend bei DA
die Zeilen entsprechend multipliziert werden. Whlen wir also im Beispiel oben d1 6= d2 , z.B.
d1 = 0 und d2 = 1, so finden wir

0 a
0 0
AD =
,
DA =
.
0 a22
a a22
Fr a 6= 0 haben wir also eine Instanz mit (AD)T = DT AT = DA 6= AD gefunden.
Fr Matrizen A 2 Cnn bercksichtigen wir zustzlich die Imaginrteile und nennen eine
Matrix mit A = AT hermitsch.
spd-Matrizen
Eine symmetrische Matrix A 2 Rnn heit positiv semidefinit, falls xT Ax
0 fr alle x 2
n
T
n
R ist. Gilt zustzlich x Ax > 0 fr alle x 2 R \{0}, so heit die Matrix positiv definit.
Ist eine symmetrische Matrix positiv definit, so nennen wir sie kurz spd-Matrix. Ist A eine
symmetrische und postiv semidefinite Matrix, so sind die Matrizen BAB T und B T AB ebenfalls
symmetrisch und positiv semidefinit:
T
xT BA B
x = y T Ay
|{z}

0,

=:y

analog fr B T AB mit Bx =: y. Diese symmetrischen Produkte sind positiv definit, falls A


eine spd-Matrix ist und aus x 6= 0 auch B T x = y 6= 0 bzw. Bx = y 6= 0 folgt. Allgemein folgt
aus x 6= 0 immer auch Cx 6= 0, wenn die Spalten von C linear unabhngig sind, wenn also C
maximalen Rang besitzt (siehe weiter unten).

KAPITEL 0. VORBEREITUNG: LINEAREN ALGEBRA

Orthogonale Matrizen
Eine Matrix Q 2 Rnn heit orthogonal, falls QQT = I gilt, also Q 1 = QT ist. Erklrung des
Namens: Ist Q(i) die i-te Zeile von Q, so gilt Q(i) QT = eTi . Da die Spalten von QT den Zeilen
von Q entsprechen und Q(i) (Q(j) )T das euklidische Skalarprodukt von Q(i) und Q(j) darstellt,
stehen also die Zeilen von Q im euklidischen Sinne orthogonal aufeinander. Kompakt lsst
sich diese Erklrung so darstellen
0
1
0
1 0
1
Q(1)
Q(1) (Q(1) )T Q(1) (Q(n) )T
1
B
C
B
C B ..
C
..
..
QQT = @ ... A (Q(1) )T | |(Q(n) )T = @
A=@
. A.
.
.
Q(n)
Q(n) (Q(1) )T Q(n) (Q(n) )T
1
Da mit Q auch QT eine orthogonale Matrix ist (QT (QT )T = QT Q = Q 1 Q = I), stehen auch
die Spalten von Q orthogonal zueinander.

Eine wichtige Eigenschaft orthogonaler Matrizen ist die Lngenerhaltung bezglicher der euklidischen Norm. Es gilt
kQxk22 = (Qx)T Qx = xT QT Qx = xT x = kxk22 .

0.1.3

Rang einer Matrix

Fr eine Matrix A 2 Rnm betrachten wir das Bild {Ax | x 2 Rm }, indem wir die Matrix
als lineare Abbildung von Rm nach Rn mit x 7! Ax interpretieren. Diese Bildmenge ist ein
Vektorraum ( Ax+Ay = A( x+y)) mit endlicher Dimension. Diese Dimension ist der Rang
der Matrix A. Wir haben weiter oben das Produkt Ax als Linearkombination der Spalten von
A interpretiert. Insbesondere ist das Bild die Menge aller mglichen Linearkombinationen und
somit die maximale Anzahl linear unabhngiger Spalten genau der Rang von A. Man beachte:
Der Rang einer Matrix kann nicht grer als die Anzahl der Zeilen sein. Tatschlich lsst sich
zeigen, dass der Rang auch der Anzahl linear unabhngiger Zeilen entspricht.
Der Rang der Matrix wv T mit Spaltenvektoren v, w ist demnach hchstens 1, da alle Spalten von wv T aus skalaren Vielfachen von w bestehen. Invertierbare (n n)-Matrizen haben
maximalen Rang n.

0.2

Eigenwerte und Eigenvektoren

Sptestens nach der Erfolgsgeschichte des PageRank-Algorithmus von Google, der auf der Berechnung eines Eigenvektors basiert, ist es klar, dass es lohnenswert ist, sich mit der Berechnung von Eigenwerten und Eigenvektoren zu beschftigen. Gilt fr A 2 Rnn die EigenwertEigenvektor-Gleichung
Av = v
fr einen Spaltenvektor v 6= 0 und ein Skalar , so heit v ein Eigenvektor (EV) von A zum
Eigenwert (EW) . Fr v = 0 ist die Gleichung unabhngig von immer gltig. Tatschlich

KAPITEL 0. VORBEREITUNG: LINEAREN ALGEBRA

knnen v und auch komplexwertig sein. Die Menge der EWe von A heit Spektrum von A
und wird mit (A) bezeichnet.
Fr eine invertierbare Matrix gilt Av 6= 0 fr alle v 6= 0, da aus durch die Multiplikation mit
der Inversen von links aus Av = 0 immer v = 0 folgt. Daher ist A genau dann invertierbar,
wenn 0 kein Eigenwert der Matrix ist. Die EW-EV-Gleichung lsst sich quivalent schreiben
als
(A

I)v = 0

fr v 6= 0. Nach den berlegungen oben muss also A


I nicht invertierbar sein, damit ein zugehriger EV existiert. Mit Hilfe der Determinante ist dies genau der Fall, wenn
det(A
I) = 0. Dieser Ausdruck ist ein Polynom vom Grad kleiner gleich n in , das sogenannte charakteristische Polynom. Dies spielt in der Numerik aber eine untergeordnete Rolle,
da die Berechnung der Nullstellen eines Polynom als uerst schwer kontrollierbares Problem
gilt. Tatschlich werden EWe und zugehrige EVen durch Algorithmen berechnet, die auf
der EW-EV-Gleichung beruhen. Wir werden aber das charakteristische Polynom zusammen
mit dem Determinanten-Multiplikationssatz benutzen, um eine wichtige Aussage ber hnliche Matrizen zu begrnden. Dabei heien zwei Matrizen A, B 2 Rnn hnlich, wenn eine
invertierbare Matrix S 2 Rnn mit
A = SBS

existiert. Insbesondere gilt dann auch A


I = S(B
Multiplikationssatz (det(AB) = det A det B) folgt
det(A

I) = det(S(B

I)S

) = det S det(B

I)S

und mit dem Determinanten-

I) det S

= det(B

I).

Also haben hnliche Matrizen die gleichen EWe.


Bei oberen und unteren Dreiecksmatrizen, also insbesondere bei Diagonalmatrizen, stehen die
EWe auf der Hauptdiagonalen.
Symmetrische Matrizen A 2 Rnn haben nur reelle EWe. Denn es gilt mit einem normierten
EV v:
=

v T v = ( v)T v = (Av)T v = v T Av = v T v = v T v = .
|{z}
=1

Zudem existiert fr eine symmetrische Matrix A eine orthogonale Matrix Q 2 Rnn bestehend
aus EVen von A mit D = QAQT , wobei D eine Diagonalmatrix ist. Beachtet man, dass
QT = Q 1 , so stehen auf der Hauptdiagonalen der Matrix D genau die EWe von A. Man sagt:
Eine symmetrische Matrix ist orthogonal diagonalisierbar. Der Beweis dieser Aussage kann
zum Beispiel induktiv gefhrt werden und lsst sich in jedem Buch ber die Linearen Algebra
finden.

KAPITEL 0. VORBEREITUNG: LINEAREN ALGEBRA

0.3

Normen und Skalarprodukte

Eine Funktion k k : Rn ! R heit eine Norm auf Rn , wenn gilt


1. positive Definitheit: kxk

0 und (kxk = 0 , x = 0),

2. Dreiecksungleichung: kx + yk kxk + kyk,


3. Homogenitt: k xk = | |kxk

Pn
fr alle Vektoren x, y 2 Rn undp 2 R. Wichtige Beispiele sind die 1-Norm kxk1 =
i=1 |xi |,
Pn 2
die euklidische Norm kxk2 =
i=1 xi und die Maximumsnorm kxk1 = maxi=1,...,n |xi |.
Eine Funktion h, i : Rn Rn ! R heit (euklidisches) Skalarprodukt, wenn
1. Linearitt in 2. Komponente: hx, y + zi = hx, yi + hx, zi,
2. Symmetrie: hx, yi = hy, xi,
3. positive Definitheit: hx, xi

0 und (hx, xi = 0 , x = 0)

fr alle Vektoren x, y, z 2 Rn und , 2 R gilt. Mit der Symmetrie folgt auch die Linearitt in
der ersten Komponente: h x + y, zi = hx, zi + hy, zi. Zwei Vektoren x, y heien orthogonal
bezglich des Skalarproduktes h, i, falls hx, yi = 0 gilt.
Mit einem Skalarprodukt definieren wir
kxk :=

hx, xi

fr x 2 Rn . Die so definierte Funktion k k : Rn ! R ist eine Norm auf Rn , die durch h, i


induzierte Norm. Fr solche Normen gilt die Cauchy-Schwarz-Ungleichung
|hx, yi| kxkkyk
fr alle x, y 2 Rn .
Es gibt einen sehr engen Bezug zwischen euklidischen Skalarprodukten auf Rn und spdMatrizen. Die Eigenschaften die ein Skalarprodukt ausmachen sind die Linearitt in jeder
Komponente, die Symmetrie und die positive Definitheit. Tatschlich lsst sich zeigen, dass
jedes euklidische Skalarprodukt h, i des Rn mit Hilfe einer spd-Matrix A 2 Rnn ausgedrckt
werden kann:
hx, yi = xT Ay.

Kapitel 1

Lineare Gleichungssysteme I

Lineare Gleichungssysteme
Gesucht: Lsung von
Ax = b
mit

Problem: Fr eine vorgegebene (n n)-Matrix A, typischerMatrixLsungsvektor


A,
weise n sehr gro, und rechte Seite b finde
x
rechte Seite b,
mit
Lsungsvektor x.

x = b

Ax = b
oder ausfhrlich
a11 x1 + a12 x2 + . . . + a1n xn = b1
a21 x1 + a22 x2 + . . . + a2n xn = b2
..
..
..
..
.
.
.
.
an1 x1 + an2 x2 + . . . + ann xn = bn ,
1

wobei wir mit aij das Element von A in der i-ten Zeile und j-ten Spalte bezeichnen. Das Lsen linearer Gleichungssysteme kann als wichtigstes Grundproblem der Numerik bezeichnet
werden. Viele komplexere Algorithmen fr komplexere Probleme, weisen als Teilschritt das
Lsen solcher Systeme auf.
Fragen: Wann hat das Problem eine (eindeutige) Lsung? Wenn eine Lsung existiert, wie
berechnet man diese?
Satz 1 (Existenz einer eindeutigen Lsung). Das Problem besitzt genau dann eine eindeutige Lsung x , wenn A invertierbar ist. Die Lsung ist in diesem Fall gegeben durch
x = A 1 b.

Bemerkung 1. Die Darstellung von x mit Hilfe der Inversen A 1 dient lediglich der theoretischen Aussage des Satzes. In der Praxis wird die Inverse nicht berechnet.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

Wiederholung: Eine quadratische Matrix A heit invertierbar, falls A


0
1
1 0 0
. . . .. C
B
.C
B0 1
1
1
A A = A A = I = B. .
C.
.
. . 0A
@ .. . .
0 0 1

existiert mit

Aus der Linearen Algebra ist das Gausche Eliminationsverfahren bekannt, welches genutzt
wird, um das Gleichungssystem Ax = b zu lsen.

1.1

LR-Zerlegung

Sei A im Folgenden invertierbar, also das lineare Gleichungssystem eindeutig lsbar. Will man
Gleichungssysteme mit mglicherweise verschiedenen rechten Seiten b(j) aber identischem A,
also
Ax = b(j) ,

j = 1, 2, . . .

nacheinander lsen, so empfiehlt es sich, die elementaren Zeilenoperationen, welche die GauElimination ausmachen, nicht immer wieder erneut auf A anzuwenden. Stattdessen wendet man sie nur einmal an und sammelt sie in einer Matrix L. Dabei werden die GauEliminationen so ausgefhrt, dass am Ende ein Gleichungssystem der Form Rx = y mit
oberer Dreiecksmatrix R zu lsen ist. Dazu ein Beispiel:
Beispiel 2. Suche Lsung von
0
1
@
A := 2
3
Gau-Elimination liefert:
2
3
1
3 2 2 | 2
42
8 5 45
3
11 11 14

Ax = b mit
1
3 2
8 5 A,
11 11
|

3
+

Die Lsung von

1
@0
0

0 1
2
@
b = 4 A.
14
2

1
40
0

3
3 2 2
2 1 05 |
2 5 8

1
0 1
3 2
2
A
@
2 1 x = 0A
0 4
8

1
+

1
40
0

3
3 2 2
2 1 05
0 4 8

lsst sich rckwrts, also von der letzten Unbekannten x3 beginnend, leicht ermitteln: x3 = 2,
damit x2 = 1 und schlielich x1 = 1.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

10

Was lernen wir aus diesem Beispiel? Zum einen scheint es sehr sinnvoll zu sein, das ursprngliche Gleichungssystem in ein Gleichungssystem mit oberer Dreiecksmatrix zu berfhren.
Denn dies lsst sich leicht von hinten, sprich rckwrts, lsen. Diesen Vorgang nennt man
Rckwrtssubstitution (siehe weiter unten fr eine ausfhrliche Darstellung). Andererseits
T
mssten wir bei einer neuen rechten Seite, zum Beispiel b = 3 5 15 , die Elimination ein
weiteres Mal durchfhren, wenn wir uns die elementaren Zeilenoperationen nicht merken. Im
brigen wurden bei dem Beispiel nur obere Zeilen auf untere addiert, um so die entsprechende
Unbekannte/Variable aus den unteren Gleichungen zu eliminieren. Wir finden unabhngig
von der rechten Seite:
0
10
1 0
1
1 0 0
1
3 2
1
3 2
@ 2 1 0A @2
8 5 A = @0
2 1A .
3 0 1
3
11 11
0
2 5
|
{z
}
=:L1

Jetzt ist die Unbekannte x1 aus den unteren


mit x2 und der unteren Gleichung:
0
10
1 0 0
1
3
@0 1 0A @0
2
0
1 1
0
2
|
{z
}
=:L2

Gleichungen eliminiert. Dasselbe versuchen wir


1 0
2
1
A
@
1 = 0
5
0

1
3 2
2 1A =: R
0 4

Insgesamt gilt also L2 L1 A = R bzw. quivalent mit L := L1 1 L2 1 auch


0
1
1 0 0
A = L1 1 L2 1 R = LR,
L = @2 1 0 A .
3 1 1

Die entscheidende Beobachtung liegt darin, dass die Eintrge der unteren Nebendiagonalen
von L genau die in Beispiel 2 benutzten Faktoren mit umgekehrten Vorzeichen sind. Die
elementaren Zeilenoperationen, genauer die Addition oberer Zeilen auf untere, ist nun in der
Matrix L gespeichert, wobei L eine untere Dreiecksmatrix mit Einsen auf der Hauptdiagonalen
ist. Eine allgemeinere Begrndung dafr werden wir weiter unten geben. Fr eine beliebige
rechte Seite lsen wir damit zunchst das einfache System Ly = b und anschlieend Rx = y,
wodurch eine Lsung des Ausgangsproblems Ax = b gefunden ist:
Ax = LRx = Ly = b.
Fr eine neue rechte Seite b wiederholen wir den Vorgang: Lse Ly = b und dann Rx = y.
Wir haben das Lsen von Ax = b fr beliebige Matrix A in zwei leicht zu lsende Gleichungssysteme mit Dreiecksmatrizen zerlegt und knnen fr beliebige rechte Seiten entsprechende
Gleichungssysteme ezient lsen.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

1.1.1

11

Vorwrts- und Rckwrtssubstitution

Systeme der Form


r11 x1 + r12 x2
r22 x2

+
+
...
rn

+
+

1,n 1 xn 1

r1n xn
r2n xn
..
.

=
=

y1 ,
y2 ,
..
.

+ rn 1,n xn = yn 1 ,
rnn xn = yn ,

@
@

R x =y

@
@

kurz Rx = y mit oberer Dreiecksmatrix R, lassen sich leicht von unten nach oben lsen
Letzte Zeile: xn = yn /rnn ,
Vorletzte Zeile: xn

i-te Zeile: xi = yi

= (yn

rn

1,n xn ) /rn 1,n 1 ,

r
x
j=i+1 ij j /rii

Pn

falls alle Diagonalelemente rii 6= 0 sind. Man nennt dieses Vorgehen Rckwrtssubstitution.
Eine mgliche Formulierung der Rckwrtssubstitution im Pseudo-Code lautet
input : R, y
output: x
xn = yn /rnn ;
for i = n 1, . . . , 1 do
sum = rin xn ;
for j = i + 1, . . . , n 1 do
sum = sum + rij xj ;
end
xi = (yi sum)/rii ;
end
Der Hauptaufwand des Algorithmus liegt im Aufwand der doppelten For-Schleife. Im Inneren
dieser Schleife wird jeweils einmal multipliziert und einmal addiert. Da auch im Folgenden sehr
hufig Multiplikation und Addition jeweils als Paar auftreten, wollen wir ein solches Paar als
eine Operation zusammenfassen. Insgesamt haben wir demnach eine Operation im Inneren
der doppelten For-Schleife auszufhren. Der dominierende Teil des
PGesamtaufwandes ergibt
sich somit durch die Anzahl der Schleifendurchlufe, also durch ni=12 i. Wir ignorieren die
bezglich n lineare Anzahl von Divisionen und bercksichtigen die n 1 vielen Operationen
der ueren Schleife. Insgesamt erhalten wir also
n 1
X
i=1

viele Operationen.

i=n

1
2

n2

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

12

Systeme der Form


l11 y1
l21 y1
..
.

+ l22 y2

ln 1,1 y1 +
ln1 y1 +

...

=
=

..

b1 ,
b2 ,
..
.

.
+ ln 1,n 1 yn 1
= bn 1 ,
+ ln,n 1 yn 1 + lnn yn = bn ,

@
L@

@
@

y = b

kurz Ly = b mit unterer Dreiecksmatrix L, lassen sich im Fall lii 6= 0 fr alle i analog durch
die sogenannte Vorwrtssubstitution lsen (siehe bung). Dabei betrgt der Aufwand der
2
Vorwrtssubstitution ebenfalls n2 .

1.1.2

Existenz der LR-Zerlegung

Wir gehen von einer invertierbaren Matrix A 2 M (n n, R) aus. Ist a11 6= 0, so wird durch
Multiplikation der Matrix A von links mit
0
1
1
B l21 1
C
ak1
B
C
L1 = B ..
lk1 =
,
C,
.
.
a11
@ .
. A
ln1
1

die Variable x1 aus den unteren Zeilen eliminiert. Hier und im Folgenden sind alle nicht
spezifizierten Elemente der Matrix 0. In diesem Fall ist a11 das sogenannte Pivotelement.
Ist aber a11 = 0, so muss man vorher eine untere Zeile mit der ersten tauschen, um dann
ein Pivotelement ungleich 0 zu erhalten. Dieses Vorgehen ist bei einer invertierbaren Matrix
immer mglich. Wir erhalten A(1) := L1 P1 A, genauer
0 (1) (1)
(1) 1
a11 a12 a1n
B 0 a(1) a(1) C
B
22
2n C
(1)
A =B .
..
.. C
@ ..
.
. A
0

(1)

an2

(1)

ann ,

wobei P1 = In gilt, falls nicht vertauscht werden musste. Jetzt geht man analog fr die
(1)
Variable x2 vor, indem man zunchst prft, ob a22 ungleich Null ist oder nicht. Sind bereits
k Eliminationsschritte durchgefhrt, d.h. A(k) := Lk Pk A(k 1) = Lk Pk Lk 1 Pk 1 . . . L1 P1 A,
so liegt folgende Struktur vor:
0 (k)
1
(k)
(k)
(k)
a11 a1k
a1,k+1 a1n
B
..
..
.. C
B 0 ...
.
.
. C
B
C
B ..
. . . (k)
(k)
(k) C
B
.
a
a

a
kk
k,k+1
k,n C
A(k) = B
C.
(k)
(k)
B 0
C
0
a

a
k+1,k+1
k+1,n
B
C
B ..
..
..
.. C
@ .
.
.
. A
(k)
(k)
0
0
an,k+1 an,n

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

13

(k)

Ist ak+1,k+1 = 0 so tauschen wir eine weiter unten liegende Zeile mit der (k + 1)-ten Zeile mit
(k)

Hilfe einer Zeilenvertauschung Pk+1 . Ist bereits ak+1,k+1 6= 0, so knnen wir dieses Element als
Pivotelement whlen (dann Pk+1 = In ) und eliminieren durch Multiplikation von links mit
0

Lk+1

B
B
B
B
=B
B
B
@

..

.
1
lk+2,k+1 1
..
..
.
.
ln,k+1

C
C
C
C
C,
C
C
A

(k)

li,k+1 =

a
i,k+1
(k)

a
k+1,k+1

(k)

wobei a
ij die Elemente von Pk+1 A(k) sind. Wir erhalten schlielich R = Ln 1 Pn

1 . . .L1 P1 A.

Satz 2 (ber die LR-Zerlegung). Sei A invertierbar. Dann existiert eine (nicht eindeutige) Permutationsmatrix P derart, dass eine bzgl. P eindeutige Dreieckszerlegung
P A = LR
mglich ist, wobei R eine obere und L eine untere Dreiecksmatrix ist. Zustzlich sind die
Elemente auf der Hauptdiagonalen von L alle 1.
Beweis. Die Gau-Elimination liefert, wie oben beschrieben,
R = L n 1 Pn

. . . L1 P1 A.

Wir wollen nun die Matrizen L und die Permutationsmatrizen trennen und fgen hierzu
Identitten der Form I = P P (Beachte hierzu: Falls P eine Permutationsmatrix ist, welche
zwei Zeilen tauscht, ist P = P 1 .) ein
R = L n 1 Pn 1 L n

P n 1 Pn 1 P n 2 L n
| {z }

=I

L 2 P3 . . . Pn 1 P n
|
{z
=I

n 1L
n
=L

1 Pn
... L
|

Pn 2 Pn 1 Pn 1 P n 2 P n
|
{z
}

...

=I

. . . P3 P2 L 1 P2 . . . Pn 1 P n
}
|
{z
=I

. . . P1 A
{z
}

. . . P2 P1 A
}

=:P

n 1 := Ln 1 und L
k := Pn 1 . . .Pk+1 Lk Pk+1 . . .Pn 1 fr k = n 2, . . . , 1. Die Matrizen
mit L
k sind von der gleichen Form wie die Lk , wobei die Eintrge ljk bis auf Permutation genau
L
den ljk entsprechen, womit der Satz bewiesen ist.
Fr den Beweis untergeordnete, aber fr die Praxis wichtige Beobachtungen sind (ohne Dach

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

14

auf dem L) einerseits


0

B
B
B
B
Lk = B
B
B
@

...
1
lk+1,k 1
..
...
.
ln,k
1

und andererseits

C
C
C
C
C,
C
C
A

L = L 1 1 . . . Ln 1 1

Lk 1

1
B l21
B
= B ..
@ .

...

B
B
B
B
=B
B
B
@

1
..
.

..

ln1

ln,n

1
lk+1,k 1
..
...
.
ln,k
1
1

.
1

C
C
C,
A

wobei es hier auf die Reihenfolge der Matrizen entscheidend ankommt. Somit
Eintrge der Matrix L, welche ja im Prozess der Gau-Elimination auftreten,
Vorzeichen direkt an die richtige Stelle von L geschrieben werden. Tatschlich
Eintrge auch kompakt an die Stellen von A geschrieben werden, wo gerade die
standen sind. Dies sieht man am besten an Beispielen:
Beispiel 3.
Ohne Zeilenvertauschung: Wir zerlegen die
0
1
A = @3
2
2
3
1 4
1 | ( 3)
43 0 5 5
+
2 2 1
2

Also

1
43
2

4
12
6
0

3
1
8 5 | (
3

1
1 0 0
L = @3 1 0 A ,
2 12 1

1
)
2
+

Matrix
1
4
1
0 5A
2 1
2
1 4
43
12
2 2
2

1
43
2

3
1 | ( 2)
85
1
4
12
1
2

C
C
C
C
C
C
C
A

1
@
R= 0
0

3
1
85
1

4
12
0

1
1
8 A.
1

knnen die
bis auf das
knnen die
Nullen ent-

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

15

Mit Zeilenvertauschung: Wir zerlegen die Matrix


0
1
0 4
1
A = @2 2 1 A .
1 1 5

Um die Permutationen gut bercksichtigen zu knnen, schreiben wir einen Vektor der
Zeilennummern vor die Matrix. Bei jeder Vertauschung werden die Elemente dieses
Vektors ebenfalls vertauscht.
2 3 2
3
2 3 2
3
1
0 4
1
3
1 1 5
| ( 2)
425 42 2 1 5
425 42 2 1 5
+
3
1 1 5
1
0 4
1

Also

2 3 2
3
1 1
425 42 0
1
0 4

1
1 0 0
L = @0 1 0 A ,
2 0 1

3
5
95
1

2 3 2
3
1 1
415 40 4
2
2 0

1 1
@
R= 0 4
0 0

1
5
1A ,
9

3
5
15
9

0
1
0 0 1
P = @1 0 0A .
0 1 0

Die Zeilen der Permutationsmatrix ergeben sich dann durch die Standardeinheitsvektoren
ej mit den Indizes aus dem Permutationsvektor vor der Matrix. Aufgepasst: Bei Zeilenvertauschungen werden die bisher errechneten Eintrge der Matrix L (jedoch nicht die Einsen
auf der Hauptdiagonalen) mit vertauscht, wie im Beispiel durchgefhrt. Dies entspricht dem
im Beweis von Satz 2.
Zusammenhang von L und L
Bemerkung 2. Neben der Vertauschung von Zeilen und dem Addieren oberer Zeilen auf
untere haben wir keine weitere elementare Zeilenoperation verwendet. Insbesondere auf das
Durchmultiplizieren bzw. Skalieren von Zeilen haben wir in diesem Abschnitt bei der LRZerlegung verzichtet. Genau aus diesem Grund erhalten wir auf der Hauptdiagonalen der
Matrix L die Einsen, eine Eigenschaft, die beim Speichern dieser Matrix von Vorteil ist, da
diese Eintrge dann nicht zustzlich abgespeichert werden mssen. Einem Computer verschat
das Skalieren einer Zeile ohnehin keinen Vorteil.
Aufgabe 1. Berechnen Sie die LR-Zerlegung der Matrix
0
1
1
6
8 12
B1
2
3
4C
C.
A=B
@0
2 5
4A
2
2
5
5

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

16

Algorithmus:
1. Bestimme Matrizen P, L und R gem Satz 2 mit P A = LR durch Gau-Elimination.
2. Lse Ly = P b (Vorwrtssubstitution, vgl. bung).
3. Lse Rx = y (Rckwrtssubstitution).
Rechenaufwand der LR-Zerlegung: Wenn wir genau wissen, welchen Aufwand der erste
Eliminationsschritt bentigt, so knnen wir den Gesamtaufwand daraus leicht ermitteln, da
weitere Eliminationsschritte dem ersten mit kleinerer Dimension des Problems entsprechen.
Bei der Berechnung von A(1) aus A bentigen wir n 1 Divisionen und (n 1)2 Multiplikationen
und Additionen, also Operationen. Bei Vernachlssigung der Divisionen ergibt dies einen
Gesamtaufwand von
n 1
X

j =

(n

j=1

1)n(2n
6

1)

n3

Operationen. Die Gesamtanzahl der Divisionen ist nur quadratisch in n. Wir halten fest:
Die Hauptarbeit des Algorithmus liegt somit in der Berechnung der LR-Zerlegung, da die
Vorwrts- bzw. Rckwrtssubstitution nur n2 /2 viele Operationen bentigt.
Speicherplatz: Da Elemente mit den sicheren Werten 0 und 1 nicht notwendigerweise gespeichert werden mssen, lsst sich das Gausche Eliminationsverfahren bei Speicherung der
Permutationsmatrix in einem Vektor mit n(n + 1) Speicherpltzen realisieren. Die relevanten
Eintrge der Frobenius-Matrizen knnen im Array der Matrix A bzw. A(k) gespeichert werden.
Die Projektionsmatrix P kann durch weitere n Speicherpltze reprsentiert werden.
(k 1)

Spaltenpivotwahl: Selbst wenn a11 6= 0 bzw. im k-ten Schritt akk


6= 0 gilt, kann eine
Zeilenvertauschung sinnvoll sein. Bei der Spaltenpivotwahl whlt man als Pivotelement im
(k 1)
k-ten Schritt das Element ajk
mit
(k 1)

|ajk

(k 1)

| = max |aik
kin

|.

Dies fhrt zu
|lij | 1 fr alle i, j
und somit zu einer besseren Stabilitt des Verfahrens (zur Stabilitt: siehe unten).
Zwei Beispiele, die das weitere Vorgehen motivieren:

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

17

Beispiel 4. (zur Kondition des Problems) Gegeben sei das Gleichungssystem Ax = b mit

1
1
4
A=
,
b=
.
1 1
4
Die Lsung ist oenbar

3
x=
.
1
Ersetzen wir die rechte Seite durch
b =

4+
4 2

b,

wobei 0 < 1 sehr klein ist, so erhalten wir die Lsung

1+
x =
.
3
Das Beispiel macht deutlich, dass kleine Strungen der Eingabedaten zu groen nderungen in der Lsung fhren knnen. Aber wie klein ist klein und wie gro ist gro? Um den
Einfluss von diesen Strungen auf die Lsung messen zu knnen, beschftigen wir uns weiter
unten mit Normen.
Wichtige Frage: Wie wirken sich Strungen der Eingabegren (hier A und b) auf die Lsung unabhngig vom gewhlten Algorithmus aus? (Kondition des Problems)
Beispiel 5. (zur Stabilitt der Gau-Elimination) Wir lsen das Gleichungssystem


5 10 3 1
x1
0.5
=
1
1
x2
1
in zweistelliger Gleitpunktrechnung, wobei wir als Pivotelement
a) das Element a11 = 5 10 3 whlen. Nach einem Schritt des Gauschen Eliminationsverfahrens erhalten wir das System

5 10 3
1
x1
0.5
=
0
200
x2
99
mit Lsung x = (0, 0.5)T .
b) das Element a21 = 1 whlen. Wir erhalten nun nach Vertauschung der Zeilen und der
Gau-Elimination


1 1
x1
1
=
0 1
x2
0.5
mit Lsung x = (0.5, 0.5)T .

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

18

Beachte, dass fr die exakte Lsung des Gleichungssystems gilt:


100

0.503
199
x = 99
.
0.497
199
Erklrung: Falls |l21 | gro ist (hier 2 102 ), gilt gem der Gau-Elimination
(1)

l21 a12

a22 = a22
(1)

b2 = b2

l21 a12

l21 b1

l21 b1

und somit auch


(1)

x2 =

b2

(1)
a22

b1
.
a12

Bei der Berechnung von x1 kommt es demnach zur Stellenauslschung (vgl. bungen):
x1 =

b1

a12 x2
a11

Der Ausweg hier ist ein Zeilentausch, d.h. die Anwendung der Spaltenpivotwahl. Wir knnen
bei dieser Wahl |l21 | 1 bzw. allgemeiner |lij | 1 fr alle i, j garantieren. Tatschlich kann
aber auch bei der Gau-Elimination mit Spaltenpivotwahl die ungnstige oben beschriebene
Situation auftreten.
Wichtige Frage: Wie wirken sich Rundungsfehler, welche whrend der Durchfhrung eines
bestimmten Algorithmus entstehen, auf die Berechnung der Lsung aus? (Stabilitt des Algorithmus)

1.2
1.2.1

Einschub: Gleitkommarechnung, Matrixnormen


Gleitkommarechnung

Die Menge der im Computer darstellbaren reellen Zahlen ist oenbar endlich. Bei der heute
blichen normalisierten Gleitkommadarstellung (engl. floating point representation) wird eine
Zahl dargestellt durch
z = a de ,
wobei die Basis d eine Zweierpotenz ist (in der Regel 2,8,16) und der Exponent e eine ganze
Zahl mit
emin e emax .

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

19

Die sogenannte Mantisse a ist entweder 0 oder eine Zahl mit d


a=v

l
X

|a| < 1 der Form

ai d i ,

i=1

wobei ai 2 {0, . . . , d 1} gilt, v das Vorzeichen ist und l die Mantissenlnge bezeichnet. Die
Bedingung a1 6= 0, welche quivalent zu d 1 |a| ist, definiert die Normierung der Darstellung. Die Mantissenlnge ist fr die relative Genauigkeit der Darstellung verantwortlich. Jede
Zahl x 6= 0 mit
demin 1 |x| demax (1 d l )
lsst sich nach Rundung durch eine Gleitkommazahl rd(x) darstellen: Sei
x = v(0.a1 a2 . . . al al+1 . . .)de
mit a1 6= 0 und ai 2 {0, . . . , d

1}. Wir definieren


rd(x) = v a0 de

mit
0

a :=

0.a1 a2 . . . al ,
0.a1 a2 . . . al + d l ,

falls 0 al+1 <


falls al+1 d2 .

d
2

Oensichtlich gilt
|x

rd(x)| |x

g|

fr alle anderen durch den Computer darstellbare Zahlen (Maschinenzahlen) g.


Fr den relativen Fehler von rd(x) gilt:
|x

rd(x)|
d d (l+1)
d

d
|x|
2 |a|
2

Wir bezeichnen die Zahl eps := d


Gleichung (1.1) ist quivalent zu

(1 l)

d(1 l)
.
2

(1.1)

als die (relative) Maschinengenauigkeit.

rd(x) = x(1 + )

mit || eps .

(1.2)

Falls |x| kleiner als die betragsmig kleinste Maschinenzahl demin 1 ist, spricht man von Exponentenunterlauf (engl. underflow), im Fall |x| > demax (1 d l ) von Exponentenberlauf
(engl. overflow).
Beispiel 6 (Double precision). Bei doppelter Genauigkeit (double precision) stehen 8 Byte,
also 64 Bit, fr die Darstellung einer Gleitkommazahl zur Verfgung. Es gilt d = 2. Dabei
ist ein Bit fr das Vorzeichen reserviert, 52 Bit fr die Mantisse und 11 fr den Exponenten.
Es knnen daher (positive) Zahlen zwischen ungefhr 10 308 und 10308 mit einer relativen
Genauigkeit von ungefhr 16 dezimalen Nachkommastellen dargestellt werden.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

20

Das Resultat einer arithmetischen Operation x y, x y, x/y muss keine Maschinenzahl sein,
selbst wenn es x und y sind. Fr 2 {+, , , /} definieren wir die sogenannten Gleitkommaoperationen fr zwei Maschinenzahlen x und y durch
x y := rd(x y).
Oenbar gilt mit (1.2) ebenso
x y = (x y)(1 + ),

|| eps .

Bemerkung 3.
(i) Die Gleitkomma-Realisierung von 2 {+, , , /} ist im Allgemeinen nicht assoziativ,
d.h. es kommt auf die Reihenfolge der auszufhrenden Operationen an.
(ii) Fr eine Maschinenzahlen y gilt:
y = 1, falls |y| < eps .
1+
Denn die nchstgrer Maschinenzahl zu 1 = 0, 10 . . . 00 d ist
0, 10 . . . 01 d = 1 + d

d = 1 + d1

= 1 + 2 eps .

Wir erhalten somit eine sehr anschauliche Definition der relativen Maschinengenauigkeit
als die kleinste positive Maschinenzahl, welche auf 1 addiert, eine Maschinenzahl grer
1 ergibt.
(iii) Fr d = 2 braucht bei normierten Gleitkommazahlen die erste Nachkommastelle nicht
gespeichert werden, da sie immer 1 ist. Wir knnen daher bei doppelter Genauigkeit
(siehe Beispiel 6) die 52 Bit der Mantisse tatschlich auf die Stellen 2 bis 53 verteilen und
so eine hhere relative Genauigkeit erreichen. Mit diesem Trick lsst sich sogar die Zahl
1 + eps als Maschinenzahl darstellen und eps /2 ist die kleinste positive Maschinenzahl,
welche auf 1 addiert, eine Maschinenzahl grer 1 ergibt.

1.2.2

Matrixnormen

Ziel: Wir wollen Fehler und Abweichungen von Vektoren und Matrizen messen, d.h. die
Gre eines Vektors oder einer Matrix durch eine Zahl beschreiben.
Jede Norm auf Rnn heit Matrixnorm. Von besonderem Interesse sind Matrixnormen, die zu
einer gegebenen Vektornorm passen, d.h. es gilt
kAxk kAkkxk

(1.3)

fr alle x 2 Rn und A 2 Rnn . Solche Normen sind hilfreich zur Herleitung von Abschtzungen.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

21

Definition 1 (zugehrige Matrixnorm). Sei k.k eine beliebige Norm auf Rn . Dann definieren wir die zugehrige Matrixnorm auf dem Raum der quadratischen (nn)-Matrizen
durch
kAk := sup
x6=0

kAxk
fr A 2 Rnn .
kxk

Oenbar gilt fr Matrixnormen der Definition 1 Ungleichung (1.3), wobei kAk die kleinste
Zahl mit dieser Eigenschaft ist. Des Weiteren ist durch diese Matrixnorm tatschlich eine
Norm im Sinne von Definition ?? gegeben, d.h. es gelten die Eigenschaften (i)-(iii). Zustzlich
gilt
kIk = 1,
kA Bk kAk kBk.
Diese Abschtzung wird die Submultiplikativitt der Matrixnorm genannt. Eine wichtige
Beobachtung ist, dass die Matrixnorm aus Definition 1 von der speziellen Wahl der Norm auf
Rn abhngt:
Satz 3. Sei A eine quadratische (n n)-Matrix. Es gilt:
(i) kAk1 = max

j=1,...,n

(ii) kAk2 =

n
X

|aij | (Spaltensummennorm),

grter EW von AT A (Spektralnorm),

(iii) kAk1 = max

i=1,...,n

1.3

i=1

n
X
j=1

|aij | (Zeilensummennorm).

Kondition linearer Gleichungssysteme

Wir wollen nun Normen benutzen, um bei einem linearen Gleichungssystem


Ax = b
den Einfluss von Abweichungen (Strungen) der Eingabegren A und b auf die Lsung x
abzuschtzen.
Strungen der rechten Seite: Sei x die Lsung des gestrten Systems, in welchem b durch
b ersetzt ist, also
A
x = b,

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

22

so gilt
x = A 1 b

A 1b = A 1 (b

b)

und somit die Abschtzung der absoluten Abweichung


kx xk = kA 1 (b
| {z }

b)k kA 1 kkb

bk.

(1.4)

absolute Abweichung
von x
zu x gemessen
in der Norm k.k.

Eine weitere aussagekrftige Gre ist die relative Abweichung von x zu x. Mit Abschtzung
(1.4) folgt:
kx xk
kbkkA 1 k kb bk

.
kxk
kxk
kbk
| {z }
| {z }

relative Abweichung
von x
zu x gemessen
in der Norm k.k.

Mit kbk = kAxk kAkkxk gilt:

relative Strung
der rechten Seite.

kx xk
kb bk
kAkkA 1 k
.
kxk
kbk

(1.5)

Definition 2 (Kondition einer Matrix). Wir nennen


cond(A) := kAkkA 1 k
die Konditionszahl der Matrix A.

Bemerkung 4. Ungleichung (1.5) macht deutlich: Die Konditionszahl von A ist ein Ma
der Sensitivitt des relativen Fehlers gegenber relativen Strungen der rechten Seite b. Diese
Sensitivitt scheint umso geringer desto kleiner cond(A) ist. Dabei ist die Konditionszahl der
Matrix A tatschlich nur eine obere Schranke dieser Sensitivitt und es gilt:
1 = kIk = kAA 1 k kAkkA 1 k = cond(A).
Fr reelles A = a ist die Konditionszahl minimal gleich 1.
Eigenschaften der Konditionszahl:
cond(A) = cond(A), 2 R\{0}
maxkyk=1 kAyk
cond(A) =
minkzk=1 kAzk

(1.6)

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

23

Die zweite Eigenschaft lsst sich folgendermaen einsehen. Nach Definition der zugehrigen
Matrixnorm und der Homogenitt der Norm gilt
kAk = sup
x6=0

kAxk
x
= sup A
,
kxk
kxk
x6=0

d.h. wir knnen uns bei der Definition auf normierte Vektoren beschrnken. Zudem ist die
Einheitskugel eine kompakte Menge und die Norm eine stetige Abbildung. Also wird das
Supremum als Maximum angenommen. Daher gilt:
kAk = sup kAxk = max kAxk.
kxk=1

kxk=1

Wir argumentieren analog fr kA 1 k, wobei wir zustzlich ausnutzen, dass mit x 6= 0 auch
A 1 x = z die ganze Menge Rn \{0} durchluft, wenn A invertierbar ist:
kA 1 k = sup
x6=0

kA 1 xk
kzk
1
1
= sup
= max
=
.
kzk=1 kAzk
kxk
minkzk=1 kAzk
z6=0 kAzk

Bemerkung 5. Mit Gleichung (1.6) lsst sich die Kondition auch fr nicht quadratische Matrizen formulieren.
Wir wollen nun noch die Kondition von symmetrischen Matrizen bezglich der 2-Norm bestimmen. Dazu wiederholen wir zunchst grundstzliche Eigenschaften symmetrischer Matrizen:
Eine reelle Matrix heit symmetrisch, falls AT = A. Eigenwerte symmetrischer Matrizen sind
alle reell. Denn mit einem bezglich des Standardskalarproduktes normierten zugehrigen
Eigenvektors x 2 Cn gilt:
=

xT x = xT x = xT Ax
|{z}
=1

= x A x = (Ax)T x = ( x)T x =

xT x = .
|{z}
=1

Zudem lsst sich eine symmetrische Matrix orthogonal diagonalisieren, d.h. es existiert eine
orthogonale Matrix U , also U 1 = U T , mit
U AU T = D,
wobei D eine diagonale Matrix mit den Eigenwerten von A auf der Hauptdiagonalen ist. Damit erhalten wir:
Lemma 1 (ber den Rayleigh-Quotienten). Fr eine symmetrische Matrix A mit kleinstem und grtem Eigenwert min bzw. max gelten fr den sogenannten Rayleigh-Quotienten
T
mit x 6= 0 die Abschtzungen
RA (x) := xxTAx
x
min RA (y) =
y6=0

min

RA (x)

max

= max RA (y).
y6=0

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

24

Beweis. Sei zunchst x ein bezglich der euklidischen Norm normierter Eigenvektor zum
Eigenwert . Dann gilt:
RA (x) = xT Ax = xT x = .
Fr einen beliebigen Vektor x 2 Rn \{0} finden wir
RA (x) =

xT Ax
xT Ax
xT
x
=
=
A
,
2
T
x x
kxk2
kxk2 kxk2

d.h. wir betrachten ohne Einschrnkung nur noch normierte Vektoren. Da eine Orthonormalbasis aus Eigenvektoren v1 , . . . , vn existiert, lsst sich der (normierte) Vektor x durch die vi
linearkombinieren: x = 1 v1 + . . . + n vn . Dann gelten mit den Eigenwerten 1 , . . . , n von A
die Abschtzungen
min

min x

x=

n
X

2i

min

i=1

n
X
i=1
n
X

2i i

=x

n
X

i i v i = x

i=1

2i

max

max x

n
X

i Avi = xT Ax

i=1

x=

max .

i=1

Folgerungen:
(i) Matrizen der Form B T B mit beliebiger Matrix B sind spezielle symmetrische Matrizen.
Sie
besitzen nur nichtnegative EWe.
besitzen nur positive EWe, falls B maximalen Rang hat.
besitzen EWe

, falls B symmetrisch mit EW .

Die letzte dieser Aussagen ist oensichtlich. Die beiden ersten Aussagen folgen aus
Lemma 1 und xT B T Bx = (Bx)T Bx 0 bzw. streng grer 0, wenn B maximalen Rang
besitzt.
(ii) Wir finden wie in Satz 3 behauptet
kAk22

xT AT Ax
= sup
=
xT x
x6=0

max (A

A).

p
2
Wenn A selber symmetrisch ist, folgt mit Folgerung (i) kAk2 =
max (A ) = max{| | |
EW von A}. Insgesamt folgt mit den Argumenten oben zusammenfassend fr symmetrische Matrizen A die Darstellung
cond2 (A) =

max{| | |
min{| | |

EW von A}
.
EW von A}

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

25

Beispiel 7. Wir betrachten das Gleichungssystem aus Beispiel 4 mit

1
1
A=
.
1 1
Oenbar ist die Inverse gegeben durch
A

1
.
1

Fr die Zeilensummennorm finden wir daher kAk1 = 2 bzw. kA 1 k1 =

und somit

4
cond1 (A) = .

Fr b = (4, 4

)T und die Lsung x = (3, 1)T gilt zudem


kbk1 kA 1 k1
8
= ,
kxk1
3

was die schlechte Konditionierung des Gleichungssystems im Fall von 0 < 1 in Beispiel 4
erklrt.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

26

Strungen der Eingabegren A und b:


Satz 4. Sei A eine invertierbare Matrix und
x = b.
A

Ax = b,

Seien weiter die relativen Abweichungen der Matrix A zu A und der rechten Seite b zu b
beschrnkt:

kA Ak
kb bk
A ,
b .
kAk
kbk
Dann gilt die Abschtzung:

kx xk

kxk
1

cond(A)
(A + b )
A cond(A)

falls A cond(A) < 1.

Bemerkung 6. Mit A , b erhalten wir durch Taylorentwicklung von 1/(1


die Abschtzung

A cond(A))

kx xk
2 cond(A) + O(2 ).
kxk
Dabei bezeichnet O(2 ) eine Funktion, die selbst bei Division durch 2 im Grenzfall ! 0
beschrnkt bleibt.
x = A(x x) + (A A)
x. Nach Multiplikation mit A
Beweis. Oenbar gilt b b = Ax A
erhalten wir entsprechend umgeformt
h
i
1

x x = A b b (A A)
x
und somit die Abschtzung

kxk+kx x
k

kx

h
i
z}|{

xk kA k kA Ak k
xk+ kb bk .
| {z }
| {z }
1

A kAk

b kbk

Mit kbk kAkkxk erhalten wir nach algebraischen Umformungen:


(1

A cond(A))kx

xk cond(A)kxk(A + b ).

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

27

Bemerkung 7. Nach Satz 4 misst die Konditionszahl die relative Strempfindlichkeit der
Lsung x von Ax = b gegenber relativen Abweichungen der Matrix A und der rechten Seite
b. Sie ist aber nur eine obere Schranke dieser Strempfindlichkeit. Trotzdem ist die Abschtzung des Satzes optimal im folgenden Sinn: Fr vorgegebene Matrix A lassen sich A und b
finden, so dass Gleichheit gilt. Da wir aber nicht immer an beliebigen rechten Seiten interessiert sind und auch nicht beliebige Strungen zulassen, ist die Abschtzung des Satzes oft zu
pessimistisch.
Beispiel 8. (Lubich) Gegeben sei das Gleichungssystem


1
1
x1
b
= 1 .
0 10 8
x2
b2
Es gilt

Gestrtes System:

cond1 (A) = kAk1 kA 1 k1 = 2 108 .

1 + 1
1 + 2
0
10 8 (1 + 3 )

(sehr gro)

x1
(1 + 4 )b1
=
,
x2
(1 + 5 )b2
|
{z
}
=:b

wobei 0 |i | eps mit der Maschinengenauigkeit eps. Wir untersuchen jetzt die Abhngigkeit der einzelnen Komponenten von den i . Sei dazu x die Lsung des Ausgangssystems und
x die des gestrten Systems.
2. Komponente: Oenbar gilt:
1 + 5
5 3
x2 = 108 b2
= x2 (1 +
)
| {z } 1 + 3
1 + 3
=x2

und somit die Gleichheit

|x2

x2 | = |x2 |

Umgeformt:

|5 3 |
.
|1 + 3 |

|x2 x2 |
|5 3 |
=
2 eps +O(eps2 )
|x2 |
|1 + 3 |

1. Komponente: Fr x1 finden wir

x1 = (1 + 4 )b1 (1 + 2 )
x2 /(1 + 1 )

5 3
= b1 x2 +4 b1 2 x2 x2
/(1 + 1 )
| {z }
1 + 3
=x1

= x 1 + 4 b1

1 x1

2 x2

x2

5 3
/(1 + 1 ).
1 + 3

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME


Mit b1 = x1 + x2 und x2 = x2 (1 +
|x1 x1 |
1
=
(4
|xi |
|xi |

5 3
)
1+3

erhalten wir die Darstellung

1 )x1 + (4

und somit auch die Abschtzung

Insgesamt

28

5 3
(1 + 2 ))x2 /(1 + 1 )
1 + 3

|x1 x1 |
|x1 |
|x2 |
2
+4
eps +O(eps2 ).
|xi |
|xi |
|xi |
|x1 x1 |
6 eps +O(eps2 ),
kxk1
|x2 x2 |
2 eps +O(eps2 ).
kxk1

Die schlechte Konditionszahl der Matrix spiegelt sich in diesen beiden Abschtzungen nicht
wider!
Beispiel 9. (Deuflhard) Die Lsung des Gleichungssystems Ax = b mit einer Diagonalmatrix

1 0
A=
0
ist oensichtlich ein gut konditioniertes Problem, da die Gleichungen entkoppelt sind (zwei
unabhngige skalare Gleichungen). Dabei bezeichnet hier keine Strung. Andererseits ist
aber
1
cond1 (A) = kAk1 kA 1 k1 = .
||

Die Konditionszahl gemessen in der Maximumsnorm k.k1 wird daher beliebig gro fr kleine
0 < || 1. Sie ist ein Ma der Sensitivitt der Lsung gegenber beliebigen Strungen, auch
Strungen auerhalb der Hauptdiagonalen.
Matrizen mit kleiner Kondition:
(i) I, cond(I) = 1.
(ii) Orthogonale Matrizen U T U = I. Denn es gilt:
kU xk22 = xT U T U x = xT x = kxk22
und somit fr die zugehrige Matrixnorm kU k2 = 1. Da die Inverse U
wieder orthogonal ist, gilt insgesamt
cond2 (U ) = 1.

= U T oenbar

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

29

(iii) Spline-Interpolation (spter) fhrt auf Matrizen


0
1
4 1
B1 4 1
C
C
1B
B
C
A = B ... ... ... C .
C
hB
@
1 4 1A
1 4

Da cond(A) = cond(hA) gilt, gehen wir ohne Einschrnkung von h = 1 aus. Es gilt
weiterhin kAk1 = 6. Zur Bestimmung der Inversen von A schreiben wir
0
1
0 14
1
B1 0
C
B4
C
4
B .. .. ..
C
A = 4(I + N ) mit N = B
.
.
. C.
B
C
1
@
0 14 A
4
1
0
4
Nach dem Satz ber die Neumann-Reihe gilt:
1

(I + N )
Denn: (I + N )
Damit folgt:

P1

N )i =

i=0 (

P1

i=0 (

1
X

( N )i .

i=0

N )i

P1

i=0 (

N )i+1 = I und kN k1 =

1
kA 1 k1 = k(I + N ) 1 k1
4
1 i
1
1X 1
1
2
(kIk1 + kN k1 + kN k1 + . . .) =
=
4
4 i=0 2
2

und fr die Konditionszahl von A

cond1 (A) 3.

Die Matrix ist also unabhngig von h und n gut konditioniert.


Matrizen mit groer Kondition:
(i) Hilbertmatrizen A = ( i+j1 1 )i,j=1,...,n also
0

B1
B2
B1
B3
A=B
B1
B4
B ..
@.

1
2
1
3
1
4

1
3
1
4

1
4

...

1
C
C
C
C
C
C
C
C
A

Es gilt:

n
1
2
3
4
..
.

10

cond(A)
1
27
740
2300
3.51013

1
2

< 1.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

30

(ii) Zu Beispiel 9:

mit maxj |aj |

0
a1
B
..
A=@
.

an

mink |ak |. Dann gilt:

cond2 =

1.4

1
C
A

maxj |aj |
mink |ak |

1.

Stabilitt der Gau-Elimination

Eine vollstndige Stabilittsanalyse finden Sie in dem Buch [1].


Bezeichne x die exakte Lsung von Ax = b bzw. x die mit einem (zunchst beliebigen) Algorithmus berechnete Nherungslsung (inklusive aller Rundungsfehler).
Definition 3 (Stabilitt). Der Algorithmus heit numerisch stabil
(i) im Sinne der Vorwrtsanalyse, falls
kx xk
C cond(A) eps
kxk
mit nicht allzu groem C gilt, d.h. der Einfluss von Rundungsfehlern whrend der
Rechnung ist nicht viel grer als der Einfluss von Rundungsfehlern (relative Abweichung der Grenordnung eps) in den Daten.
(ii) im Sinne der Rckwrtsanalyse, falls das numerische Ergebnis x als exakte
x = b interpretiert werden kann mit
Lsung einer Gleichung A

kA Ak
C eps,
kAk

kb bk
C eps
kbk

mit nicht allzu groem C.

Bemerkung 8.
(i) Mit der numerischen Stabilitt im Sinne der Rckwrtsanalyse folgt die Stabilitt der
Vorwrtsanalyse aus Satz 4:
kx xk
2C cond(A) eps +O(eps2 ).
kxk

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

31

(ii) Fr die Stabilitt der Rckwrtsanalyse ist die Kenntnis der Konditionszahl von A nicht
ntig.
(iii) (Deuflhard:) Die Idee der von J.H. Wilkinson eingefhrten Rckwrtsanalyse besteht
darin, die durch den Algorithmus verursachten Fehler auf die Eingabegre zurckzuspielen und so als zustzliche Eingabefehler zu interpretieren. Dazu fassen wir die
fehlerbehafteten Resultate als exakte Ergebnisse zu gestrten Eingabegren auf.
Bezeichnungen: Im Folgenden interpretieren wir den Vergleich und den Betrag von Matrizen
komponentenweise:
A B :, aij bij 8ij ,

|A| := (|aij |)i,j=1,...,n

Satz 5. (Rckwrtsanalyse der Gau-Elimination ohne Pivotwahl)


Seien A 2 Rnn eine Matrix und b 2 Rn ein Vektor von Gleitpunktzahlen. Des Weiteren
R
in Gleitpunkt-Arithmetik berechnet. Das
besitze A eine LR-Zerlegung und es seien L,
c = b, Rx
= c erfllt
in Gleitpunkt-Arithmetik erhaltene Ergebnis x von L
x = b
A
fr eine Matrix A mit
|A

3(n + 1) eps |L||


R|
+ O(eps2 ).
A|

und |R|
in der
Bemerkung 9. Wichtige Frage im Zusammenhang der Stabilitt: Knnen |L|
Abschtzung des Satzes gro gegenber den Eintrgen in A werden?
Bei Spaltenpivotsuche gilt:
|lij | 1
sieht die Situation jedoch nicht so gut
fr alle i, j = 1, . . . , n. Fr die Elemente der Matrix R
aus. Hier gilt im Allgemeinen:
max |
rij | 2n
i,j

max |aij |.
i,j

Diese Abschtzung ist meist zu pessimistisch, kann aber auftreten. Bei zufllig gewhlten
Matrizen A wird
max |
rij | n max |aij |
i,j

beobachtet.

i,j

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

32

Satz 6. (Rckwrtsanalyse der Gau-Elimination mit Spaltenpivotwahl)


Seien A 2 Rnn eine Matrix und b 2 Rn ein Vektor von Gleitpunktzahlen. Des Weiteren sei die Gau-Elimination mit Spaltenpivotwahl durchfhrbar, d.h. P A = LR fr eine
Permutationsmatrix P und L, R der LR-Zerlegung. Die Gau-Elimination mit Spaltenpivotwahl fr das Gleichungssystem Ax = b in der Gleitpunkt-Arithmetik berechnet ein x,
so dass
x = b
A
fr eine Matrix A mit
1
kA Ak
maxi,j |
rij |
2n3
eps +O(eps2 ).
kAk1
maxi,j |aij |

(1.7)

Bemerkung 10.
(i) Die Stabilitt der Gau-Elimination mit Spaltenpivotwahl im Sinne der Rckwrtsanalyse wird somit durch die Gre des Faktors
n (A) :=
bestimmt. Allgemein gilt

maxi,j |
rij |
maxij |aij |

n (A) 2n 1 ,

wobei die Schranke (in konstruierten Fllen) tatschlich angenommen wird. Die GauElimination mit Spaltenpivotwahl ist also ber die ganze Menge der invertierbaren Matrizen nicht stabil. Doch fr Matrizen mit bestimmten Strukturen ist n (A) wesentlich
kleiner und das Verfahren stabil. Fr symmetrische positiv definite Matrizen gilt zum
Beispiel n (A) 1. Fr tridiagonale Matrizen
0
1

B ... ... C
B
C
A=B .
C
. . . . . A
@

gilt n (A) 2 und fr obere Hessenberg-Matrizen
0
... ...
B ...
B
A=B .
.. ...
@

gilt n (A) n.

.. C
.C
.. C
.A

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

1.5

33

Cholesky-Verfahren fr symmetrische, positiv definite


Matrizen

Wir zeigen, dass fr spezielle symmetrische Matrizen A eine Zerlegung A = LLT existiert, die
sogenannte Cholesky-Zerlegung, wobei L eine untere Dreiecksmatrix ist. Im Unterschied zur
LR-Zerlegung knnen auf der Hauptdiagonalen von L auch Eintrge ungleich 1 stehen. Zum
Lsen von
Ax = L |{z}
LT x = b
=:y

gehen wir wie folgt vor:

1. Lse durch Vorwrtssubstitution Ly = b.


2. Lse durch Rckwrtssubstitution LT x = y.
Beide Substitutionen weisen einen Aufwand von ungefhr 12 n2 auf, wie es auch bei der LRZerlegung der Fall ist.
Zwei Fragen, die wir im Folgenden beantworten werden: Worin liegt der Vorteil der CholeskyZerlegung gegenber einer LR-Zerlegung? Fr welche Matrizen A existiert eine solche Zerlegung?
Wir fangen mit der zweiten Frage an. Sei A = LLT fr eine invertierbare Matrix A. Welche
Eigenschaften lassen sich daraus fr A ableiten?
a) A ist symmetrisch, d.h. A = AT . Denn
AT = (LLT )T = (LT )T LT = LLT = A.
b) A ist positiv definit, d.h. xT Ax > 0 fr alle x 2 Rn \{0}. Denn
xT Ax = xT LLT x = (LT x)T |{z}
LT x = y T y > 0
=:y

fr x 6= 0, da aufgrund der Invertierbarkeit von A auch L bzw. LT invertierbar ist, also


LT x = y 6= 0.

Insgesamt ist A also eine symmetrische und positiv definite (kurz spd-) Matrix.

Umgekehrt lsst sich fr jede spd-Matrix A 2 Rnn durch eine symmetrische Gauelimination
eine Cholesky-Zerlegung A = LLT finden: Wegen eT1 Ae1 = a11 > 0 knnen wir a11 ohne
Permutation als Pivotelement nutzen. Eine Spaltenpivotwahl sollte fr spd-Matrizen nicht
durchgefhrt werden, da sie die Struktur von A zerstrt. Elimination nach Gau liefert dann

a11 z T
L1 A =
0 C

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

34

mit a11 2 R, z 2 Rn 1 , C 2 R(n 1)(n 1) und

1 0
L1 =
,
l1 I

l 1 2 Rn 1 .

Durch eine symmetrische Gauelimination (Vielfache der ersten Spalte werden auf hintere
Spalten addiert) erhalten wir

a11 0
T
L1 AL1 =
,
0 C
| {z }

=:A

wobei mit A auch C symmetrisch und positiv definit ist. Beachte dabei


0
0
T
T
T
T

y Cy = 0 y A
= 0 y L1 A L1
= xT Ax > 0.
y
y
| {z }
=:x

mit y 6= 0.
Durch eine induktive Argumentation finden wir mit C = LC LTC auch
p
p

a11 0
a11 0
T
L1 AL1 =
0
LC
0
LTC
bzw. A = LLT mit

L = L1
Insgesamt erhalten wir

a11 0
.
0
LC

Satz 7 (ber die Cholesky-Zerlegung). Eine invertierbare Matrix A besitzt genau dann
eine Cholesky-Zerlegung A = LLT mit unterer Dreiecksmatrix L, wenn A eine spd-Matrix
ist.
Aber worin liegt der Vorteil der Cholesky- gegenber einer gewhnlichen LR-Zerlegung?
Fr die Elimination L1 A (bzw. L1 ALT1 ) verwenden wir bei der LR-Zerlegung (n 1)2 Operationen. Da wir jedoch aus Symmetriegrnden zur Berechnung von C (C ist symmetrisch) nur
etwa 12 (n 1)2 Operationen bentigen, ist der Gesamtaufwand der Cholesky-Zerlegung nur
ungefhr halb so gro wie der Aufwand der LR-Zerlegung, also 16 n3 .
Eine mgliche algorithmische Berechnung der Zerlegung ergibt sich aus dem Ausmultiplizieren
der Blockstruktur

A11 a21
L11 0
L11 l21
A=
=
= LLT ,
T
aT21 a22
l21
l22
0 l22
wobei die Matrizen A11 und L11 beide die Dimension (n 1) (n 1) haben, a21 , l21 2 Rn
und a22 , l22 Skalare sind. Wir finden durch rekursives Lsen A11 = L11 LT11 und

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

35

1. L11 l21 = a21 (Vorwrtssubstitution zum Berechnen von l21 mit Aufwand 12 (n
p
T
2
T
2. a22 = l21
l21 + l22
, also l22 = a22 l21
l21 .
input : A
output: L
p
Berechne L(1, 1) = A(1, 1);
for k = 2, . . . , n do
Lse L(1 : k 1, 1 : k 1)x = A(1 : k
Setze L(k, 1 : k 1) = xT ;
p
Berechne L(k, k) = A(k, k) xT x
end

1)2 ).

1, k) durch Vorwrtssubstitution;

Hier bezeichnet A(i, j) das Element aij und 1 : k die Zeilen bzw. Spalten von 1 bis k.
Bemerkung 11. Numerisch kann man am einfachsten die positive Definitheit einer symmetrischen Matrix berprfen, indem man eine Implementierung der Cholesky-Zerlegung auf die
Matrix anwendet. Luft das Programm ohne Probleme durch, so ist die Matrix positiv definit,
andernfalls nicht.

1.6

QR-Zerlegung

Zu einer gegebenen Matrix A 2 Rmn mit m

n lsst sich eine Zerlegung

A = QR
konstruieren mit orthogonaler Matrix Q 2 Rmm (d.h. QQT = I) und

R
2 Rnn obere Dreickesmatrix.
R=
2 Rmn , R
0
Eine solche Zerlegung kann z.B. mittels Householder-Transformationen konstruiert werden.
@

@
@

Im Fall m = n nutzen wir die Zerlegung zum Lsen des linearen Gleichungssystems Ax = b.
Algorithmus:
1. Bestimme Matrizen Q und R mittels Householder-Transformationen mit A = QR.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME


2. Lse Qc = b (Q

36

= QT , also c = QT b).

3. Lse Rx = c (Rckwrtssubstitution).
Dieses Vorgehen liefert einen besonders stabilen Algorithmus, bentigt aber ungefhr doppelt
so viele Operationen wie die Gau-Elimination.
Im Fall m > n ist Ax = b ein berbestimmtes Gleichungssystem, welches in der Regel nicht
lsbar ist. Wir lsen in diesem Fall stattdessen das lineare Ausgleichsproblem
kAx

bk2 = min .

Mit der Zerlegung und der Orthogonalitt (orthogonale Matrizen sind bezglich der euklidischen Norm lngenerhaltend) finden wir
kAx

bk2 = kQT (Ax

b)k2 = kRx

QT bk2 = min,

was sich aufgrund der Eigenschaften von R und Q leicht lsen lsst (vgl. Abschnitt 1.7).

1.7

Lineare Ausgleichsprobleme

Wir betrachten das berbestimmte Gleichungssystem


Ax = b
mit b 2 Rm und A 2 Rmn , m > n. Ein solches Gleichungssystem besitzt im Allgemeinen
keine Lsung.
Beispiel 10. Betrachte:
0

1
0 1
2 1
3
@1 4A x1 = @5A .
x2
3 0
2

Die oberen beiden Gleichungen legen x1 = 1 und x2 = 1 fest. Jedoch ist 3 6= 2.


Man sucht alternativ nach einem x 2 Rn mit
kAx

bk2 = min .

Satz 8 (Gau). Seien A 2 Rmn , b 2 Rm mit m > n. Der Vektor x 2 Rn ist genau dann
eine Lsung des linearen Ausgleichsproblems kAx bk2 = min, falls er die sogenannte
Normalengleichung
AT Ax = AT b
lst. Insbesondere ist das lineare Ausgleichsproblem genau dann eindeutig lsbar, wenn
der Rang A maximal ist, d.h. Rang(A) = n gilt.

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

37

Bemerkung 12. Ist der Rang von A maximal, so ist AT A eine symmetrisch positiv definite
Matrix.
Beweis. Wir zeigen zunchst
kAx

bk2 minimal () Ax

b orthogonal auf V := {Ax | x 2 Rn } Rm .

Mit der Definition der euklidischen Norm folgt fr beliebiges y:


bk22 = (A(x + y) b)T (A(x + y) b)
= (Ax b + Ay)T (Ax b + Ay)
= (Ax b)T (Ax b) + 2(Ay)T (Ax b) + (Ay)T (Ay)
= kAx bk22 + 2(Ay)T (Ax b) + kAyk22 .

kA(x + y)

Also auch
bk22 = kAx

kA(x + y)

bk22 + 2(Ay)T (Ax

b) + kAyk22 2 .

fr jedes y 2 Rn und 2 R. Wir finden daher die quivalenz


kAx

bk2 minimal () 2(Ay)T (Ax

b) = 0 8y 2 Rn .

Beachte: 2(Ay)T (Ax b) +kAyk22 2 ist eine quadratische Funktion in und (Ay)T (Ax b)
ist dominant fr 0 < || 1.
Weiter gilt oenbar
0 = (Ay)T (Ax

b) = y T (AT Ax AT b) 8y 2 Rn
() AT Ax = AT b.

Das Gleichungssystem AT Ax = AT b kann fr Matrizen A mit maximalem Rang mit dem


Cholesky-Verfahren gelst werden. Man beachte dabei:
Lemma 2. Fr eine Matrix A 2 Rmn mit maximalem Rang n m gilt
cond2 (AT A) = (cond2 (A))2 .
Beweis. Nach Gleichung (1.6) gilt fr die Kondition rechteckiger Matrizen
maxkxk2 =1 kAxk22
(cond2 (A)) =
minkxk2 =1 kAxk22
maxkxk2 =1 xT AT Ax
grter EW von AT A
=
=
.
minkxk2 =1 xT AT Ax
kleinster EW von AT A
2

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

38

Wir wissen bereits


p
(grter EW von AT A)2
cond2 (AT A) = p
(kleinster EW von AT A)2

Da AT A positiv definit ist, sind alle EWe von AT A echt positiv also
cond2 (AT A) = (cond2 (A))2 .

Satz 9. Seien A 2 Rmn mit m n eine Matrix mit vollem Rang, b 2 Rm und Q und R
die Matrizen einer QR-Zerlegung von A, d.h.

R
T
Q A=R=
0
2 Rnn .
mit invertierbarer Matrix R
1
c die Lsung des linearen Ausgleichsproblems kAx
Dann ist x = R

c
T
c definiert ist durch Q b =
.
d

bk2 = min, wobei

Beweis. Da Q orthogonal ist, folgt:


kAx

bk22

= kQ (Ax

b)k22

= kRx

1 c ist die Minimalitt von kAx


Fr x := R


c 2

k = kRx
d 2

ck22 + kdk22

bk22 und somit auch von kAx

Bemerkung 13. Die Norm des Residuums r = Ax


des Beweises genau kdk2 , d.h. krk2 = kdk2 .

kdk22 .
bk2 gewhrleistet.

b ist entsprechend den Abschtzungen

Algorithmus:
1. Bestimme Matrizen Q und R mittels Householder-Transformationen mit A = QR.

c
T
2. Berechne Q b =
.
d
= c (Rckwrtssubstitution).
3. Lse Rx

KAPITEL 1. LINEARE GLEICHUNGSSYSTEME

39

Lsung der Aufgabe


Lsung zu Aufgabe 1:
2
3
1
6
8 12 |
61
2
3
47
6
7
40
2 5
45
2
2
5
5
2

Damit folgt:

1
61
6
40
2
0

1
+

| 2
+

3
1
6
8 12
61
4
5
87
6
7 |
40
2 5
45
2 10 11 19

3
6
8
12
4
5
87
7
1/2 15/2 8 5 | 1/5
5/2
3/2
1

1
B1
L=B
@0
2

0
1
1/2
5/2

0
0
1
1/5

1
0
0C
C,
0A
1

1
61
6
40
2
0

1
B0
R=B
@0
0

1/2
+

| 5/2

3
6
8
12
4
5
87
7
1/2 15/2 8 5
5/2
1/5 3/5
1
6
8
12
4
5
8C
C.
0 15/2 8 A
0
0
3/5

Kapitel 2
Nichtlineare Gleichungssysteme
Problem: Fr eine vorgegebene Abbildung f : D Rn ! Rn finde x 2 D mit
f (x) = 0

(2.1)

oder ausfhrlicher
f1 (x1 , . . . , xn ) = 0,
..
.
fn (x1 , . . . , xn ) = 0.
Einerseits fhrt die mathematische Modellierung auf Gleichungssysteme der Form (2.1), andererseits treten bei vielen Anwendungen solche Systeme als Teilprobleme auf. Whrend es im
linearen Fall eine vollstndige Lsungstheorie gibt, lsst sich Gleichung (2.1) fr nichtlineares
f im Allgemeinen nicht ansehen, ob sie eine Lsung besitzt.
Beispiel 11. keine Lsung:
mehrere Lsungen:
unendlich viele Lsungen:

f (x) = ex
f (x) = x2 a, a > 0
f (x) = x sin x1

Lsungen lassen sich zudem nur in einigen speziellen Situationen explizit angeben und selbst
die analytische Lsung kann unter Umstnden erst nach dem Lsen eines Problems der Form
(2.1) numerisch ausgewertet werden.
Beispiel 12. Tatschlich wird die Quadratwurzel einer positiven reellen Zahl a als Nullstelle
der nichtlinearen Gleichung
x2

a=0

interpretiert und durch ein Iterationsverfahren nherungsweise bestimmt. Auch das Lsen
einer allgemeinen quadratischen Gleichung
x2 + px + q = 0
40

KAPITEL 2. NICHTLINEARE GLEICHUNGSSYSTEME

41

mit analytischer Lsung


x1,2 =

p 1p 2

p
2 2

4q

lsst sich numerisch nur bei Kenntnis der entsprechenden Quadratwurzel durchfhren.
Im linearen Fall war es mglich, die Lsung exakt (bis auf Rundungsfehler) z.B. mit dem
Gauschen Eliminationsverfahren zu berechnen. Fr nichtlineares f werden wir uns im Allgemeinen mit einer Nherungslsung zufrieden geben mssen, welche zustzlich zu den Rundungsfehlern mit Verfahrensfehlern (genauer Abbruchfehlern) behaftet ist.

2.1

Fixpunktiterationen

Problem: Fr eine vorgegebene Abbildung F : D Rn ! Rn finde x 2 D mit


F (x) = x

(2.2)

Definition 4. Ein Element x 2 D heit Fixpunkt von F , falls (2.2) gilt. Im eindimensionalen Fall sind Fixpunkte genau die Stellen, wo der Graph die Winkelhalbierende (des
I und III Quadranten) schneidet.

Zusammenhang zu Nullstellengleichungen der Form (2.1): Problem (2.1) ist oenbar quivalent zu
Af (x) = 0,
falls die Matrix A 2 Rnn invertierbar ist. Insbesondere ist somit die Nullstellengleichung
f (x) = 0
quivalent zur Fixpunktgleichung
F (x) = x
mit F (x) := x Af (x). Diese berlegungen bleiben auch fr von x abhngiges A richtig,
sofern A(x) 2 Rnn invertierbar ist.
Idee der Fixpunktiteration: Geschicktes Umformen der Nullstellengleichung (2.1) in eine Fixpunktgleichung der Form (2.2) und Berechnung der Folge (xi )i2N ausgehend von einem Startwert x0 gem der Vorschrift
xk+1 = F (xk ),
wobei die so definierte Folge gegen einen Fixpunkt x konvergiert, der auch Problem (2.1)
lst.

KAPITEL 2. NICHTLINEARE GLEICHUNGSSYSTEME


Beispiel 13. Die Nullstellengleichung x2
Fixpunktgleichungen

42

3 = 0 besitzt genau dieselben Lsungen wie die


x2 3
2x
x2 3
.
4

x = F1 (x) := x
x = F2 (x) := x

In Tabelle 2.1 sind die ersten Iterierten in double precision gegeben.

F1
=
=
=
=
=
=

x0
x1
x2
x3
x4
x5

2
1.75
1.7321
1.73205081
1.732050807568877
1.732050807568877

F2
=
=
=
=
=
=

x0
x1
x2
x3
x4
x5

2
1.75
1.734
1.7324
1.732092
1.732056

Tabelle 2.1: Die durch F1 definierte Fixpunktiteration konvergiert schneller.

Beispiel 14. Die Nullstellengleichung 2x


Lsungen wie die Fixpunktgleichungen

tan x = 0, x 2]


, [,
2 2

besitzt genau dieselben

1
tan x
2
x = F2 (x) := arctan(2x).

2xtan x

x = F1 (x) :=

1.5

1.5

0.5

0.5

0.5

0.5

1.5
1.5

0.5

0
x

0.5

1.5

1.5
1.5

Abbildung 2.1: Links ist der Graph der Funktion 2x


von Fi .

arctan(2x)
0.5 tan(x)
x

0.5

0
x

0.5

1.5

tan x dargestellt, rechts die Graphen

KAPITEL 2. NICHTLINEARE GLEICHUNGSSYSTEME

x0
x1
x2
x3
x4
x5
x6
x7
..
.
x27
x28

F1
=
=
=
=
=
=
=
=

1
0.78
0.49
0.27
0.14
0.069
0.035
0.017

=
=

0.000000166
0.0000000083

x0
x1
x2

F1
=
=
=

1.2
1.286
1.708 > /2

x0
x1
x2
x3
x4
x5
x6
x7
..
.
x27
x28

43
F2
=
=
=
=
=
=
=
=

1.2
1.176
1.1688
1.1666
1.1659
1.16566
1.165591
1.165571

=
=

1.165561185207212
1.165561185207212

Tabelle 2.2: Die durch F1 gegebene Fixpunktiteration konvergiert gegen den stabilen Fixpunkt
x = 0 bzw. divergiert, abhngig vom gewhlten Anfangswert. Die Fixpunktiteration zu F2
konvergiert gegen einen stabilen Fixpunkt, unabhnging vom Startwert x 6= 0.

Der Banachsche Fixpunktsatz ist einer der zentralen Stze der angewandten Mathematik.
Er liefert nicht nur die Existenz und die Eindeutigkeit eines Fixpunktes, sondern auch ein
konstruktives Vorgehen und ntzliche Abschtzungen. Um den Satz formulieren zu knnen,
bentigen wir den Begri der Kontraktion.
Definition 5 (Kontraktion). Eine Abbildung F : D ! D Rn ist eine Kontraktion auf
D, falls ein 0 < 1 existiert mit
kF (x)

F (y)k kx

yk

fr alle x, y 2 D. Insbesondere ist also der Abstand der Bildpunkte von x und y kleiner
als der Abstand von x und y selbst.

Kontraktionen sind also Lipschitz-stetige Abbildung mit einer Lipschitz-Konstanten streng


kleiner 1. Fr dierenzierbare Funktionen lsst sich die Eigenschaft der Kontraktion oft gut
ber die Ableitung mit Hilfe des Mittelwertabschtzungssatzes nachweisen.
Satz 10 (Banachscher Fixpunktsatz). Es sei F : D ! D eine Kontraktion auf D, D
abgeschlossene Teilmenge des Rn , mit Kontraktionszahl 0 < 1.
Dann gilt:
(i) Es existiert genau ein Fixpunkt x von F .

KAPITEL 2. NICHTLINEARE GLEICHUNGSSYSTEME

44

(ii) Die durch die Vorschrift


xk+1 = F (xk )
definierte Folge konvergiert gegen x fr jeden Startwert x0 2 D.
(iii) Es gelten die Abschtzungen

2.2

kx

xk k kx

kx

xk k

kx

xk k

kx0

kxk

(lineare Konvergenz)

xk 1 k
x1 k
1

(A-priori-Abschtzung)

xk k

(A-posteriori-Abschtzung).

Das Newton-Verfahren

Sei x0 in der Nhe der Lsung x . Taylor-Entwicklung liefert


0 = f (x ) = f (x0 ) + f 0 (x0 )(x

x0 ) + O(kx0

x k2 ).

Bei Vernachlssigung der quadratischen Terme finden wir


x x0

f 0 (x0 ) 1 f (x0 ).

Diese Beobachtung berechtigt zur Honung, dass mit x1 = x0 f 0 (x0 ) 1 f (x0 ) eine bessere
Approximation von x als mit x0 vorliegt. Um jedoch die Berechnung der Inversen JacobiMatrix zu vermeiden, lsen wir alternativ das Gleichungssystem
f 0 (x0 ) x1 =

f (x0 )

und setzen x1 = x1 + x0 . Dieser Vorgang wird wiederholt, bis keine entscheidende (abhngig von der vorgegebenen Toleranz TOL) Vernderung mehr in den Iterierten xk beobachtet
werden kann.
Praktische Durchfhrung:
1. Whle Startwert x0
2. while (k xk k > TOL) do
Lse f 0 (xk ) xk = f (xk ) (lineares Gleichungssystem, verwende LR-Zerlegung)
Berechne xk+1 = xk + xk
Bemerkung 14. Fr das Abbruchkriterum sind andere Varianten mglich. Man sollte jedoch
nicht kf (xk )k TOL zum Abbruchkriterium machen. Denn die Ersetzung von f (x) = 0
durch Af (x) = 0 mit invertierbarer Matrix A ndert die exakte Lsung und die Iterierten

KAPITEL 2. NICHTLINEARE GLEICHUNGSSYSTEME

45

xk des Newton-Verfahrens nicht und sollte daher auch das Abbruchkriterium nicht ndern.
Zum Beispiel knnte durch die Ersetzung von f durch f mit 6= 0 das Abbruchkriterium
kf (xk )k TOL beliebig manipuliert werden.
Eine geometrische Deutung des Newton-Verfahrens wird im linken Plot von Abbildung 2.2
deutlich: Fr den Startwert x0 legen wir im Punkt (x0 , f (x0 )) die Tangente mit Steigung
f 0 (x0 ) an den Graphen. Der Schnittpunkt dieser Tangente mit der x-Achse bildet die neue
Iterierte x1 . Dann wiederholen wir dieses Vorgehen an der Stelle x1 . Die Rechtfertigung des
Algorithmus im eindimensionalen wie im hher dimensionalen Fall liefert der folgende Satz:
Satz 11 (lokal quadratische Konvergenz des Newton-Verfahrens). Sei D Rn oen und
f : D ! Rn zweimal stetig dierenzierbar. Es existiere ein x 2 D mit f (x ) = 0. Des
Weiteren sei die Jacobi-Matrix f 0 (x ) ausgewertet an der Nullstelle invertierbar.
Dann gibt es eine Kugel
K := K (x ) = {x 2 Rn | kx

x k1 } D,

so dass x die einzige Nullstelle von f in K ist. Zudem liegen die Folgeglieder
xk+1 = xk

f 0 (xk ) 1 f (xk )

fr jeden Startwert x0 2 K ebenfalls in K, und es gilt limk!1 xk = x . Weiter existiert


eine Konstante C > 0 mit
kx

xk+1 k Ckx

xk k2 fr k 2 N.

(2.3)

Bemerkung 15.
(i) Formelzeile (2.3) besagt, dass quadratische Konvergenz vorliegt.
(ii) Ein Problem des Newton-Verfahrens ist sein mglicherweise kleiner Einzugsbereich,
d.h. im Satz 11 ist klein (und natrlich auch unbekannt). Startet man das NewtonVerfahren zu weit von der Nullstelle entfernt, so divergiert es oft (siehe Abbildung 2.2
im Fall n = 1).
(iii) Die Fixpunktiteration xk+1 = F1 (xk ) aus Beispiel 13 entspricht dem Newton-Verfahren
zur Funktion f (x) = x2 3. In Tabelle 2.1 kann die quadratische Konvergenz sehr gut
beobachtet werden. Die Anzahl der richtigen Stellen verdoppelt sich in jedem Schritt
ungefhr.
Vereinfachtes Newton-Verfahren: Beim gewhnlichen Newton-Verfahren muss pro Iteration die Ableitung von f einmal ausgewertet werden. Zudem wird pro Iteration beim Lsen

KAPITEL 2. NICHTLINEARE GLEICHUNGSSYSTEME


6

Tan gente

f (x)

f (x)

Tan gente

x2
1

46

0.5

x1
1

x0
x

1.5

x1
1
0.5

2.5

0.5

x0 x2
1.5

2.5

Abbildung 2.2: Links konvergiert das Newton-Verfahren, rechts lsst sich keine Konvergenz
beobachten.

des linearen Gleichungssystems eine LR-Zerlegung dieser Ableitung bestimmt. Dieses Vorgehen ist im Allgemeinen sehr teuer.
Beim vereinfachten Newton-Verfahren ersetzen wir die Ableitung durch eine konstante Matrix
A f 0 (x0 ).
Es ist somit insgesamt hchstens eine Auswertung und eine Berechnung der LR-Zerlegung
ntig. Wir verlieren jedoch die quadratische Konvergenz. Die Konvergenz des vereinfachten
Newton-Verfahrens ist linear. Das Verfahren kann als Fixpunktiteration der Abbildung
F (x) = x

A 1 f (x)

aufgefasst werden.
Praktische Durchfhrung:
1. Whle Startwert x0 und berechne LR-Zerlegung von A f 0 (x0 )
2. while (k xk k > TOL) do
Lse A xk = f (xk )
Berechne xk+1 = xk +

xk

Bemerkung 16. Tatschlich werden auch lineare Gleichungssysteme durch Iterationsverfahren nherungsweise gelst (siehe zum Beispiel nchstes Kapitel).

Kapitel 3
cg-Verfahren fr lineare
Gleichungssysteme
Die Darstellung des Kapitels beruht stark auf [3]. In diesem Kapitel geht es um das approximative Lsen linearer Gleichungssysteme Ax = b mit symmetrisch, positiv definiter Matrix
A 2 Rnn , wobei n typischerweise sehr gro und die Matrix A dnn besetzt ist. Dabei heit
eine Matrix dnn ( auch schwach) besetzt, wenn die Eintrge der Matrix berwiegend aus
Nullen bestehen, so dass diese Eigenschaft in Hinblick auf Speicherung und/oder Laufzeit von
Algorithmen ausgenutzt werden kann. Die Speicherung wird zum Beispiel im sogenannten
CCS-Format (compressed column storage) oder CRS-Format (row statt column) vorgenommen (vgl. bung). Der Begri der dnn besetzten Matrix geht auf Wilkinson zurck.
Wann wird das cg-Verfahren angewendet? Eine sehr interessante Anwendung findet das cgVerfahren bei einer Regularisierung im Bereich der inversen Probleme. Durch Messfehler ist
hier die rechte Seite oft mit hochfrequenten fehlerhaften Anteilen belegt, welche durch einen
kontrollierten Abbruch des cg-Verfahrens weniger ins Gewicht fallen. Durch ein direktes Verfahren, wie die Cholesky-Zerlegung, wrden diese Fehler mit in die Lsung x einflieen. Eine
weitere Anwendung sind Normalengleichungen (siehe weiter unten), also Gleichungssysteme,
bei welchen die Matrix die Form AT A besitzt. Fr das Cholesky-Verfahren msste dieses
Matrix-Matrix-Produkt explizit ausgerechnet werden, wohingegen das cg-Verfahren mit zwei
wesentlich gnstigeren Matrix-Vektor-Produkten auskommt. Bei der bereits oben erwhnten
Diskretisierung von PDEs kann es auch aufgrund des Speicherplatzes sinnvoll sein, anstatt eines direkten Lsers das cg-Verfahren zu verwenden. Whrend beim cg-Verfahren nur die dnn
besetzte Matrix A gespeichert werden muss, ist zum Beispiel bei einer Cholesky-Zerlegung
aufgrund des Fill ins ein wesentlich grerer Speicherplatz ntig (vgl. Abbildung 3.1). Etwas
salopp lsst sich sagen, dass das cg-Verfahren fr bestimmte Matrizen bzw. Anwendungen
sehr gut funktioniert, jedoch in vielen anderen Fllen durch einen direkten Lser in Hinblick
auf Ezienz und Stabilitt bertroen wird.
Beispiel 15.
(i) Spektrale Bisektion (Fiedler 1975): Sei (V, ) ein ungerichteter zusammenhngender
47

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME

48

500

1000

1500

2000

2500
0

500

1000

1500

2000

2500

nz = 17801

Abbildung 3.1: Links die Struktur einer dnn besetzten (2601 2601) Matrix aus einer PDEDiskretisierung mit 17801 Nicht-Nullen (non zeros), wobei auf Grund der Symmetrie nur
ungefhr 10000 Eintrge gespeichert werden mssen. Rechts der Cholesky-Faktor L mit mehr
als 13-mal so vielen Nicht-Nullen. Zwar bleibt die Bandstruktur erhalten, diese wird jedoch
durch Nicht-Nullen aufgefllt.
Graph mit Knoten V = {v1 , . . . , vn } Rd und Kanten V V , also insbesondere
(vj , vk ) 2 ) (vk , vj ) 2 .

Aufgabe: Bestimme Zerlegung V = V + [V


, so dass V + und V gleich viele Knoten
enthalten, und I = \ (V + V ) mglichst klein ist.

Definiere dazu die symmetrische Laplacematrix A 2 Rnn mit

ajj = Anzahl der Elemente von {k | (vj , vk ) 2 },


(
1, falls (vj , vk ) 2 ,
ajk =
0,
sonst

Tatschlich besitzt die Matrix einen eindimensionalen Kern, der durch den Vektor e =
(1, . . . , 1)T aufgespannt wird, und ist positiv semidefinit. Die Aufgabe lautet in einer
relaxierten Formulierung: Bestimme einen Eigenvektor w von A zum kleinsten positiven
Eigenwert. Definiere dann V + = {j | wj > 0}. Bestimmung von w durch Inverse
Iteration (siehe Kapitel 6):
1. Whle x0 2 Rn mit eT x0 = 0, setze k = 0 und y0 =
2. Berechne xk+1 mit Axk+1 = yk mit eT xk+1 = 0.
3. Setze yk+1 =

xk+1
kxk+1 k

x0
.
kx0 k

und erhhe k um 1, gehe zu 2.

Beobachtungen: Im 2. Schritt der Inversen Iteration muss ein lineares Gleichungssystem


gelst werden. Die Matrix A ist dnn besetzt, falls fr den maximalen Knotengrad
m n gilt. In diesem Fall bentigt die Berechnung von Az nur m n Operationen.
Zudem muss das lineare Gleichungssystem nur approximativ gelst werden.

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME

49

(ii) Diskretisierung von Partiellen Dierentialgleichungen


Statt das lineare System direkt zu lsen, z.B. mit einer Cholesky-Zerlegung (vgl. dazu Abbildung 3.1), minimieren wir das Funktional (x) = 12 xT Ax xT b. Dies ist mglich, da gilt:
Satz 12. Der Vektor x ist genau dann Lsung von
gilt.

(x) = minz2Rn (z), wenn Ax = b

Beweis. Wir betrachten eine Variation von x, nmlich z = x + y mit


Ausmultiplizieren liefert:
(z)

(x) =

1
2

y T Ay + y T Ax

wobei die rechte Seite eine quadratische Funktion in


Term 12 2 y T Ay ist. Somit gilt
(x) (x + y) fr alle
genau dann, wenn der lineare, fr kleine
schwindet:
y T (Ax

2 R und y 2 Rn .

y T b,

mit einem positiven quadratischen


2 R, y 2 Rn

dominante Teil der quadratischen Funktion ver-

b) = 0 fr alle y 2 Rn ,

also genau dann wenn Ax = b.


Bemerkung 17. Dass die Berechnung der Inversen in diesem Kontext alles andere als sinnvoll
ist, zeigt die Nicht-Nullen-Struktur der Inversen der Matrix aus Abbildung 3.1:

Diese Matrix ist nicht dnnbesetzt, tatschlich ist jeder Eintrag ungleich 0.
Definition 6 (Energienorm). Ist A 2 Rnn eine symmetrische und positiv definite Matrix, so wird durch
p
kxkA = xT Ax, x 2 Rn

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME

50

eine Norm auf Rn definiert, die sogenannte Energienorm. Das entsprechende Skalarprodukt lautet
hx, yiA = xT Ay,

x, y 2 Rn .

Fr die Lsung x von Ax = b gilt mit der Energienorm:


(x)

(x ) = 12 xT Ax xT b
= 12 (x x )T A(x
= 12 (x x )T A(x

1
(x )T Ax
2

+ (x )T b
x ) + x Ax (x )T Ax
x ) = 12 kx x k2A

xT b + (x )T b

Somit ist die Abweichung des Funktionals von seinem minimalen Wert ein brauchbares Ma
fr den Abstand zwischen x und x gemessen in der Energienorm (vgl. Abbildung 3.2 fr den
2-dimensionalen Fall).

3.1

Die Hauptidee

Um das Funktional
zu minimieren, werden wir iterativ eindimensionale Minimierungsprobleme lsen. Ausgehend von einem Vektor xk 2 Rn und einer bisher nicht festgelegten
Suchrichtung dk 2 Rn machen wir fr die neue Iterierte den Ansatz
xk+1 = xk + dk
und minimieren den Wert des Funktionals in Abhngigkeit des skalaren Parameters 2 R.
Der Wert des Funktionals an xk+1 ist
'() := (xk + dk ) = (xk ) + hdk , xk iA + 12 2 hdk , dk iA

bT dk .

Wir setzen die Ableitung nach gleich 0 und finden mit der Kettenregel:
'0 () =

d
(xk + dk ) =
d

(xk + dk )dk = [A(xk + dk )

b]T dk = 0

(3.1)

Die Ableitung verschwindet genau an der Stelle


k =

hrk , dk i
,
hdk , dk iA

rk = b

Axk ,

wobei hier im Zhler das euklidische Skalarprodukt gemeint ist. An dieser Stelle liegt das
Minimum bezglich vor, da '00 (k ) = hdk , dk iA > 0 gilt. Man beachte zustzlich, dass der
Nenner von k aufgrund der positiven Definitheit der Matrix A ungleich 0 ist, solange die
Suchrichtung dk auch tatschlich eine Richtung, also nicht der Nullvektor ist.

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME

51

dk
xk+1
xk

rk+1

dk+1

Abbildung 3.2: Projektion der k kA -Geometrie und des cg-Verfahrens in die Ebene
span{dk , dk+1 }.
Die Wahl der Suchrichtung ist von der k.kA -Geometrie motiviert (siehe Abbildung 3.2). Falls
das Residuum rk+1 = b Axk+1 verschwindet, ist die Lsung des Problems mit xk+1 gefunden.
Ansonsten wird der Vektor rk+1 nach Gram-Schmidt bezglich des Skalarproduktes h . iA
orthogonalisiert und als neue Suchrichtung gewhlt:
dk+1 = rk+1 +

k
kd ,

hrk+1 , dk iA
.
hdk , dk iA

Oenbar gilt tatschlich hdk+1 , dk iA = 0, wobei wir fr die neue Suchrichtung dk+1 6= 0
annehmen knnen. Ist nmlich die Suchrichtung gleich 0, so sind die beiden Vektoren rk+1
und dk einerseits linear abhngig, andererseits nach Gleichung (3.1)
0 = [A(xk + dk )

b]T dk = [Axk+1

b]T dk =

hrk+1 , dk i

orthogonal bezglich des euklidischen Skalarproduktes. Beides zusammen impliziert fr dk 6=


0, dass rk+1 = 0 gilt und somit die Lsung mit xk+1 bereits gefunden ist.
Bemerkung 18.
(i) Aufgrund der A-Orthogonalitt der Suchrichtungen, bezeichnet man die Suchrichtungen auch als zueinander A-konjugiert. Zudem werden die Suchrichtungen durch GramSchmidt aus den negativen Gradienten, den Residuen rk = b Axk = (Axk b) =
grad( (xk )), gewonnen. Man spricht daher vom konjugierten Gradienten Verfahren
(engl.: conjugate gradients).
(ii) Das cg-Verfahren kann als sogenanntes Krylov-Raum-Verfahren interpretiert werden.
Da in jeder Iteration das Funktional in eine Richtung (eine Dimension des Raumes Rn ) minimiert wird, liegt es nahe, dass das Verfahren nach n Iteration die Lsung liefert. Es gilt:

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME

52

Satz 13 (ber die Konvergenz). Nach hchstens n Schritten liefert das cg-Verfahren die
exakte Lsung von Ax = b.

Bemerkung 19.
(i) Fr praktische Anwendungen ist dieser Satz allerdings uninteressant: Zum einen verhindern Rundungsfehler, dass die exakte Lsung x nach n Schritten gefunden wird. Zum
anderen ist n typischerweise sehr gro und man erwartet eine brauchbare Nherung
xk x schon fr k n.
(ii) Die k bzw.

lassen sich auch durch folgende Formeln berechnen:


hrk , rk i
,
hdk , dk iA

k =

hrk+1 , rk+1 i
,
hrk , rk i

wodurch nur noch zwei Skalarprodukte je Schritt zu berechnen sind. Der Wert hrk+1 , rk+1 i
kann fr die nchste Iteration gespeichert werden.
(iii) Das Produkt Adk , welches bei der Berechnung von k gebraucht wird, sollte gespeichert
und wiederverwendet werden (siehe (iii)).
(iv) Mit der Gleichung xk+1 = xk + k dk finden wir
rk+1 = b

Axk+1 = b

A(xk + k dk ) = rk

k Adk .

Algorithmus:
Whle beliebiges x0 2 Rn und definiere d0 = r0 = b

Ax0 und k = 0.

Solange (krk k > TOL kbk) berechne iterativ


1. k = hrk , rk i/hdk , dk iA ,
2. xk+1 = xk + k dk ,
3. rk+1 = rk
4.

k Adk ,

= hrk+1 , rk+1 i/hrk , rk i,

5. dk+1 = rk+1 +

kd

6. Erhhe k um 1.
Aufwand: Der Aufwand wird dominiert von dem Matrix-Vektor-Produkt Adk pro Iteration.
Der Aufwand aller anderen Berechnungen einer Iteration ist linear in n. Bei dnn besetzten
Matrizen (d.h. viele Eintrge sind 0) kann das Produkt Adk entsprechend ezienter ausgerechnet werden. Das cg-Verfahren eignet sich somit insbesondere fr symmetrisch, positive
definite Matrizen, die dnn besetzt sind.

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME

3.2

53

Fehlerabschtzungen des cg-Verfahrens

Ohne Beweis formulieren wir zwei Abschtzungen des Fehlers in Abhngigkeit der Eigenwerte
bzw. der Konditionszahl (in der 2-Norm) der Matrix A. Da fr symmetrische Matrizen die
Kondition auch ber die Eigenwerte berechnet werden kann, spielt das Spektrum der Matrix
A eine wichtige Rolle.
Satz 14. Sei qk ein beliebiges Polynom vom Grad k mit q(0) = 1, so gilt
kx

x k kA

max

EW von A

|qk ( )| kx

x0 kA .

Bemerkung 20. Besitzt A zum Beispiel nur 3 verschiedene Eigenwerte, so konvergiert das
cg-Verfahren nach 3 Schritten. Auch bei einem Spektrum von A, welches aus einigen wenigen
Clustern besteht, ist die Konvergenz des cg-Verfahrens sehr gut.
Satz 15. Bezeichne x die Lsung des linearen Gleichungssystems. Dann gilt:
kx

p
k
1
x kA 2 p
kx
+1
k

x0 kA

fr k = 1, 2, . . . mit = cond2 (A).

Bemerkung 21.
(i) Fr die Konditionszahl einer spd-Matrix gemessen in der 2-Norm gilt:
cond2 (A) =
wobei

max (A)

den grten EW und

min (A)

max (A)
min (A)

den kleinsten EW von A bezeichnet.

(ii) Bessere Konvergenz erhlt man durch Prkonditionierung.

3.3

Vorkonditioniertes cg-Verfahren

Weist das cg-Verfahren eine langsame Konvergenz auf, so kann in einigen Fllen durch eine
Manipulation des Gleichungssystems die Konvergenz beschleunigt werden. Dabei sucht man
M = CC T , so dass das cg-Verfahren fr die Gleichung
M

Ax = M

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME

54

bzw. die symmetrische Variante


T
1
C
AC T} C
x=C
| {z
|{z}

=:A

b =: b

=:
x

schneller konvergiert. Die Matrix A ist mit A wiederum spd, hat jedoch ein vorteilhafteres
Spektrum (einige wenige Cluster) bzw. eine kleinere Kondition. Die Idee ist nun, das cgVerfahren auf das Tilde-System anzuwenden, ohne dabei A explizit berechnen zu mssen,
dies wre viel zu teuer. Tatschlich lassen sich bei geeigneter Interpretation der Gren alle
Berechnungen bezglich x formulieren. Es gilt xk+1 = xk +
k dk , was mit xk = C T xk und der
Definition dk := C T dk zu
xk+1 = xk +
dk
wird. Fr die Residuen rk = b
auch

xk = C
A

rk+1 = rk

Axk = C

rk gilt mit rk+1 = rk

Adk .

Fr die Suchrichtungen dk+1 = rk+1 + k dk folgt mit der Definition der dk oben
T
1

dk+1 = C
| {zC } rk+1 + k dk .
1
| =M {z
}

=:sk+1

Fr die und

finden wir

rkT rk
rkT C T C 1 rk
rkT sk
=
=
,
dTk Adk
dTk Adk
dTk Adk
T
T
k = rk+1 rk+1 = rk+1 sk+1
rkT rk
rkT sk

k =

Insgesamt erhalten wir den Algorithmus:


Whle beliebiges x0 2 Rn und definiere r0 = b
Zustzlich lse M s0 = r0 und setze d0 = s0 .
Solange (krk k > TOL kbk) berechne iterativ
1. k = hrk , sk i/hdk , dk iA
2. xk+1 = xk + k dk
3. rk+1 = rk

k Adk

4. Zustzlich lse M s(k+1) = r(k+1)


5.

= hrk+1 , sk+1 i/hrk , sk i

Ax0 und k = 0.

k Adk

KAPITEL 3. CG-VERFAHREN FR LINEARE GLEICHUNGSSYSTEME


6. dk+1 = sk+1 +

kd

55

7. Erhhe k um 1.

Bemerkung 22.
(i) Typische Vorkonditionierer sind das Jacobi-Verfahren, eine unvollstndige CholeskyZerlegung, das symmetrische Gau-Seidel-Verfahren und eine Zeilenquilibrierung
der Matrix A.
(ii) Es gibt symmetrische und positiv definite Matrizen, bei denen die oben erwhnten
Vorkonditionierer keinen Vorteil bringen, sogar eine Verschlechterung der Konvergenz.
(iii) Nach den berlegungen oben ist die Konvergenz des vorkonditionierten cg-Verfahrens

= max (A)
abhngig von dem Spektrum von A bzw. der Kondition
= cond2 (A)
.
min (A)
Es lsst sich leicht zeigen, dass die Matrizen A und M 1 A hnlich zueinander sind,
also die gleichen Eigenwerte besitzen. Somit gilt

max (M

min (M

1 A)

A)

Die Konvergenz wird also umso schneller, je besser M die Matrix A approximiert.
Man beachte jedoch, dass in jeder Iteration M s = r zu lsen ist!

3.4

cg-Verfahren fr Normalengleichungen

Lineare Ausgleichsprobleme min kAx


malengleichung

bk2 lassen sich bekanntlich quivalent ber die NorAT Ax = AT b

lsen. Besitzt die im Allgemeinen nicht quadratische Matrix A maximalen Rang, so ist AT A
eine symmetrisch, positiv definite Matrix. Es ist jedoch zu beachten, dass die Kondition dieser
Matrix dem Quadrat der Kondition von A entspricht.
Bei hinreichend guter Kondition kann man die Normalengleichung mit Hilfe einer CholeskyZerlegung lsen, muss dabei jedoch das teure Produkt AT A explizit ausrechnen. Hier bietet
das cg-Verfahren eine gute Alternative. Fr Gleichungssystem der Form Ax = b bildet das
Matrix-Vektor-Produkt Adk in jeder Iteration des Verfahrens den Hauptaufwand. Die Matrix
A wird zustzlich im cg-Verfahren nicht weiter benutzt. Im Fall der Normalengleichung muss
das Produkt AT Adk in jeder Iteration ausgerechnet werden. Berechnet man zunchst Adk
und dann AT (Adk ), so erspart man sich die Matrix-Matrix-Multiplikation und kommt mit
zwei Matrix-Vektor-Produkten aus.

Kapitel 4
Interpolation und Approximation
Problem:
1. Interpolation: Suche fr Sttzpunkte (x0 , f0 ), . . . , (xn , fn ) ein Polynom p(x) vom Grad
n mit
p(xi ) = fi .

2. Approximation: Suche fr eine gegebene Funktion f : [a, b] ! R eine mglichst einfach


auszuwertende Funktion p : [a, b] ! R (Polynome, stckweise Polynome, trigonometrische Funktionen,...), so dass f p klein ist, z.B.
Z b
(a)
(f (x) p(x))2 dx = min!
a

(b) max |f (x)


x2[a,b]

p(x)| = min!

(c) zustzlich zu (a) oder (b): fr endlich viele Punkte f (x) = p(x) (Interpolation).
Der folgende Satz garantiert, dass stetige Funktionen beliebig genau durch Polynome approximiert werden knnen, wobei keine Interpolation gefordert und auch der Grad des Polynoms
nicht beschrnkt wird.

56

KAPITEL 4. INTERPOLATION UND APPROXIMATION

57

Satz 16 (Weierstrascher Approximationssatz). Sei eine stetige Funktion f : [a, b] ! R


gegeben. Dann existiert fr jedes (noch so kleine) > 0 eine natrliche Zahl n und ein
Polynom p : [a, b] ! R vom Grad n mit
max |f (x)

x2[a,b]

4.1

p(x)| .

Polynominterpolation

Situation wie in 1.: Gegeben sind n + 1 Sttzwerte fi := f (xi ) einer Funktion f an den
Sttzstellen x0 < x1 < . . . < xn .
Suche: Polynom p(x) vom Grad n mit
p(xi ) = fi fr i = 0, . . . , n.

Wir sagen: Das Polynom p interpoliert f an den Sttzstellen x0 , . . . , xn .


Bemerkung 23. Dass die Sttzstellen der Gre nach geordnet sind, kann fr paarweise
verschiedene Sttzstellen immer durch geeignete Namensgebung erreicht werden. Dabei heien n + 1 Stellen paarweise verschieden, wenn bei Wahl von zwei beliebigen Stellen, immer
Ungleichheit garantiert werden kann. Genau die paarweise Verschiedenheit ist die relevante
Voraussetzung in diesem Kapitel.
Fragen: Existiert ein solches Polynom? Gibt es mehrere Polynome die f an den Sttzstellen
x0 , . . . , xn interpolieren?
Zur Eindeutigkeit: Wir wissen: Eine Gerade ist durch Vorgabe von zwei verschiedenen
Punkten eindeutig bestimmt. Eine Parabel ist durch Vorgabe dreier Punkte (an paarweise
verschiedenen Stellen) eindeutig bestimmt.
Allgemein: Ein Polynom vom Grad n ist durch Vorgabe von n + 1 Punkten (an paarweise
verschiedenen Stellen) eindeutig bestimmt. Denn: Seien p(x) und q(x) zwei Polynome vom
Grad n mit
p(xi )

q(xi ) = 0

fr paarweise verschiedene x0 , . . . , xn , so besitzt das Dierenzpolynom p(x) q(x) einen Grad


n und n + 1 verschiedene Nullstellen. Daher folgt nach dem Fundamentalsatz der Algebra
p(x) q(x) 0.
Zur Existenz: Wir whlen die sogenannten Lagrange-Polynome Li zu den Sttzstellen
x0 , . . . , xn , welche den Grad n besitzen und folgende Eigenschaft haben:

0, falls i 6= j
Li (xj ) =
(4.1)
1, falls i = j.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

58

Im Grunde lsen wir also zunchst n + 1 einfache Interpolationsprobleme der Form (4.1). Wir
setzen dann
p(x) =

n
X

fi Li (x).

i=0

Oenbar gilt:
Produkt der Nullstellen

Li (x) =

n
Y

(x

j=0,j6=i
n
Y

j=0,j6=i

}|

xj )

(xi

xj )

{z

n
Y

x
xi
j=0,j6=i

xj
.
xj

Normierungsfaktor

Satz 17 (Lagrangesche Interpolationsformel). Zu n + 1 Sttzpunkten (xi , fi ), i = 0, . . . , n


mit paarweise verschiedenen Sttzstellen xi existiert genau ein Interpolationspolynom p(x)
vom Grad n, welches gegeben ist durch
p(x) =

n
X

fi Li (x),

(4.2)

i=0

wobei Li (x) die Lagrange-Polynome der Sttzstellen xi sind:


Li (x) =

n
Y

x
xi
j=0,j6=i

xj
.
xj

Bemerkung 24. Interpretieren wir Pn := {p | p ist Polynom vom Grad n} als Vektorraum, so sind die Lagrange-Polynome Li bezglich des Skalarprodukts
< p, q > :=

n
X

p(xi )q(xi )

i=0

eine Orthonormalbasis und (4.2) eine entsprechende Linearkombination.

4.1.1

Kondition des Problems

Frage: Wie wirken sich Strungen der Eingabegren (hier die Sttzwerte fi ) auf die Lsungen der Interpolation aus?
Gegeben: Sttzpunkte (xi , fi ) und gestrte Sttzpunkte (xi , fi ).

KAPITEL 4. INTERPOLATION UND APPROXIMATION

59

Wissen:
p(x) =

n
X

fi Li (x)

p(x) =

i=0

n
X

fi Li (x).

i=0

Somit folgt:
|p(x)

p(x)| =

n
X

fi )Li (x)

(fi

i=0

fi |

max |fi
i=0,...,n

n
X
i=0

n
X
i=0

|fi

fi ||Li (x)|
(4.3)

|Li (x)|.

Definition 7 (Lebesgue-Konstante). Wir nennen


n := max

x2[a,b]

n
X
i=0

|Li (x)|

die Lebesgue-Konstante bezglich der Sttzstellen x0 , . . . , xn auf dem Intervall [a, b].

Bemerkung 25. Die Lebesgue-Konstante ist invariant unter anen Transformationen und
daher nur von der relativen Lage der Sttzstellen xi zueinander abhngig.
Es gilt also:
Satz 18. Seien p(x) und p(x) die Interpolationspolynome zu den Sttzpunkten (xi , fi )
bzw. (xi , fi ), i = 0, . . . , n. Dann gilt:
max |p(x)

x2[a,b]

p(x)| n max |fi


i=0,...,n

fi |,

wobei n die kleinste Zahl mit dieser Eigenschaft ist.


Beweis. Mit (4.3) folgt
|p(x)

p(x)| max |fi


i=0,...,n

fi |

n
X
i=0

|Li (x)| n max |fi


i=0,...,n

fi |

fr alle x 2 [a, b], womit die Abschtzung des Satzes fr beliebige Strungen bewiesen ist. Dass
n die kleinste Zahl mit dieser Eigenschaft darstellt, also in diesem Sinne die Abschtzung
optimal ist, sieht man am besten ein, indem man eine spezielle Strung konstruiert, fr die
Gleichheit gilt. Die erste Ungleichung in (4.3) resultiert aus der Dreiecksungleichung. Bei
der Dreiecksungleichung gilt Gleichheit, wenn alle Summanden das gleiche Vorzeichen haben.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

60

Wir setzen also zum Beispiel fi = fi , so dass hier Gleichheit gilt. Bei dieser Wahl gilt
auch maxi=0,...,n |fi fi | = unabhngig von i, wodurch auch die zweite Ungleichung in
(4.3) zur Gleichheit wird. Investieren wir nun abschlieend, dass stetige Funktionen auf einem
kompakten Intervall ihr Maximum tatschlich annehmen, so gilt auch beim bergang zur
Lebesgue-Konstanten an mindestens einer Stelle x Gleichheit.
Beispiel 16. Auf dem Intervall [ 1, 1] whlen wir
(i) quidistante Sttzstellen xi =

1+

2i
n

2i+1
(ii) Tschebysche-Sttzstellen xi = cos( 2n+2
)

n
5
10
15
20

a) n
3.10
29.9
512
10987

b) n
2.1
2.5
2.7
2.9

Vorsicht bei Interpolationspolynomen hohen Grades!

4.1.2

Newtonsche Interpolationsformel / Dividierte Dierenzen

Diesem Abschnitt liegt die Idee zugrunde, das volle Interpolationsproblem mit n+1 Sttzpunkten schrittweise aus den Interpolationspolynomen zu weniger Sttzpunkten aufzubauen. Wir
definieren daher pi,k (x) als das Interpolationspolynom zu den Sttzpunkten (xi , fi ), . . . , (xk , fk )
fr k
i. Wie suchen im Folgenden die Koezienten der sogenannten Newton-Darstellung
des Interpolationspolynoms.
p0,n (x) = a0 + a1 (x

x0 ) + a2 (x

x0 )(x

x1 ) + . . . + an (x

x0 ) . . . (x

xn 1 ).

(4.4)

Beobachtungen:
(i) Darstellungen eines Polynoms p(x) vom Grad n:
(a) p(x) = c0 + c1 x + . . . + cn 1 xn

+ cn xn zur Basis der Monome {1, x, x2 , . . . , xn }.

(b) p(x) = b0 L0 (x) + b1 L1 (x) + . . . + bn Ln (x) zur Lagrange-Basis {L0 (x), . . . , Ln (x)}.
(c) p(x) = a0 + a1 w1 (x) + . . . + an wn (x) zur Newton-Basis {w0 (x), . . . , wn (x)} mit
wi (x) =

i 1
Y
j=0

Oenbar gilt an = cn .

(x

xj ).

KAPITEL 4. INTERPOLATION UND APPROXIMATION

61

(ii) Die Koezienten ai knnten (sollten aber nicht) nacheinander aus den Beziehungen
f0 = p(x0 ) = a0
f1 = p(x1 ) = a0 + (x1
f2 = p(x2 ) = a0 + (x2

x0 )a1
x0 )a1 + (x2

(4.5)
x0 )(x2

x1 )a2 , usw.

bestimmt werden. Aufwand der Koezientenbestimmung durch (4.5):


a1 : 2 Additionen, 1 Division
a2 : 4 Additionen, 2 Multiplikationen, 1 Division
a3 : 6 Additionen, 4 Multiplikationen, 1 Division
allgemein: ai : 2i Additionen, 2(i
Insgesamt: n Divisionen, n(n

1) Multiplikationen, 1 Division

1) Multiplikationen, n(n + 1) Additionen.

(iii) Eine einfache aber wichtige Folgerung:


(4.6)

p0,n (x) = p0,n 1 (x) + an wn (x),


bei geeigneter Definition von an , da wn (xi ) = 0 fr i = 0, . . . , n

1.

(iv) Das Polynom p(x) in Darstellung (4.4) bzw. (i)(c) lsst sich durch das sogenannte
Horner-Schema auswerten:


p(x) = a0 + (x x0 ) a1 + (x x1 ) a2 + . . . (x xn 2 ) an 1 + (x xn 1 )an . . . .
Definition 8 (Dividierte Dierenzen). Wir nennen den Koezienten an in (4.6) die n-te
dividierte Dierenz von f zu den Sttzstellen x0 , . . . , xn , und wir schreiben
f0,n := an .
Wir nennen die Koezienten bezglich der Newton-Basis (die ai in obiger Beobachtung
(i)(c)) die dividierten Dierenzen von f zu den Sttzstellen x0 , . . . , xn . Mit diesen Bezeichnungen gilt:
p0,n (x) = f0,0 + f0,1 w1 (x) + . . . + f0,n wn (x)

Frage: Lassen sich die dividierten Dierenzen billiger bestimmen als durch Darstellung (4.5)?
Die theoretische Grundlage dieses Abschnitts bildet das folgende Resultat:

KAPITEL 4. INTERPOLATION UND APPROXIMATION

62

Lemma 3 (von Aitken). Fr das Interpolationspolynom p0,n von f zu den Sttzstellen


x0 , . . . , xn gilt die Rekursionsformel
p0,n (x) =
wobei p1,n und p0,n
x0 , . . . , xn 1 sind.

(x0

x)p1,n (x) (xn


x0 xn

x)p0,n 1 (x)

(4.7)

die Interpolationspolynome von f zu den Sttzstellen x1 , . . . , xn bzw.

Beweis. Setze q(x) :=r.S. von (4.7). Dann gilt oenbar q(xi ) = fi fr i = 0, . . . , n und der
Grad von q ist n. Aufgrund der Eindeutigkeit des Interpolationspolynoms gilt daher p = q.
1. Die 0-te dividierte Dierenz von f zu der Sttzstelle xi ist gegeben durch
fi,i = fi .
Wir finden mit Formel (4.7)
pi,i+1 (x)
| {z }

(xi

x)pi+1,i+1 (x) (xi+1


xi xi+1

(xi

x)fi+1,i+1 (xi+1
xi xi+1

x)pi,i (x)

=fi,i +(x xi )fi,i+1

x)fi,i

und somit
fi,i+1 =
=

(xi
fi,i
xi

x)fi+1,i+1 (xi
xi xi+1
fi+1,i+1
,
xi+1

x)fi,i

1
x

xi

d.h. die 1-te dividierte Dierenz zweier (benachbarter) Stellen lsst sich leicht aus den entsprechenden Sttzwerten durch dividierte Dierenzen berechnen.
2. Wir gehen nun davon aus, dass die (n 1)-ten dividierten Dierenzen f1,n und f0,n
bekannt sind. Wiederum mit Formel (4.7) und (4.6) finden wir
p0,n (x) = p0,n 1 (x) + f0,n wn (x) =

(x0

x)p1,n (x) (xn


x0 xn

Nach Koezientenvergleich des Faktors xn erhalten wir


f0,n =

f1,n f0,n
x0 xn

f0,n 1 f1,n
.
x0 xn

x)p0,n 1 (x)

KAPITEL 4. INTERPOLATION UND APPROXIMATION

63

Anordnung der dividierten Dierenzen im sogenannten Dierenzenschema:


f0 = f0,0
f1 = f1,1
f2 = f2,2

&
!
&
!

f0,1
f1,2

..
.
fn

= fn

&
! f0,2

..
.
1,n 1

fn = fn,n

&
&
! fn 2,n 1 !
&
! fn 1,n !

&

..

...

&
! f0,n

...

f1,n

&
! f0,n

Die Hauptdiagonale liefert die Koezienten von p0,n (x).


Aufwand:
2-te Spalte: 2n Additionen, n Divisionen
3-te Spalte: 2(n 1) Additionen, n 1 Divisionen
P
P
Insgesamt: ni=1 i = n(n+1)
Divisionen, 2 ni=1 i = n(n + 1) Additionen. Billiger als Koezi2
entenbestimmung durch (4.5).
Satz 19 (Newtonsche Interpolationsformel). Zu n + 1 Sttzpunkten (xi , fi ), i = 0, . . . , n
mit paarweise verschiedenen Sttzstellen xi existiert genau ein Interpolationspolynom p(x)
vom Grad n, welches gegeben ist durch
p(x) = f0,0 + f0,1 (x

x0 ) + . . . + f0,n (x

x0 ) . . . (x

wobei die dividierten Dierenzen gegeben sind durch


fi,i = fi ,
fi,i+k 1 fi+1,i+k
fi,i+k =
xi xi+k
fr i = 0, . . . , n und 1 k n

i.

Beispiel 17. Gegeben seien die Sttzpunkte:


fi
xi

1
-1

6
0

-3
1

3
3

xn 1 ),

KAPITEL 4. INTERPOLATION UND APPROXIMATION

64

Das Dierenzen-Schema lautet:


x0 =

1 f0 = 1

x1 = 0
x2 = 1
x3 = 3

&
f1 = 6
!
&
f2 = 3 !
&
f3 = 3
!

1 6
1 0
6+3
0 1

=5
&
9 !
&
=3 !

3 3
1 3

5+9
1 1

9 3
0 3

=4

&
!

7 4
1 3

11
4

Damit ergibt sich fr das Interpolationspolynom die Darstellung bezglich der Newtonbasis:
p(x) = 1 + 5(x + 1)

4.1.3

7(x + 1)x +

11
(x
4

+ 1)x(x

1).

Das Restglied der Polynominterpolation

Wir untersuchen nun die Approximationseigenschaft des Interpolationspolynoms p von f zu


den Sttzstellen x0 , . . . , xn , d.h. den Fehler
f (x)

p(x).

Satz 20 (ber den Interpolationsfehler). Sei f : [a, b] ! R mindestens (n + 1)-mal stetig


dierenzierbar und p(x) das Interpolationspolynom von f in den Sttzstellen x0 , . . . , xn 2
[a, b] vom Grad n. Dann existiert zu jedem x 2 [a, b] eine Zwischenstelle = (x) 2
(a, b) mit
f (x)

f (n+1) ()
p(x) = wn+1 (x)
.
(n + 1)!

Beweis. Wir setzen


F (x) = f (x)

p(x)

K wn+1 (x)

und bestimmen fr ein x 6= xi , i = 0, . . . , n, die Konstante K so, dass F (


x) = 0 gilt. Dies ist
mglich da wn+1 (
x) 6= 0. Insgesamt besitzt F somit n + 2 verschiedene Nullstellen und nach
dem Satz von Rolle die Ableitung F 0 noch n + 1 verschiedene Nullstellen. Wiederum mit dem
Satz von Rolle schlieen wir auf n verschiedene Nullstellen von F 00 usw.. Schlielich besitzt
F (n+1) = f (n+1) (x) K(n + 1)! eine Nullstelle = (
x). Daher gilt
0 = f (n+1) ()

K(n + 1)!

und mit Auflsung nach K die Behauptung des Satzes.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

65

Mit Darstellung (4.6) und dem vorangegangenen Beweis gilt mit xn+1 = x
f0,n+1 =

f (n+1) ()
.
(n + 1)!

Betrachten wir die Funktionsklasse


F = {f 2 C n+1 ([a, b])| max |f (n+1) ( )| M (n + 1)!}
2[a,b]

fr eine Konstante M > 0, so hngt der Interpolationsfehler oenbar entscheidend von der
Wahl der Sttzstellen x0 , . . . , xn in Form von
wn+1 (x) = (x

x0 ) . . . (x

xn )

ab. In der Tat ist die Approximationseigenschaft von Interpolationspolynomen im Allgemeinen


nicht so gut, wie der Weierstrasche Approximationssatz Satz 16 vermuten lsst. Im nchsten
Abschnitt werden wir jedoch zeigen wie sich
max |wn+1 (x)|

x2[a,b]

bei entsprechender Wahl der Sttzstellen minimieren lsst.

4.1.4

Tschebysche-Interpolation

Ziel: Approximation von f : [a, b] ! R durch Interpolationspolynome mit mglichst gnstigen Sttzstellen (gute Kondition, optimale Approximation von f 2 F).
Ohne Einschrnkung sei [a, b] = [ 1, 1]. Denn mit der anen Transformation
[ 1, 1]
! [a, b]
x 7 ! a+b
+
2
2
a+b
y b a ! 7 y
b a

b a
x
2

=y

lsst sich das Intervall [a, b] in das Intervall [ 1, 1] berfhren ohne die Interpolations- und
Approximationseigenschaften zu verndern.
Wir definieren rekursiv die Tschebysche-Polynome
T0 (x) = 1
T1 (x) = x
Tn+1 (x) = 2x Tn (x)

Tn 1 (x).

Das Polynom Tn vom Grad n ist ebenfalls gegeben durch:


Tn (x) = cos(n arccos x).

KAPITEL 4. INTERPOLATION UND APPROXIMATION

66

Beweis. Der Beweis wird durch Induktion gefhrt. Die Flle n = 0 und n = 1 sind klar. Sei
die Behauptung fr n gezeigt. Mit der Definition der Tschebysche-Polynome gilt:
Tn+1 (x) = 2x Tn (x) Tn 1 (x)
= 2x cos(n arccos x) cos((n 1) arccos x)
= 2 cos(arccos x) cos(n arccos x) cos((n 1) |arccos
{z x})
|
{z
}
=:'
=x
|
{z
}
=cos((n+1)')+cos((n 1)')

= cos((n + 1)').

Beachte: Nach dem Additionstheorem des Cosinus gilt:


cos(n' + ') + cos(n'

') = 2 cos(n') cos(').

Folgerungen:
(i) Die Nullstellen von Tn sind cos

2k+1

2n

, k = 0, . . . , n

1.

(ii) Tn (cos k
) = ( 1)k fr k = 0, . . . , n.
n
(iii) |Tn (x)| 1 fr |x| 1.
(iv) Der Koezient von xn ist 2n

fr n

1.

Beispiel 18.
T2 (x) = 2x2 1
T3 (x) = 22 x3 3x
T4 (x) = 23 x4 8x2 + 1

Satz 21. Unter allen (x0 , . . . , xn )T 2 Rn+1 wird max |wn+1 (x)| minimal, wenn die xi
x2[ 1,1]

genau die Nullstellen des (n + 1)-ten Tschebysche-Polynoms Tn+1 sind, d.h. wenn

2k + 1
xk = cos
fr k = 0, . . . , n
2n + 2
gilt. Der minimale Wert ist 2

Zum Beweis des Satzes benutzen wir folgendes Resultat:

67

0.5

0.5

0.5

0.5

1
1

T 4 (x)

T 3 (x)

T 2 (x)

KAPITEL 4. INTERPOLATION UND APPROXIMATION

0.5

0.5

0.5

1
1

0.5

0.5

0.5

1
1

0.5

0.5

Abbildung 4.1: Tschebysche-Polynome T2 , T3 und T4 .


Lemma 4. Sei q(x) = 2n 1 xn +. . . ein Polynom vom Grad n ungleich des n-ten TschebyschePolynoms Tn . Dann gilt:
max |q(x)| > 1 = max |Tn (x)|.

x2[ 1,1]

x2[ 1,1]

Beweis. Wir nehmen an |q(x)| 1 fr alle x 2 [ 1, 1] und fhren diese Annahme zu einem
Widerspruch. Es gilt nach Folgerung (ii)
Tn (1) = 1

Tn (cos ) = 1.
n
Wir betrachten die Dierenz Tn (x) q(x) auf dem Intervall [cos n , 1]. Da nach Voraussetzung
Tn und q den selben Koezienten vor xn besitzen, nmlich 2n 1 , gilt
deg Tn

qn

1.

Nach dem Zwischenwertsatz besitzt Tn (x) q(x) mindestens eine Nullstelle in [cos n , 1]. Beachte dazu: Entweder besitzt Tn (x) q(x) bereits eine Nullstelle in einem Randpunkt oder es
gilt Tn (cos n ) q(cos n ) < 0 und Tn (1) q(1) > 0.
Entsprechend folgt:
Tn (x)

q(x) hat (mindestens) eine Nullstelle in [cos n2 , cos n ]

Tn (x)

q(x) hat (mindestens) eine Nullstelle in [cos n3 , cos n2 ]


..
.

Tn (x)

q(x) hat (mindestens) eine Nullstelle in [ 1, cos nn 1 ],

also besitzt Tn (x) q(x) insgesamt n Nullstellen in [ 1, 1]. Beachte wiederum: Fallen zwei
Nullstellen in einem Randpunkt der einzelnen Intervalle zusammen, so handelt es sich um
eine doppelte Nullstelle, da Tn und q dort ein Extremum besitzen.
Da aber das Polynom Tn q hchstens den Grad n 1 besitzt, handelt es sich um das
Nullpolynom:
Tn = q.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

68

Dies ist aber ein Widerspruch zur Annahme, die daher falsch sein muss.
Beweis. (zu Satz 21) Es gilt:
max |wn+1 (x)| =

x2[ 1,1]

1
max | 2n wn+1 (x) |.
n
2 x2[ 1,1] | {z }
=2n xn+1 +...

Die Behauptung des Satzes folgt nun aus dem vorangehenden Lemma.
Satz 22. Fr die Lebesgue-Konstanten zu den Tschebysche-Sttzstellen gilt:
n 3 fr n 20
n 4 fr n 100
2
n log n fr n ! 1.

Vergleiche mit den Lebesgue-Konstanten bei quidistanten Sttzstellen!


Wir wissen, dass die Tschebysche-Polynome T0 , . . . , Tn eine Basis des Vektorraums Pn bilden.
Sie sind bezglich des Skalarprodukts
n
X
hp, qi :=
p(xi )q(xi )
i=0

orthogonal, wobei xi die Nullstellen von Tn+1 sind. Tatschlich gilt (ohne Beweis)
8
falls k 6= j (Orthogonalitt)
< 0,
1
(n
+
1),
falls k = j > 0
hTk , Tj i =
: 2
(n + 1),
falls k = j = 0
fr k, j n.

Mit der Orthogonalitt der Tschebysche-Polynome folgt


n
X
hp, Ti i
p = p0,n =
hT , T i
i=0
| i{z i }
=:ci bzw.

c0
2

Ti

fr i=0

und mit der Definition des Skalarproduktes oben


n
X
hp, Tk i =
p(xi )Tk (xi )
=

i=0
n
X
i=0

n
X
i=0

f (xi )Tk (xi )

2i + 1
fi cos k
.
2n + 2

KAPITEL 4. INTERPOLATION UND APPROXIMATION

69

Insgesamt erhalten wir damit den folgenden Satz.


Satz 23 (Tschebyschesche Interpolationsformel). Zu n + 1 Sttzpunkten (xi , fi ), i =
0, . . . , n, wobei die Sttzstellen genau den Nullstellen des Tschebysche-Polynoms Tn+1
entsprechen, lsst sich das eindeutige Interpolationspolynom p(x) = p0,n (x) vom Grad n
darstellen durch
1
p(x) = c0 + c1 T1 (x) + . . . + cn Tn (x)
2

(4.8)

mit

n
2 X
2i + 1
ck =
fi cos k

n + 1 i=0
2n + 2
fr k = 0, . . . , n.

2i+1
Zu den speziellen Sttzstellen xi = cos( 2n+2
) steht uns somit neben der Lagrangeschen und
der Newtonschen eine weitere Interpolationsformel zur Verfgung.

Fragen: Wie ezient lassen sich die Koezienten ck berechnen? Lsst sich p(x) in der Form
(4.8) leicht auswerten?
1. Die direkte Berechnung der ck erfordert (n + 1)2 Multiplikationen. Die schnelle FourierTransformation (FFT) bentigt O(n log n) Multiplikationen. Zum Vergleich: Berechnung der dividierten Dierenzen der Newtonschen Interpolationsformel bentigt n(n+1)
2
Divisionen. Fr hinreichend groe n ist es daher zweckmig die Koezienten mit FFT
zu berechnen. Dabei ist es gnstig, wenn n + 1 = 2m eine 2-er Potenz ist.
2. Das Polynom p(x) lsst sich bei bekannten Koezienten leicht berechnen:
Satz 24 (Clenshaw-Algorithmus). Sei p(x) ein Polynom mit
1
p(x) = c0 + c1 T1 (x) + . . . + cn Tn (x).
2
Sei weiter dn+2 = dn+1 = 0 und
dk = ck + 2x dk+1

dk+2 fr k = n, n

1, . . . , 0.

Dann gilt:
1
p(x) = (d0
2

d2 ).

Bemerkung 26. Der Aufwand zur Berechnung von p(x) ist somit n + 2 Multiplikationen
und 2n Additionen.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

70

Beweis. Zunchst gilt dn = cn . Mit der Rekursionsformel


Tk (x) = 2x Tk 1 (x)

Tk 2 (x)

folgt:
1
p(x) = c0 + c1 T1 (x) + . . . + cn 3 Tn 3 (x) + (cn
2
1
= c0 + c1 T1 (x) + . . . + cn 4 Tn 4 (x) + (cn
2

= . . . (induktiv)
1
= c0 + (c1 d3 ) T1 (x) +d2 T2 (x)
| {z }
| {z }
2
=x

1
= c0 + x(c1 + 2xd2
2
1
= c0 + xd1 d2
2
1
= (d0 d2 ).
2

dn )Tn 2 (x) + (cn


|

+ 2xdn )Tn 1 (x)


{z
}

=dn

dn 1 )Tn 3 (x) + (cn


|

dn + 2xdn 1 )Tn 2 (x)


{z
}

=dn

=2x2 1

d3 )

d2

Allgemein ist bei Verwendung von Rekursionen wichtig, wie sich Fehler (z.B. Rundungsfehler) fortpflanzen, also die Stabilitt der Rekursion. Mit anderen Worten: Kleine Fehler am
Beginn der Rechnung, sollen keine groen Auswirkungen auf die sptere Rechnung haben.
Beispiel 19 (einer instabilen Rekursion). Gegeben sei die Rekursion xn+1 = 10xn
Startwert

9 mit

x1 = 1. Dann gilt xn = 1 fr alle n.


x1 = 1 + . Dann gilt xn = 1 + 10n 1 fr alle n.
Satz 25 (ber die Stabilitt des Clenshaw-Algorithmus). Sei p(x) wie in Satz 24 und dk
durch folgende Rekursion berechnet:
0 = dn+2 = dn+1
dk = ck + 2x dk+1

dk+2 + k

KAPITEL 4. INTERPOLATION UND APPROXIMATION


fr k = n, n
gilt:

71

1, . . . , 0, wobei k zum Beispiel Rundungsfehler im k-ten Schritt sind. Dann


n

X
1
| (d0 d2 ) p(x)|
|i |
|2 {z }
i=0
=:
p(x)

fr |x| 1.
Beweis. Setze ek := dk

dk . Oenbar gilt

en+2 = en+1 = 0
ek = k + 2x ek+1

ek+2 fr k = n, n

1, . . . , 0.

Somit nach Satz 24


1
(0 e2 ) = 0 + 1 T1 (x) + . . . + n Tn (x).
|2 {z }
=
p(x) p(x)

Wegen |Tj (x)| 1 fr |x| 1 folgt

|
p(x)

p(x)|

n
X
i=0

|i |.

Bemerkung 27. Approximationen durch eine Summe von Tschebysche-Polynomen werden


im Rechner zur Berechnung von Funktionen wie log, exp, sin, cos, . . . verwendet.
Beispiel 20. Berechnung von log(y) fr 0 < ymin y ymax , wobei ymin und ymax die
kleinste bzw. die grte darstellbare Zahl im Rechner sind.
Gleitpunktdarstellung (mit d = 2):

mit a =

Pl

i=1

y = a 2N +1
ai 2

und ai 2 {0, 1}, a1 = 1. Also existiert ein t 2 [0, 1) mit


y = (1 + t) 2N .

Mit dem Additionstheorem des Logarithmus erhalten wir


log y = log(1 + t) + N log 2.
Wir approximieren log(1 + t) auf [0, 1] bzw. log 1 + 1+x
auf dem Intervall [ 1, 1] durch
2
Tschebysche-Interpolation. Fr den Interpolationsfehler gilt nach Satz 20

1+x
|wn+1 (x)|
1 + (n+1)
| log 1 +
p(x)|
| log 1 +
|.
2
(n + 1)!
2

KAPITEL 4. INTERPOLATION UND APPROXIMATION

72

Beachte:

1+x
log 1 +
2

1
1
1+x ,
1+ 2 2

also auch

1+x
log 1 +
2

(n+1)

(n)
1
1
=
1+x
2
1+ 2
n+1
1
( 1)n n!
=
.
2
(1 + 1+x
)n+1
2

Somit gilt fr den Interpolationsfehler die Abschtzung

1+x
1
n!
| log 1 +
p(x)| n
n+1
2
2 (n + 1)! 2 |1 + 1+x
|n+1
2
1

.
2(n + 1)4n
Zum Beispiel gilt fr n = 16

1+x
| log 1 +
2

p(x)| 10

11

Beispiel 21 (Das Phnomen von Oszillationen). Betrachte f : [ 1, 1] ! R,


f (x) =

1
,
(x)2 + 1

6= 0.

1
0.9
0.8
0.7

f(x)

0.6
0.5
0.4
0.3
0.2
0.1
0
1

0.5

0.5

Abbildung 4.2: Graph der Funktion f : [ 1, 1] ! R fr = 5.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

73

Fr quidistante Sttzstellen erhalten wir folgende Approximationen des Graphen:


n=4

n=6

0.5

0.5

0.5
1

0.5
1

0.5

1.5

0.5

0.5

0
0

n=10

n=8
1

1.5
1

0.5
1

Hier fallen die starken Oszillationen bei zunehmender Anzahl von Sttzstellen am Rand des
Intervalls auf. Fr Tschebysche-Sttzstellen fallen die Oszillationen viel moderater aus:
n=4

n=6

0.5

0.5

0.5
1

0.5
1

n=8

n=10

1.5
1

0.5
0.5
0
0
0.5
1

0.5
1

Die Approximationseigenschaften der Interpolationspolynome sind, wie oben bewiesen, in


diesem Fall wesentlich besser. Betrachten wir aber fr n = 20 Variationen des Parameters ,
so lsst sich das Phnomen der Oszillationen wieder verstrken:

KAPITEL 4. INTERPOLATION UND APPROXIMATION


=5

74
=10

0.5
0.5
0

0
1

0.5
1

=15
1

0.5

0.5

=20

0.5
1

0.5
1

Hier msste wiederum durch eine Erhhung der Sttzstellen die Approximationseigenschaft
verbessert werden.
Das Beispiel macht deutlich, dass man bei quidistanten Sttzstellen sehr viel Vorsicht walten
lassen muss bei der Verwendung von Interpolationspolynomen hohen Grades. Aber auch bei
Tschebysche-Sttzstellen kann der Aufwand sehr hoch sein, hinreichend gute Approximationseigenschaften zu garantieren. Eine Lsung verspricht der Ansatz von Splines.

4.2

Kubische Spline-Interpolation

Splines werden vor allem in der graphischen Datenverarbeitung eingesetzt. Die Spline-Interpolation
vermeidet Oszillationen wie sie bei der Polynominterpolation (vorangehende Abschnitte) auftreten knnen.

Problem: Suche eine glatte Funktion s : [a, b] ! R, die durch vorgegebene Punkte
(xi , yi ), i = 0, . . . , n mit a = x0 < x1 < . . . < xn = b geht.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

75

Interpolation: s(xi ) = yi fr i = 0, . . . , n.
glatt: s zweimal stetig dierenzierbar und
Z b
|s00 (x)|2 dx minimal!
a

Bemerkung 28. Die Krmmung des Graphen von y im Punkt (x, y(x)) wird gemessen durch
y 00 (x)
3

[1 + y 0 (x)] 2

Die (Biege-) Energie, z.B. eines eingespannten Bretts, ist


!2
Z
1 b
y 00 (x)
E=
dx.
2 a [1 + y 0 (x)] 32
Fr kleine Auslenkungen y 0 (x) gilt
1
E
2

b
a

|y 00 (x)|2 dx.

Wir fordern minimale Energie:


Z b
Z b
00
2
|s (x)| dx
|s00 (x) + h00 (x)|2 dx
a

(4.9)

fr alle 2 R und Funktionen h : [a, b] ! R mit h(xi ) = 0, i = 0, . . . , n. Ausmultiplizieren


liefert quivalent zu (4.9) die Bedingung
Z b
Z b
Z b
Z b
00
2
00
2
00
00
2
|s (x)| dx
|s (x)| dx + 2
s (x)h (x)dx +
|h00 (x)|2 dx.
a

Dies ist genau dann fr alle 2 R und h : [a, b] ! R mit h(xi ) = 0, i = 0, . . . , n, erfllt, falls
Z b
s00 (x)h00 (x)dx = 0
a

gilt. Dies lsst sich leicht einsehen, wenn Rwir die rechte Seite als quadratisches Polynom in
b
interpretieren und nach Subtraktion von a |s00 (x)|2 dx auf beiden Seiten den nchstmglichen
dominanten Term fr kleine betrachten.
Mit Hilfe partieller Integration finden wir
Z b
Z b
b
00
00
00
0
0=
s (x)h (x)dx = s (x)h (x)
s000 (x)h0 (x)dx.
a

KAPITEL 4. INTERPOLATION UND APPROXIMATION

76

Nehmen wir s(x) als stckweises kubisches Polynom an (jeweils kubisch auf den Intervallen
[xi 1 , xi ]), so ist s000 (x) stckweise konstant, also
Z

000

s (x)h (x)dx =
a

n
X

i=1

xi
xi

h0 (x)dx =
1

n
X
i=1

Insgesamt gilt also (4.9) genau dann, wenn


s00 (b)h0 (b)

i h(xi )
| {z }
=0

h(xi 1 ) = 0.
| {z }
=0

s00 (a)h0 (a) = 0

(4.10)

gilt.
Satz 26 (ber die Min-Eigenschaft kubischer Splines). Sei a = x0 < x1 < . . . < xn = b,
und seien f, s : [a, b] ! R zweimal stetig dierenzierbar mit
s(xi ) = f (xi ) fr i = 0, . . . , n.
Des Weiteren gelte eine der folgenden Bedingungen:
(i) s0 (a) = f 0 (a) und s0 (b) = f 0 (b),
(ii) s00 (a) = 0 und s00 (b) = 0,
(iii) s(k) (a) = s(k) (b) fr k = 1, 2 und f (k) (a) = f (k) (b) fr k = 0, 1.
Falls s auf jedem Teilintervall [xi 1 , xi ] ein kubisches Polynom ist, so gilt:
Z

b
a

00

|s (x)| dx

b
a

|f 00 (x)|2 dx.

Beweis. In allen drei Fllen lsst sich die Funktion f darstellen als f (x) = s(x)+h(x) mit einer
zweimal stetig dierenzierbaren Funktion h : [a, b] ! R mit h(xi ) = 0 fr alle i = 0, . . . , n.
Im Fall (i) gilt zustzlich h0 (a) = h0 (b) = 0. Somit ist (4.10) erfllt. Mit Voraussetzung (ii) ist
(4.10) ebenfalls erfllt. Im dritten Fall folgt h0 (a) = h0 (b) und somit wieder (4.10).

Definition 9. Ein solches s heit im Fall


(i) eingespannter
(ii) natrlicher
(iii) periodischer
interpolierender kubischer Spline.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

77

Fragen: Warum existiert ein solcher Spline? Ist der Spline eindeutig? Wie lsst sich dieser
Spline konstruieren?
Beispiel 22 (Beispiel eines eingespannten Splines).
s : [0, 3] ! R definiert durch
8
3
>
2x2 + 3,
x 2 [0, 1]
<3x
3
2
s(x) =
15x + 52x
54x + 21,
x 2 [1, 2]
>
:
3
2
61x
404x + 858x 587, x 2 [2, 3]

interpoliert die Punkte (0, 3), (1, 4), (2, 1), (3, 2) mit Hermite-Rand-Bedingungen s0 (0) = 0
und s0 (3) = 81.
10

s(x)

10

15

20
0

0.5

1.5

2.5

4.2.1

Konstruktion

Seien (xi , yi ), i = 0, . . . , n mit a = x0 < x1 < . . . < xn = b gegeben. Wir konstruieren einen
kubischen interpolierenden Spline wie folgt: Wir fordern, dass s|[xi 1 ,xi ] =: si ein Polynom
dritten Grades ist mit
si (xi 1 ) = yi 1 ,
si (xi ) = yi ,
also
si (x) = yi
|

+ (x

x )y
+ (x
{z i 1 i 1,i} |

interpolierender Anteil

xi 1 )(x

xi ) i (x
{z

xi 1 ) +

glttender Anteil

i (x

xi ) .
}

KAPITEL 4. INTERPOLATION UND APPROXIMATION

78

Hier ist yi 1,i = (yi 1


yi )/(xi 1
xi ) die (erste) dividierte Dierenz zu den Punkten
(xi 1 , yi 1 ) und (xi , yi ). Soweit wurde nur die Interpolation bercksichtigt. Um eine zweimal stetig dierenzierbare Funktion s zu erhalten, mssen die Parameter i und i bestimmt
werden. Wir haben n Teilintervalle, also n kubische Funktionen mit zwei Unbekannten. Insgesamt haben wir also 2n Unbekannte. Die Glattheitsforderung des Splines liefert an jeder
der n 1 inneren Sttzstelle zwei Bedingungen, also 2n 2 Bedingungen. Mit den zustzlichen zwei Forderungen des eingespannten, natrlichen bzw. periodischen Splines erhalten wir
somit genauso viele Unbekannte wie Bedingungen. Dabei sind alle Bedingungen oensichtlich
linear in den i und i , was bedeutet, dass die Unbekannten durch das Lsen eines linearen
Gleichungssystems der Dimension 2n gefunden werden knnte.
Im Folgenden gehen wir jedoch den Weg ber einen anderen Ansatz: Dazu definieren wir die
noch zu bestimmenden Momente i durch:
s00i (xi 1 ) =
s00i (xi ) =

i 1,
i.

Das Vorgehen ist nun folgendes: Wir bestimmen zunchst mit diesen beiden Bedingungen i
und i in Abhngigkeit von i 1 und i . Danach nutzen wir die Bedingungen an die erste
Ableitung
s0i (xi ) = s0i+1 (xi ) fr i = 1, . . . , n

(4.11)

1,

um die i zu berechnen. Man beachte, dass die zweimalige stetige Dierenzierbarkeit dann
gewhrleistet ist.
Dierenzieren liefert:
s0i (x) = yi 1,i + i (x xi 1 )2 + 2(i + i )(x xi 1 )(x
s00i (x) = (4i + 2 i )(x xi 1 ) + (2i + 4 i )(x xi ).
Mit den Gitterweiten hi = xi

xi

xi ) +

i (x

xi ) 2 ,

erhalten wir fr die Momente

i 1
i

= (2i + 4 i )hi ,
= (4i + 2 i )hi .

Die Lsung dieses zweidimensionalen Systems ist


1
( i 1 + 2 i ),
6hi
1
=
(2 i 1 + i ).
6hi

i =
i

Damit erhalten wir


si (x) = yi

+ (x
(x
+

xi 1 ) yi
xi 1 )(x
6hi

1,i

xi )

[(

i 1

+ 2 i )(x

xi 1 )

(2

i 1

i )(x

xi )] .

KAPITEL 4. INTERPOLATION UND APPROXIMATION

79

Aus Bedingung (4.11) folgern wir


hi
hi+1
( i 1 + 2 i) +
(2 i + i+1 ) = yi,i+1 yi 1,i =: di .
6
6
Im Folgenden beschrnken wir uns auf eingespannte kubische Splines. Fr einen solchen Spline
sind s01 (x0 ) = y0,1 + 1 h21 = v0 und s0n (xn ) = yn 1,n + n h2n = vn vorgegeben. Wir erhalten
somit die Bedingungen
h1
(2
6

1)

= y0,1

v0 =: d0 ,

hn
( n 1 + 2 n ) = vn yn 1,n =: dn .
6
Insgesamt erhalten wir das lineare Gleichungssystem
0
10
1 0
1
2h1
h1
d0
0
B h1 2(h1 + h2 ) h2
C B 1 C B d1 C
B
CB
C B
C
B
CB
C B
C
B
C
B
C
B
C
1B
C
B
C
B
C
.
.
.
.
.
.
.
.
.
.
B
CB . C = B . C.
.
.
.
CB
C B
C
6B
B
CB
C B
C
B
CB
C B
C
@
A
@
A
@
hn 1 2(hn 1 + hn ) hn
dn 1 A
n 1
hn
2hn
dn
n
Bemerkung 29.
(i) Man beachte, dass s00i (xi ) = s00i+1 (xi ) fr i = 1, . . . , n

1 aus der Konstruktion folgt.

(ii) Die Matrix des Gleichungssystems ist eine diagonaldominante Tridiagonalmatrix. Somit
ist das Gleichungssystem eindeutig lsbar und gut konditioniert.
(iii) Bei quidistantem Gitter mit Gitterweite
0
2 1
B1 4
hB
B ..
B
.
6B
@

4.2.2

h = hi lautet die Matrix


1
C
1
C
C
.. ..
.
. C.
C
1 4 1A
1 2

Kondition der Spline-Interpolation

Sei s(x) der eingespannte interpolierende Spline zu (xi , yi ) fr i = 0, . . . , n und s(x) der
Spline zu den gestrten Daten (xi , yi ), i = 0, . . . , n mit gleicher vorgegebener Steigung in den
Randpunkten. Es gilt
s(x)

s(x) =

n
X
i=0

(yi

yi )li (x),

(4.12)

KAPITEL 4. INTERPOLATION UND APPROXIMATION

80

1.2
1
0.8
0.6
0.4
0.2
0
0.2
0

0.5

1.5

2.5

Abbildung 4.3: Graph der 4 Lagrange-Splines zu den Sttzstellen x0 = 0, x1 = 1, x2 = 2 und


x3 = 3.

wobei li (x) der eingespannte Lagrange-Spline mit


(
1 i = j,
li (xj ) =
0 i 6= j
und li0 (a) = 0, li0 (b) = 0 ist. Dies lsst sich am besten einsehen, indem man die linke und
rechte Seite in (4.12) als einen die Punkte (xi , yi yi ), i = 0, . . . , n, interpolierenden Spline
mit verschwindender Ableitung an den Rndern interpretiert und die Eindeutigkeit eines
solchen Splines investiert.
Es folgt:
|s(x)

s(x)|

mit n = maxx2[a,b]

Pn

i=0

n
X
i=0
n
X
i=0

|yi

yi ||li (x)|

|li (x)| max |yi


i=0,...,n

yi | n max |yi
i=0,...,n

yi |

|li (x)|.

Dies liefert mit dem folgenden Satz, welchen wir nicht beweisen, die gute Kondition der SplineInterpolation.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

81

Satz 27. Bei quidistanter Unterteilung gilt


n 2 fr alle n 2 N.

Bemerkung 30.
(i) Im Fall der allgemeinen Polynom-Interpolation gilt die entsprechende Aussage formuliert
in Satz 18, wo bei quidistanter Unterteilung dort n sehr gro werden kann (siehe
Beispiel 16).
(ii) Ohne Beweis: |li (x)| ist klein fr x entfernt von xi , da Strungen von yi nur lokal wirksam
sind.

4.2.3

Fehlerabschtzung fr eingespannte kubische Splines

Satz 28. Sei f 2 C 4 [a, b], s interpolierender Spline mit s0 (a) = f 0 (a) und s0 (b) = f 0 (b).
Dann gilt
|f (x)

s(x)|

5 4
h max |f (4) ()|
384 2[a,b]

mit h = max1,...,n hi .

4.3

Bzier-Technik

In diesem Abschnitt werden wir kennenlernen, wie Polynome ezient gespeichert, berechnet und gezeichnet werden knnen, Polynome wie sie zum Beispiel zur Approximation einer
nicht-polynomialen Funktion verwendet werden. Zudem lassen sich die Ideen auch auf Splines bertragen, welche ja stckweise aus Polynomen zusammengesetzt sind. Die Grundlage
bilden die Bernstein-Polynome, deren rekursive Darstellung die eziente Berechnung eines in
Bernstein-Darstellung gegebenen Polynoms durch den Algorithmus von de Casteljau erlaubt.
Aufgrund dieser schnellen und auch stabilen Auswertung von Polynomen, kann das Polynom
ber die Koezienten der Bernstein-Darstellung ezient abgespeichert werden. Zudem besitzen diese Koezienten wichtige geometrische Eigenschaften, welche das Zeichnen der Bilder
solcher Polynome ber Polygonzge approximativ ermglicht. Diese Ideen knnen auf Graphen und Bilder von Polynomen angewendet werden, welche nach Rd abbilden.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

82

Definition 10 (Polynome in Rd ). Ein Polynom vom Grad n in Rd bzw. eine polynomiale


Kurve in Rd ist eine Abbildung p : R ! Rd mit
p(x) =

n
X

ak x k ,

k=0

ak 2 Rd fr k = 0, . . . , n und an 6= 0.
Bemerkung 31.
(i) Ein solches Polynom ist in jeder Komponente ein Polynom vom Grad n.
(ii) Die Menge Pdn der Polynome vom Grad n in Rd ist ein Vektorraum der Dimension
d(n + 1). Ist {p0 , . . . , pn } eine Basis von Pn = P1n , so kann mit den Einheitsvektoren ei ,
i = 1, . . . , d eine Basis von Pdn gebildet werden:
{ei Pk | i = 1, . . . , d, k = 0, . . . , n}.
(iii) Den Graphen

eines Polynoms p 2 Pdn ,


p

: R ! Rd+1 ,
x 7! (x, p(x))

knnen wir wieder als Polynom





0
1
0
0
2
+
x+
x + ... +
xn
p (x) =
a0
a1
a2
an
in Rd+1 auassen.

Beispiel 23. Wir betrachten das Polynom p : R ! R, p(x) = 1 7x + 14x2


2
p als Polynom in R ist gegeben durch:



0
1
0
0 3
2
+
x+
x
x.
p (x) =
1
7
14
9
1
0.8
0.6
0.4

p(x)

0.2
0
0.2
0.4
0.6
0.8
1
0

0.2

0.4

0.6

0.8

9x3 . Der Graph

KAPITEL 4. INTERPOLATION UND APPROXIMATION

83

Beispiel 24. Das Polynom p : R ! R2 definiert durch



0.8 3
2
0
0.9 2
p(x) =
+
x+
x +
x
1
7
14
9
ist eine polynomiale Kurve in R2 , welche (nicht unmittelbar) als Graph eines gewhnlichen
Polynoms wie in Beispiel 23 interpretiert werden kann.
1
0.8
0.6
0.4

p 2 (x)

0.2
0
0.2
0.4
0.6
0.8
1
1.82

1.84

1.86

1.88

1.9

1.92

1.94

1.96

1.98

p 1 (x)

Beispiel 25. Der Graph von p : R ! R2 aus Beispiel 24 ist ein Polynom in R3 . Es lautet
nach den berlegungen in Bemerkung 31 (iii)
0 1 0 1
0
1
0 1
0
1
0
0
2
@
A
@
A
@
A
@
A x3
0.8
2
0
0.9
+
x+
x +
p (x) =
1
7
14
9
1

p 2 (x)

0.5

0.5

1
2

1
1.95

0.5
1.9

p 1 (x)

4.3.1

1.85

1.8

Bernstein-Polynome, Bernstein-Darstellung

Wir haben bereits einige Basen des Vektorraums Pn kennengelernt, zum Beispiel die Monom-,
Lagrange-, Newton- und Tschebysche-Basis. In diesem Abschnitt fhren wir eine weitere
Basis ein bestehend aus den sogenannten Bernstein-Polyomen, deren Darstellung schnell und
ezient ausgewertet werden kann und wichtige geometrische Eigenschaften besitzt.

KAPITEL 4. INTERPOLATION UND APPROXIMATION

84

Definition 11 (Bernstein-Polynome). Das i-te Bernstein-Polynom vom Grad n bezglich [0, 1] ist

n
n
Bi (x) =
(1 x)n i xi fr i = 0, . . . , n.
i
1
B 04
0.9

B 14

0.8

B 24
B 34

0.7

B 44

B i4 (x)

0.6
0.5
0.4
0.3
0.2
0.1
0
0

0.2

0.4

0.6

0.8

Abbildung 4.4: Die fnf Bernstein-Polynome fr n = 4.


Leicht zu beweisen sind die folgenden elementaren Eigenschaften der Bernstein-Polynome:
Satz 29 (ber elementare Eigenschaften der Bernstein-Polynome).
(i) Die Bernstein-Polynome sind auf [0, 1] nicht negativ.
(ii) Symmetrie: Bin (x) = Bnn i (1

x) fr i = 0, . . . , n.

(iii) Die Bin bilden eine Partition der Eins, d.h.,


1=

n
X
i=0

Bin (x)

fr x 2 R.

(iv) Bin hat in [0, 1] genau ein Maximum, und zwar bei x = i/n.
(v) Die Bin bilden eine Basis von Pn .
Aus der rekursiven Beziehung der Binomialkoezienten lsst sich folgende rekursive Darstellung der Bernstein-Darstellung gewinnen, welche fr das weitere Vorgehen von zentraler
Bedeutung ist:

KAPITEL 4. INTERPOLATION UND APPROXIMATION

85

Satz 30 (rekursive Berechnung von Bernstein-Polynomen). Fr i = 1, . . . , n


x 2 R gilt:
Bin (x) = xBin 11 (x) + (1

1 und

x)Bin 1 (x).

Da die Bernstein-Polynome eine Basis des Pn bilden, knnen wir ein Polynom vom Grad n
in Pdn ber diese Basis darstellen (vgl. Bemerkung 31 (ii)). Die Koezienten sind im Fall d > 1
Vektoren und erhalten den Namen:
Definition 12 (Kontrollpunkte,
Bzier-Polygon). Sei ein Polynom p 2 Pdn in BernsteinPn
Darstellung p(x) = i=0 bi Bin (x) gegeben. Die Koezienten bi 2 Rd heien Kontrollpunkte von p, der durch sie verlaufende Streckenzug heit Bzier-Polygon.
Wie lsst sich der Graph eines Polynoms in Rd , welches bereits in Bernstein-Darstellung vorliegt, wiederum durch die Bernstein-Polynome linearkombinieren? Nach Bemerkung 31 (iii)
fragen wir nach den Koezienten der Bernstein-Darstellung der Identitt p(x) = x. Das folgende Lemma liefert eine Antwort aud diese Frage:
Lemma 5. Die Kontrollpunkte des Polynoms p(x) = x sind 0, n1 , n2 , . . . , 1.
Beweis. Wir folgern mit der Definition der Bernstein-Polynome:

n
n
X
X
i n
i n
Bi (x) =
(1 x)n i xi
n
n i
i=0
i=1
n
X

(n 1)!
(1 x)n 1 (i 1) xi 1
(i
1)!(n
1
(i
1))!
i=1

n 1
n 1
X
X
n 1
=x
(1 x)n 1 i xi = x
Bin 1 (x) = x
i
i=0
|i=0 {z
}
=x

=1

Folgerung: Mit Lemma 5 ist die Bernstein-Darstellung des Graphen


gegeben durch

n
X
i/n
Bin (x).
p (x) =
bi

von p(x) =

Pn

n
i=0 bi Bi (x)

i=0

Beispiel 26. Die Kontrollpunkte und das Bzier-Polygon von Beispiel 23 sind gegeben durch

1
2

0
1
3
3
, b2 =
b0 =
, b1 =
, b3 =
.
4
1
1
1
3

KAPITEL 4. INTERPOLATION UND APPROXIMATION

86

0.5

0.5

1.5

0.2

0.4

0.6

0.8

Die ersten Komponenten der Kontrollpunkte sind i/3 fr i = 0, 1, 2, 3, da das Polynom in R2


ein Graph eines gewhnlichen Polynoms ist.
Beispiel 27. Die Kontrollpunkte und das Bzier-Polygon von Beispiel 24 sind gegeben durch


51

2
2
1.9
b0 =
, b1 =
, b2 = 30 , b3 =
.
4
1
1
1
3
1

0.5

0.5

1.5
1.65

1.7

1.75

1.8

1.85

1.9

1.95

Beispiel 28. Die Kontrollpunkte und das Bzier-Polygon von Beispiel 25 sind gegeben durch
0 1
0 1 1
021
0 1
0
1
3
3
51
@
A
@
A
@
A
@
b0 = 2 , b1 =
2 , b2 = 30 , b3 = 1.9A .
4
1
1
1
3
1

0.5

p 2 (x)

0.5

1.5
1
0.5
0

1.9

1.8

p 1 (x)

1.7

1.6

KAPITEL 4. INTERPOLATION UND APPROXIMATION

87

Eine weitere elementare Eigenschaft der Bernstein-Polynome Bin (x) =


Bin (0) = 0,
Bjn (1) = 0,
fr i = 1, . . . , n und j = 0, . . . , n
geometrische Eigenschaft

n
i

(1

x)n 1 xi ist

B0n (0) = 1,
Bnn (1) = 1
1. Daraus folgt fr ein Polynom p(x) =

p(0) = b0 ,

Pn

n
i=0 bi Bi (x)

die

p(1) = bn ,

d.h. Anfangs- und Endpunkt bezglich des Intervalls [0, 1] der polynomialen Kurve im Rd sind
durch den ersten und letzten Kontrollpunkt gegeben. Des Weiteren legen die Plots der BzierPolygone oben nahe, dass der Polygonzug im Anfangs- und Endpunkt tangential zur Kurve
verluft, eine weitere geometrische Eigenschaft. Um dies beweisen zu knnen, bentigen wir
die Ableitungen der Bernstein-Polynome, welche wir durch einfaches Dierenzieren erhalten:
Lemma 6. Fr die Ableitungen der Bernstein-Polynome gilt:
8
n 1
>
fr i = 0,
< nB0 (x)
d n
n 1
n 1
B (x) = n Bi 1 (x) Bi (x)
fr i = 1, . . . , n
>
dx i
: n 1
nBn 1 (x)
fr i = n.

1,

Die oben erwhnte Tangentialitt kann nun leicht gefolgert werden:


P
Korollar 1. Fr ein Polynom in Bernstein-Darstellung p(x) = ni=0 bi Bin (x) gilt:
p0 (0) = n(b1

p0 (1) = n(bn

b0 ),

bn 1 ).

Da die Bernstein-Polynome im Intervall [0, 1] nicht negativ sind und eine Partition der 1 bilden, ist der folgende wiederum sehr geometrische Satz unmittelbar klar:
Satz 31. Das Bild p([0, 1]) von p 2 Pdn mit p(x) =
Hlle der Kontrollpunkte bi , d.h.
p(x) 2 conv{b0 , . . . , bn }

Pn

n
i=0 bi Bi (x)

liegt in der konvexen

fr x 2 [0, 1].

Wir erinnern an die Definition der konvexen Hlle von endlich vielen Vektoren:
(
)
n
n
X
X
conv{x1 , . . . , xn } = x | x =
0 und
i xi mit i
i = 1
i=1

i=1

Beispiel 29. Die konvexen Hllen der Kontrollpunkte aus Beispiel 23 bzw. 24 sind gegeben
jeweils durch die Flche zwischen dem ersten bzw. letzten Teil des Polygonzuges und der rot
gestrichelten Strecke:

KAPITEL 4. INTERPOLATION UND APPROXIMATION


1

0.5

0.5

0.5

0.5

1.5

0.2

0.4

0.6

0.8

1.5
1.65

1.7

1.75

4.3.2

88

1.8

1.85

1.9

1.95

Algorithmus von de Casteljau

Mit dem Algorithmus von de Casteljau lsst sich ein Polynom in Bernstein-Darstellung rekursiv schnell berechnen. Dies wird wiederum ausgenutzt, um Kurven z.B. in der Computergraphik ezient zu speichern und auch zu zeichnen. Um diese rekursive Berechnung aus
der rekursiven Darstellung der Bernstein-Polynome selbst schlieen zu knnen (vgl. Satz 30),
zerteilen wir das Polynom in Polynome niedrigeren Grades mit gewissen Kontrollpunkten als
Koezienten:
Definition 13 (Teilpolynome). Fr p 2 Pdn mit p(x) =
k
i (x)

k
X

bi+j Bjk (x),

Pn

n
i=0 bi Bi (x)

k = 0, . . . , n, i = 0, . . . , n

sind durch
k,

j=0

die sogenannten Teilpolynome

k
i

2 Pdk definiert, wobei k den Grad bezeichnet.

Dabei entspricht das i-te Teilpolynom 0-ten Grades oenbar dem i-ten Kontrollpunkt bi und
das (einzige) 0-te Teilpolynom vom Grad n dem Ausgangspolynom p, welches wir auswerten
wollen. Wir fassen zusammen:
Lemma 7. Fr p 2 Pdn mit p(x) =
(i)
(ii)

n
0 (x)
0
i

= p(x),

Pn

n
i=0 bi Bi (x)

gilt:

bi .

Fr die Teilpolynome gilt die rekursive Darstellung:

KAPITEL 4. INTERPOLATION UND APPROXIMATION

89

Satz
Pn 32 n(rekursive Berechnung der Teilpolynome). Die Teilpolynome
i=0 bi Bi (x) gengen der Rekursion
k
i (x)

= (1

fr k = 0, . . . , n und i = 0, . . . , n

k.

x)

k 1
(x)
i

+x

k
i

von p(x) =

k 1
i+1 (x)

Beweis. Wir erhalten die Rekursion aus der Rekursion von Satz 30 der Bernstein-Polynome:
k
i (x)

k
X

bi+j Bjk (x) = bi B0k (x) +

j=0

k 1
X

bi+j Bjk (x) + bi+k Bkk (x)

j=1

k 1
X

x)k +

= bi (1

j=1

bi+j (1

x)B0k 1 (x)

= bi (1

k 1
X
j=1

= (1

x)

k 1
X

bi+j Bjn 1 (x)

x)Bjn 1 (x) + xBjn 11 (x) + bi+k xk

bi+j (1
+x

j=0

= (1

x)

k 1
i

k
X

x)Bjn 1 (x) + xBjn 11 (x) + bi+k xBkk

1
1

bi+j Bjn 11 (x)

j=1

+x

k 1
i+1 .

Bemerkung 32. Die Auswertung eines Polynoms durch die rekursive Berechnung (Algorithmus von de Casteljau) ist fr x 2 [0, 1] uerst stabil, da nur Konvexkombinationen berechnet
werden und somit Strungen gedmpft werden.
Rekursive Berechnung der Teilpolynome:
b0 =

0
0

b1 =

0
1

b2 =

0
2

&
!
&
!

..
.
bn

bn =

1
0
1
1

&
!

..
.
0
n 1
0
n

&
!
&
!

1
n 2
1
n 1

&
!
!

2
0

&
...
...

...
&
!
!

n 1
0
n 1
1

&
!

n
0

KAPITEL 4. INTERPOLATION UND APPROXIMATION

4.3.3

90

Bernstein-Polynome bezglich beliebiger Intervalle

Definition 14 (Bernstein-Polynome bezglich beliebiger Intervalle). Das i-te BernsteinPolynom vom Grad n bzgl. [a, b] lautet

1
n
n
Bi (x; a, b) =
(b x)n i (x a)i
n
(b a) i
fr i = 0, . . . , n.
Bemerkung 33. Alle bisherigen Aussagen gelten (leicht modifiziert) auch fr Bin (x; a, b).
Zum Beispiel finden wir mit der rekursiven Darstellung des Binomialkoezienten jetzt
x
b

Bik (x; a, b) =
fr i = 1, . . . , k

a k 1
b
Bi 1 (x; a, b) +
a
b

x n 1
B (x; a, b)
a i

1 bzw. fr die entsprechend dem Intervall [a, b] definierten Teilpolynome:


k
i (x; a, b)

b
b

x
a

k 1
(x; a, b)
i

x
b

a
a

k 1
i+1 (x; a, b)

fr k = 0, . . . , n und i = 0, . . . , n k. Insbesondere lsst sich auch der Algorithmus von de


Casteljau zur Auswertung des Polynoms weiterhin anwenden.
Ein sehr zentrales Ergebnis, welches wir ohne Beweis angeben, stellt eine enge Beziehung
zwischen Bernstein-Darstellungen bezglich verschiedener Intervalle und den durch den Algorithmus von de Casteljau berechneten Werten der Teilpolynomen her. Unterteilen wir zum
Beispiel ein Ausgangsintervall [a, b] in die Teilintervalle
[a, c] und [c, b], so lsst sich die
Pn
n
Bernstein-Darstellung des Polynoms p(x) = i=0 bi Bi (x; a, b) bezglich der beiden Teilintervalle schnell berechnen. Auf den Teilintervallen liefert dann das jeweilige Bzier-Polygon
eine bessere Approximation der Kurve. Ist die Approximation noch zu schlecht, unterteilen
wir die Teilintervalle wiederum.
Satz 33 (ber P
Bernstein-Polynome bzgl. beliebiger Intervalle). Sei die Bernstein-Darstellung p(x) = ni=0 bi Bin (x; a, b) zum Intervall [a, b] gegeben. Dann lassen sich die Darstellungen
p(x) =

n
X
i=0

ai Bin (x; a, c)

n
X

ci Bin (x; c, b)

i=0

bezglich [a, c] und [c, b] fr c 2]a, b[ leicht berechnen durch


ak =
fr k = 0, . . . , n.

k
0 (c; a, b),

ck =

n k
(c; a, b)
k

KAPITEL 4. INTERPOLATION UND APPROXIMATION

91

b2

b0 = a0
1

0.5

c2

a3 = c0

a1

c1

a2

0.5

b3 = c3
b1

1.5
0

1/6

2/6

3/6

3/6

4/6

Abbildung 4.5: Bzier-Polygon bzgl. [0, 1] definiert durch die Kontrollpunkte bi (rot), BzierPolygone bzgl. [0, 12 ] definiert durch die Kontrollpunkte ai (blau) und Bzier-Polygone bzgl.
[ 12 , 0] definiert durch die Kontrollpunkte ci (grn).
Bemerkung 34.
(i) Da die Kurvenstcke jeweils in der konvexen Hlle ihrer Kontrollpunkte liegen, konvergieren die zugehrigen Bzier-Polygone bei wiederholter Unterteilung (z.B. Halbierung)
gegen die Kurve.
(ii) Die Koezienten von Satz 33 sind im Schema in der Diagonalen und der unteren Zeile
wieder zu finden:
b 0 = a0
b1 =

0
1

b2 =

0
2

..
.

&
!
&
!

a1
&
! a2

1
1

..
.

&
bn = c n ! c n

&
!

&
...

..

.
&
! c 0 = an

(iii) Es ist zu beachten, dass der erste Kontrollpunkt b0 identisch mit dem ersten Kontrollpunkt a0 der Bernstein-Darstellung bezglich [a, c] ist. Analog gilt bn = cn . Eine weitere
Beobachtung, notwendig fr die Konvergenz der Bzier-Polygone, ist an = c0 .

KAPITEL 4. INTERPOLATION UND APPROXIMATION

92

Beispiel 30. Wir zeichnen zu den Beispielen 23, 24 und 25 jeweils die original Kurven (links
oben) und Bzier-Polygone bei Halbierung der Intervalle.
1
1

0.8
0.6

0.5
0.4

p(x)

0.2
0
0
0.2
0.5
0.4
0.6
1
0.8
1
0

0.2

0.4

0.6

0.8

1.5

x
1

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0.2

0.2

0.4

0.4

0.6

0.6

0.8

0.2

0.4

0.6

0.8

0.8

1
0

0.2

0.4

0.6

0.8

1
0

0.2

0.4

0.6

0.8

Jede weitere Halbierung der Teilintervalle fhrt zu einer Verdopplung der Kontrollpunkte.
Jeweils links unten sind die Bzier-Polygone zu 32, rechts unten die zu 64 Kontrollpunkten
geplottet.
1
0.8

0.6
0.5

0.4

p 2 (x)

0.2
0

0
0.2

0.5

0.4
0.6

0.8
1
1.82

1.84

1.86

1.88

1.9

1.92

1.94

1.96

1.98

2
1.5
1.65
1

p 1 (x)
1
0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0.2

0.2

0.4

0.4

0.6

0.6

0.8
1
1.82

1.7

1.75

1.8

1.85

1.9

1.95

0.8
1.84

1.86

1.88

1.9

1.92

1.94

1.96

1.98

1
1.82

1.84

1.86

1.88

1.9

1.92

1.94

1.96

1.98

Die Approximation der Kurve durch die Bzier-Polygone mit 64 Kontrollpunkten (jeweils
rechts unten) ist in allen drei Fllen sehr gut!

KAPITEL 4. INTERPOLATION UND APPROXIMATION

93

1
1

0.5

p 2 (x)

0.5

0.5

0.5
1

1
2

1.95

1.5
1

0.5
1.9

1.85

0.5

1.8

p 1 (x)

0.5

0.5

1.6

1.7

1.8

1.9

0.5

0.5

1
2

1
1.95

0.5
1.9

1.85

1.8

1
2

1
1.95

1.9

0.5
1.85

1.8

Kapitel 5
Numerische Integration
Problem: Berechne fr gegebene Funktion f : [a, b] ! R das Riemann-Integral
I(f ) :=

f (x)dx.
a

Bemerkung 35. Oft ist nur eine numerische Nherung mglich.


Beispiel 31.
(i) Rechteckregel: Wir approximieren I(f ) durch das Rechteck
I(f ) (b

a)f (a).

(ii) Mittelpunktregel: Wir werten die Funktion im Unterschied zu (i) im Mittelpunkt


aus:

a+b
I(f ) (b a)f
.
2

a+b
2

a+b
2

Links: Rechteckregel mit Auswertung am linken Rand. Rechts: Mittelpunktregel.

94

KAPITEL 5. NUMERISCHE INTEGRATION

95

(iii) Trapezregel: Bei der Rechteck- und der Mittelpunktregel haben wir die Funktion f
durch eine konstante Funktion approximiert. Bei der Trapezregel whlen wir die lineare
Funktion, welche durch die Punkte (a, f (a)) und (b, f (b)) verluft:
I(f ) (b

a)

f (a) + f (b)
.
2

(iv) Simpsonregel: Wir legen eine Parabel durch die drei Punkte (a, f (a)), ( a+b
, f ( a+b
)) und
2
2
(b, f (b)) und berechnen die Flche unter der Parabel:

b a
a+b
I(f )
f (a) + 4f
+ f (b) .
6
2

a+b
2

Links: Trapezregel. Rechts: Simpsonregel.


Bevor wir uns etwas konkreter mit numerischen Verfahren zur Berechnung einer Nherungslsung beschftigen, betrachten wir Eigenschaften des bestimmten Integrals I(f ) und die
Kondition des Problems.
Eigenschaften des bestimmten Integrals:
Z b
(i) Das Integral I(f ) =
f (x)dx existiert fr stckweise stetige Funktionen. Ohne Eina

schrnkung sei f im Folgenden stetig (siehe (ii)), d.h.

I : C[a, b] ! R, f 7! I(f )
auf dem Raum der stetigen Funktionen auf [a, b].
(ii) Fr jedes c 2 [a, b] gilt:

f (x)dx =
a

f (x)dx +
a

f (x)dx
c

d.h. das Integral ist additiv bezglich einer Zerlegung des Integrationsintervalls.

KAPITEL 5. NUMERISCHE INTEGRATION

96

(iii) I ist linear, d.h. fr alle stetigen Funktionen f, g und alle reellen Zahlen , 2 R gilt
I( f + g) = I(f ) + I(g).
(iv) I ist monoton, d.h. falls f

g auf [a, b], dann auch


Z b
Z b
f (x)dx
g(x)dx.
a

Aus der Monotonie folgt


|

b
a

f (x)dx|

b
a

(5.1)

|f (x)|dx, 8f 2C[a,b] .

Tatschlich ist diese Aussage eine Charakterisierung, d.h. eine quivalente Definition, der Monotonie.

5.1

Kondition des Problems

Um Strungen der Eingabedaten (hier f 2 C[a, b]) messen zu knnen, fhren wir folgende
Norm ein:
Z b
kf k1 :=
|f (x)|dx = I(|f |).
a

In dieser Norm finden wir die Kondition des Problems:

Satz 34 (ber die relative Kondition der numerischen Integration). Seien f, f : [a, b] ! R
stetig. Dann gilt
|I(f ) I(f)|
kf fk1
cond1
,
|I(f )|
kf k1

mit cond1 :=

I(|f |)
.
|I(f )|

Beweis. Folgt unmittelbar aus der Linearitt und der Monotonie des Integrals:
Z b
Z b
Z b

f (x)dx
f (x)dx
|f (x) f(x)|dx.
a

Das Problem ist somit schlecht konditioniert, wenn das Integral ber den Betrag der Funktion im Verhltnis zum Betrag des Integrals sehr gro ist. Interpretieren wir das Integral als
unendliche Summe, so wird die Analogie zur Auslschung bei der Addition deutlich. Insbesondere bei stark oszillierenden Integranden, wo sich die Flchen gegenseitig auslschen ist
die Kondition des Problems schlecht. Solche Integranden treten in zahlreichen Anwendungen
auf.

KAPITEL 5. NUMERISCHE INTEGRATION

5.2

97

Quadraturformeln

Die allgemeine Form einer Quadraturformel ist gegeben durch:


gewichtetes Mittel der Funk-

b
a

f (x)dx (b

den Sttzstellen
ztionswerte an}|
{
s
X
a)
bi f (a + ci (b a)) .
|
{z
}

i=1

Sttzstelle

Dabei bezeichnen wir die bi als Gewichte und die ci als die Knoten der Quadraturformel,
welche typischerweise im Intervall [0, 1] liegen. Tatschlich ist eine Quadraturformel durch die
Gewichte und Knoten eindeutig bestimmt. Wir schreiben daher kurz (bi , ci )i=1,...,s .
Beispiel 32. Fr die im Beispiel 31 erwhnten Quadraturformeln gilt:
Rechteckregel:

s = 1 b1 = 1

c1 = 0

Mittelpunktregel: s = 1 b1 = 1

c1 =

Trapezregel:

s = 2 b1 = b2 =

Simpsonregel:

s = 3 b1 = b3 = 16 , b2 =

1
2

1
2

c1 = 0, c2 = 1
4
6

c1 = 0, c2 = 12 , c3 = 1

Bemerkung 36.
(i) Die Quadraturformel ist ebenfalls linear in f und monoton, falls bi
0 fr alle i =
1, . . . , n gilt.
Pn
(ii) Die Idee den Integrand f durch ein Polynom p(x) =
i=0 f (xi )Li (x) zu interpolieren und dann durch eine einfache Integration des Polynoms das Ausgangsintegral zu
approximieren,
Z b
Z b
n Z b
X
f (x)dx
p(x)dx =
Li (x)dx f (xi )
a
a
i=0 | a
{z
}
=(b a)bi+1

= (b

a)

s
X

bi f (a + ci (b

a))

i=1

mit s = n + 1 und ci = (xi 1 a)/(b a), fhrt auf sogenannte interpolatorische


Quadraturformeln. Hier sind die Lagrange-Polynome bzgl. der Sttzstellen xi definiert.
Im Fall quidistanter Sttzstellen heien diese Formeln Newton-Cotes-Formeln. Zum
Beispiel sind die Trapezregel und die Simpsonregel von dieser Klasse. Auch fr nicht
quidistante Sttzstellen lassen sich sehr interessante interpolatorische Quadraturformeln finden. Hier ist zum Beispiel die Gau-Quadratur zu nennen, auf die wir weiter
unten noch eingehen werden. Darber hinaus gibt es jedoch auch nicht interpolatorische
Quadraturformeln.

KAPITEL 5. NUMERISCHE INTEGRATION

5.2.1

98

Ordnung einer Quadraturformel

Mit der Anzahl s von Knoten und Gewichten steigt der Aufwand der Quadraturformel gemessen in Funktionsauswertungen von f . Bei grerem Aufwand erwarten wir eine bessere
Nherungslsung des Integrals. Die Approximationsgte einer Quadraturformel wird durch
die sogenannte Ordnung charakterisiert.
Definition 15 (Ordnung einer Quadraturformel). Eine Quadraturformel (bi , ci )i=1,...,s
besitzt die Ordnung p, falls sie exakte Lsungen fr alle Polynome vom Grad p 1
liefert, wobei p maximal ist.
Der wichtige Zusammenhang von Ordnung und Fehler der Quadraturformel wird in Abschnitt
5.2.4 beschrieben.
Jede Quadraturformel sollte zumindest Integrale mit konstantem Integranden exakt berechnen
knnen, d.h.
Z

1dx = (b

a) = (b

a)

s
X

bi .

i=1

Aufgrund der Linearitt des Integrals und der Quadraturformel reicht es, die konstante Funktion vom Wert 1 zu betrachten. Diese Mindestanforderung fhrt auf die Bedingung
s
X

bi = 1.

i=1

Um entsprechende Bedingungen fr lineare, quadratische, kubische,... Integranden herzuleiten,


gehen wir ohne Einschrnkung von a = 0 und b = 1 aus. Denn fr ein Polynom f (x) vom
Grad q p 1 gilt nach der Substitutionsregel mit der Funktion g( ) = f (a + (b a)):
Z b
Z 1
Z 1
f (x)dx = (b a)
f (a + (b a)) d = (b a)
g( )d
{z
}
a
0 |
0
ebenfalls ein Polynom vom Grad q

und fr die Quadraturformel


(b

a)

s
X

bi f (a + ci (b

a)) = (b

a)

i=1

s
X

bi g(ci ).

i=1

Die entscheidende Beobachtung hier ist, dass g genau dann ein Polynom vom Grad q ist, wenn
dies fr f gilt, was in Hinblick auf die Definition der Ordnung wesentlich ist. Wir knnen uns
daher bei der Untersuchung der Ordnung auf Bedingungen der Form
Z

g( )d =
0

s
X
i=1

bi g(ci )

KAPITEL 5. NUMERISCHE INTEGRATION

99

beschrnken, wobei g ein Polynom vom Grad kleiner gleich p 1 ist. Wiederum aufgrund der
Linearitt des Integrals und der Quadraturformeln, gengt es Monome zu betrachten:
Z 1
s
X
1
=
xdx =
bi c i
2
0
i=1
Z 1
s
X
1
2
=
x dx =
bi c2i
3
0
i=1
bzw. allgemein fr q = 1, . . . , p
1
=
q

q 1

dx =

s
X

bi cqi 1 .

i=1

Nach diesen berlegungen erhalten wir:


Satz 35 (Charakterisierung der Ordnung). Eine Quadraturformel besitzt genau dann die
Ordnung p, falls
s

1 X q
=
bi c i
q
i=1

(5.2)

fr alle q = 1, . . . , p,

aber nicht mehr fr q = p + 1 gilt.

Bemerkung 37. Interpolatorische Quadraturformeln (siehe Bemerkung 36 (ii)) haben per


Konstruktion eine Ordnung p s = n + 1.
Beispiel 33. Die Ordnungen der im Beispiel 32 angegebenen Quadraturformeln sind
Rechteckregel:

p = 1 (s = 1)

Mittelpunktregel: p = 2 (s = 1)
Trapezregel:

p = 2 (s = 2)

Simpsonregel:

p = 4 (s = 3) (q = 5 :

5
24

6= 15 )

Warum ist die Mittelpunktregel im Gegensatz zur Rechteckregel auch exakt fr lineare Funktionen und die Simpsonregel auch fr Polynome vom Grad 3? Antwort auf diese Frage liefert
Abschnitt 5.2.2.

KAPITEL 5. NUMERISCHE INTEGRATION

100

Im folgenden Satz wird deutlich, dass bei vorgegebenen Knoten c1 < . . . < cs die Quadraturformel schon eindeutig bestimmt ist, wenn wir mindestens die Ordnung s fordern. Die
Gewichte b1 , . . . , bs lassen sich dann eindeutig aus den Ordnungsbedingungen (5.2) (p ersetzt
durch s) berechnen. Dies ist leicht einzusehen. Denn (5.2) ist in diesem Fall quivalent zu
0
10 1 0 1
c01
c02 . . . c0s
b1
1
1
1 CB C
B c1
B
c2 . . . cs C Bb2 C B 12 C
B 1
C
B ..
..
.. C B .. C = B .. C .
@ .
.
. A@ . A @.A
s 1
s 1
1
s 1
c1
c2
. . . cs
bs
s
|
{z
}
=:C

Hier ist C eine sogenannte Vandermonde-Matrix, welche genau dann invertierbar ist, wenn die
Knoten ci paarweise verschieden sind. Insbesondere gilt mit = (1, 12 , . . . , 1s )T die Darstellung
b=C

Alternativ gilt fr das i-te Lagrange-Polynom Li (x) zu den paarweise verschiedenen Knoten
c1 , . . . , cs die Gleichung
bi =

s
X

bj Li (cj ) =

j=1

Li (x)dx,
0

da das Lagrange-Polynom den Grad s 1 besitzt und somit durch die Quadraturformel exakt
integriert wird. Das i-te Lagrange-Polynom ist hier bezglich der Knoten c1 < . . . < cs
definiert, also das eindeutig bestimmte Polynom vom Grad = s 1, welches in allen Knoten
cj , j 6= i, verschwindet und in ci den Wert 1 annimmt:

0, falls i 6= j
deg Li = s 1,
Li (cj ) =
1, falls i = j.
Satz 36 (ber die eindeutige Bestimmtheit der Gewichte). Seien Knoten c1 < < cs
vorgegeben. Verlangen wir von einer Quadraturformel (bi , ci )i=1,...,s mindestens die Ordnung s, so sind die Gewichte eindeutig bestimmt durch
b=C

bzw.
bi =

Li (x)dx,
0

wobei Li das i-te Lagrange-Polynom bezglich der Knoten cj ist.

KAPITEL 5. NUMERISCHE INTEGRATION

101

Bemerkung 38. An dieser Stelle wollen wir den Zusammenhang der Darstellung der Gewichte interpolatorischer Quadraturformeln aus Bemerkung 36 und Satz 36 herausarbeiten.
Da solche Quadraturformeln per Konstruktion eine Ordnung p s besitzen (vgl. Bemerkung
37) ist Satz 36 immer anwendbar. Wir unterscheiden die Lagrange-Polynome bezglich der
Sttzstellen xi und der Knoten ci durch einen Superindex und finden mit den Definitionen
von Bemerkung 36:
Z b
Z b Y
n
1
1
x xj
x
bi =
Li 1 (x)dx =
dx
b a a
b a a j=0,j6=i 1 xi 1 xj
Z b Y
x a
n
cj+1
1
(b a)
=
dx
b a a j=0,j6=i 1 ci cj+1

Z b
Z 1
1
x a
c
=
Li
dx =
Lci ( )d.
b a a
b a
0

5.2.2

Symmetrische Quadraturformeln

Definition 16 (symmetrische Quadraturformel). Eine Quadraturformel heit symmetrisch, falls gilt:


ci = 1

cs+1 i ,

bi = bs+1 i ,

d.h. die Knoten sind symmetrisch zum Punkt 12 verteilt und der Gewichtsvektor liest sich
von oben nach unten oder von unten nach oben identisch.
Satz 37 (ber die Ordnung symmetrischer Quadraturformeln). Die Ordnung einer symmetrischen Quadraturformel ist gerade.
Beweis. Wir nehmen an, die Ordnung sei ungerade, und fhren dies zu einem Widerspruch.
Konkret nehmen wir an, die Quadraturformel sei exakt fr Polynome vom Grad 2m 2,
und zeigen dann, dass sie tatschlich exakt fr Polynome bis zum Grad 2m 1 ist.
Sei f (x) ein Polynom vom Grad 2m 1. Dann lsst sich f darstellen als
f (x) = K x

1 2m 1
2

+ g(x),

wobei g(x) maximal den Grad 2m 2 besitzt. Somit gilt aufgrund der Linearitt des Integrals
Z 1
Z 1
Z 1
1 2m 1
f (x)dx = K
x 2
dx + g(x)dx .
0
0
| 0 {z }
wird exakt durch
die Quadraturformel berechnet

Wir betrachten den ersten Summanden genauer:


Z 1
Z
1 2m 1
x 2
dx =
0

1
2
1
2

x2m 1 dx = 0.

KAPITEL 5. NUMERISCHE INTEGRATION

102

Fr die entsprechende Quadraturformel gilt


s
X
i=1

1
2

bi ( c i
)
| {z }
= 12 cs+1

2m 1

s
X

bs+1

1
2

cs+1

2m 1
i

i=1

s
X

1 2m 1
2

bj c j

j=1

und daher auch


s
X

1 2m 1
2

bi c i

= 0.

i=1

Insgesamt erhalten wir


Z

f (x)dx =
0

g(x)dx

0
s
X

s
X

bi g(ci ) =

i=0

bi f (ci ).

i=0

In Hinblick auf die Konstruktion von symmetrischen Quadraturformeln ist folgendes Korollar
interessant.
Korollar 2 (symmetrische Knoten ergeben symmetrische Gewichte). Seien symmetrische
Knoten c1 < < cs vorgegeben, also ci = 1 cs+1 i fr i = 1, . . . , s. Verlangen wir von einer
Quadraturformel (bi , ci )i=1,...,s mindestens die Ordnung s, so sind die nach Satz 36 eindeutigen
Gewichte ebenfalls symmetrisch, d.h. es gilt bi = bs+1 i fr i = 1, . . . , s.
Beweis. Fr die Lagrange-Polynome finden wir die Symmetrie:
Ls+1 i (x) =

s
Y

j=1,j6=i

ci =1 cs+1

cs+1

cs+1 j
cs+1
i

s
Y
1

j=1,j6=i

x
ci

cj
cj

= Li (1

x).

Damit folgt:
bs+1

Ls+1 i (x)dx =
0

Li (1
0

x)dx

Li (y)dy = bi .
1

KAPITEL 5. NUMERISCHE INTEGRATION

5.2.3

103

Quadraturformeln mit erhhter Ordnung

Satz 36 macht deutlich: Sind die Knoten c1 < . . . < cs erst einmal gewhlt, so sind die Gewichte einer Quadraturformel mit Ordnung p
s und somit die Formel insgesamt bereits
festgelegt. Eine Frage, die sich nun stellt, ist, wie die Knoten gewhlt werden sollten, um die
Ordnung p s zu maximieren. Wie gro kann die Ordnung berhaupt sein?
Wir suchen Quadraturformeln mit Ordnung p = s + m, m
1, d.h. Polynome vom Grad
s + m 1 sollen exakt integriert werden. Um entsprechende Bedingungen an die Knoten
herzuleiten, benutzen wir das Polynom
M (x) = (x

c2 ) (x

c1 )(x

cs ).

Oenbar ist der Grad von M (x) gleich s und fr jedes Polynom f (x) vom Grad s + m
finden wir

f (x) = M (x)g(x) + r(x),


wobei g(x) und r(x) Polynome vom Grad m 1 bzw. s 1 sind. Damit gilt
Z 1
Z 1
Z 1
f (x)dx =
M (x)g(x)dx +
r(x)dx
0

s
X

s
X

i=1

bi f (ci ) =

i=1

bi M (ci ) g(ci ) +
| {z }
=0

s
X

bi r(ci ),

i=1

wobei jeweils die letzten Summanden aufgrund der Ordnung p


somit:

s gleich sind. Wir erhalten

Satz 38. Sei (bi , ci )i=1,...,s eine Quadraturformel der Ordnung p


genau dann s + m, falls
Z 1
M (x)g(x)dx = 0

s. Die Ordnung ist

(5.3)

fr alle Polynome g vom Grad m


gilt.

1, aber nicht mehr fr ein Polynom vom Grad m

Bemerkung 39.
(i) Wir definieren das Skalarprodukt
< f, g > =

f (x)g(x)dx.

(5.4)

Bedingung (5.3) besagt daher, dass M (x) orthogonal zum Raum aller Polynome vom
Grad m 1 bezglich des in (5.4) definierten Skalarprodukts steht.

KAPITEL 5. NUMERISCHE INTEGRATION

104

(ii) Gleichung (5.3) stellt nur Bedingungen an die Knoten dar, was nach Satz 36 keine
berraschung ist.
Satz 39. Die maximale Ordnung einer Quadraturformel ist 2s.
Beweis. Die Gau-Quadraturformeln besitzen die Ordnung 2s (siehe Satz 40). Eine hhere
Ordnung ist nicht mglich, da
Z 1
hM, M i =
M (x)2 dx > 0,
0

d.h. (5.3) ist fr g = M nicht erfllt. Beachte: deg(M ) = s.

Satz 40 (Gau 1814). Es existiert eine eindeutige Quadraturformel der Ordnung 2s. Sie
ist gegeben durch
ci = 12 (1 +

i)

fr i = 1, . . . , s, wobei 1 , . . . , s die Nullstellen des Legendre-Polynoms vom Grad s sind.


Die Gewichte bi sind gem Satz 36 eindeutig bestimmt. Diese Quadraturformeln nennt
man Gau-Quadraturformeln.
Beweis. Nach Satz 38 gilt:
Ordnung p = 2s ()
()

Z
Z

M (x)g(x)dx = 0 8g,deg(g)s

() M

M
1

"
Theorie orthogonaler Polynome

() ci

1
x
2

1
x
2

1
2

1
2

f (x)dx = 0 8f,deg(f )s

= K (Legendre-Polynom vom Grad s)


|
{z
}
=

1
2

Qs

i=0

1
(x
2

i)

Nachtrag:
(i) Die Gewichte
Z der Gauschen Quadraturformel sind positiv. Denn: Wir wissen nach Satz
1

36 gilt bi =

Li (x)dx mit

Li (cj ) =

0, falls i 6= j
1, falls i = j

und deg Li = s 1. Da die Ordnung der Gau-Quadraturformel p = 2s ist und deg L2i =
2s 2 2s 1, folgt
Z 1
s
X
2
0<
Li (x) dx =
bj Li (cj )2 = bi .
0

j=1

KAPITEL 5. NUMERISCHE INTEGRATION

105

(ii) Da die Nullstellen der Legendre-Polynome symmetrisch zum Punkt 0 im Intervall [ 1, 1]


liegen, gilt dies auch fr die Knoten bezogen auf das Intervall [0, 1] und den Punkt 12 .
Zudem gilt nach Korollar 2 auch bi = bs+1 i . Also sind die Gauschen Quadraturformeln
symmetrisch.
Beispiel 34. Bezeichne Pi das Legendre-Polynom vom Grad i.
s = 1: Es gilt P1 (x) = x und somit 1 = 0. Wir erhalten also gem Satz 40 c1 = 12
und b1 = 1. Dies ist genau die oben bereits eingefhrte Mittelpunktregel mit Ordnung
p = 2.
s = 2: Es gilt P2 (x) = 32 x2
die Parameter
p
1
3
c1 =
,
2
6

1
2

und somit

3
.
3

Wir erhalten wieder mit Satz 40

p
1
3
c2 = +
,
2
6

und somit die Quadraturformel


Z 1
1 1
f (x)dx f
2 2
0
3
x
2

b1 = b 2 =

1
2

p
p
3
1 1
3
+ f
+
6
2 2
6

der Ordnung 4.

s = 3: Es gilt P3 (x) = 52 x3
wir gem Satz 40
p
1
15
c1 =
,
2
10

1,2

und somit

= 0,

1,3

15
.
5

Fr die Knoten finden

p
1
15
c3 = +
.
2
10

1
c2 = ,
2

Wegen der Symmetrie gilt b1 = b3 . Weiter gilt aufgrund Bedingung (5.2) fr q = 1


2b1 + b2 = 1
und gem Satz 36 auch
Z 1
Z
b2 =
L2 (x)dx =
0

=
=

1
0

(x

1
2

15
)(x 12
10
p p
15 15
10 10

15
)
10

100
1 2
15
(x
)
dx
2
100
0 15
Z
100 1
1 2
8
(x
) dx +1 = .
15 0
2
18
|
{z
}
1
= 12

Fr die Gewichte erhalten wir somit insgesamt:


b1 = b3 =

5
,
18

4
b2 = .
9

dx

KAPITEL 5. NUMERISCHE INTEGRATION

106

Die Gausche Quadraturformel der Ordnung 6 lautet also


p
p
Z 1
5 1
15
4 1
5 1
15
f (x)dx f
+ f
+ f
+
.
18 2
10
9 2
18 2
10
0

5.2.4

Untersuchung des Quadraturfehlers

Der Fehler des nherungsweise berechneten Integrals ist


Z b
Z 1
s
X
f (x)dx (b a)
bi f (a + ci (b a)) = (b a)
f (a + t(b
a

(b

a)

i=1

= (b
mit g( ) := f (a + (b
Funktional

a))dt

a)

hZ

g( )d
0

s
X

bi g(ci )

i=1

s
X
i=1

bi g(ci )

(5.5)

a)). Um den Fehler zu untersuchen, betrachten wir das lineare

R(g) =

g( )d
0

s
X

(5.6)

bi g(ci ),

i=1

welches jeder Funktion g : [0, 1] ! R den Quadraturfehler auf dem normierten Intervall [0, 1]
zuordnet. Das Funktional ist linear in g, da
R( g + f ) = R(g) + R(f ).
Allgemein kann R auf Vektorrumen von Funktionen operieren, fr die das Integral

g( )d
0

definiert ist. Aber wie lsst sich R(g) alternativ zu (5.6) bestimmen? Um diese Frage beantworten zu knnen, beschrnken wir uns auf p-mal stetig dierenzierbare Funktionen, wobei p die
Ordnung der Quadraturformel ist. Die folgende Integraldarstellung von R(g) fr g 2 C p ([0, 1])
geht auf Peano zurck.
Satz 41 (Peano, 1913-1918). Die Quadraturformel habe die Ordnung p und g : [0, 1] ! R
sei q-mal stetig dierenzierbar. Dann gilt
Z 1
R(g) =
Kq (t)g (q) (t)dt,
0

falls 2 q p, wobei der sogenannte Peano-Kern gegeben ist durch


Kq (t) =

t)q

(1
q!

s
X
(ci t)q+ 1
bi
.
(q
1)!
i=1

KAPITEL 5. NUMERISCHE INTEGRATION

107

Bemerkung 40.
(i) Klrung der Schreibweise: Die Funktion .+ : R ! R 0 ist definiert durch

x, falls x > 0,
x+ =
0, falls x 0
und (.

t)n+ : R ! R

fr n

1 ist definiert durch

(x t)n , falls x > t,


n
t)+ =
0, falls x t.

(x

2.5

1.5
2

1.5

0.5

0.5

0
0

0.5
0.5

1
2

1.5

0.5

0.5

1.5

Abbildung 5.1: Graph der Funktionen .+ : R ! R

0.5

0.5

1.5

(links) und (.

2.5

1.4)2+ : R ! R

(rechts).

(ii) Ist g ein Polynom vom Grad p 1, so gilt g (p) (x) 0 und nach dem vorangehenden
Satz auch R(g) = 0, was der Definition der Ordnung entspricht.
(iii) Wir schtzen mit der Monotonie des Integrals weiter ab:
Z 1
Z
(q)
(q)
|R(g)|
|g (t)||Kq (t)|dt max |g (t)|
0

t2[0,1]

1
0

|Kq (t)|dt.

Beweis. (von Satz 41) Taylorentwicklung von g(x) in x = 0 mit Restglied in Integralform
liefert fr q p die Darstellung
Z x
xq 1
1
0
(q 1)
g(x) = g(0) + g (0)x + . . . + g
(0)
+
g (q) (t)(x t)q 1 dt .
(q 1)! (q 1)! 0
|
{z
} |
{z
}
=:u(x)

=:rq

1 (x)

Mit der oben eingefhrten Schreibweise lsst sich das Restglied auch schreiben als
Z 1
1
rq 1 (x) =
g (q) (t)(x t)q+ 1 dt.
(q 1)! 0

KAPITEL 5. NUMERISCHE INTEGRATION

108

Da die Quadraturformel die Ordnung p besitzt, gilt R(u) = 0 und somit wegen der Linearitt
von R auch
Z 1
1
R(g) = R(rq 1 ) =
R(x 7!
g (q) (t)(x t)q+ 1 dt)
(q 1)!
0
"Z Z
#
Z 1
s
1
1
X
1
=
g (q) (t)(x t)q+ 1 dtdx
bi
g (q) (t)(ci t)q+ 1 dt .
(q 1)! 0 0
0
i=1

Fr q
2 ist der Integrand des Doppelintegrals stetig. Daher kann die Reihenfolge der
Integration vertauscht werden. Wir erhalten dann:
"Z Z
#
Z 1
s
1
1
X
1
q 1
q 1
(q)
(q)
R(g) =
g (t)(x t)+ dxdt
bi
g (t)(ci t)+ dt
(q 1)! 0 0
0
i=1
"Z
#
Z 1
s
1
X
1
q 1
q 1
(q)
=
g (t)
(x t)+ dx
bi (ci t)+ dt
(q 1)! 0
0
i=1
#
"Z
Z 1
s
1
X
1
q 1
(q)
q 1
=
g (t)
(x t) dx
bi (ci t)+ dt
(q 1)! 0
t
i=1
"
#
Z 1
s
X
1
1
=
g (q) (t) (1 t)q
bi (ci t)q+ 1 dt
(q 1)! 0
q
i=1
Z 1
=
g (q) (t)Kq (t)dt.
0

Beispiel 35.
(i) Mittelpunktregel (Ordnung 2, c1 = 12 , b1 = 1)
K2 (t) =

t)2

(1
2

1
2

t2
,
2
(1 t)2
,
2

falls 0 t 12 ,
falls 12 < t 1.

(ii) Trapezregel (Ordnung 2, c1 = 0, c2 = 1, b1 = b2 = 12 )


K2 (t) =

(1

t)

t
2

(iii) Simpson-Regel (Ordnung 4, c1 = 0, c2 = 12 , c3 = 1, b1 = b3 = 16 , b2 = 23 )

K4 (t) =

t4
24
t4
24

5t3
36

t3
,
36
t2
6

t
12

1
,
72

falls 0 t
falls

1
2

1
2

<t1

KAPITEL 5. NUMERISCHE INTEGRATION

109
4

0.14

x 10

0
0.12

0.02

0.1

0.04

0.08

0.06

0.06

0.08

0.04

0.1

0.02

0.12

1
2
3
4
5
6
7

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

0.14

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Abbildung 5.2: Graph von K2 der Mittelpunktregel (links), von K2 der Trapezregel (mitte)
und von K4 der Simpson-Regel (rechts).

Lemma 8. Es gilt:
Z

1h 1
p! p + 1

Kp (t)dt =
0

s
X
i=1

Beweis. Wir wissen


Kp (t) =

t)p

(1
p!

Integrieren liefert somit das Resultat:


Z 1
Z
1 1
Kp (t)dt =
(1 t)p dt
p! 0
0
|
{z
}
1
= p+1

s
X

1
=
(p + 1)!

i=1

(p

i
bi cpi .

s
X
(ci t)p+ 1
bi
.
(p
1)!
i=1

s
X
i=1

bi
(p

bi
1)!

1)!
ci

(ci

|0

(ci

t)p+ 1 dt

t)p 1 dt .
{z
}

p
c
i
p

Bemerkung 41. Fr viele Quadraturformeln besitzt der Peano-Kern Kp (t) konstantes Vorzeichen. Dann gilt mit Lemma 8:
Z 1
Z 1
s
X
1
1
|Kp (t)|dt =
Kp (t)dt =
bi cpi
p!
p
+
1
0
0
i=1
Beispiel 36.

(i) Mittelpunktregel:
Z

1
0

|K2 (t)|dt =

1
24

KAPITEL 5. NUMERISCHE INTEGRATION

110

(ii) Trapezregel:
Z

1
0

|K2 (t)|dt =

1
12

(iii) Simpson-Regel:
Z

1
0

Mit (5.5) und Satz 41 finden wir insgesamt


Z b
s
X
f (x)dx (b a)
bi f (a + ci (b a)) = (b
a

1
2880

|K4 (t)|dt =

a)

p+1

i=1

f (p) (a + t(b

a))Kp (t)dt.

Beachte: g (p) (x) = (b a)p f (p) (a + x(b a)). Der Fehler kann somit nur fr Intervalle [a, b]
mit kleiner Intervalllnge b a 1 sinnvoll kontrolliert werden. Daraus resultiert die Idee:
Unterteile das Intervall [a, b] in kleine Teilintervalle [xj , xj+1 ], j = 0, . . . , N 1, wobei fr die
Intervalllngen xj+1 xj =: hj 1 gilt:
x0 = a x 1

x2 x3

xN

b = xN

Wende die Quadraturformel auf die Teilintervalle an. Wir finden dann fr (p + 1)-mal stetig
dierenzierbares f mit Bemerkung 40 (iii) fr den Fehler auf den Teilintervallen [xj , xj+1 ] die
Abschtzung:
Z xj+1
Z 1
s
X
p+1
(p)
f (x)dx hj
bi f (xj + ci hj ) hj
max |f (x)|
|Kp (t)|dt
xj

x2[xj ,xj+1 ]

i=1

=: hj errj .

Der Fehler auf dem Gesamtintervall kann somit folgendermaen abgeschtzt werden:
Z b
N
s
N
s
X1 X
X1 Z xj+1
X
f (x)dx
hj
bi f (xj + ci hj )
f (x)dx hj
bi f (xj + ci hj )
a

j=0

i=1

j=0

(b

xj

a)

i=1

max

j=0,...,N 1

errj .

Bemerkung 42.
(i) Es gilt maxj errj = O((maxj hj )p ).
(ii) Wichtige Idee der Adaptivitt: Whle die Unterteilung von [a, b] so, dass alle errj mglichst gleich gro sind.

Kapitel 6
Eigenwertprobleme
In diesem Kapitel beschftigen wir uns mit der Berechnung von Eigenwerten (EWen) und Eigenvektoren (EVen) einer (dd)-Matrix A. Die definierende Eigenwert-Eigenvektor-Gleichung
lautet
Av = v,
wobei v 6= 0 vorausgesetzt wird (warum nicht v = 0?). Eigenwertprobleme kommen in den
Natur- und Ingenieurwissenschaften sehr hufig vor, aber auch in der Informatik zum Beispiel
als Relaxierung der Spektralen Bisektion oder beim PageRank-Algorithmus von Google.
Ein naheliegender, aber numerisch nicht sinnvoller Ansatz ist die Nullstellenbestimmung des
charakteristischen Polynoms, da fr v 6= 0 gilt
Av = v , (A

I)v = 0

und diese Gleichung genau dann lsbar ist, wenn (A


I) einen nicht trivialen Kern besitzt,
also singulr ist. Dies ist genau der Fall, wenn pA ( ) = det(A
I) = 0 gilt, also eine
Nullstelle des charakteristischen Polynom pA ist. Die Nullstellenbestimmung bei Polynomen
ist jedoch im Allgemeinen sehr schlecht konditioniert, so dass man zur Berechnung der EWe
einer Matrix nie die Koezienten des charakteristischen Polynom verwenden sollte. Zudem
ist nicht unmittelbar klar, wie man 7! det(A
I) ezient auswerten kann.

6.1

Kondition des Problems

Sei A eine gestrte Matrix zu A mit a


ij = aij (1 + "ij ), wobei fr die relativen Strungen
|"ij | eps gilt. Somit haben wir A = A + eps C mit |cij | |aij |. Wir betrachten die gestrten
Matrizen A(") = A + "C.

111

KAPITEL 6. EIGENWERTPROBLEME

112

Satz 42 (ber die Kondition von einfachen Eigenwerten). Sei


Fr hinreichend kleines " gilt
(") =

+"

einfacher EW von A.

uT Cv
+ O("2 ),
uT v

wobei (") EW von A(") ist, Av = v, uT A = uT und kvk2 = kuk2 = 1 gilt.


Bemerkung 43.
(i) Aufgrund der Einfachheit des EWs ist uT v = 0 ausgeschlossen.
(ii) Der Quotient
gilt

1
|uT v|

heit Konditionszahl des EWs . Nach der Cauchy-Schwarz-Ungleichung


1
|uT v|

1
= 1.
kuk2 kvk2

(iii) Der Beweis des Satzes beruht hauptschlich auf dem Satz ber implizite definierte Funktionen.
(iv) Gleichung uT A = uT bedeutet genau AT u = u, also ist u ein EV von AT zum EW .
Fr symmetrische Matrizen (A = AT ) gilt wegen der Einfachheit von entweder u = v
oder u = v, da der Eigenraum zu in diesem Fall eindimensional ist. Insbesondere ist die
Konditionszahl 1/|uT v| fr symmetrische Matrizen mit dem Wert 1 minimal. Wir werden also
im Folgenden aufgrund der Kondition von einer symmetrischen Matrix A ausgehen, obwohl
die Ideen auch fr nicht-symmetrische Matrizen Anwendung finden.

6.2

Vektoriteration

Wir gehen im Folgenden davon aus, dass ein einfacher Eigenwert betragsmig grer ist als
alle anderen. Dabei heit ein EW einfach, wenn die algebraische Vielfachheit als Nullstelle
des charakteristischen Polynoms gleich 1 ist. Ohne Einschrnkung haben wir dann folgende
Anordnung
| 1 | > | 2 | | d |.
Bezeichnen v1 , . . . , vd zugehrige normierte Eigenvektoren, also Avi = i vi und kvi k = 1, so
knnen wir x0 2 Rd darstellen durch x0 = 1 v1 + +d vd . Wenden wir nun A auf den Vektor
x0 an, so erhalten wir
Ax0 = 1

1 v1

+ + d

d vd

1 v 1 +
|

2
1

2 v 2 + +
{z
=:z1

d
1

d v d .
}

KAPITEL 6. EIGENWERTPROBLEME

113

Wodurch unterscheidet sich x0 von z1 ? Oensichtlich haben beide Vektoren den gleichen
Anteil in Richtung v1 . Alle anderen Anteile in Richtung vi mit i 2 sind in z1 gegenber x0
gedmpft, da | i / 1 | < 1 ist. Wiederholen wir die Multiplikation von links mit A iterativ, so
erhalten wir
k
k

2
d
k
k
xk := A x0 = 1 1 v1 +
2 v 2 + +
d v d .
1

Oensichtlich konvergiert der Vektor zk innerhalb der Klammer gegen 1 v1 , also einen Eigenvektor von A zum Eigenwert 1 , wenn 1 6= 0 gilt. Um diese Konvergenz zur Berechnung eines
Eigenvektors zu 1 wirklich ausnutzen zu knnen, normieren wir nach jeder Multiplikation
mit A den resultierenden Vektor. Wir berechnen iterativ fr k = 0, 1, . . .
yk =

xk
,
kxk k

xk+1 = Ayk .

Damit vermeiden wir die Probleme, die in den Fllen


entstehen. Insgesamt erhalten wir
yk =

! 0 und

k
1

k
1

! 1 fr k ! 1

xk
zk
=
! v1 fr k ! 1.
kxk k
kzk k

Fr den zugehrigen Eigenwert gilt


( lim yk )T A lim yk = v1T Av1 =
k!1

k!1

1 v1 v1

1.

Insgesamt haben wir somit folgendes Resultat:


Satz 43 (ber die Konvergenz der Vektoriteration). Fr eine symmetrische Matrix A 2
Rdd sei ein einfacher Eigenwert 1 betragsmig grer als alle anderen. Dann konvergiert die Folge von Vektoren (yk )k2N definiert durch die Vektoriteration
yk =

xk
,
kxk k

xk+1 = Ayk

fr k = 0, 1, . . . gegen einen normierten Eigenvektor v1 von A zum Eigenwert


nicht senkrecht auf dem Eigenraum span v1 steht.

1,

falls x0

v T Av

Mit dem zugehrigen EV v1 lsst sich der EW ber den Rayleigh-Quotienten 1 = v1T v11 (hier
1
aufgrund der Normierung = v1T Av1 ) berechnen. Die Geschwindigkeit mit der die brigen
Richtungen gedmpft werden ist durch den grten Quotienten 0 | 2 / 1 | < 1 gegeben.
Liegen die beiden Eigenwerte 1 und 2 betragsmig nahe bei einander, ist also der Quotient
nahe bei 1, so konvergiert die Vektoriteration sehr langsam.
Eine erste Idee, die Geschwindigkeit der Dmpfung zu erhhen, knnte darin bestehen, anstelle
von A die Matrix A
I fr ein 2 R zu betrachten. Diese Matrix ist wiederum symmetrisch und besitzt genau dieselben Eigenvektoren wie A. Das Spektrum, also die Menge der
Eigenwerte, von A
I ist gleich dem Spektrum von A um verschoben.

KAPITEL 6. EIGENWERTPROBLEME

114

Beispiel 37. Sei A 2 R33 eine symmetrische Matrix mit Eigenwerten 3, 2, 1. Der Quotient
| 2 |/| 1 | ist gegeben durch 23 . Die Matrix A 1.5I besitzt oenbar die Eigenwerte 1.5, 0.5, 0.5,
wodurch die Vektoriteration angewandt auf diese Matrix mit der doppelten Geschwindigkeit
1
konvergiert.
3
Bemerkung 44. Die Idee der Vektoriteration lsst sich auch auf bestimmte nicht-symmetrische
Matrizen erweitern, z.B. PageRank-Algorithmus.
Das Beispiel oben wirft die Frage auf, wie die Spektren von A und A
Eine einfache Analysis liefert
Av = v

Av

= v

(A

I)v

=(

zusammenhngen.
)v.

Insbesondere besitzen die beiden Matrizen dieselben EVe und die Spektren sind lediglich
um verschoben. Um den nchsten Abschnitt vorzubereiten, fragen wir auch nach dem
Zusammenhang der Spektren von A und A 1 , falls die Inverse existiert. Wir finden
Av = v

v = A 1v

Somit besitzen A und A 1 wiederum dieselben EVen und das Spektrum von A
reziproke Spektrum von A.

6.3

(6.1)

v = A 1 v.
1

ist das

Inverse Vektoriteration

Sei A 2 Rdd eine symmetrische Matrix mit einem betragsmig kleinsten Eigenwert nahe
bei, aber ungleich 0. Eine solche Matrix ist insbesondere invertierbar. Die Inverse A 1 ist
wieder symmetrisch mit genau denselben Eigenvektoren. Die Eigenwerte sind 1i , falls i ein
Eigenwert von A ist. Somit besitzt A 1 einen betraglich dominanten Eigenwert.
Beispiel 38. Hat die Matrix A die Eigenwerte 0.1, 2, 3 und 5, so besitzt die Inverse die
1
Eigenwerte 10, 12 , 13 und 15 . Die Geschwindigkeit der Konvergenz ist somit 20
.
Wichtig in diesem Zusammenhang ist die Modifizierung der Vektoriteration. Wir berechnen
nun iterativ
yk =

xk
,
kxk k

Axk+1 = yk

fr k = 0, 1, . . ., mssen also in jedem Schritt ein lineares Gleichungssystem Axk+1 = yk lsen.


Diese Form der Vektoriteration heit inverse Iteration. Wichtig in diesem Zusammenhang ist,
dass zum Beispiel eine LR-Zerlegung, welche den Hauptaufwand beim direkten Lsen eines
linearen Gleichungssystems beansprucht, nur ein einziges Mal durchgefhrt werden muss. Ist
die Matrix sehr gro und zustzlich schwach besetzt, so knnte auch das cg-Verfahren zum

KAPITEL 6. EIGENWERTPROBLEME

115

Lsen des linearen Gleichungssystems eingesetzt werden (siehe Abschnitt 6.4).


Wir wollen nun beide Ideen, das Verschieben des Spektrums und die inverse Iteration, kombinieren, um beliebige einfache Eigenwerte einer Matrix mit zugehrigem Eigenvektor zu
berechnen. Wichtig dabei: Dies funktioniert nur, wenn wir bereits eine hinreichend gute Approximation des Eigenwerts haben. Sei also i eine beliebiger einfacher Eigenwert einer symmetrischen Matrix A 2 Rdd und eine so gute Schtzung von i , dass der Eigenwert i

von A
I
ungleich
0
ist
jedoch
mglichst
nahe
bei
0
liegt.
Wenn
zustzlich
der

betragsmig kleinste Eigenwert der Matrix A


I ist, knnen wir die inverse Iteration auf
diese Matrix anwenden und erhalten eine Approximation eines zu i gehrigen Eigenvektors
von A (vgl. die Diskussion zu (6.1)).
Beispiel 39. Sei A eine symmetrische Matrix mit Eigenwerten 1, 2, 4 und = 1.3. Es liegt
eine Schtzung dieses Eigenwerts = 1.2 vor. Dann besitzt die Matrix A 1.2I die Eigenwerte 0.2, 0.8, 2.8 und 0.1. Die Eigenwerte der inversen Matrix (A 1.2I) 1 sind dann
5, 1.25, 10/28 und 10.
Bemerkung 45. Wir lsen in jeder Iteration das lineare Gleichungssystem
(A
mit symmetrischer Matrix A

I.

Es gilt

cond2 (A

I)

I)x

=y

max
min

|
(A) |

2 (A)
2

Obwohl die Matrix schlecht konditioniert ist, entstehen bei der Vektoriteration keine numerischen Schwierigkeiten, da nur die Richtung des EVs gesucht ist, deren Berechnung gut
konditioniert ist (vgl. [1]).

6.4

Spektrale Bisektion

Die Spektrale Biosektion lautet in einer relaxierten Formulierung: Bestimme einen Eigenvektor
w von A zum kleinsten positiven Eigenwert (siehe Beispiel 15).
Um den kleinsten positiven Eigenwert von A zu berechnen, lsen wir mit e = (1, . . . , 1)T :
1. Whle x0 2 Rn mit eT x0 = 0, setze k = 0 und y0 =

x0
.
kx0 k

2. Berechne xk+1 mit Axk+1 = yk und eT xk+1 = 0.


3. Setze yk+1 =

xk+1
kxk+1 k

und erhhe k um 1, gehe zu 2.

Dieses Vorgehen, lsst sich als inverse Vektoriteration angewendet auf A + eeT interpretieren.
Die Eigenvektoren dieser Matrix entsprechen genau denen von A und die Eigenwerte sind bis
auf den Eigenwert 0 vllig mit denen von A identisch. Diese Aussagen sind leicht nachvollziehbar, wenn man sich an die orthogonale Diagonalisierbarkeit einer symmetrischen Matrix

KAPITEL 6. EIGENWERTPROBLEME

116

erinnert: Eigenvektoren zu verschiedenen Eigenwerten stehen paarweise senkrecht aufeinander. Die Matrix A + eeT besitzt noch den Eigenwert n:
(A + eeT )e = Ae + eeT e = ne.
Somit ist (fr groe n) der kleinste positive Eigenwert von A auch der von A + eeT . Zudem
ist diese Matrix im Unterschied zu A positiv definit. Lsen wir
(A + eeT )xk+1 = yk ,
so gilt mit eT yk = 0 dies fr xk+1 ebenfalls:
0 = eT yk = eT (A + eeT )xk+1 = (eT A + eT eeT )xk+1 = neT xk+1 .

Literaturverzeichnis
[1] P. Deuflhard, A. Hohmann, Numerische Mathematik 1, Eine algorithmisch orientierte
Einfhrung, de Gruyter, 20023 .
[2] R.W. Freund, R.H.W. Hoppe, Stoer/Bulirsch: Numerische Mathematik 1, Springer,
200710 .
[3] Hanke-Bourgeois, M.: Grundlagen der Numerischen Mathematik und des Wissenschaftlichen Rechnens, Vieweg+Teubner (2002).
[4] F. Locher, Numerische Mathematik fr Informatiker, Springer-Verlag, 1991.
[5] C. Lubich, Vorlesung zur Numerik.
[6] J. Schropp, Vorlesung zur Algorithmischen Mathematik.

117