CH 1 Householder Schur SVD Application

Transformation de Householder
R
eduction de Schur
R
eduction de Hessenberg
M
ethode QR de Francis
M
ethode QR pour la d
etermination des valeurs propres
Avantages et inconv
enients de la m
ethode QR
Algorithme et application
Transformation de Householder, decomposition de

Schur, SVD et applications
Master MOCASIM 1`
ere ann
ee
Facult
e des Sciences et Technique
MARRAKECH
Annee Universitaire 2015/2016
1/35
Transformation de Householder, d
ecomposition de Schur, SVD et appli
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Plan
2/35
Reduction de Schur
Reduction de Hessenberg
Methode QR de Francis
Methode QR pour la determination des valeurs propres
Avantages et inconvenients de la methode QR
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
3/35
Reduction de Schur
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Alston Scott Householder (Rockford, Illinois, USA, 5 May 1904 Malibu,

California, USA, 4 July 1993) was an American mathematician who
specialized in mathematical biology and numerical analysis, inventor of
the Householder transformation and of Householders method.
After receiving his doctorate, Householder concentrated on the field of
mathematical biology at the University of Chicago.
In 1946, Householder joined the Mathematics Division of the Oak Ridge
National Laboratory, it is during this period that his interests shift toward
numerical analysis.
4/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
D
efinition : Soit v un vecteur non nul de Rn , on appelle matrice de
Houdeholder associee à v la matrice symetrique, orthogonale
H(v ) Rnn definit par:
H(v ) = In 2.
v .v t
v t .v
Th
eor`
eme :
Soit u Rn un vecteur non nul verifiant u vect{e
/
u
1 } o`
t
e1 = (1, 0, ..., 0) . Il existe un vecteur v non nul de Rn telque
H(v ).u = .e1 , R . Le vecteur v est donne par v = u kuk .e1 et
on a H(v ).u = kuk .e1 .
Remarque : Pour des raisons de stabilite numerique, on prend
v = u+signe(u1 ) kuk .e1 et on a alors H(v ).u = signe(u1 ) kuk .e1 .
5/35
6/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
1) H(v ) est symetrique, orthogonale.

2)
w vect {v }
, H(v ).w = w
w vect {v }
, H(v ).w = w
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
7/35
Reduction de Schur
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Issai Schur
Issai Schur (1875 1941), est un
mathematicien dorigine russe qui a surtout
travaille en Allemagne. Il a etudie à Berlin
sous Frobenius, a obtenu son doctorat en
1901 et est devenu charge denseignement
en 1903. Il a donne son nom à plusieurs
concepts et theorèmes mathematiques :
Decomposition de Schur
Complement de Schur
Inegalite de Schur
Lemme de Schur
Multiplicateur de Schur
Polyn
ome de Schur
etc..
8/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Enonce de la decomposition
Theorem (version Complexe)
Soit A Cnn , alors il existe une matrice orthogonale Q Cnn tel que
la matrice T = Q > A Q est triangulaire superieur.
Theorem (version reelle)
Soit A Rnn , alors il existe une matrice orthogonale Q Rnn tel que
Q > A Q est quasi-triangulaire cest-à-dire :
R11 R1m
..
..
0
.
.
Q> A Q =
..
..
..
..
.
.
.
.
0
0 Rmm
o`
u les Rii sont des blocs de taille (1 1) ou (2 2).
9/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Enonce de la decomposition
Theorem (version Complexe)
Soit A Cnn , alors il existe une matrice orthogonale Q Cnn tel que
la matrice T = Q > A Q est triangulaire superieur.
Theorem (version reelle)
Soit A Rnn , alors il existe une matrice orthogonale Q Rnn tel que
Q > A Q est quasi-triangulaire cest-à-dire :
R11 R1m
..
..
0
.
.
Q> A Q =
..
..
..
..
.
.
.
.
0
0 Rmm
o`
u les Rii sont des blocs de taille (1 1) ou (2 2).
9/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
10/35
On effectue une demonstration par recurrence sur le nombre de paire

de valeurs propres conjuguees note k.
Pour k = 0, le theorème est vrai cest une consequence direct de la
decomposition de Schur standard.
On suppose que le theorème est vrai pour toutes matrices ayant un
nombre de pair complexe < k.
Soit = + i, 6= 0 et x = u + iv valeur et vecteur propre de A.
On a
A u = u v et A v = v + u
on en deduit alors le resultat suivant :

A [u, v ] = [u, v ]
ecomposition de Schur, SVD et app
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
10/35

On a

A [u, v ] = [u, v ]
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
10/35

On a

A [u, v ] = [u, v ]
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
On introduit {x1 , x2 } une base orthonormale de lespace vect{u, v },
[x1 , x2 ] = [u, v ] C
do`
u

A [x1 , x2 ] = [x1 , x2 ] C 1
C

{z
}
|
S
On complète la base {x1 , x2 } pour avoir une base orthonormale de

Rn on obtient alors {x1 , x2 , W } une base de Rn , W = {x3 , , xn }.
On a

>
S [x1 , x2 ] A W
>
[[x1 , x2 ] , W ] A [[x1 , x2 ] , W ] =
0
W> A W
Finalement, on applique lhypothèse de recurrence à W > A W .
11/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
[x1 , x2 ] = [u, v ] C
do`
u

A [x1 , x2 ] = [x1 , x2 ] C 1
C

{z
}
|
S

On a

>
S [x1 , x2 ] A W
>
[[x1 , x2 ] , W ] A [[x1 , x2 ] , W ] =
0
W> A W
11/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
11/35

[x1 , x2 ] = [u, v ] C
do`
u

A [x1 , x2 ] = [x1 , x2 ] C 1
C

{z
}
|
S

On a

>
S [x1 , x2 ] A W
>
[[x1 , x2 ] , W ] A [[x1 , x2 ] , W ] =
0
W> A W
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
[x1 , x2 ] = [u, v ] C
do`
u

A [x1 , x2 ] = [x1 , x2 ] C 1
C

{z
}
|
S

On a

>
S [x1 , x2 ] A W
>
[[x1 , x2 ] , W ] A [[x1 , x2 ] , W ] =
0
W> A W
11/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
[x1 , x2 ] = [u, v ] C
do`
u

A [x1 , x2 ] = [x1 , x2 ] C 1
C

{z
}
|
S

On a

>
S [x1 , x2 ] A W
>
[[x1 , x2 ] , W ] A [[x1 , x2 ] , W ] =
0
W> A W
11/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
12/35
Reduction de Schur
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Karl Adolf Hessenberg
Karl Adolf Hessenberg

(1904 1959), est un mathematicien
et ingenieur allemand. La matrice de
Hessenberg etait introduite par lui en 1940
par le biais de son rapport: Traitement
des problèmes de valeurs propres linaires en
utilisant le theorème de Cayley-Hamilton.
13/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Enonce de la Reduction
Theorem
A Rnn , Q Rnn , tel que Q > A Q = H o`
u H est de Hessenberg.
En effet, Q est le produit de (n 2) matrice de Householder
Preuve
On demontre le resultat par recurrence sur la dimension. Pour n = 2
on a toute matrice est de Hessenberg sans multiplier par une matrice
de Householder.
On suppose que k n 1 pour A Rkk , Q Rkk , tel que
Q > A Q est de Hessenberg. Q est le produit de (k 2) matrice de
Householder. Montrons le theorème pour A Rnn .
14/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
a1n
a21
..
a21
Soit A =
, on note a1 = ...
..
.
.
..
..
.
an1
a1n ann
On sait quil existe Hu matrice de Householder tel que Hu a1 = e1 ,
daprès la transformation
u = a1 ka1 ke1 . on prend
1 O>
H(n2) =
. Alors
O Hu
a11
a12
..
.

H(n2) A H(n2) =
15/35
a11
e1
[a12 , , a1n ] Hu
Hu A(1) Hu
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve
On applique lhypothèse de recurrence à la matrice B = Hu A(1) Hu
!
!>
n3
n3
Y
Y
donc on a
Hi B
Hi
est de Hessenberg
i=1
i=1
le resultat est clair en prenant

Q=
n3
Y
i=1
16/35
1
O
O>
Hi
!
Hn2
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Algorithme: Reduction de Hessenberg
Initialisation: Q = I et H = A
Pour j = 1 : n 2
On pose u = H(:, j); puis on annule les composantes u(i = 1 : j)
Calcul du vecteur de Householder
v = u + sign(u(j + 1)) kuk ej+1 puis on normalise v = u/ kuk.
Calcul de la matrice de Householder P = In 2 (v v T )
Mise à jours des matrice H P H P T et Q Q P;
Fin(j)
17/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
18/35
Reduction de Schur
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
John FRANCIS
John FRANCIS ne en 1934,
est un Anglais chercheur en informatique,
qui en 1961 à publie lalgorithme
QR pour le calcul des valeurs propres de
matrices, qui à ete nomme comme lun des
dix importants algorithmes du XXe siècle.
En 1961, Francis
a quitte le domaine de lanalyse numerique,
et navait
aucune idee de limpact que son travail sur
lalgorithme QR avait,
jusquà re-contacte par Gene Golub en 2007.
19/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
20/35
Reduction de Schur
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Si A = QR avec Q matrice orthogonale et R matrice triangulaire

superieur, alors la matrice A0 = RQ est semblable à A car :
Q t AQ = Q t QRQ = RQ = A0
21/35
22/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
thode :
Principe de la me
Posons A1 = A.
On ecrit la factorisation QR de A1 :
A1 = Q1 R1
et on forme
A2 = R1 Q1 = Q1t A1 Q1
` letape k,
A
Ak = Qk Rk
On pose
Ak+1 = Rk Qk = Qkt Ak Qk
On obtient
Ak+1 = (Q1 Q2 ...Qk )t A(Q1 Q2 ...Qk )
Ce qui montre que Ak+1 est semblable à A donc admet les memes
valeurs propres.
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Theorème
Soit A Mn (R) inversible et ayant des valeurs propres differentes en
module. Cest-à-dire quil existe une matrice P inversible verifiant:
..
P 1 AP =
.
n
et |1 | > ... > |n |.
Alors la suite Ak verifie:
lim (Ak )ii
= i
lim (Ak )ij
k
k
23/35
i = 1, 2, ..., n
j < i
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Remarque
On ne peut rien dire sur la convergence de la partie superieure i < j.
Si A est une matrice reelle et que les valeurs propres sont differentes en
module, ceci entrane que les valeurs propres sont toutes reelles car sinon
les valeurs propres complexes apparaissent par paires de racines
cojuguees, donc de meme module ce qui est exclu par lhypothèse du
theorème.
Si A est symetrique alors la suite Ak converge vers une matrice
diagonale formee par les valeurs propres de A.
24/35
25/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Preuve:
On pose
k = Q1 ...Qk et <k = Rk ...R1
On a
Ak+1 = tk Ak
Lidee est detudier le comportement de la suite k .
On va utiliser le fait quon a une factorisation QR de la matrice Ak avec
Ak = Q1 ...Qk Rk ...R1 .
On va chercher maintenant une factorisation QR avec Rii > 0 pour
pouvoir utiliser lunicite et par
suite deduire leresultat final.
1
..
1
P = LU, P = QR et =
.
.
On a alors
n
Ak = Pk P 1
= QRk LU
= QR(k Lk )k U
Or lim k Lk = I
k
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Ce qui est equivalent à dire que

k Lk = I + Fk
avec
lim Fk = 0
Donc
R(k Lk ) = (I + RFk R 1 )R
La matrice I + RFk R 1 admet une factorisation QR avec Rii > 0, quon
note
I + RFk R 1 = Qk Rk
et
lim Qk = Q
lim Rk = R
avec Rii > 0
R
= I , et par unicite de la factorisation QR, on a Q
=R
= I.
Donc Q
En reprenons lexpression de Ak et en remplacant, on obtient
Ak = (Q Qk )(Rk Rk U)
26/35
27/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
qui est une autre factorisation QR de Ak , mais rien ne garantie que

Rii > 0.
En intercalons une matrice diagonale Dk avec |(Dk )ii | = 1 de sorte à
avoir (Dk Rk Rk U)ii > 0, et par unicite on conclut
Q Qk Dk = k
Passons à letape finale
Ak+1 = tk Ak
t RR 1 Q
k Dk Or
= Dkt Q
k
lim Nk = RR 1
kt RR 1 Q
k
avec Nk Q
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
avec
RR 1 =
1
0
..
.
2
..
.
..
.
..
.
Donc finalement,
lim Ak+1 = RR 1
28/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
29/35
Reduction de Schur
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Avantage:
Calcul de toutes les valeurs propres.
Inconv
enients:
Convergence lente,
Chaque iteration demande une decomposition QR.
La methode QR ne calcul pas directement les vecteurs propres.
30/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Remarque
La convergence comme on avait dit est lente mais peut etre acceleree,
en reduisant la matrice A en une matrice plus simple (Quasi triangulaire)
dite de Hessenberg:
..
..
. .
A= 0
.. . .
.
..
..
.
.
.
. ..
0
0

Lavantage provient du fait que la suite Ak reste sous la forme de
Hessenberg.
31/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
On peut egalement accelerer la convergence lorsquil sagit dune

matrice symetrique, en reduisant cette dernière en une forme tridiagonale
à laide des matrices de Householder.
32/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
33/35
Reduction de Schur
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Algorithme
Poser A(0) = A et k = 0
(k)
Tant que max |aij |
i>j
-Calculer R (k) et Q (k) telles que

A(k) = Q (k) R (k)
-Calculer A(k+1) par
A(k+1) = R (k) Q (k)
-iter
k k +1
Fin de tant que
34/35
R
eduction de Schur
R
M
M
ethode QR pour la d
Avantages et inconv
enients de la m
ethode QR
Application
On prend par exemple la matrice
1
5
A=
0
3
5 3 2
12 0 1
8 1 4
2 9 1
Le spectre de A:
(A)={ 15.6590, -4.5723, 4.3265, -0.4132}.
35/35

CH 1 Householder Schur SVD Application

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

CH 1 Householder Schur SVD Application

Hochgeladen von

Copyright:

Verfügbare Formate

Transformation de Householder

Transformation de Householder, decomposition de

Annee Universitaire 2015/2016

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

Alston Scott Householder (Rockford, Illinois, USA, 5 May 1904 Malibu,

1) H(v ) est symetrique, orthogonale.

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

On effectue une demonstration par recurrence sur le nombre de paire

On effectue une demonstration par recurrence sur le nombre de paire

On effectue une demonstration par recurrence sur le nombre de paire

On compl`ete la base {x1 , x2 } pour avoir une base orthonormale de

On compl`ete la base {x1 , x2 } pour avoir une base orthonormale de

On introduit {x1 , x2 } une base orthonormale de lespace vect{u, v },

On compl`ete la base {x1 , x2 } pour avoir une base orthonormale de

On compl`ete la base {x1 , x2 } pour avoir une base orthonormale de

On compl`ete la base {x1 , x2 } pour avoir une base orthonormale de

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

Karl Adolf Hessenberg

Karl Adolf Hessenberg

le resultat est clair en prenant

Algorithme: Reduction de Hessenberg

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

Si A = QR avec Q matrice orthogonale et R matrice triangulaire

lim (Ak )ij

Ce qui est equivalent `a dire que

avec Rii > 0

qui est une autre factorisation QR de Ak , mais rien ne garantie que

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

Avantages et inconvenients de la methode QR

On peut egalement accelerer la convergence lorsquil sagit dune

Methode QR pour la determination des valeurs propres

Avantages et inconvenients de la methode QR

-Calculer R (k) et Q (k) telles que

On prend par exemple la matrice

Das könnte Ihnen auch gefallen