MT - 402 - Iterao de Arnoldi e Mtodo GMRES

Verso 1.0
23/junho/2011
Profa. Mrcia A. Gomes-Ruggiero
Referncia para este resumo: Lectures 33 e 35 do Livro do Trefethen e Bau
Iterao de Arnoldi
Dada uma matriz A : n n e um vetor b : n 1 o subespao de Krylov de dimenso s, associado
esta matriz e vetor, o subespao gerado por: b, Ab, A2 b, . . . As1 b:
Ks (A, b) = span{b, Ab, A2 b, . . . As1 b}.
A iterao de Arnoldi consiste em um processo semelhante ao Gram-Schmidt, no sentido que gera uma
base ortogonal para o subespao de Krylov.
Considerando a matriz A, o resultado do processo de Arnoldi, a obteno de uma matriz Hessenberg
superior, unitariamente semelhante matriz A: A = QHQ ( AQ = QH).
Para matrizes de grande porte, evidente que realizar o processo completo de transformao invivel
computacionalmente. Ento, a proposta aplicar o processo passo a passo, de modo que se for interrompido, possamos aproveitar de alguma forma o trabalho realizado at aquela etapa. Esta idia ser
empregada tanto para obteno de autovalores quanto para resoluo de sistemas lineares.
Neste texto, a notao k.k representa a norma2.
Seja o subespao de Krylov, Ks (A, b) e o processo de obter uma base ortogonal para este subespao.
O processo de Arnoldi baseado no fato:
Fato 1: cada subespao de Krylov de dimenso j + 1 pode ser obtido a partir da base ortogonal do
subespao de Krylov de dimenso j, usando o conjunto gerador: {q1 , q2 , . . . qj , Aqj }.
A demonstrao deste resultado feita por induo e omitida neste texto. O importante observar
que a partir deste resultado, ao invs de acrescentar ao conjunto {q1 , q2 , . . . qj } o vetor Aj q1 , acrescentamos Aqj .
O processo inicia com o vetor b e partir dele obtemos q1 = b/kbk. O 2o vetor da sequncia de Krylov
Ab e como Ab = kbk(Aq1 ) podemos considerar apenas Aq1 , pois span{b, Ab} = span{q1 , Aq1 }. O
vetor q2 deve ser obtido de modo que span{q1 , q2 } = span{q1 , Aq1 }, q2 deve ter norma2 igual a 1 e
deve ser ortogonal q1 . Segue da que:


h11
Aq1 = h11 q1 + h21 q2 Aq1 = [q1 q2 ]
.
h21
Impondo a condio da ortogonalidade, obtemos h11 = q1t Aq1 .
Da: v = Aq1 h11 q1 e fazendo h21 = kvk teremos q2 = v/h21 .
Dado que o objetivo construir uma base ortogonal para o subespao, iniciamos a etapa seguinte com
o vetor q2 e calculamos Aq2 , uma vez que q2 K2 (A, b) e sabemos que q2 no pertence exclusivamente
a K1 (A, b), isto , q2 no mltiplo de q1 :
este o argumento empregado na demonstrao do Fato 1 acrescido do fato que estamos supondo a
1

independncia linear dos vetores que geram o subespao de Krylov. (o processo de ortogonalizao ir
detectar, caso os vetores no sejam LI).
Continuando este processo, por induo (e usando o Fato 1), temos: {q1 , q2 , . . . , qj } uma base ortogonal
para o subespao de Krylov Kj (A, b). Usando o Fato 1, teremos Kj+1 (A, b) = span{q1 , q2 , . . . , qj , Aqj }.
Portanto, aplicamos Gram-Schmidt para obter uma base ortogonal para este subespao, isto vamos
ortogonalizar Aqj em relao aos vetores q1 , q2 , . . . , qj .
s , onde Qs tem colunas ortogonais, e
Usando notao matricial, na etapa s teremos AQs = Qs+1 H

Hs : (s + 1) s tem a estrutura de uma matriz de Hessenberg de ordem s acrescida de uma linha com
entradas nulas nas posies j = 1, . . . , s. Na entrada (s + 1, s), temse a componente hs+1,s .
Exemplificando, se n = 5 e s = 3: AQ3 = Q4 H3 :

q1 q2 q3
q1 q2 q3 q4
h11 h12 h13

h21 h22 h23

0
h32 h33
0
0
h43
Exerccio 2: A partir do exemplo acima, escreva a expresso para Aqj , j = 1, 2, 3. Generalize a
expresso para este produto, para j qualquer. Verifique que a generalizao da expresso para Aqj
resulta em:
Pj+1
Aqj =
i=1 hij qi , j = 1, 2, . . . , . . . , de onde concluise que o termo qj+1 satisfaz uma relao de
recorrncia que envolve ele mesmo e os vetores anteriores: q1 , q2 , . . . , qj .
Exerccio 3 Verifique (usando o exemplo acima) que AQ3 = Q3 H3 + h43 q4 et3 .
Exerccio 4 Generalize o resultado do exerccio 3: verifique que em qualquer etapa, a relao
s pode ser escrita como: AQs = Qs Hs +hs+1,s qs+1 ets sendo que nesta expresso, Hs : ss
AQs = Qs+1 H
uma matriz Hessenberg superior.
s:
Formalizamos agora o algoritmo de Arnoldi, realizado para construir as matrizes Qs , Qs+1 e H
Dado b um vetor arbitrrio, faa q1 = b/kbk2 .
Para s = 1,2,....
v = Aqs
Para i = 1, .., s
his = qit v
v = v his qi
hs+1,s = kvk2
qs+1 = v/hs+1,s
Exerccio 5: Analise o caso hs+1,s = 0.
Exerccio 6: Interpretao Geomtrica do processo de Arnoldi (pg.254 Trefethen).
Podemos considerar o processo de Arnoldi como projees nos sucessivos subespaos de Krylov.
Considerando um operador linear Ks para Ks que consiste em: dado v Ks , obter w = Av, e projetar
ortogonalmente w em Ks .
s
6a) Qual a matriz resultante do produto Qts Qs+1 ? Usando este resultado, e a relao AQs = Qs+1 H
t

mostre que Qs AQs uma matriz de Hessenberg, s s, que obtida eliminando a ltima linha de Hs .
6b) Verifique que Qs Qts um projetor ortogonal no subespao de Krylov Ks .
2

6c) Mostre que o operador linear descrito acima pode ser escrito como Qs Qts A com relao a bases de
Rs .
6d) Mostre que o operador linear descrito acima pode ser escrito como Qts AQs com relao base
formada pelas colunas de Qs .

GMRES
Considere A Rnn e o sistema linear Ax = b. O mtodo GMRES: Generalized Minimal RESidual foi
proposto por Saad e Schultz em 1986. Essencialmente, o mtodo gera uma sequncia {xk } de modo que
a aproximao da iterao s, xs , minimiza a norma-2 do resduo, kb Axk2 no subespao de Krylov:
Ks (A, b) = span[b, Ab, A2 , . . . , As1 b].
Denotando por Ks a matriz cujas colunas so: b, Ab, . . . , As1 b, temos que qualquer vetor v Ks (b, A)
pode ser escrito como v = Ks , Rs . Portanto, resolver o problema: minxKs (A,b) kb Axk2
equivalente a resolver:
mins kb (AKs )k2 .
(1)
R

Exerccio 6: Podemos afirmar que resolver (1) nos leva a obter a projeo ortogonal do vetor b em
Im(AKs )? Uma vez que a soluo de QM para o problema (1) um vetor Rs , como obter o vetor
x
correspondente?
O problema de quadrados mnimos, (1), poderia ser resolvido atravs de fatorao QR da matriz AKs .
Mas, o processo instvel. Por esta razo natural usar o processo de Arnoldi, dado que estamos
trabalhando em subespaos de Krylov. A cada iterao, resolvido o problema de quadrados mnimos:
minRs kb (AKs )k2 . Se Qs a matriz formada pelos vetores da base ortogonal para o subespao
de Krylov, podemos representar qualquer vetor deste espao como Qs , Rs . Desta forma:
s )k2
minRs kb (AKs )k2 minRs kb (AQs )k2 minRs kb (Qs+1 H
t
s k2 .
minRs kQs+1 b H
Exerccio 7: Justifique cada passagem na relao acima.
s k2 minRs kkbk2 e1 H
s k2 . Este problema
Exerccio 8: Demonstre que minRs kQts+1 b H
s ? Obtenha expresso para esta soluo via fatorao
pode ser resolvido via fatorao QR da matriz H

QR de H.
Exerccio 9: Como obter o vetor x
s e o resduo correspondente?
Exerccio 10: A menos de erros de arredondamento, podemos afirmar que o mtodo GMRES converge em no mximo n iteraes, isto , na iterao n ser obtido resduo com norma2 nula. Cite as
vantagens e desvantagens desta afirmao. Justifique.
Algoritmo GMRES
Se x0 = 0 a aproximao inicial, ento r0 = b. Neste caso, faa q1 = b/kbk2 .
Para k = 1, 2, 3, . . . . . .
realize um passo da processo de Arnoldi, com s = k.
k k2 e faa xk = Qk .
Encontre que minimiza kQtk+1 b H
k . Em geral, esta fatorao obtida via
A obteno de atravs de fatorao QR da matriz H
rotaes de Givens.