Nla Jorn2011

Topicos
en Algebra Lineal Numerica

Marcos Raydan
Departamento de Computo
Cientfico y Estadstica
Bolvar
Universidad Simon
Caracas, Venezuela.
Centro de Calculo
Cientfico y Tecnologico
Universidad Central de Venezuela
IX Jornadas de Aplicaciones Matematicas

Valencia, Venezuela, Mayo 2011
Raydan (USB)
Topicos
Mayo 2011
Parte I
Conceptos basicos
Raydan (USB)
Topicos
Mayo 2011

Preliminares de Algebra Lineal (notacion)
n.
Rn espacio vectorial de vectores (columnas) reales de dimension
x Rn es una matriz con n filas y una sola columna.
x T es una matriz con una fila y n columnas.
Sea A Rmn una matriz con m filas y n columnas. El producto
lineal de las columnas de A:
y = Ax produce y como combinacion
y = Ax =
n
X
xj Aj
j=1
Equivalente
yi =
n
X
aij xj = aiT x.
j=1
Si x, y
Rn ,
xT y
es un escalar; xy T es una matriz n n de rango 1.
Si z Rn , (xy T )z = (y T z)x.
Raydan (USB)
Topicos
Mayo 2011

Preliminares de Algebra Lineal (notacion)
alc(A) = {y Rm : Ax = y para x Rn }; rango(A) = dim alc(A).
nulo(A) = {x Rn : Ax = 0}
alc(A) = subespacio vectorial expandido por las columnas de A.
rango(A) + dim nulo(A) = n.
A Rnn es invertible o no singular si rango(A) = n. Equivalente:
(a) Existe A1 tal que AA1 = A1 A = I,
(b) las filas de A son linealmente independientes,
por cada b Rn ,
(c) el sistema Ax = b tiene una unica
solucion
(d) alc(A) = Rn ,
de Ax = 0 es x = 0,
(e) la unica
solucion
(f) nulo(A) = {0},

(g) el escalar 0 no es un autovalor de A,
(h) det(A) 6= 0.
Raydan (USB)
Topicos
Mayo 2011
Preliminares de Algebra Lineal

A Rnn , x Cn , x 6= 0 es un autovector de A, y C su autovalor
asociado, si
Ax = x.
Autovectores asociados a autovalores distintos son linealmente
independientes (LI).
Si existe un conjunto de n autovectores LI, tenemos la
matricial A = X X 1 , = diag(i )
descomposicion
Dos propiedades:
det(A) =
n
Y
j ,
j=1
traza(A) =
n
X
j ,
j=1
donde traza(A) =
Raydan (USB)
Pn
j=1 ajj .
Topicos
Mayo 2011

Se dice que x, y Rn son ortogonales si x T y = 0.
Q Rnn es ortogonal si Q T = Q 1 , i.e., si Q T Q = QQ T = I.
(a) (Qx)T (Qy ) = x T y .
(b) kQxk2 = kxk2 ,
(c) (Pitagoras)
si x es ortogonal a y , kx + y k22 = kxk2 + kyk22 ,
(d) (Desigualdad de Cauchy-Schwarz) |x T y| kxk2 kyk2 ,
(e) (Ley del paralelogramo) kx + yk22 + kx y k22 = 2kxk2 + 2ky k22 .
Coseno del angulo

entre x, y
cos (x, y) =
Raydan (USB)
xT y
.
kxk2 ky k2
Topicos
Mayo 2011
A Rnn es simetrica
si aij = aji AT = A. En ese caso:
Teorema
A posee n autovalores reales 1 , , n , y un conjunto
asociado de autovectores x1 , , xn que forman una base
ortonormal de Rn .
x T Ax > 0 para todo vector x 6= 0, entonces se dice que A
Si ademas,
es positivo definida (PD).
Positivo semidefinida si x T Ax 0 para todo vector x Rn .
Negativo (semi) definida (ND) si A es positivo (semi) definida.
Indefinda si no es ni P semi D ni N semi D.
Raydan (USB)
Topicos
Mayo 2011
Teorema
Dada A Rnn simetrica,

las siguientes condiciones son equivalentes:
(a) x T Ax > 0 para todo vector x 6= 0,
(b) todos los autovalores de A son numeros
reales positivos,
(c) existe W Rnn no singular tal que A = W T W ,

(d) existe B Rnn positivo definida tal que A = B 2 ,
(e) para toda matriz X no singular, X T AX es positivo definida,
(f) todas las submatrices principales de A son positivo definidas.
Raydan (USB)
Topicos
Mayo 2011
Normas de vectores
k k : Rn R que asigna un numero
Una norma es una funcion
real
a cada vector.
no negativo (tamano)
Sean x, y Rn y escalar , tenemos:
(1) kxk 0, y kxk = 0 solo si x = 0,
(2) kxk = ||kxk,
(3) kx + y k kxk + ky k.
Tres normas de vectores importantes:
kxk1 =
n
X
|xi |,
i=1
kxk2 =
n
X
!1/2
xi2
p
x T x,
i=1
kxk =
Raydan (USB)
max |xi |.
1in
Topicos
Mayo 2011
Normas de matrices
Si k k es una norma en Rn , la norma k k de matrices inducida por
ella, viene definida por
kAk = sup
x6=0
kAxk
= max kAxk.
kxk
kxk=1
kAk1 = max kAj k1 , (columnas)

1jn
kAk = max kaiT k1 ,

1im
(filas)
q
kAk2 = max (AT A).
Propiedad de normas inducidas:
kAxk kAkkxk.
Raydan (USB)
Topicos
Mayo 2011
Norma de Frobenius
Una famosa norma no inducida es la norma de Frobenius:
1/2
m X
n
X
kAkF =
|aij |2 .
i=1 j=1
1/2
n
X
kAkF =
kAj k2 .
j=1
q
q
T
kAkF = traza(A A) = traza(AAT ).
No es inducida, pero:
kAxk2 kAkF kxk2 .
kABkF kAkF kBkF .
Raydan (USB)
Topicos
Mayo 2011
Parte II
Factorizaciones Matriciales Directas
Raydan (USB)
Topicos
Mayo 2011
Factorizaciones Directas (No iterativas)

Caractersticas:
Complejidad (operaciones punto flotante) finita, y no revelan los
autovalores de la matriz.
, U triangular
(1) Si A Rnn es no-singular, existen P de permutacion
superior, y L triangular inferior con 1s en la diagonal, tal que PA = LU.
Complejidad: n3 /3 + O(n2 ). P es crucial para la estabilidad.
(AT = A), y PD, existe L no

(2) Cholesky: Si A Rnn es simetrica
singular con Lii > 0 tal que A = LLT . Complejidad: n3 /6 + O(n2 ).
Estable.
QR: Si A Rnn existen Q ortogonal y R triangular
(3) Factorizacion
superior tal que A = QR. Complejidad: 2n3 /3 + O(n2 ). No requiere
que A sea no-singular. Extendible de forma natural al caso
rectangular. Estable en todos los casos.
Raydan (USB)
Topicos
Mayo 2011
de Cholesky: A = LLT
Factorizacion

l11 0 0
a11 a12 a1n
a12 a22 a2n l12 l22 0
=
.
.
.
.
.
.
. .
l1n l2n lnn
a1n a2n ann
De forma explcita:
2 l
a11 = l11
a11 ,
11 =
l11 l12 l1n

0 l22 l2n
.
.
.
.
0 0 lnn
l11 l1j = a1j for j = 2 . . . n, etc.
Algoritmo (1910)
For k = 1, 2, . . . , n Do
q
P
2
lkk akk k1
j=1 lkj
For i = k + 1, . . . , n Do
P
lik (aik k1
j=1 lij lkj )/lkk
Raydan (USB)
Topicos
Mayo 2011
Transformadas de Householder (Reflectores)
Raydan (USB)
Topicos
Mayo 2011

en R2 :
Ilustracion
Sea v , R, v R2 y v 6= 0, una recta que pasa por el (0 0)T . Y
sea u R2 , kuk2 = 1, y u T v = 0.
Como u y v forman una base en R2 , para todo x R2 , y :
x = u + v
Problema
Encontrar la matriz Q tal que Qx sea el reflejo de x
con respecto a la recta (el espejo) v .
Claramente Qx = u + v Qu = u y Qv = v .
Respuesta
Q = I 2uu T
Raydan (USB)
Topicos
Mayo 2011

Ahora u Rn , u 6= 0. Definamos
Q =I2
uu T
uT u
Mas Propiedades
Propiedades
(d) (ortogonal) Q T = Q 1
(a) Qu = u
(b) Si u T v = 0, Qv = v
(c) (simetrica)
Q = QT
(e) (autoinversa) Q 1 = Q
(f) (preserva la norma)
x Rn , kQxk2 = kxk2 .
Teorema Clave
Sean x, y Rn , x 6= y , pero kxk2 = kyk2 , entonces existe una unica
transformada de Householder Q tal que Qx = y .
Raydan (USB)
Topicos
Mayo 2011

Q =I2
uu T
uT u
Mas Propiedades
Propiedades
(a) Qu = u
(b) Si u T v = 0, Qv = v
(c) (simetrica)
Q = QT
Teorema Clave
Raydan (USB)
Topicos
Mayo 2011

Q =I2
uu T
uT u
Mas Propiedades
Propiedades
(a) Qu = u
(b) Si u T v = 0, Qv = v
(c) (simetrica)
Q = QT
Teorema Clave
Raydan (USB)
Topicos
Mayo 2011

Q =I2
uu T
uT u
Mas Propiedades
Propiedades
(a) Qu = u
(b) Si u T v = 0, Qv = v
(c) (simetrica)
Q = QT
Teorema Clave
Raydan (USB)
Topicos
Mayo 2011
QR usando Reflectores
Factorizacion
Sea A Rmn . Para factorizar A usaremos Reflectores:
Q = I ww T
donde = 2/(w T w).
Problema Modelo
Dado z Rm y un ndice k {1, 2, . . . , m}
Encontrar Q tal que:
(1) (Qx)i = xi para todo i {1, 2, . . . , k 1} y x
(2) (Qz)i = 0 para todo i {k + 1, 2, . . . , m}
Raydan (USB)
Topicos
Mayo 2011
Factorizacion
Forzar (Qx)i = xi para todo i {1, 2, . . . , k 1} y x implica que
wi = 0 para todo i {1, 2, . . . , k 1}.
Forzar (Qz)i = 0 para todo i {k + 1, 2, . . . , m} suponiendo que
(w T z) = 1, implica que
wi = zi para todo i {k + 1, 2, . . . , m}.
Falta definir wk ?
Forzando (w T z) = 1 ( 2w T z = w T w) y resolviendo la cuadratica,

obtenemos:
v
u m
uX
wk = zk + signo(zk )t
zi2
i=k
Raydan (USB)
Topicos
Mayo 2011
Factorizacion
Se resuelve el Problema Modelo (n 1 veces) sistematicamente,

una
vez por cada columna de A, donde z es la columna en turno, y k es el
ndice de la columna, y as obtenemos:
Qn1 Q2 Q1 A = R
donde R es triangular superior. De forma equivalente:
A = QR
donde
Q = Q1 Q2 Qn1
es ortogonal.
Clave
En la mayora se las aplicaciones Q no se necesita de forma explcita.
Basta con guardar los ws.
Raydan (USB)
Topicos
Mayo 2011
Factorizacion
Se resuelve el Problema Modelo (n 1 veces) sistematicamente,

una
vez por cada columna de A, donde z es la columna en turno, y k es el
ndice de la columna, y as obtenemos:
Qn1 Q2 Q1 A = R
donde R es triangular superior. De forma equivalente:
A = QR
donde
Q = Q1 Q2 Qn1
es ortogonal.
Clave
En la mayora se las aplicaciones Q no se necesita de forma explcita.
Basta con guardar los ws.
Raydan (USB)
Topicos
Mayo 2011
Parte III
Factorizaciones Matriciales que

Revelan Autovalores
(Iterativas)
Raydan (USB)
Topicos
Mayo 2011
de Schur (caso real)

Factorizacion
Teorema
Sea A Rnn . Existen Q Rnn ortogonal y T Rnn
triangular superior en bloques tal que
A = Q T TQ.
Cada Tii es un escalar (autovalor de A) o una matriz 2 2,
cuyos autovalores son un par conjugado de autovalores de A.
Corolario
Sea A Rnn simetrica.

Existen Q Rnn
nn
ortogonal y D R
diagonal tal que
A = Q T DQ.
Los dii son los autovalores de A. Las columnas de
Q son autovectores de A.
Raydan (USB)
Topicos
Mayo 2011
en Valores Singulares (SVD)

Descomposicion
full)
Teorema (SVD version
Sea A Rmn . Existen U Rmm ortogonal, V Rnn
ortogonal, y Rmn diagonal rectangular tal que
A = UV T .
= diag(1 , 2 , . . . , p ), y se cumple que
1 2 p 0, donde p = min(m, n).
reducida)
Teorema (SVD version
Sea A Rmn (spdg m n). Existen U Rmn con columnas
ortonormales, V Rnn ortogonal, y Rnn diagonal tal que
A = UV T .
= diag(1 , 2 , . . . , n ), y se cumple que
1 2 n 0.
Raydan (USB)
Topicos
Mayo 2011

Descomposicion
geometrica:
Observacion
de una matriz
La imagen de la esfera unitaria en Rn por la aplicacion
A Rmn es un hiper-elipse en Rm .
Sean {1 u1 , 2 u2 , . . . , m um } los semi-ejes principales del hiper-elipse,
donde kui k2 = 1, y las longitudes de los semi-ejes, i , son
no-negativas. Estos semi-ejes son ortogonales entre si: uiT uj = 0 si
i 6= j, y uiT ui = 1.
El Teorema (SVD) afirma que las preimagenes de los semi-ejes del
son ortogonales entre si en Rn . Es decir, si
hiper-elipse tambien
{v1 , v2 , . . . , vn } son las preimagenes de los semi-ejes en la esfera
unitaria, entonces viT vj = 0 si i 6= j, y viT vi = 1. De forma vectorial
(1 j n):
Avj = j uj
Raydan (USB)
Topicos
Mayo 2011

Descomposicion
Todos juntos, Avj = j uj , en forma matricial:
|
|
v1 vn
A
=
|
|
|
|
|
|
1
.
u1 un
n
|
|
|
|
AV = U A = UV T
Se obtiene la SVD reducida. Los i son los valores singulares, los ui
son los vectores singulares por la izquierda, y los vi son los vectores
singulares por la derecha.
Raydan (USB)
Topicos
Mayo 2011
Propiedades de la SVD
Ya sabemos que:
Avj = j uj
AT = V U T AT U = V , y entonces:
Ademas,
AT uj = j vj
Por lo tanto:
0
AT
A
0

uj
vj

= j
uj
vj
j es autovalor de una matriz simetrica

y por lo tanto un
Observacion:
numero
real.
Clave
Algunos metodos
numericos
eficientes para obtener la SVD se basan
en esta propiedad. Y en la que sigue ...
Raydan (USB)
Topicos
Mayo 2011
Propiedades de la SVD
AT uj = j vj AAT uj = j Avj = j2 uj
De forma similar:
Avj = j uj AT Avj = j AT uj = j2 vj
Por lo tanto:
j2 es autovalor de AT A y de AAT .
Corolario
A es PD,
Si A es simetrica,
j (A) = |j (A)|, j. Y si, ademas,
j (A) = j (A), j.
Raydan (USB)
Topicos
Mayo 2011

Propiedades Practicas
de la SVD
a la vista
Todos los subespacios estan
Sea A Rmn (m n). A = UV T . Si
1 2 r > r +1 = = n = 0,
entonces rango(A) = r ,
nulo(A) = exp{vr +1 , . . . , vn }
alc(A) = exp{u1 , . . . , ur }
a la vista
Y todos los valores claves estan
kAk2 = 1
kAk2F = 12 + 22 + + n2
Q
|det(A)| = ni=1 i
Raydan (USB)
Topicos
Mayo 2011

Mas Propiedades Practicas
de la SVD
A = suma de matrices de rango 1
Sea A Rmn (m n). A = UV T . Si
1 2 r > r +1 = = n = 0,
entonces
A=
Ur r VrT
r
X
i ui viT
i=1
Propiedad optima
muy poderosa en la practica
Pk
Si k < r = rango(A), y Ak := i=1 i ui viT , entonces
min
rango(B)=k
Raydan (USB)
kA Bk2 = kA Ak k2 = k+1
Topicos
Mayo 2011
Pseudoinversa de A
Sea A Rmn . A = UV T . Se define la pseudoinversa:
A = V U T
donde = diag(1/1 , 1/2 , . . . , 1/r , 0, . . . , 0), y
r = rango(A) min{m, n}.
Propiedades de la pseudoinversa
(A ) = A
AA A = A
A AA = A
mnimos cuadrados de Ax b, de
x = A b es la solucion
mnima norma.
Si A es rango completa por columnas, entonces A = (AT A)1 AT
Raydan (USB)
Topicos
Mayo 2011
Polar
Descomposicion
Teorema sorprendente
Toda matriz A Rnn se puede escribir como
A = QS
donde Q es ortogonal y S es simetrica

y positivo semidefinida. Si,
A es no-singular, S es PD.
ademas,
Prueba: Insertar V T V = I en la SVD.
A = UV T = U(V T V )V T = (UV T )(V V T ) = QS.
Ejemplo:

Raydan (USB)
1 2
3 1

=
0 1
1
0

3 1
1
2
Topicos
Mayo 2011
Parte IV
Funciones cuadraticas
Raydan (USB)
Topicos
Mayo 2011

Polinomios en n variables con terminos

hasta de segundo orden.
Ejemplo en 3 variables:
q(x1 , x2 , x3 ) = x12 3x32 + 2x1 x2 5x2 x3 + x1 x3 4 ,
Localmente, via Taylor, aproximan funciones generales.
Minimizar cuadraticas
es subproblema auxiliar en metodos
que
resuelven problemas complejos.
Toda cuadratica
se puede escribir como:
q(x) =
1 t
x Ax bt x + c,
2
donde A Rnn es una matriz simetrica,

los vectores x, b Rn y la
constante c R.
Raydan (USB)
Topicos
Mayo 2011

Para el ejemplo
q(x1 , x2 , x3 ) = x12 3x32 + 2x1 x2 5x2 x3 + x1 x3 4 ,
se obtiene que
2
2
0
1
0 5 , b = 0 , c = 4 .
A= 2
0 5 6
1
Se obtienen c, b, y A calculando el gradiente y la Hessiana de q(x).
Raydan (USB)
Topicos
Mayo 2011

Puntos crticos de cuadraticas
Gradiente y Hessiana de cuadraticas

Si q(x) = 12 x t Ax bt x + c, donde AT = A, entonces
q(x) = Ax b y la matriz 2 q(x) = A para todo x Rn .
Los puntos estacionarios o crticos x (i.e., f (x ) = 0) de la
cuadratica
son las soluciones del sistema lineal
Ax = b.
Siempre existen puntos crticos?
Raydan (USB)
Topicos
Mayo 2011

Puntos crticos de cuadraticas
Teorema de existencia y unicidad

El problema de minimizar q(x), sin restricciones, admite
algun
punto estacionario si, y solamente si,
b alc(A).
Y admite un unico
punto estacionario si, y solamente si,
A es no singular.
Raydan (USB)
Topicos
Mayo 2011
de Puntos crticos de cuadraticas
Clasificacion
El sistema Ax = b puede tener una, ninguna o infinitas soluciones.

Si b
/ alc(A) entonces q(x) no posee puntos estacionarios, es decir,
el gradiente no se anula para ningun
x Rn .
Si A es no singular, entonces q(x) posee un unico
punto estacionario
x = A1 b, el cual puede ser un maximizador, un minimizador o un

punto de ensilladura.
Si el sistema posee infinitas soluciones, entonces q(x) tiene infinitos
puntos estacionarios, y todos son del mismo tipo.
Raydan (USB)
Topicos
Mayo 2011
Convexidad
Un conjunto en un espacio vectorial es convexo si
(1 )x + y
siempre que x , y y 0 < < 1.
f definida sobre un convexo es convexa si para todo
Una funcion
x, y , y [0, 1], se cumple que
f (x + (1 )y ) f (x) + (1 )f (y).
Si para todo (0, 1) y x 6= y la desigualdad se cumple en forma
estricta, entonces se dice que f es estrictamente convexa. Se dice
que f es concava si f es convexa.
Raydan (USB)
Topicos
Mayo 2011
de Puntos crticos de cuadraticas
Clasificacion
Caso convexo
Si A es positivo semidefinida y x es punto estacionario de
q(x), entonces x es minimizador global de q(x).
Y si A es PD entonces es un minimizador global aislado
(unico).
En efecto, si A es positivo semidefinida entonces q es una funcion

convexa.
Si A es negativo semidefinida, entonces los puntos estacionarios son
maximizadores, y si A es indefinida, son puntos de ensilladura.
Raydan (USB)
Topicos
Mayo 2011

Cuadratica
estrictamente convexa (n = 2)
Raydan (USB)
Topicos
Mayo 2011
Punto de ensilladura (n = 2)
Raydan (USB)
Topicos
Mayo 2011
Curvas de nivel
Raydan (USB)
Topicos
Mayo 2011
Conjuntos de nivel
Convexidad
convexa y M [, +], entonces
Si f es una funcion
los conjuntos de nivel {x : f (x) < M} y {x : f (x) M}
son convexos.
posee conjuntos de nivel

El recproco no es cierto: si una funcion
no es
convexos para todo M [, +], esa funcion
3
necesariamente convexa. Ejemplo: f (x) = x .
si f es una cuadratica
y A es PD, los conjuntos de nivel son elipsoides
concentricos
que poseen al unico
minimizador de la cuadratica
como
centro comun.
Los ejes principales son los autovectores de A.
Raydan (USB)
Topicos
Mayo 2011

Cuadratica
estrictamente convexa (1 = 2 y 2 = 7)
Raydan (USB)
Topicos
Mayo 2011
Parte V
Metodos
iterativos: sin restricciones
min f (x)
xRn
Raydan (USB)
Topicos
Mayo 2011
Direcciones de descenso
d Rn es de descenso a
Sea f : Rn R. Se dice que una direccion
n
partir de un punto x R si
f (x)t d < 0.
El coseno es negativo el angulo entre f (x) y d es mayor a 900 .
El valor de f disminuye en d
Sean f : Rn R, f C 1 (Rn ), x Rn tal que f (x) 6= 0, y d Rn tal
que f (x)t d < 0. Entonces existe
> 0 tal que
f (x + d) < f (x) para todo (0,
].
Raydan (USB)
Topicos
Mayo 2011

Metodos
de descenso
Familia de metodos
iterativos para encontrar mnimos:
xk+1 = xk + k dk ,
de descenso
dk es una direccion
k es una longitud de paso que garantiza descenso en f .
Diferentes formas de escoger dk y diferentes polticas de descenso en
f producen diferentes metodos.

siempre disponible: dk = f (xk )
Opcion
(Cauchy, 1847).
de gradiente negativo, es la que garantiza

Conocida como la direccion
rapido
mas
descenso local de f .
Raydan (USB)
Topicos
Mayo 2011
Metodos
clasicos
de descenso
Metodo
de Cauchy o mnimo descenso:
xk+1 = xk k f (xk ),
donde
k = argmin>0 f (xk f (xk )).
Metodo
de Newton: dk se obtiene resolviendo el sistema
2 f (xk )dk = f (xk ).
dk de Newton es de descenso, es
Para asegurar que la direccion
suficiente suponer que la Hessiana en xk es PD:
f (xk )t dk = f (xk )t 2 f (xk )1 f (xk ) < 0.
Raydan (USB)
Topicos
Mayo 2011

Newton para cuadraticas
Si aplicamos Newton:
xk+1 = xk k 2 f (xk )1 f (xk ),
y f es una cuadratica
estrictamente convexa, se obtiene la solucion
(usando 0 = 1), desde cualquier
exacta en la primera iteracion
iterado incicial x0 dado:
x1 = x0 A1 (Ax0 b) = A1 b = x .
Requiere invertir una matriz o resolver un sistema lineal.
Raydan (USB)
Topicos
Mayo 2011

Cauchy para cuadraticas
Cauchy en el caso cuadratico

estrictamente convexo:
xk+1 = xk k gk ,
donde gk = f (xk ) = Axk b.
La longitud de paso optima

viene dada por
k =
gkt gk
.
gkt Agk
Se cumple:

E(xk+1 )
max (A) min (A)

max (A) + min (A)
2
E(xk ),
donde
1
(x x )t A(x x ).
2
Esto garantiza convergencia a x desde cualquier x0 .
E(x) =
Raydan (USB)
Topicos
Mayo 2011

Cauchy para cuadraticas

E(xk+1 )
max (A) min (A)

max (A) + min (A)
2
E(xk ).
Equivalente
kxk x kA
2 (A) 1
kxk1 x kA ,
2 (A) + 1
donde 2 (A) = max /min , y kzk2A = z t Az.

Si min no esta muy cercano a max la velocidad es muy lenta.
para todo k
Ademas,
t
gk+1
gk = 0.
Ambas verdades producen el comportamiento de zig-zag.
Raydan (USB)
Topicos
Mayo 2011
Taxonoma de velocidades de convergencia

Si {xk } converge a x , nos interesa monitorear ek = xk x .
Se dice que {ek } converge a 0 q-orden p si existen c > 0 y k0 N, tal
que
kek+1 k 6 ckek kp , k > k0 .
Si p = 1, se llama convergencia q-lineal (0 < c < 1).
Ejemplo: {101 , 102 , 103 , 104 , 105 , . . . }
Si p = 2, se llama convergencia q-cuadratica.

Ejemplo:
{101 , 102 , 104 , 108 , 1016 , . . . }
Se dice que {ek } converge a 0 r-orden p si existen {bk } y k0 N, tal
que
kek k 6 kbk k, k > k0 y {bk } converge a 0 q-orden p .
Raydan (USB)
Topicos
Mayo 2011
Taxonoma de velocidades de convergencia

Casos especiales:
Se dice que {ek } converge a 0 q-superlinealmente si
kek+1 k 6 ck kek k, k > k0 ,
y {ck } converge a 0. Ejemplo: {101 , 102 , 103 , 105 , 108 , . . . }
Se dice que {ek } converge a 0 r-superlinealmente si existen {bk } y
k0 N, tal que
kek k 6 kbk k, k > k0 y {bk } converge a 0 q-superlinealmente .
Se dice que {ek } converge a 0 q-sublinealmente si
kek+1 k 6 ck kek k, k > k0 ,
y {ck } converge a 1.
Ejemplo q-sublineal: {1/k }.
Raydan (USB)
Topicos
Mayo 2011

Variante aleatoria de Cauchy para cuadraticas
Convergencia del metodo

de Cauchy: q-lineal (lento, zig-zag).
optima
Problema de Cauchy: longitud optima

en direccion
t
gk +1 gk = 0. (Akaike, 1959).
Variante: Cauchy relajado (k (0, 2) random)
xk+1 = xk k k gk ,
Si k = 1 tenemos Cauchy clasico.

Si k = 2, f (xk+1 ) = f (xk ).
Rompe el zig-zag !
Raydan (USB)
Topicos
Mayo 2011
Cauchy Vs. Cauchy random, n = 1000
Raydan (USB)
Topicos
Mayo 2011
Parte VI
Metodos
tipo Krylov para sistemas
lineales
Caso SPD
Raydan (USB)
Topicos
Mayo 2011

Gradientes Conjugados: caso cuadratico
1 t
x Ax x t b + c
2
Minimizar q es equivalente a resolver Ax = b si A es PD.
q(x) =
hipotetica:
Suposicion
{u1 , u2 , . . . , un } dados tal que
uit Auj = 0 si i 6= j.
Se llama A-conjugancia. Metodo

hipotetico:
xk = xk1 + k uk ,
donde k es optimo
en uk :
argmin>0 q(x + u) =
r (x)t u
,
u t Au
donde r (x) = g(x) = b Ax.

Raydan (USB)
Topicos
Mayo 2011

finita)
Teorema (Terminacion
Sea {u1 , u2 , . . . , un } un conjunto A-conjugado de vectores no ceros. Si
x0 (arbitrario) es dado y
xk = xk1 + k uk para 1 k n,
donde k se escoge de forma optima,

entonces
Axn = b.
rkt uj = 0 para todo 1 j k .
Ademas,
q(xk ) = q(xk1 )
(ukt rk1 )2
,
2ukt Auk
Como A es PD, entonces uk es de descenso si ukt rk1 6= 0.

Raydan (USB)
Topicos
Mayo 2011

Motivados por
q(xk ) = q(xk1 )
(ukt rk1 )2
,
2ukt Auk
cercano a rk1 :
Escoger uk como el vector mas
Minimizar ku rk1 k2 preservando la A-conjugancia con los vectores
{u1 , . . . , uk1 }.
Respuesta: uk = rk1 + k uk1 ,
t
donde k se escoge tal que uk1
Auk = 0.
k+1 = ukt Ark /(ukt Auk )

Garantiza A-conjugancia con todos los anteriores.
Raydan (USB)
Topicos
Mayo 2011

cruda de GC)
Algoritmo (version
Dado x0 Rn , asignar u1 = r0 = b Ax0 y k = 0.
mientras rk 6= 0 hacer
k =k +1
t
k = rk1
uk /(ukt Auk )
xk = xk 1 + k uk
rk = b Axk
k+1 = ukt Ark /(ukt Auk )
uk+1 = rk + k+1 uk
fin
Raydan (USB)
Topicos
Mayo 2011

Mejoras al algoritmo:
rk = rk1 k Auk .
Se cumple que
exp{r0 , . . . , rk1 } = exp{u1 , . . . , uk } = exp{r0 , Ar0 , . . . , Ak1 r0 }.
Ademas,
t
k = rk1
rk1 /(ukt Auk )
t
t
k = rk1
rk1 /(rk2
rk2 )
Raydan (USB)
Topicos
Mayo 2011

eficiente de GC)
Algoritmo (version
Dado x0 Rn , asignar u1 = r0 = b Ax0 y k = 0.
k =k +1
t
k = rk1
rk1 /(ukt Auk )
xk = xk1 + k uk
rk = rk 1 k Auk
t
k+1 = rkt rk /(rk1
rk1 )
uk+1 = rk + k+1 uk
fin
Raydan (USB)
Topicos
Mayo 2011

GC, n = 10
10
10
Error
10
10
10
15
10
20
10
Raydan (USB)
5
6
Iterations
Topicos
10
Mayo 2011

GC, n = 1000
10
10
10
10
error
10
10
10
10
10
12
10
14
10
16
10
Raydan (USB)
50
100
150
Iterations
200
Topicos
250
300
Mayo 2011

finita)
Teorema (Terminacion
Si A = I + B es PD y el rango de B es p < n, entonces el
metodo
GC termina en, a lo sumo, p iteraciones.
Teorema (velocidad de convergencia)
El k-esimo iterado del metodo

GC satisface
!k
p
2 (A) 1
kxk x kA 2 p
kx0 x kA .
2 (A) + 1
Meta-teorema: Si 2 (A) es pequena,

o los autovalores de A estan
agrupados en pocos intervalos pequenos,

entonces GC converge
en pocas iteraciones.
Raydan (USB)
Topicos
Mayo 2011
Gradientes Conjugados (Version Precondicionada)

Idea: En lugar de minimizar
q(x) =
1 t
x Ax x t b + c
2
(y ) =
q
1 t
+c
y Ay y t b
2
minimizamos
donde E es no-singluar,
= E 1 b, y = E T x.
= E 1 AE T , b
A
Sea C = EE T , la trasnformacion
de similaridad
Observacion:
T = E T E 1 A = C 1 A
E T AE
revela que para todo i
= i (C 1 A)
i (A)
esta determinada por la ubicacion
de
y la convergencia de GC aplicado a q
CA
los autovalores de C 1 A. Opcion:
Raydan (USB)
Topicos
Mayo 2011
Gradientes Conjugados (Version Precondicionada)

eficiente de GCP)
Algoritmo (version
Dado x0 Rn , r0 = b Ax0 , resolver Ch0 = r0 , u1 = h0 y k = 0.
k =k +1
k = rkt 1 hk1 /(ukt Auk )
xk = xk 1 + k uk
rk = rk1 k Auk
resolver Chk = rk
k+1 = rkt hk /(rkt 1 hk1 )
uk+1 = hk + k+1 uk
fin
Como
conseguir C conveniente? Mezcla de arte y ciencia !!
Raydan (USB)
Topicos
Mayo 2011
Parte VII
Metodos
tipo Krylov para sistemas
lineales
Caso general no simetrico
Raydan (USB)
Topicos
Mayo 2011

Metodos
de Krylov (caso general)
El exito
de GC en el caso SPD se debe a la A-conjugancia de
{u1 , u2 , . . . , un }. Por ser A SPD, esta propiedad se logra
automaticamente
al imponer la A-ortogonalidad entre uk y uk 1 , k.
Equivalente: rkt uj = 0 para todo 1 j k.
Y se cumple que
exp{r0 , . . . , rk1 } = exp{u1 , . . . , uk } = exp{r0 , Ar0 , . . . , Ak1 r0 }.
Idea: En el caso general FORZAR la ortogonalidad entre rk y el
subespacio de Krylov Kk (A, r0 ), donde
Kk (A, r0 ) = exp{r0 , Ar0 , . . . , Ak1 r0 }
se conoce antes de empezar !
Clave: El espacio de busqueda
Raydan (USB)
Topicos
Mayo 2011

Metodos
Esquema: Dado x0 , primero generar una base ortogonal de Km (A, r0 )
prefijada m. Conseguir un proximo
de una dimension
iterado xm tal
que rm sea ortogonal a esa base. Si rm es suficientemente pequeno,

parar; sino, repetir a partir de x0 xm .
Escoger xm ortogonal a Kk (A, r0 )
Sea V la matriz cuyas columnas son la base ortogonal de Km (A, r0 ).
Quiero xm = x0 + Vy con (Axm b)V
V T (Axm b) = 0 V T (A(x0 + Vy ) b) = 0
V T (r0 + AVy ) = 0 V T AVy = V T r0
Como
construir la matriz V ? Metodo
de Arnoldi!
Raydan (USB)
Topicos
Mayo 2011

Metodos
Algoritmo (Arnoldi) Usa Gram-Schmidt
Escoger v1 tal que kv1 k2 = 1
para j = 1, 2, . . . , m hacer
wj = Avj
hij = viT wj para i = 1, 2, . . . , j
Pj
wj = wj i=1 hij vi
hj+1,j = kwj k2
si hj+1,j = 0, parar
sino vj+1 = wj /hj+1,j
fin
Costo: un producto Avj por iteracion.

Raydan (USB)
Topicos
Mayo 2011

Metodos
Algoritmo (Arnoldi) Usa Gram-Schmidt modificado
para j = 1, 2, . . . , m hacer
wj = Avj
para i = 1, 2, . . . , j hacer
hij = viT wj
wj = wj hij vi
fin
hj+1,j = kwj k2
fin
Raydan (USB)
Topicos
Mayo 2011

Metodos
Teorema: V es ortonormal
Si el proceso de Arnoldi no para antes de m iteraciones, entonces
{v1 , v2 , . . . , vm } forman una base ortonormal del subespacio de Krylov
Km (A, r0 ) = exp{r0 , Ar0 , . . . , Am1 r0 }
de A a forma de Hessenberg
Teorema: Reduccion
b m R(m+1)m con forma de
Sea Vm Rnm de Arnoldi, y sea H
Hessenberg, y hij s generados en Arnoldi; y sea Hm Rmm obtenida
b m . Entonces
eliminando la ultima
fila de H
bm
AVm = Vm+1 H
VmT AVm = Hm
Resolver V T AVy = V T r0 resolver Hm y = V T r0

Raydan (USB)
Topicos
Mayo 2011
Full Orthogonalization Method (FOM) [Saad, 1981]

Dado x0 Rn , Asignar r0 = b Ax0 , = kr0 k2 , y v1 = r0 /
para j = 1, 2, . . . , m hacer
wj = Avj
para i = 1, 2, . . . , j hacer
hij = viT wj
wj = wj hij vi
fin
hj+1,j = kwj k2
si hj+1,j = 0, j m, y parar
fin
(m)
Resolver Hm ym = V T r0 = V T v1 = e1
xm = x0 + Vm ym
Raydan (USB)
Topicos
Mayo 2011
Generalized Minimum Residual
(GMRES) [Saad & Schulz, 1986]
Dado x0 Rn , Asignar r0 = b Ax0 , = kr0 k2 , y v1 = r0 /

para j = 1, 2, . . . , m hacer
wj = Avj
para i = 1, 2, . . . , j hacer
hij = viT wj
wj = wj hij vi
fin
hj+1,j = kwj k2
si hj+1,j = 0, j m, y parar
fin
(m+1) 2
k2
b m y e
ym = argminy kH
1
xm = x0 + Vm ym
Raydan (USB)
Topicos
Mayo 2011
Parte VIII
de autovalores y
Estimacion
autovectores
Raydan (USB)
Topicos
Mayo 2011
de autovalores-autovectores
Estimacion
(no lineal!)
Nos interesa resolver la siguiente ecuacion
Ax = x,
donde A Rnn , x Cn , x 6= 0, y C. El escalar es un autovalor
de A, y el vector x es un autovector de A.
Autovectores asociados a autovalores distintos son linealmente
independientes (LI).
Si existe un conjunto de n autovectores LI, tenemos la
matricial A = X X 1 , = diag(i ).
descomposicion
Teorema: Raices del polinomio caracterstico
es autovalor de A si y solo si es raz del polinomio caracterstico
Pn () = det(I A)
Ax = x (I A)x = 0 A es singular det(I A) = 0.

Raydan (USB)
Topicos
Mayo 2011
de autovalores-autovectores
Estimacion
Por el Teorema Fundamental del Algebra Pn () tiene una unica
factorizacion
det(I A) = Pn () = ( 1 )( 2 ) ( n ).
Teorema: Existencia y unicidad
A Rnn posee n autovalores contando multiplicidad en las raices del
polinomio caracterstico. Los autovalores y sus multiplicidades son unicas.
Propiedades que se desprenden:

Q
P
det(A) = nj=1 j , traza(A) = nj=1 j
= (a bi) es autovalor.
Si = (a + bi) es autovalor, entonces
Si n es impar, al menos un autovalor es real.
Si A es triangular entonces i (A) = aii .
Raydan (USB)
Topicos
Mayo 2011
de autovalores-autovectores (A = AT )
Estimacion
de Schur (caso simetrico)
Factorizacion
Sea A Rnn simetrica.

Existen Q Rnn ortogonal y diagonal tal que
A = Q T Q.
Los i R son los autovalores de A, y Las columnas de Q los autovectores.
Cociente de Rayleigh
(x) =
x T Ax
xT x
x, min (x) max . Si v es un autovector, (v ) = v .

Si x = v + e, con kek2 = , (x) = v + O(2 ).
Raydan (USB)
Topicos
Mayo 2011

Metodo
de las potencias (A = AT )
Dado w Rn , Asignar x0 = w/kwk2
para i = 0, 1, . . . hacer
yi+1 = Axi
xi+1 = yi+1 /kyi+1 k2
T
i+1 = xi+1
Axi+1
fin
el metodo
Apartando la normalizacion,
genera {Ax0 , A2 x0 , A3 x0 , . . . }.
Teorema: Convergencia
Si |1 | > |2 | |3 | |n | asociados a {v1 , v2 , . . . , vn }, y si v1T x0 6= 0,
entonces {xi } converge a v1 q-lineal con factor |2 /1 |. Y {i } converge a 1
q-lineal con factor (2 /1 )2 .
Si |2 /1 | 1 el metodo
es MUY lento!
Raydan (USB)
Topicos
Mayo 2011

Metodo
de las potencias inverso con shift (A = AT )
Dados R, y w Rn , Asignar x0 = w/kwk2
para i = 0, 1, . . . hacer
resolver (A I)yi+1 = xi
xi+1 = yi+1 /kyi+1 k2
T
i+1 = xi+1
Axi+1
fin
Tres verdades claves
Si es autovalor de A, entonces 1/ es autovalor de A1 .
Si es autovalor de A, entonces ( ) es autovalor de (A I).
Si k entonces (k )1 es gigante comparado con (j )1 para
j 6= k.
Si k el metodo
es MUY rapido.
Raydan (USB)
Topicos
Mayo 2011

Metodo
del Cociente de Rayleigh (A = AT )
Dado w Rn , Asignar x0 = w/kwk2 , 0 = (x0 )
para i = 0, 1, . . . hacer
resolver (A i I)yi+1 = xi
xi+1 = yi+1 /kyi+1 k2
T
i+1 = xi+1
Axi+1
fin
Requiere resolver un sistema lineal por iteracion.

Dependiendo de x0 se puede converger a autovalores intermedios.
La convergencia es q-cubica
!
Raydan (USB)
Topicos
Mayo 2011

Metodo
QR (A = AT )
Asignar A0 := A
para i = 0, 1, . . . hacer
factorizar Ai =: Qi Ri
Ai+1 := Ri Qi
fin
Obs: Ai+1 = Ri Qi = QiT Qi Ri Qi = QiT Ai Qi .

Teorema: Convergencia
{Ai } son similares ( poseen los
Todas las matrices en la sucesion
mismos autovalores), y
lim Ai = D
donde D es diagonal.
de Schur.
En el lmite se obtiene la factorizacion
Raydan (USB)
Topicos
Mayo 2011
eficiente del Metodo
Implementacion
QR (A = AT )
Complejidad del metodo

QR: O(n3 ) por iteracion!
Idea: Usando (n 2) Reflectores de Householder, por derecha e
izquierda, llevar A a forma tridiagonal antes de empezar.
Asignar H0 := Q0T AQ0 (tridiagonal)
para i = 0, 1, . . . hacer
factorizar Hi =: Qi Ri
Hi+1 := Ri Qi
fin
Verdades
{Hi } son similares, preservan la forma
tridagonal y limi Hi = D.
Complejidad de esta variante: O(n3 ) una vez, y O(n) por iteracion!

Raydan (USB)
Topicos
Mayo 2011
Implementacion
QR (A = AT )
Otra noticia: Las subdiagonales pueden desaparecer de forma lenta!
Idea: Usar desplazamientos!
Dado 0 R, Asignar H0 := Q0T AQ0 (tridiagonal)
para i = 0, 1, . . . hacer
factorizar Hi i I =: Qi Ri
Hi+1 := Ri Qi + i I
fin
Verdades
tridagonal y limi Hi = D.
Escoger i = hn,n produce convergencia q-cubica
al menor, y luego deflatar.
Raydan (USB)
Topicos
Mayo 2011
Divide y Venceras: T = T T y tridiagonal
T =
Raydan (USB)
a1 b1
.
.
b1 . . . .
..
. am1 bm1
bm1
am

bm
|
| bm
|am+1 bm+1
.
..
.
|bm+1 . .
|
bn1
|
bn1 an
Topicos
Mayo 2011
T =
a1 b1
.
.
b1 . . . .
..
. am1 bm1
bm1
am bm

T =
T1 0
0 T2
|
|
0
|am+1 bm bm+1
..
..
.
.
|bm+1
|
bn1
|
bn1 an

+ ww T
donde w = em + em+1 y = bm .
Raydan (USB)
Topicos
Mayo 2011

de Schur de T1 y T2
Supongamos que ya tenemos la factorizacion
(pensamiento recursivo):
T1 = Q1 1 Q1T y T2 = Q2 2 Q2T

T =

T =
Q1 0
0 Q2
Q1 1 Q1T
0

donde
1 0
0 2
Q1T
0
0
Q2T

u=
0
Q2 2 Q2T
+ uu
+ ww T

Q1T
0
0
Q2T

w
Entonces los autovalores de T son los autovalores de (D + uu T )

donde D es diagonal con los autovalores de T1 y T2 .
Raydan (USB)
Topicos
Mayo 2011
Como
se calculan los autovalores de (D + uu T ) con D diagonal?
Cuentas:
det(D + uu T I) = det[(D I)(I + (D I)1 uu T )].
Quiero: det(I + (D I)1 uu T ) = 0
det(I + (D I)1 uu T ) = 1 + u T (D I)1 u = 1 +
n
X
i=1
ui2
di
secular
Teorema: Raices de la funcion
Los autovalores de (D + uu T ) son las raices de
f () = 1 +
n
X
i=1
Raydan (USB)
ui2
di
Topicos
Mayo 2011
secular f () para un problema de dimension

4. Los polos de
Funcion
f () son los autovalores de D, y las raices de f () son los autovalores
de D + uu T .
Raydan (USB)
Topicos
Mayo 2011

f () = 1 +
n
X
i=1
La derivada:
0
f () =
n
X
i=1
ui2
di
ui2
(di )2
Observaciones:
entre cada dos polos consecutivos.

f es monotona
Existe una raz en cada intervalo (di , di+1 ).
f () 1 cuando , y entonces existe otra raz mayor que dn si
> 0, y menor que d1 si < 0. Eso completa n raices.
Muy conveniente usar el Metodo

de Newton (en paralelo) para calcular
esas n raices. Se sigue un proceso recursivo.
Raydan (USB)
Topicos
Mayo 2011

Metodo
de Lanczos (A = AT )
Es el metodo
de Arnoldi cuando A = AT ; pero Lanczos aparece en
1950 y Arnoldi en 1951 (i.e., Arnoldi extiende Lanczos).
Propiedad clave de Arnoldi
mm
obtenida eliminando la ultima
fila de
Hessenberg, y sea Hm R
b m . Entonces
H
bm
AVm = Vm+1 H
VmT AVm = Hm
Hm = VmT AVm es Hessenberg pero A = AT , entonces
Hm es simetrica
y por lo tanto tridiagonal!
Notacion:
Tm = VmT AVm
Raydan (USB)
Topicos
Mayo 2011

Metodo
Tm =
1 1
.
.
1 . . . .
..
. m1 m1
m1 m
Algoritmo (Lanczos) modificado

Escoger v1 tal que kv1 k2 = 1, 0 = 0, v0 = 0.
para j = 1, 2, . . . , m hacer
wj = Avj j1 vj1
j = vjT wj
wj = wj j vj
j = kwj k2
vj+1 = wj /j
fin
Raydan (USB)
Topicos
Mayo 2011

Metodo
Como
se usa Lanczos para estimar autovalores de A?
Si m = n, Tm y A poseen los mismos autovalores (similaridad).
Si m < n los autovalores de Tm aproximan los de A. Para calcular
los autovalores de Tm se usan las ideas anteriores (facil).

Definiciones
Sea (j , sj ) un par autovalor-autovector de Tm . El escalar j se conoce como
un valor de Ritz, y el vector yj = Vm sj como el vector de Ritz asociado a j .
Teorema
Sea rj = Ayj j yj , j = 1, 2, . . . , m. Entonces en cada intervalo
[j krj k2 , j + krj k2 ] existe un autovalor j de A. Es decir, krj k2 mide
j aproxima a j . Ademas,
con que precision

krj k2 = |m ||(sm )j |
Raydan (USB)
Topicos
Mayo 2011

Metodo
Convergencia de los valores de Ritz a los autovalores de A, usando Lanczos.

La matriz A R2929 posee autovalores i = i desde i = 1 hasta i = 29.
Raydan (USB)
Topicos
Mayo 2011
para n muy grande (A = AT )

Ideas de optimizacion
Problema (autovalores extremos)
Encontrar x Rn y min R tal que

Ax = min x
A es simetrica
y PD
(min o max )
Enfoque de optimizacion
objetivo : Cociente de Rayleigh
Funcion
(x) =
(x) =
x T Ax
xT x
2
(Ax (x)x)
xT x
Se puede usar Cauchy y sus variantes, secante, Newton, etc.

( 100 papers!)
Raydan (USB)
Topicos
Mayo 2011
de autovalores-autovectores (A 6= AT )
Estimacion
Caso NO simetrico:
El metodo
de las potencias y sus variantes quedan igual, salvo que la
convergencia de las iteraciones del Cociente de Rayleigh es
q-cuadratica
en lugar de q-cubica.
El metodo
QR y sus variantes ahora emulan la Factorizacion:
de Schur (general)
Teorema: Factorizacion
Sea A Rnn . Existen Q Rnn ortogonal y T Rnn triangular superior en
bloques tal que
A = Q T TQ.
Cada Tii es un escalar (autovalor de A) o una matriz 2 2, cuyos autovalores
son un par conjugado de autovalores de A.
Raydan (USB)
Topicos
Mayo 2011
Implementacion
QR (A 6= AT )
Idea: Usando (n 2) Reflectores de Householder, por derecha e
izquierda, llevar A a forma Hessenberg antes de empezar.
Asignar H0 := Q0T AQ0 (Hessenberg)
para i = 0, 1, . . . hacer
factorizar Hi =: Qi Ri
Hi+1 := Ri Qi
fin
Verdades
Hessenberg y limi Hi = T .
Complejidad de esta variante: O(n3 ) una vez, y O(n2 ) por iteracion!
Raydan (USB)
Topicos
Mayo 2011
Implementacion
QR (A 6= AT )
Idea: Para acelerar, usar desplazamientos!
Dado 0 R, Asignar H0 := Q0T AQ0 (Hessenberg)
para i = 0, 1, . . . hacer
factorizar Hi i I =: Qi Ri
Hi+1 := Ri Qi + i I
fin
Verdades
Hessenberg y limi Hi = T .
Escoger i como el autovalor del bloque 2 2 de la esquina mas abajo y a la
derecha de Hi , mas cercano a hnn , produce convergencia q-cubica
al menor,
y luego deflatar.
Otras opciones: Desplazamiento implcito, doble desplazamiento.

Raydan (USB)
Topicos
Mayo 2011

Metodos
de Krylov para n grande (A 6= AT )
Algoritmo (Arnoldi) modificado
para j = 1, 2, . . . , m hacer
wj = Avj
para i = 1, 2, . . . , j hacer
hij = viT wj
wj = wj hij vi
fin
hj+1,j = kwj k2
fin
Raydan (USB)
Topicos
Mayo 2011

Metodos
de Krylov para n grande (A 6= AT )
de A a forma de Hessenberg
Teorema: Reduccion
mm
Hessenberg, y sea Hm R
obtenida eliminando la ultima
fila de
b m . Entonces
H
VmT AVm = Hm
Para calcular los autovalores de Hm , que aproximan los de A, se usa

QR y sus variantes.
activa!
No es tan eficiente como Lanczos: Investigacion
Raydan (USB)
Topicos
Mayo 2011

Nla Jorn2011

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Nla Jorn2011

Hochgeladen von

Copyright:

Verfügbare Formate

Topicos

en Algebra Lineal Numerica

IX Jornadas de Aplicaciones Matematicas

es un escalar; xy T es una matriz n n de rango 1.

(f) nulo(A) = {0},

Preliminares de Algebra Lineal

Preliminares de Algebra Lineal

Coseno del angulo

Preliminares de Algebra Lineal

Preliminares de Algebra Lineal

Dada A Rnn simetrica,

(c) existe W Rnn no singular tal que A = W T W ,

kAk1 = max kAj k1 , (columnas)

kAk = max kaiT k1 ,

Factorizaciones Matriciales Directas

Factorizaciones Directas (No iterativas)

(AT = A), y PD, existe L no

l11 l12 l1n

l11 l1j = a1j for j = 2 . . . n, etc.

Transformadas de Householder (Reflectores)

Transformadas de Householder (Reflectores)

Transformadas de Householder (Reflectores)

transformada de Householder Q tal que Qx = y .

Transformadas de Householder (Reflectores)

transformada de Householder Q tal que Qx = y .

Transformadas de Householder (Reflectores)

transformada de Householder Q tal que Qx = y .

Transformadas de Householder (Reflectores)

transformada de Householder Q tal que Qx = y .

Forzando (w T z) = 1 ( 2w T z = w T w) y resolviendo la cuadratica,

Se resuelve el Problema Modelo (n 1 veces) sistematicamente,

Se resuelve el Problema Modelo (n 1 veces) sistematicamente,

Factorizaciones Matriciales que

de Schur (caso real)

Sea A Rnn simetrica.

en Valores Singulares (SVD)

en Valores Singulares (SVD)

en Valores Singulares (SVD)

j es autovalor de una matriz simetrica

donde Q es ortogonal y S es simetrica

Polinomios en n variables con terminos

donde A Rnn es una matriz simetrica,

Se obtienen c, b, y A calculando el gradiente y la Hessiana de q(x).

Gradiente y Hessiana de cuadraticas

Los puntos estacionarios o crticos x (i.e., f (x ) = 0) de la

Teorema de existencia y unicidad

de Puntos crticos de cuadraticas

El sistema Ax = b puede tener una, ninguna o infinitas soluciones.

x = A1 b, el cual puede ser un maximizador, un minimizador o un

de Puntos crticos de cuadraticas

En efecto, si A es positivo semidefinida entonces q es una funcion

posee conjuntos de nivel

f producen diferentes metodos.

de gradiente negativo, es la que garantiza

Cauchy en el caso cuadratico

La longitud de paso optima

max (A) min (A)

max (A) min (A)

donde 2 (A) = max /min , y kzk2A = z t Az.

Ambas verdades producen el comportamiento de zig-zag.

Taxonoma de velocidades de convergencia

Si p = 2, se llama convergencia q-cuadratica.

Taxonoma de velocidades de convergencia

Convergencia del metodo