Problemas Inversos Ricardo Coronado Leija

Tarea 3
Ricardo Coronado Leija 21/02/2013
Sea A una matriz con entradas complejas de orden mn. Supongamos la descomposicion en valores singulares
de A
A = V U

(3.1)
Donde V , U son matrices unitarias y
_

1
0
.
.
.
.
.
.
r
.
.
.
0
0
.
.
.
_

_
(3.2)

i
, i = 1, 2, ..., r son los valores singulares, con r el rango de A:
3.1. Problema 1
Prueba que C
n
= Ker(A) Ran(A

) y, C
m
= Ran(A) Ker(A

). Recuerda que si V es un sub-espacio

vectorial de C
k
, entonces C
k
= V V

.
3.1.1. Solucion Problema 1
Sean u un vector en el espacio C
k
, se dice que u y v son ortogonales si (u, v) = 0, siendo (, ) el producto
punto. El conjunto ortogonal de V se dene como
V

=
_
u C
k
| (u, v) = 0 v V
_
con (V

= V (3.3)
Ademas, sea c = a + ib (con i =

1) un n umero complejo, su conjugado es c = a ib. La adjunta de la

matriz A (denotada como A

) se dene como la transpuesta conjugada de A, esto es [A

]
ij
= [A]
ji
(si A
contiene solo n umero reales, la adjunta es solamente la transpuesta A
T
).
Sea A : C
n
C
m
una transformacion lineal. El n ucleo de A (Ker(A)) es el subconjunto formado por todos
los vectores en C
n
que se mapean a cero en C
m
. Es decir
Ker(A) = {x C
n
| Ax = 0 C
m
} (3.4)
donde A es inyectiva (uno a uno) si y solo si Ker(A) = {0}. El rango o imagen de A (Ran(A)) es el conjunto
de todas las imagenes de A en C
m
. Es decir el rango es el subconjunto de C
m
formado por aquellos vectores
que provienen de alg un vector de C
n
. Esto es
Ran(A) = {y C
m
| Ax = y, x C
n
} (3.5)
Se desea demostrar:
29
Ricardo Coronado Leija Problemas Inversos
C
n
= Ker(A) Ran(A

). Ya que Ker(A) es un sub-espacio de C

n
entonces C
n
= Ker(A)Ker(A)

.
Por lo que solamente es necesario demostrar que
Ker(A)

= Ran(A

) (Ker(A)

= (Ran(A

))

Ker(A) = (Ran(A

))

(3.6)
Entonces
(Ran(A

))

= {y C
n
| A

x = y, x C
m
}

= {z C
n
| (z, A

x) = 0, x C
m
}
= {z C
n
| (Az, x) = 0, x C
m
}
= {z C
n
| Az = 0 C
m
}
= Ker(A) (3.7)
donde se usaron (3.3), (3.4) y (3.5) y la propiedad del producto punto (Au, v) = (u, A

v). Con esto

queda demostrado (3.6) y por lo tanto la primera igualdad.
C
m
= Ran(A) Ker(A

). De manera similar, al ser Ran(A) un sub-espacio de C

m
entonces C
m
=
Ran(A) Ran(A)

. Por lo que solamente es necesario demostrar que

Ran(A)

= Ker(A

) (3.8)
Entonces
Ran(A)

= {y C
m
| Ax = y, x C
n
}

= {z C
m
| (z, Ax) = 0, x C
n
}
= {z C
m
| (A

z, x) = 0, x C
n
}
= {z C
m
| A

z = 0 C
n
}
= Ker(A

) (3.9)
donde nuevamente se usaron (3.3), (3.4) y (3.5) y la propiedad del producto punto (Au, v) = (u, A

v).
Con esto queda demostrado (3.8) y por lo tanto la segunda igualdad.
3.2. Problema 2
Prueba los siguiente:
(a)
Ax =
r

i=1

i
(x, u
i
)v
i
, para x C
n
(b)
A

b =
r

i=1

i
(b, v
i
)u
i
, para b C
m
3.2.1. Soluci on Problema 2 (a)
Se tiene que la descomposicion en valores singulares de A esta dada por (3.1) por lo que
Ax = V U

x (3.10)
con x C
n
. Siendo V es una matriz de m m, es una matriz diagonal de m n y U es una matriz de
n n. Sean v
j
(j = 1, ..., m) los vectores columna de V y sean u
k
(k = 1, ..., n) los vectores columna de U, y
sean
l
los elementos de la diagonal de (valores singulares de A). Ya que la cantidad de valores singulares
30
Problemas Inversos Ricardo Coronado Leija
no nulos de la matriz A es igual a su rango Ran(A) = r p = min(m, n), entonces l = 1, ..., r. Entonces se
tiene que
U

x =
_

_
u

1
u

2
.
.
.
u

j
.
.
.
u

n
_

_
x = [u

j
x](
R
[u
T
j
x]) = [(u
j
, x)] = [(x, u
j
)], j = 1, ..., n
lo anterior es un vector de tama no n. Ahora bien para el producto U

x pueden haber dos casos

1. Sea m n. Entonces p = m y
=
_

1
0 0 0
.
.
.
.
.
. 0 0 0
0
p(=m)
0 0
_

_ = [diag(
1
, ...,
p(=m)
), 0], 0 = matriz cero de m(n m)
En este caso el producto U

x sera
U

x =
_

1
0 0 0
.
.
.
.
.
. 0 0 0
0
p(=m)
0 0
_

_
_

_
(x, u
1
)
(x, u
2
)
.
.
.
(x, u
n
)
_

_
= [diag(
1
, ...,
p(=m)
), 0][(x, u
j
)]
j=1,...,n
= [
i
(x, u
i
)]
i=1,...,p(=m)
(3.11)
debido a que es una matriz diagonal, el resultado es un vector de tama no m que no considera las
componentes (x, u
j
) para j = m + 1, ..., n ya que siempre son multiplicadas por los ceros en la derecha
de . Finalmente para el producto V U

x se tiene (siendo v
j
(j = 1, ..., m) los vectores columna de V )
V U

x =
_
v
1
v
2
... v
m

1
(x, u
1
)

2
(x, u
2
)
.
.
.

p(=m)
(x, u
p(=m)
)
_

_
V (U

x) =
p(=m)

j=1
V
ij
(U

x)
j
(3.12)
Lo anterior debido a que en notacion de indices el producto entre una matriz y un vector esta denido
como A
(mn)
x
n
=

n
j=1
A
ij
x
j
. Aqu se tiene que un vector columna v
j
perteneciente a V es v
j
=
[v
1j
v
2j
... v
mj
]. Entonces sustituyendo v
j
y (3.11) en (3.12) se tiene
Ax = V (U

x) =
p(=m)

j=1
v
j

j
(x, u
j
) (3.13)
Ahora bien, ya que los indices son mudos, se puede cambiar j por i. Ademas si r = p(= m) entonces la
demostracion ha nalizado, pero si r < p,
i
= 0 para i > r por lo que no contribuyen a la sumatoria,
as que el resultado nalmente quedara
Ax = V(U

x) =
r

i=1

i
(x, u
i
)v
i
(3.14)
31
Ricardo Coronado Leija Problemas Inversos
2. Sea m > n. Entonces p = n y
=
_

1
0
.
.
.
.
.
. 0
0
p(=n)
0 0
.
.
.
.
.
.
.
.
.
0 0
_

_
=
_
diag(
1
, ...,
p(=n)
)
0
_
0 = matriz cero de (mn) n
En este caso el producto U

x sera
U

x =
_

1
0
.
.
.
.
.
. 0
0
p(=n)
0 0
.
.
.
.
.
.
.
.
.
0 0
_

_
_

_
(x, u
1
)
(x, u
2
)
.
.
.
(x, u
n
)
_

_
=
_
diag(
1
, ...,
p(=n)
)
0
_
[(x, u
j
)]
j=1,...,n
=
_

i
(x, u
i
)
i=1,...,p(=n)
0
i
i = n + 1, ..., m
_
(3.15)
debido a que es una matriz diagonal, el resultado es un vector de tama no m donde sus ultimos
componentes (i = n + 1, ..., m) son cero ya que siempre son multiplicadas por los ceros de abajo en .
Finalmente para el producto V U

x se tiene (siendo v
j
(j = 1, ..., m) los vectores columna de V )
V U

x =
_
v
1
v
2
... v
m

1
(x, u
1
)
.
.
.

p(=n)
(x, u
p(=n)
)
0
n+1
.
.
.
0
m
_

_
V (U

x) =
m

j=1
V
ij
(U

x)
j
(3.16)
V (U

x) =
p(=n)

j=1
V
ij
(U

x)
j
(3.17)
Lo anterior debido a que en notacion de indices el producto entre una matriz y un vector esta denido
como A
(mn)
x
n
=

n
j=1
A
ij
x
j
, pero como los componentes de [
i
(x, u
i
)] son cero para i = n +1, ..., m
se cambio solo se considera la sumatoria hasta p(= n) en lugar de hasta m. Aqu se tiene que un vector
columna v
j
perteneciente a V es v
j
= [v
1j
v
2j
... v
mj
]. Entonces sustituyendo v
j
y (3.15) en (3.17) se
tiene
Ax = V (U

x) =
p(=n)

j=1
v
j

j
(x, u
j
) (3.18)
Ahora bien, ya que los indices son mudos, se puede cambiar j por i. Ademas si r = p(= n) entonces la
demostracion ha nalizado, pero si r < p,
i
= 0 para i > r por lo que no contribuyen a la sumatoria,
as que el resultado nalmente quedara el mismo resultado que para el caso m n.
Ax = V(U

x) =
r

i=1

i
(x, u
i
)v
i
(3.19)
32
Problemas Inversos Ricardo Coronado Leija
3.2.2. Solucion Problema 2 (b)
El procedimiento es muy similar al del inciso (a). Se tiene de la SVD de A que
A

b = (V (U

))

b = ((U

)b = ((U

)b = U

b (3.20)
con b C
m
. Siendo V de m m, U de n n y una matriz de m n. Y sean v
j
(j = 1, ..., m) vectores
columna de V y u
k
(k = 1, ..., n) vectores columna de U, con
l
los elementos de la diagonal de (valores
singulares de A). Ya que la cantidad de valores singulares no nulos de la matriz A es igual a su rango
Ran(A) = r p = min(m, n), entonces l = 1, ..., r. Entonces se tiene que
V

x =
_

_
v

1
v

2
.
.
.
v

j
.
.
.
v

n
_

_
b = [v

j
b](
R
[v
T
j
b]) = [(v
j
, b)] = [(b, v
j
)], j = 1, ..., m
lo anterior es un vector de tama no m. Ahora bien para el producto UV

b pueden haber dos casos. Sin

embargo de la solucion al inciso (a) se observa que para ambos casos de (m n y n < m) se puede
expresar el producto matricial (V

)x en forma de indices de la siguiente manera

p
i=1

i
(x, u
i
)v
i
con
p = min(m, n). Entonces realizando un procedimiento bastante similar al del inciso (a) se puede demostrar
lo siguiente
(U

)b =
p(=min(m,n))

i=1

i
(b, v
i
)u
i
(3.21)
Ahora bien, si r = p(= min(m, n)) entonces la demostracion ha nalizado, pero si r < p,
i
= 0 para i > r
por lo que no contribuyen a la sumatoria, as que el resultado nalmente quedara.
A

b = U(

b) =
r

i=1

i
(b, v
i
)u
i
(3.22)
3.3. Problema 3
Sea > 0. Prueba que la matriz A

A + I es positiva denida. Establece que:

(a)
x

=
r

i=1

2
i
+
(b, v
i
)u
i
(3.23)
es la unica solucion del sistema
(A

A + I)x = A

b (3.24)
(b) x

es el unico minimizador de
J(x) = Ax b
2
x
2
(3.25)
3.3.1. Solucion Problema 3 (a)
Sea el sistema Qx = y, si Q > 0 (Q es positiva denida) entonces la inversa de Q existe (denotada por Q
1
que tambien es positiva denida) y por lo tanto el sistema tiene una unica solucion. Entonces para probar que
(3.23) es la unica solucion de (3.24) se debe primero probar que este ultimo sistema tiene una unica solucion,
33
Ricardo Coronado Leija Problemas Inversos
lo cual se demuestra si (A

A + I) > 0. La matriz Q es positiva denida si x

Qx > 0, entoces se tiene

x

(A

A + I)x = x

(A

Ax + Ix)
= x

Ax + x

Ix
= x

Ax + x

x
= (Ax, Ax) + (x, x)
= Ax
2
+ x
2
En la ultima expresion se tiene Ax
2
lo cual es 0. Si a este ultimo termino se le suma x
2
entonces
Ax
2
+ x
2
> 0 a menos que x = 0 o 0. Entonces
x

(A

A + I)x > 0, con x = 0, > 0. (3.26)

y por lo tanto A

A+I es positiva denida y el sistema (3.24) tiene una unica solucion. Ahora simplemente
falta demostrar que (3.23) es la solucion de (3.24), debido a (3.26) se tiene que (A

A + I) tiene inversa y
por lo tanto
x = (A

A + I)
1
A

b (3.27)
ahora bien sabiendo que si descomponemos en valores singulares se tiene A = V U

y A

= U

entonces
x = ((U

(V U

)) + I)
1
(U

)b (3.28)
Ya que V

= V
1
, U

= U
1
y

=
2
, se tiene
x = ((U

V
1
(V U

)) + I)
1
(U

)b
= (U

(V
1
V )U
1
+ I)
1
(U

)b
= (U

U
1
+ I)
1
(U

)b
= (
2
+ I)
1
(U

)b
donde
2
+ I es una matriz diagonal de n n con elementos
2
i
+ en su diagonal, para i = 1, ..., n.
La inversa de una matriz diagonal es otra matriz diagonal con el inverso de cada uno de sus elementos
diag(a
1
, a
2
, ..., a
n
)
1
= diag(a
1
1
, a
1
2
, ..., a
1
n
). De esto se tiene
x = diag((
2
1
+ )
1
, ..., (
2
n
+ )
1
)
1
(U

)b (3.29)
en el ejercicio 2 inciso (b) se obtuvo que A

b = U(

b) =

r
i=1

i
(b, v
i
)u
i
(3.22) donde r es el rango de
la matriz y si r < p = min(m, n) los valores singulares son cero para i = r + 1, ..., p. Agregando los terminos
(
2
i
+ )
1
dentro de la sumatoria se tiene nalmente
x =
r

i=1

2
i
+
(b, v
i
)u
i
(3.30)
Esta ultima expresion es la denicion de x

por lo que queda demostrado que es este la unica soluci on de

(3.24).
3.3.2. Soluci on Problema 3 (b)
Para demostrar que (3.25) tiene un unico minimizador dado por x

se debe demostrar que x

es solucion a
dJ(x)
dx
= 0 con
d
2
J(x)
dx
2
> 0. Primero se obtiene la primera derivada de J(x).
dJ(x)
dx
=
d
dx
_
Ax b
2
+ x
_
(3.31)
=
d
dx
_
(Ax b)

(Ax b) x

(3.32)
= ((Ax b)

A)

+ A

(Ax b) + 2x (3.33)
= 2A

(Ax b) + 2x (3.34)
= 2 [A

Ax A

b + x] (3.35)
= 2 [(A

A + I) x A

b] (3.36)
34
Problemas Inversos Ricardo Coronado Leija
En el inciso (a) se demostro que (3.23) es solucion de (A

A + I) x = A

b por lo que tambien es solucion de

dJ(x)
dx
= 0. Ahora bien se observa que la segunda derivada
d
2
J(x)
dx
2
= (A

A + I) > 0, x = 0 (3.37)
pues ya se haba demostrado antes que (A

A + I) es positiva denida para todo x = 0. Por lo tanto de los

resultados (3.36) y (3.37) se demuestra que (3.25) tiene un unico minimizador dado por x

.
3.4. Problema 4
Sea
A =
_
0

2
0

2
_
(3.38)
Encuentra de tal manera que converge el metodo de Landweber-Fridman:
x
k+1
= x
k
+ (A

b A

Ax
k
) (3.39)
Implementa el metodo y compara con la solucion x
+
del sistema Ax = b
3.4.1. Solucion Problema 4
Para que el metodo Landweber-Fridman converga se debe encontrar en el intervalo 0 < <
1
A
2
. Siendo
A
2
= 4, se tiene que 0 < < 0.25. En este problema se hicieron cuatro experimentos (se usaron xs
arbitrarias) y para cada uno se usaron 4 s 0.05, 0.1, 0.15, 0.2.
Experimento 1 Se tiene x
+
= [1, 3]
T
y b = [4.2426, 4.2426]
T
. En la Figura 3.1 se muestran gracas
del el error x
k
x
+
para las primeras 10 iteraciones, con cada una de las cuatro s. Para la iteracion
10 se tiene: para = 0.05 el resultado es x

= [0.000000, 2.677877]
T
, para = 0.1 el resultado es
x

= [0.000000, 2.981860]
T
, para = 0.15 el resultado es x

= [0.000000, 2.999685]
T
y para = 0.2 el
resultado es x

= [0.000000, 3.000000]
T
.
Experimento 2 Se tiene x
+
= [2, 2]
T
y b = [2.8284, 2.8284]
T
. En la Figura 3.2 se muestran gracas
del el error x
k
x
+
para las primeras 10 iteraciones, con cada una de las cuatro s. Para la iteracion
10 se tiene: para = 0.05 el resultado es x

= [0.000000, 1.785252]
T
, para = 0.1 el resultado es
x

= [0.000000, 1.987907]
T
, para = 0.15 el resultado es x

= [0.000000, 1.999790]
T
y para = 0.2 el
resultado es x

= [0.000000, 2.000000]
T
.
Experimento 3 Se tiene x
+
= [3, 1]
T
y b = [4.2426, 4.2426]
T
. En la Figura 3.3 se muestran gracas
del el error x
k
x
+
para las primeras 10 iteraciones, con cada una de las cuatro s. Para la iteracion
10 se tiene: para = 0.05 el resultado es x

= [0.000000, 0.892626]
T
, para = 0.1 el resultado es
x

= [0.000000, 0.993953]
T
, para = 0.15 el resultado es x

= [0.000000, 0.999895]
T
y para = 0.2 el
resultado es x

= [0.000000, 1.000000]
T
.
35
Ricardo Coronado Leija Problemas Inversos
(a) (b)
(c) (d)
Figura 3.1: Gracas del error x
k
x
+
para las primeras 10 iteraciones de k en el primer experimento.
(a) (b)
(c) (d)
Figura 3.2: Gracas del error x
k
x
+
para las primeras 10 iteraciones de k en el segundo experimento.
36
Problemas Inversos Ricardo Coronado Leija
(a) (b)
(c) (d)
Figura 3.3: Gracas del error x
k
x
+
para las primeras 10 iteraciones de k en el tercer experimento.
Primero se observa que la matriz esta muy mal condicionada. Si se intenta resolver de manera directa x = A
1
b
se obtienen muy malos resultados. Ahora bien usando el metodo de Landweber-Fridman si se puede resolver
sin embargo el primer elemento de cada vector no se puede recuperar, pero el segundo si. Se observa que
cuando aumenta el error disminuye y converge a la solucion mas rapido.
37