Cap tulo 3

Valores singulares

3.1.

Introducci on

Los valores singulares juegan un papel central en el a lgebra lineal num erica actual. Son esenciales para calcular de forma able cantidades tan importantes como el rango de una matriz o la distancia de una matriz no singular al conjunto de las matrices singulares. Como tantas veces en matem aticas, no fue la necesidad pr actica (derivada, por ejemplo, del c alculo num erico) sino la necesidad de profundizar en el conocimiento lo que produjo el surgimiento de los valores singulares. Por otra parte, no ha sido hasta el reciente desarrollo del a lgebra lineal num erica cuando tal concepto ha adquirido la importancia que actualmente tiene e incluso la denominaci on que ahora le estamos dando. En efecto, fue en la segunda parte del siglo XIX cuando algunos ge ometras se preguntaron, utilizando lenguaje actual, por la posibilidad de reducir unitariamente una forma cuadr atica a forma diagonal. Entre los matem aticos que contribuyeron 57

58

Valores singulares

a la soluci on de este problema se encuentran nombres tan famosos como Eugenio Beltrami, Camille Jordan, James Joseph Sylvester, Erhard Scmidt o Hermann Weyl. Una breve e interesante historia de los valores singulares puede encontrarse en el report de G. W. Stewart: On the early history of the Singular Value Decomposition que se puede obtener en la direcci on http://citeseer.ist.psu.edu/stewart92early.html o mediante ftp an onimo en thales.cs.umd.edu en el directorio pub/reports. En nuestro proceso hacia la denici on de los valores singulares y del teorema central de este cap tulo (El Teorema SVD) necesitamos recordar el concepto de matriz unitaria. A ello dedicamos la primera secci on.

3.2.
x, y

Matrices Ortogonales y Unitarias

Comenzamos repasando los conceptos de producto escalar y ortogonalidad. Si P Fn entonces el producto escalar de y y x es

x, y  '
%

$ n ' y i xi &
i 1 n i 1

 yT x  yx

si F  R, si F  C

Por lo general supondremos que F  C de modo que el producto escalar de x y y lo escribiremos como un producto de matrices; i.e. y x. Deberemos entender que en el caso en que los vectores sean reales y hablemos del producto escalar en Rn entonces se debe sustituir por T . Debe observarse que para todo x P Cn x x 
n i 1

y i xi

|xi|2  }x}2 2.

Esta forma de expresar la norma eucl dea de un vector, la usaremos muy a menudo. Un vector diremos que es unitario si su norma es 1. Dos vectores se dice que son ortogonales si su producto escalar es cero: xKy

yx  0.

3.2 Matrices Ortogonales y Unitarias

59

N otese que y x y x y son n umeros complejos conjugados: x y pero si x, y

 yx,

P Rn entonces xT y  yT x. Dos conjuntos X, Y Fn son ortogonales si cada vector de X es ortogonal a cada vector de Y . Escribiremos, en tal caso, X K Y . Si S Fn es un subconjunto
denotaremos SK Independientemente de si S es un subespacio vectorial o no, S K siempre lo es, y lo llamaremos el subespacio ortogonal de S . Abusando de lenguaje diremos que un conjunto de vectores no nulos es ortogonal si cada vector es ortogonal a todos los dem as: S ortogonal @x, y P S, x y  0. Si, adem as, todos los vectores del conjunto son unitarios entonces el conjunto se dice que es ortonormal : S ortonormal

 ty P Fn|xy  0, @x P S u.

S ortogonal y @x P S, }x}2  1.  tv1, . . . , vtu ortogonal son

Proposici on 3.1 Todos los vectores de un conjunto S linealmente independientes.

t i 1

Demostraci on.- Si

ai vi

 0, entonces para j  1, . . . , t 
t i 1

0  vj
Por lo tanto, cj

t i 1

ai vi

v q  c pv v q  c }x }. ai pvj i j j j j j

 0.

Denici on 3.2 (a) Una matriz U P Cnn es unitaria si sus columnas forman una base ortonormal de vectores de Cn . (b) Una matriz P P Rnn es ortogonal si sus columnas forman una base ortonormal de vectores de Rn .

60

Valores singulares

Hay algunas condiciones equivalentes a ser unitaria (aplicado a F para matrices ortogonales):

 R sirven

Proposici on 3.3 Para U (i) U es unitaria.

P Cnn las siguientes condiciones son equivalentes:  U 1 .

(ii) U es no singular y U (iii) U U

 In.

(iv) U es unitaria. (v) Las las de U forman un sistema ortonormal de vectores de Cn . (vi) Para todo x P Cn se tiene }x}2

 }U x}2

La demostraci on de estas propiedades es m as o menos inmediata salvo, quiz a, la condici on (vi). Desde luego, si U es unitaria entonces

2 }U x}2 2  pU xq U x  x U U x  x x  }x}2
donde hemos usado las condiciones (iv) y (iii) equivalentes a ser U unitaria (i.e. U U  In ). El rec proco se puede demostrar siguiendo las siguientes ideas: Si }U x}2  }x}2 entonces xU U x  xx, que equivale a xpU U Inqx  0. Teniendo en cuenta que U U In es herm tica (sim etrica en el caso real de matrices ortogona les) es f acil ver que x pU U In qx  0 implica U U In  0. En efecto, si ponemos A  U U In , x Ax  0 para todo x P Fn implica que si ei  p0, . . . , 1, . . . , 0q es el i- esimo vector can onico entonces e i Aei  0 aii  0 pei ej qApei ej q  0 Repaij q  0. pei iej qApei iej q  0 Impaij q  0 Las matrices unitarias forman un subgrupo multiplicativo del Grupo General Lineal, llamado Grupo Unitario. La condici on (vi) de la Proposici on 3.3 indica que el grupo unitario es el grupo de isometr as para la norma eucl dea.

3.2 Matrices Ortogonales y Unitarias

61

Denici on 3.4 Una norma } } en Cmn se dice que es unitariamente invariantes si @A P Cmn y para todo par de matrices unitarias U P Cmm y V P Cnn se cumple que }U AV }  }A}. Proposici on 3.5 Las normas invariantes.

} }2 y } }F

denidas en Cnn son unitariamente

Demostraci on.- Recordemos que }A}2 , si U es F  trpA Aq  trpAA q. As unitaria 2 }U A}2 F  trpA U U Aq  trpA Aq  }A}F .
De la misma forma, si V es unitaria

2 }AV }2 F  trppAV qpAV q q  trpAV V A q  trpAA q  }A}F .

Por lo tanto, si U y V son unitarias:

}U AV }F  }U A}F  }A}F .
Por otra parte, }A}2

 }m ax }Ax}2 . Entonces, si U es unitaria x}  1

2

}U A}2  }m ax }U Ax}2 . x}  1
2

Pero por ser U unitaria, }U x}2

 }x}2, de modo que }U Ax}2  }Ax}2 y }U A}2  }m ax }U Ax}2  m ax }Ax}2  }A}2 . x}  1 }x} 1
2 2

Tambi en, si V es unitaria los conjuntos

tx P Cn|}x}2  1u  tV x P Cn|}V x}2  1u

son iguales. Entonces

}AV }2  }m ax }AV x}2  m ax }AV x}2  m ax }Ay }2  }A}2 . x} 1 } V x } 1 }y} 1

2 2 2

En consecuencia }U AV }2

 }A}2.

62

Valores singulares

3.3.

Valores singulares

Hay varias formas de introducir los valores singulares de una matriz. Tal y como se ha mencionado en la Introducci on de esta Lecci on, hist oricamente los valores singulares son el resultado de la b usqueda de una forma de reducir las formas cuadr aticas a forma diagonal mediante cambios de base ortonormales. Este hecho, sin embargo tiene un signicado geom etrico que no debe pasar desapercibido: Las aplicaciones lineales transforman las esferas unidad en hiperelipses. Una hiperelipse es la generalizaci on a m dimensiones de una elipse. Podr amos denirla como la supercie que se obtiene al estirar o comprimir la esfera unidad en m direcciones ortogonales por factores 1 , 2 ,. . . , m (posiblemente cero). Es decir, si jamos m vectores ortonormales u1 , . . . , um P Fm , los vectores 1 u1 ,. . . , m um son los semiejes de la hiperelipse con longitudes 1 ,. . . , m .

 tx P Fn|}x}2  1u es la esfera unidad y A P Fmn entonces ApS n1 q es una hiperelipse. La Figura 3.1 representa el caso n  m  2 y F  R.

Si

S n1

v1

s2 u 2 s1 u 1

v2

Figura 3.1: Las matrices transforman esferas en elipses El hecho de que las aplicaciones lineales (o matrices) transformen la esfera unidad en hiperelipses no es obvia y quedar a demostrada cuando probemos el llamado

3.3 Valores singulares

63

Teorema SVD. Por ahora acept emosla y veamos qu e signica en t erminos de matrices. Supongamos que la matriz de la aplicaci on lineal es A P Fmn y que, por sencillez, rangpAq  n m. Notemos que, como aplicaci on lineal, A : Fn Fm . Tal y como hemos mencionado, la hiperelipse queda determinada, en principio, por m vectores ortonormales tu1 , . . . , um u y las correspondientes longitudes de los semiejes 1 ,. . . , m que los vamos a suponer ordenados de forma que 1 2 m 0. As i ui es el i- esimo semieje m as largo de ApS n1 q. As pues, n1 para i  1, . . . , m i ui P ApS q Im A. Pero como los vectores tu1 , . . . , um u son ortonormales, y por lo tanto son linealmente independientes, si rangpAq  r debe haber a lo sumo r vectores i ui linealmente independientes. De todo ello se sigue que hay r de los i que son distintos de cero a lo m a. En otras palabras, si la hiperelipse es la imagen por A de la esfera unidad, debe estar en Im A as que s olo puede contener r vectores linealmente independientes. Finalmente sean tv1 , . . . , vn u S n1 las anteim agenes de los semiejes no nulos de la hiperelipse: Avi

 i ui ,

i  1, . . . , r.

En este momento no es claro por qu e pero admitamos que los vectores vi son ortogonales (y, por lo tanto, ortonormales porque est an en la esfera unidad). La condici o , . . . , r, se puede escribir en forma matricial: Si  n Avi  i u  i , i  1   u1 ur y V  v1 vr tenemos que ponemos U AV U ,   Diagp1 , . . . , r q.

P Fmn y V P Fnn matrices cuyas columnas son vectores ortonormales. siendo U podemos Si escogemos base ortonormal de Ker V  Ay  que sean ortogonales a los de   V que es unitaria y AV  U 0 . Por formar una matrix unitari V  V consiguiente   V . 0 V U AU A esta factorizaci on de A se le llama Descomposici on en Valores Singulares Reducida o Econ omica de A. O, m as abreviadamente, SVD Reducida de A. Hay tambi en una Descomposici on en Valores Singulares Completa de A, que es la que aparece en la mayor a de los libros que tratan el tema, aunque en la mayor parte de las aplicaciones es la descomposici on reducida la que se utiliza. Pasar de no es una matriz unitaria y una descomposici on a la otra es muy f acil: Si m n, U no tiene el tama no de A. Una descomposici on completa es una que cumpla estos dos

64

Valores singulares

requisitos. Para ello basta ampliar el sistema de vectores ortonormales tu1 , . . . , un u hasta una base ortonormal de Cm . Tal cosa siempre es posible porque los vectores u1 , . . . , un son linealmente independientes y se pueden ampliar hasta una base de Cn . Luego basta aplicar el m etodo de Gram-Schmidt para obtener la base ortonormal. Sea entonces tu1 , . . . , un , un1 , . . . , um u una base ortonormal de Cm y pongamos U Entonces

u1

un un1


um


y 

0mnn

  U U V  U

Por lo tanto, A  U V es una descomposici on en valores singulares completa de A. N otese que de una descomposici on en valores singulares completa de A se obtiene una reducida sin m as que suprimir las las cero de y las correspondientes columnas de U y V . Denici on 3.6 Sea m, n enteros positivos y A P Cmn . Una descomposici on en valores singulares (completa) de A es una factorizaci on A  U V donde U

0mnn

V  A. U

En reales no negativos ordenados de mayor a menor y se llaman valores singulares de A. Adem as, a los vectores u1 , . . . , um y v1 , . . . , vn que forman las columnas de U y V se les llama vectores singulares de A por la izquierda y por la derecha, respectivamente. Si A P Rmn basta cambiar matriz unitaria por matriz ortogonal. Nos queda establecer de manera rigurosa que tal descomposici on es siempre posible y que los valores singulares est an determinados de forma u nica por A. Admiti endolo, deber a ya ser claro que, en efecto, la imagen de la esfera unidad en

P Cmm y V P Cnn son unitarias y es diagonal. Adem as, $   Diagp1 , . . . , n q ' ' si m n & 0mnn  ' '  %  Diagp1 , . . . , m q 0mnm si n m cualquier caso, 1 p 0, p  m ntm, nu son n umeros

3.3 Valores singulares

65

Fn por A  U V es una hiperelipse:V por ser unitaria preserva la esfera, la deforma estirando o encogiendo la esfera en direcciones ortogonales y U , de nuevo unitaria, la gira o reeja. Todo lo anterior tiene sentido una vez que demostremos el siguiente resultado fundamental Teorema 3.7 (Teorema SVD) Toda matriz A P Fmn admite una descomposici on en valores singulares. Adem as, los valores singulares est an determinados de forma u nica, y, si A es cuadrada y sus valores singulares son todos distintos, entonces los vectores singulares est an tambi en determinados de forma u nica salvo producto por un n umero complejo de m odulo 1. Demostraci on.- Supondremos F  C y todo lo que vamos a decir es de aplicaci on a matrices de n umeros reales cambiando la palabra unitaria por ortogonal. Dado que el caso de A  0 es trivial, supondremos que A  0 y procederemos por inducci on sobre n, el n umero de columnas de A. Supondremos, adem as, que m n. Si fuera n m, y una vez demostrado el Teorema con m n, lo aplicar amos a A . As , existir an matrices unitarias U y V tales que A  U V Entonces A  pA q  V U . Como los valores singulares son n umeros reales  y A  V U con U y V unitarias. Sea entonces n  1 y m 1. Ponemos U V U  }A}2 y V  1. As  }A1} A,
2

1  }A } A }A}2 1  A.
2

es un vector columna Para n  1, A P Cm1 es un vector columna y por lo tanto U V es una descomposici unitario. As AU on reducida de A que puede extenderse a una descomposici on completa tal y como hemos visto m as arriba. Consideremos ahora que el Teorema ha sido demostrado para matrices de tama no m p (p n 1). Sea A P Cmn y 1  }A}2 . Como }A}2  m ax }Ax}2
n

existe un vector unitario v1 P C , }v1 }2  1, tal que 1  }A}2  }Av1 }2 . Sea 1 u1  }Av Av1 . As }u1 }2  1 y Av1  1 u1 . Extendamos u1 y v1 hasta bases orto1 }2 m normales de C y Cn , respectivamente, y sean U1 y V1 las matrices, unitarias, cuyas

}x}2 1

66

Valores singulares

columnas son los vectores de esas bases. Escribamos U1 Entonces U AV

1

u1 U 1 ,

V1




u1 V 1 .


Av  1 (recordemos que u Por una parte Av1  1 u1 implica que u 1 u1  1 porque 1 1 u1 es un vector unitario). Adem as U 1 Av1  1 U 1 u1 . Pero las columnas de U 1 son pues ortogonales a u1 y esto equivale a U 1 u1  0. As U AV
1 1

  u u Av1 u 1 1 AV 1 . A v1 V 1  1 U1 U 1 Av1 U 1 AV 1

u 1 Av1 u1 AV 1 . U 1 AV 1 0

Veamos que tambi   en u1 AV 1  0. Pongamos w  u1 AV 1 y B  U 1 AV 1 , S  AV1 y z  1 . Como la norma espectral es consistente con la norma eucl U1 dea w

}S }2}z}2 }Sz}2   p
2 1

     1 w 1     0 B w   

   2 w w  1     Bw 2

2 w wq  p1

  wwq1{2  1 

 w  2

2  p1 wwq1{2}z}2.

2 wwq1{2. Pero la norma espectral es unitariamente invariante As pues, }S }2 p1 2 (Proposici on 3.5); por lo tanto 1  }A}2  }S }2 p1 wwq1{2; lo cual implica que w  0 tal y como quer amos demostrar.

En consecuencia

U AV
1

1 0 . 0 B

Debe notarse que B es la restricci on de A al subespacio ortogonal a u1 ; i.e. K p m1qpn1q u1 . Adem as B P C . Por la hip otesis de inducci on, B admite una pm1qpm1q y V2 P descomposici on en valores singulares: B  U2  2 V2 con U2 P C Diagp2 , . . . , n q Cpn1qpn1q unitarias y 2  . As 0


1 0 1 0 U1 AV1 0 V2 0 U2

1 0 0 U2



1 0 0 B



1 0 0 V2

Diagp1 , 2 , . . . , n q . 0

3.3 Valores singulares

67

Si ponemos

1 U 

tenemos que U AV  y A  U V . Esto prueba la existencia de la descomposici on de A en valores singulares, excepto el ordenamiento de los valores singulares. Seg un la hip otesis de inducci on los valores singulares de B est an ordenados de mayor a menor. Basta entonces demostrar que 1 pAq 1 pB q. Es decir, }A}2 }B }2 , o bien, m ax }Ax}2 m ax }Bx}2 . Adem as, como la norma espectral es unitariamente invariante podemos suponer que A Sea x0


0 U1 0 U2

y V

 V1

1 0 , 0 V2

}x}2 1

}x}2 1

1 0 . 0 B

P Cn1 un vector unitario para el que }Bx0}  }m ax }Bx}2 y sea x}  1

2

y Claramente y y
2

0 x0

P Cn.

 x 0 x0  1, de modo que m ax }Ax}2 }Ay }  y A Ay  x ax }Bx}2 , 0 B Bx0  }Bx0 }  m }x} 1 } x}  1

2

tal y como se deseaba demostrar. La unicidad de los valores singulares as como el resto del teorema lo demostraremos una vez analizadas unas cuantas propiedades importantes de los valores singulares. Observaciones 3.8 Si A P Rmn entonces existen matrices ortogonales P y Q P Rnn tales que A  P QT con 
$   Diag , . . . , ' 1 n ' & ' ' % 

P Rmm

0mnn

si m n


Diagp1 , . . . , m q 0mnm p

si n m.

En cualquier caso, 1 negativos.

0, p

m ntm, nu son n umeros reales no

68

Valores singulares

3.4.

Propiedades de los valores singulares

A continuaci on analizamos algunas propiedades que se derivan del Teorema SVD. Proposici on 3.9 Si r es el n umero de valores singulares de A distintos de cero, entonces rang A  r. La demostraci on es una consecuencia inmediata de que el rango de una matriz no var a si la multiplicamos por matrices invertibles.

Proposici on 3.10 Si A  U o n de A V es una descomposici  singulares, r  rang A, y U  u1 u2 um y V  v1 v2 Im A  u1 , . . . , ur y Ker A  vr1 , . . . , vm .

P Cmn  en valores vn entonces

Demostraci on.- Sobre la base de que V y U son invertibles es f acil ver que ImpAV q  ImpAq y Ahora bien, KerpU Aq  KerpAq.

 u1, . . . , ur . Por otra parte, como tv1 , . . . , , vm u es una base ortonormal de Cn , si x P Cn entonces m x ci vi  V c con c  pc1 , . . . , cm q. As
i 1

ImpAV q  ImpU q  1 u1 , . . . r ur

ici  0, 1 i r x 

x P KerpAq Ax  0 AV c  0 U AV c  0 c  0
m i r 1

Esto signica que KerpAq  vr1 , . . . , vm De forma similar se prueba

ci vi .

. P Cmn  en valores vn entonces

Proposici on 3.11 Si A  U o n de A V es una descomposici  singulares, r  rang A, y U  u1 u2 um y V  v1 v2 Im A  v1 , . . . , vr y Ker A  ur1 , . . . , um .

3.4 Propiedades de los valores singulares

69

Esta proposici on tambi en se puede ver como una consecuencia inmediata de la anterior teniendo en cuenta las siguientes propiedades cuya demostraci on es muy simple pIm AqK  Ker A y pKer AqK  Im A La siguiente proposici on nos proporciona una forma pr actica de calcular los valores singulares de una matriz: Proposici on 3.12 Los valores singulares de A P Cmn distintos de cero son las ra ces cuadradas positivas de los valores propios distintos de cero de A A y tambi en de los de AA .

Demostraci on.- Probaremos que los valores singulares de A son las ra ces cua dradas positivas de los valores propios de A A. Que tambi en son los de AA se demuestra igual. Tambi en es consecuencia de la siguiente propiedad: Si A P Fmn y B P Fnm entonces los valores propios distintos de cero de AB y BA son los mismos. La explicaci on de esta propiedad est a contenida en la siguiente ecuaci on:


Im 0


A
In



AB 0 B 0



Im A 0 In


0 0 . B BA
 

I A Como m 0 In

AB 0 0 0  , las matrices y son semejantes; In B 0 B BA  Im AB 0 i.e. tiene los mismos valores propios. Adem as, det  n detpIm B I n   Im 0 m AB q y det B In BA  detpIn BAq. Por lo tanto, las matrices AB y BA tienen los mismos valores propios distintos de cero. Im 0 Si A  U V es una descomposici on de A en valores singulares entonces A A  V U U V

1

 V T V

porque es una matriz de n umeros reales. Como V es unitaria V  V 1 , por lo que A A y T son semejantes. Es decir, tienen los mismos valores propios. Pero
2 2 T  Diagp1 , . . . , r , 0, . . . 0q P Rnn

70

Valores singulares

2 con r  rangpAq. Por lo tanto 1 A A. .

r2 son los valores propios de T y de

Recordemos ahora que los valores propios son u nicos para cada matriz. Esto demuestra la segunda parte del Teorema SVD Corolario 3.13 Los valores singulares de A est an determinados de forma u nica. Para probar la u ltima parte del Teorema SVD; es decir, que si A es cuadrada y sus valores singulares son todos distintos, entonces los vectores singulares est an tambi en determinados de forma u nica salvo producto por un n umero complejo de m odulo 1, debemos recordar lo siguiente sobre los valores propios de una matriz: Si M P Cnn y sus valores propios son distintos dos a dos entonces admite un sistema completo de vectores propios linealmente independientes. Esto es una consecuencia de que a valores propios distintos corresponden vectores propios linealmente independientes. Si M tiene n valores propios distintos hay n vectores propios linealmente independientes; y como est an en un espacio de dimensi on n deben ser una base. Ahora bien, si vi es un vector propio asociado al valor propio i entonces M vi  i vi . Y cualquier otro vector propio wi asociado al mismo valor propio debe ser propor cional a vi ; es decir, existe P C tal que wi  vi . Ahora, si T  v1 v2 vn entonces T P Cnn es invertible y T 1 M T

 Diagp1, . . . , nq

(3.1)

Y rec procamente, si T P Cnn es una matriz invertible que verica (3.1) con i  j , entonces la i- esima columna de T es un vector propio asociado al valor propio i . Aplicando todo esto a la matriz A A y teniendo en cuenta la demostraci on de la Proposici on 3.12 tenemos que V A AV y tambi en U AA U
2 2 2  Diagp1 , 2 , . . . , n q, 2 2 2  Diagp1 , 2 , . . . , n q.

Esto quiere decir que las columnas de V son una base ortonormal de vectores propios de Cn respecto de A A; y las de U son una base ortonormal de vectores propios de Cn respecto AA . Y, adem as, si A  U1 V1 es otra descomposici on de A en valores

3.4 Propiedades de los valores singulares

71

1 singulares, entonces vi  vi (i- esimas columnas de V y V1 ). Como en este caso son, vi  ||2 v 1 v 1  ||. Es decir, es adem as, vectores unitarios, tenemos que 1  vi i i un escalar de m odulo 1. Para las columnas de U sirve un razonamiento similar.

La unicidad de los valores singulares produce la siguiente consecuencia: Proposici on 3.14 Si A P Cmn y 1 p 0, p  m ntm, nu, son sus valores 2 2 . p singulares, entonces }A}2  1 y }A}F  1 Demostraci on.- En efecto si A  U V es una descomposici on en valores singulares de A, como las normas }}2 y }}F son unitariamente invariantes tenemos

}A}2  }}2

}A}F  }}F .

2 2 . Lo segundo es inmediato por p Basta probar que }}2  1 y }}F  1 la propia denici on de la norma de Frobenius. En cuanto a lo primero, supongamos por sencillez que m n y sea x P Cn un vector arbitrario de norma eucl dea 1. Entonces

}x}2 

2 2 |x |2 1 |x1|2 n n

1 |x1|2 |xn|2  1}x}2  1,

donde hemos utilizado que 1 e1  p1, 0, . . . , 0q P Cn entonces }e1 }2 1

2

n y que }x}2  1. Adem as, resulta que si  1 y }e1}2  1. Esto prueba que

 }m ax }x}2  }}2 . x}  1 n son sus valores singulares entonces

Proposici on 3.15 Si A P Cnn y 1

| detpAq|  1 . . . n
res, Demostraci on.- Si A  U V es una descomposici on de A en valores singuladetpAq  detpU q detpq detpV q.

Pero U y V son unitarias. Entonces, por una parte, U U  In y por otra detpU q  detpU q porque el conjugado de cualquier suma y producto de n umeros complejos es

72

Valores singulares

la suma o producto de los conjugados de dichos n umeros. As pues, 1 detpU q detpU q  detpU qdetpU q  | detpU q|2 . En conclusi on,

 detpInq 

| detpU q|  | detpV q|  1,
y

| detpAq|  | detpq|  1 . . . n. P
Cnn es invertible y 1

Proposici on 3.16 Si A

1 singulares entonces los valores singulares de A1 son

}A1}2  1 .
n

n son sus valores 1 . En particular,

n 1

Demostraci on.- Si A  U V es una descomposici on en valores singulares de A y es invertible, entonces A1  V 1 U . Notemos que 1  Diag y que 1 1

1 1 ,..., 1 n

1 . Existe una matriz de permutaci on

n

0 0  P  . . . 1

0 1 . . .

1 0   . . .

0 0

1 1 ,..., . Si ponemos V1  V P T y U1  U P T resulta tal que P 1 P T  Diag n 1 que U1 y V1 son unitarias, porque el producto de matrices unitarias es una matriz es una descomposici unitaria, y A1  V1 P 1 P T U1 on en valores singulares de A1 . Como }A1 }2 es el mayor valor singular de A1 la conclusi on es inmediata. La descomposici on de A en valores singulares nos proporciona una forma especialmente u til de escribir A como suma de matrices de rango 1:

3.5 Aproximaci on a matrices de menor rango

73

Proposici on 3.17 Si A  U V singulares y rangpAq  r entonces

P Cmn es una descomposici on de A en valores

A
r i 1

donde U  u1 um , V singulares positivos de A.

v1

i ui vi
vn y 1


r 0 son los valores



Demostraci on.- Basta poner  1 2 r , i

Diagp0, . . . , i , . . . , 0q 0 0 0

donde Diagp0, . . . , i , . . . , 0q P Crr y i aparece en la i- esima posici on. Es claro que A  Debe notarse que
  
r i 1

U i V y que U i V
r i 1

 iuivi.

con Ur  u1 ur , Vr  v1 vr y r posici on reducida en valores singulares de A.

i ui vi

 Ur r Vr


 Diagp1, . . . , r q, es una descom-

3.5.

Aproximaci on a matrices de menor rango

Una de las aplicaciones m as interesantes del Teorema SVD es que nos permite calcular el rango de una matriz con bastante abilidad. De hecho, el Teorema SVD nos da mucho m as que eso, nos proporciona una medida de esa abilidad. Ello es consecuencia del siguiente teorema que nos proporciona una cota de la distancia que hay de una matriz al conjunto de las matrices de rango menor que ella. Teorema 3.18 .- Sea A negativo. Entonces donde 1

P Fmn una matriz de rango r; y sea k r un entero no

m n
rang B

2 . . . r 0 son los valores singulares no nulos de A.

p qk

}A B }2  k1

74

Valores singulares

Demostraci on.- Tal y como viene siendo habitual demostraremos que k1 es una cota superior alcanzable del conjunto de n umeros

t}A B }2 : rangpB q ku; es decir, que para cualquier matriz B P Fmn con rangpB q k se tiene que }A B }2 k1 y que existe una matriz Ak P Fmn con rangpAk q  k tal que }A Ak1 }2  k1 .
Sean U

P Cmm y V P Cnn matrices unitarias tales que

U AV

D

r 0 0 0

con r

 Diagp1, 2, . . . , r q.

Observemos que como m ntn, mu r k tenemos que k 1 n. Sea Vk1 la submatriz de V formada por sus primeras k 1 columnas. Como las columnas de Vk1 son ortonormales, dim Im Vk1  k 1. Sea ahora B P Fmn una matriz cualquiera tal que rang B k . Esto signica que dim KerpB q  n rangpB q n k . Tanto Ker B como Im Vk1 son subespacios vectoriales de Fn , pero dim Ker B dim Im Vk1 n 1. Esto signica que Ker B X Im Vk1  t0u y, en consecuencia, hay un vector x P Ker B X Im Vk1 no nulo que podemos tomarlo de norma 1: x 2  1. Ahora
2 2 2 2 2 }A B }2 2 }pA B qx}2  }Ax Bx}2  }Ax}2  }U V x}2  }V x}2 porque x P Ker B y U es unitaria. Dado que x P Im Vk1 es ortogonal a las u ltimas n k 1 columnas de V . Es decir, vi x  0 para i  k 2, . . . , n. Por lo tanto, si y  V x entonces las n k 1 u ltimas componentes de y son iguales a cero. As pues, teniendo en cuenta que k r 2 2 2 2 }V x}2 2  1 |y1 | k1 |yk1 | . Como 1 k1 deducimos que 2 2 2 2 }V x}2 2 k1 p|y1 | |yk1 | q  k1 }y }2 porque yk2   yn  0. Finalmente, }y }2  }V x}2  }x}2  1 porque V es

una matriz unitaria y x un vector de norma eucl dea igual a 1. En consecuencia, 2 }A B }2 k1, tal y como se deseaba demostrar.

3.5 Aproximaci on a matrices de menor rango

75

Veamos ahora que existe una matriz Ak de rango k tal que }A Ak }2 Pongamos Ak  U Dk V , siendo Dk

 k1.

Diagp1 , . . . , k q 0 0 0

P Cmn.

Teniendo en cuenta que la norma espectral es unitariamente invariante, resulta que

}A Ak }2  }U pD Dk qV }2  }D Dk }2.
Pero D Dk

Diagp0, . . . , 0, k1 , . . . , r q 0 0 0

cuyos valores singulares no nulos son k1 . . . r porque existe una matriz de permutaci on -y en consecuencia unitaria- Q tal que Q pD Dk qQ 
T

Diagpk1 , . . . , r q 0 0 0

Por lo tanto

}A Ak }2  }D Dk }2  k1,

lo que concluye la demostraci on. Este teorema nos proporciona, como corolario, la distancia de una matriz no singular a la matriz singular m as pr oxima en la norma espectral: el valor singular m as peque no de la matriz no singular. Corolario 3.19 .- Si A P Cnn es una matriz no singular y 1 son sus valores singulares, entonces m n
det B

2 . . . n 0

p q0

}A B }2  n.

Demostraci on.- det B

 0 si y s olo si rangpB q n 1. Por el teorema anterior m n }A B }2  m n }A B }2  n. detpB q0 rangpB qn1

Una consecuencia inmediata de este Corolario es el siguiente

76

Valores singulares

Corolario 3.20 El conjunto de las matrices de rango completo de Cmn es abierto. Demostraci on.- En efecto, suponiendo, por sencillez que m n, tenemos que si mn APF y rangpAq  n entonces las matrices de rango menor que n m as pr oximas a A est an a una distancia n , medida en la norma espectral. En consecuencia, cualquier bola abierta con centro en A y radio r n est a completamente contenida en el conjunto de las matrices de rango completo. Esto demuestra que este conjunto es abierto.

3.6.

La inversa de Moore-Penrose
A  U V ,  Diagp1 , . . . , n q

Ya hemos visto en la Proposici on 3.16 que si es una descomposici on en valores singulares de A P Cnn y esta es invertible entonces U , A 1  V  Diag 1 1 ,..., n 1

 VP y U  U P , P una matriz de permutaci con V on, es una descomposici on en valores singulares de A1 . Podemos usar esta idea para generalizar el concepto de inversa a inversa generalizada (o pseudoinversa) que juega un papel fundamental en varias partes de la matem atica y en particular en la soluci on del problema de m nimos cuadrados. Hay varias inversas generalizadas (ver [2]). Aqu s olo trataremos de la llamada inversa generalizada de Moore-Penrose o, simplemente, inversa de Moore-Penrose o pseudoinversa de Moore-Penrose. En MATLAB se utiliza el comando pinv para calcularla. Supongamos que A singulares no nulos y

P Cmn y r  rangpAq. Sean 1 r 0 sus valores




A  U V ,


Diagp1 , . . . , r q 0 0 0

una descomposici on de A en valores singulares. Pongamos :

 Diag

1 1 ,..., 1 r 0

0 0

3.6 La inversa de Moore-Penrose

77

y denamos

A:

 V :U .

Denici on 3.21 A la matriz A: se le llama inversa generalizada o pseudoinversa de Moore-Penrose de A. En los ejercicios se presentan algunas propiedades importantes de la inversa de Moore-Penrose. En particular, la denici on dada aqu no es la que aparece habitualmente en los libros cl asicos, aunque es la que mejor se adapta a nuestras circunstancias. La denici on habitual es la siguiente: Es la u nica matriz que cumple las siguientes cuatro propiedades:

piq piiiq

AA: A  A, A: A  pA: Aq ,

piiq pivq

A: AA:  A: , AA:  pAA: q .

Se puede demostrar que la Denici on 3.21 es equivalente a estas cuatro condiciones. En cualquier caso, a primera vista en la Denici on 3.21 no parece que se pueda asegurar que hay una u nica inversa de Moore-Penrose para cada A. En efecto, la denici on depende de la elecci on de las matrices U y V en la descomposici on de A en valores singulares y estas no son, en general, u nicas. Nos proponemos demostrar que, a pesar de la arbitrariedad en la elecci on de los vectores singulares por la izquierda y por la derecha, la inversa de Moore-Penrose es u nica: Proposici on 3.22 Para cada A P Cmn hay una u nica inversa de Moore-Penrose. Demostraci on.- Sea A  U V , 
 

Diagp1 , . . . , r q 0 0 0

una descomposici on en valores singulares de A, r  rangpAq. Y sea A:  V : U la correspondiente inversa de Moore-Penrose. Por la Proposici on 3.10 las r primeras columnas de U y V forman bases ortonormales de  ImpAq y de ImpA   q, respectivamente. De acuerdo con esto escribimos V  V1 V2 y U  U1 U2 con V1 P Cnr y U1 P Cmr . Si adem as, ponemos r

 Diagp1, . . . , r q

1 entonces r  Diag

1 1 ,..., 1 r

78

Valores singulares

A  U1 r V1

y A:

1  V1 r U1 .

Ahora, si hubiera otra descomposici on de A en valores singulares, como estos son m m nn V . u nicos, existir an matrices unitarias U P C yV PC tales que A  U 1 y V 1 matrices yV como U y V tendr 1 r V 1 con U Partiendo U amos que A  U cuyas columnas forman bases ortonormales de ImpAq y ImpA q, respectivamente. Para esta descomposici on de A, la inversa de Moore-Penrose correspondiente 1 : . :  V 1 . Debemos demostrar que A:  A ser a: A U r 1 1 forman bases ortonormales de ImpAq y Por una parte, las columnas de U1 y U las columnas de V1 y V1 forman bases ortonormales de ImpA q. Por lo tanto, existen matrices unitarias P, Q P Crr tales que 1 U

 U1P
1 r V 1 U

1 y V

 V1Q.

(P y Q son las matrices de cambio de bases ortonormales; por lo tanto, unitarias). Por otra parte, de modo que

 U1r V1,  U1r V1.  r .

1  r , 1  V1 r U1 .

U1 Pero U1

 V1V1  Ir , as que

U1 P r Q V1 P r Q

Y como r es invertible y tambi en Es decir,

1 Q r P 1 V1 Q r P U1

: A

 V1 Q1 P U  V1 1 U  A: , 1 1 U V r 1 r 1 r 1

tal y como se deseaba demostrar.