INTRODUCCIN

1.lgebralinealyvectoresaleatorios
2.Distribucinnormalmultivariante

ANLISIS DE LA MATRIZ DE COVARIANZAS

3.Componentesprincipales
4.Anlisisfactorial
5.Correlacionescannicas

CLASIFICACIN
6.Anlisisdiscriminante
7.Anlisisdeconglomerados
ANLISIS MULTIVARIANTE
1
1. LGEBRA LINEAL
Y VECTORES ALEATORIOS

Vectores

OrtogonalizacindeGram!c"midt

#atricesortogonales

Autovaloresyautovectores

$ormascuadrticas

Vectoresymatricesaleatorias

#atrizdedatos

2
3
EJEMPLOS
ALGEBRA LINEAL
Ve!"#e$
#atrizdedatos%pvariablesobservadasennob&etos
4
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x

,
_

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x

,
_

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
en
Objeto_1
Objeto_n
Variable_1 Variable_p
ALGEBRA LINEAL
Ve!"#e$
Dados

,
_

p
x
x
x
1

,
_

p
y
y
y
1
sedefine%
'.!uma

,
_

+
+
+
p p
y x
y x
y x
1 1
5
ALGEBRA LINEAL
Ve!"#e$
(.)roductodeunescalarporunvector

,
_

p
x c
x c
x c
1
*.)roductoescalardedosvectores
p p
p
i
i i
y x y x y x y x y x y x + +

1 1
1
' ,
6
ALGEBRA LINEAL
Ve!"#e$
+.,ormadeunvector
)ropiedades

p
i
i
x x x x x x
1
2 2 / 1
) ' ( '
z x b y x a bz ay x , , , + +
x y y x , ,
0 0 , 0 , x x x y x x

x x x x
7
ALGEBRA LINEAL
Ve!"#e$
-.Distanciaentredosvectores
..nguloentredosvectores
y x y x d ) , (

y
x
y x
y
x
y x
8

y x
y x,
o!
y x y x 0 o! 0 ,

ALGEBRA LINEAL
Ve!"#e$
DesigualdaddeCauc"y!c"/arz
y x y x ,
Consecuencia%
"
1 o! 1
1
,
1
,

y x
y x
y x y x y x

ALGEBRA LINEAL
Ve!"#e$
0.Ortogonalidad
1.Ortonormalidad
{ }
n
u u u , , ,
2 1

j i u u
j i
,
esortonormalsiesortogonal
ytodoslosvectorestienennorma'2esdecir2
esortogonalsi

10
{ }
n
e e e , , ,
2 1

i e
i

1
ALGEBRA LINEAL
Ve!"#e$
Ejemplo
11
o! ) (
) , ( ) (
# ) (
) (
, ) (
3
0
1
2
0
1
v
v u d iv
v u iii
u ii
v u i
v u

> <

,
_

,
_

ALGEBRA LINEAL
Ve!"#e$

3ncon&untodevectores
{ }
n
u u u , , ,
2 1

eslinealmenteindependientesi
n
n
i
i i
c c c u c

2 1
1
0
(la nica manera de construir una combinacin lineal
igual a 0 es que todos los coeficientes sean 0)
12
$0
ALGEBRA LINEAL
Ve!"#e$
)roposicin. 4odocon&untoortogonaldevectores
nonuloseslinealmenteindependiente.
{ }
n
u u u , , ,
2 1

ortogonal

{ }
n
u u u , , ,
2 1

l.i.

0 0 ,
0 , ,
0
1 1
1 1

+ +
+ +
j j j
j j j n n j
n n
c u u
u u c u c u c u
u c u c

Demostracin
13
ALGEBRA LINEAL
Ve!"#e$
)royeccinde5sobrey
14
y
y
y x
y
y y
y x
x pr
y
2
,
,
,
) (

ALGEBRA LINEAL
Ve!"#e$
Ejemplo
15
# ) (
# ) (
1
1
2
3
0
1
y pr
x pr
y x
x
y

,
_

,
_

ALGEBRA LINEAL
O#!"%"&'()*')+& ,e G#'-.S/-),!

Vsubespaciovectorialde
p

siVesespaciovectorial2
% , , b a y V v u
esdecir2si
V bv au +

DadoA6

'

n
i
i i i
c u c A span
1
&
{ }
n
u u u , , ,
2 1

)ropiedades
subespacio un es A span ii
A span A i
) ( ) (
) (
16
;
p
V
ALGEBRA LINEAL
O#!"%"&'()*')+& ,e G#'-.S/-),!
)roposicin
{ }
n
i
u u span v
n i u v
, ,
, , 1
1

{ }
0 , , ,
, ,
1 1
1

i
n
i
i
n
i
i i
n
u v c u c v v u
u u span u
Demostracin
17
ALGEBRA LINEAL
O#!"%"&'()*')+& ,e G#'-.S/-),!
1
1 1
1
1
1 1
1
2
2 2
2 3
1
1 1
1 3
3 3
1
1 1
1 2
2 2
1 1
,
,
,
,
,
,
,
,
,
,

n
n n
n n n
n n
u
u u
u x
u
u u
u x
x u
u
u u
u x
u
u u
u x
x u
u
u u
u x
x u
x u

!ean
Dadouncon&untodevectoresl.i.2sepuede
construirotrocon&untoortogonal7uegenereel
mismoespacio.
linealmenteindependientes
{ }
n
x x x , , ,
2 1

18
ALGEBRA LINEAL
O#!"%"&'()*')+& ,e G#'-.S/-),!
8ntonces%
{ } { }
{ } ortogonal es u u ii
u u span x x span i
n
n n
, , ) (
, , , , ) (
1
1 1

1"
ALGEBRA LINEAL
M'!#)e$ "#!"%"&'(e$
#atricesortogonales

A
n5n
9inversaA
'
%AA
'
6A
'
A6:.

A;transpuestadeA.

<
n5n
esortogonalsi<;<6<<;6:.
(las columnas de una matriz ortogonal son vectores ortonormales)

,
_

mn m m
n
mxn
a a a
a a a
A

2 1
1 12 11
20
ALGEBRA LINEAL
M'!#)e$ "#!"%"&'(e$
)ropiedades
'y
'x
y
x
21
x Qx iii
Qy Qx y x ii
y x Qy Qx i
ortogonal
matriz Q y x
p

) (
) (
, , ) (

% ,

ALGEBRA LINEAL
A0!"1'("#e$ 2 '0!"1e!"#e$
A
n5n
9
x Ax que tal x 0
x
autovalordeA
5esautovectorasociadoa

0
0 ) ( , 0
0 , 0
0 , 0




I A
x I A x
Ix Ax x
x Ax x

(olino)io
arater*!tio
+,ai-n
arater*!tia
22
ALGEBRA LINEAL
A0!"1'("#e$ 2 '0!"1e!"#e$
Ejemplo
Autovaloresyautovectoresde
23

,
_

1 5
5 1
A
ALGEBRA LINEAL
A0!"1'("#e$ 2 '0!"1e!"#e$
)ropiedades

. .

,
) (
) (
2 1
2 2
1 1 2 1
2 1
i l son x y x
autovalor con x
autovalor con x
ii
trA i
n

+ + +

Diagonalizacindematrices
ji ij nxn
a a A A simtrica A '

,
_

nn n
n
nxn
a a
a
a a a
A




1
12
1 12 11
24
ALGEBRA LINEAL
A0!"1'("#e$ 2 '0!"1e!"#e$3
,)'%"&'()*')+&
!iAsim=tricaentonces

,
_

,
_

,
_

'
'
'
0
0
2
1
2
1
2 1
n n
n
nxn
e
e
e
e e e
A

e5istenautovaloresreales
n
, ,
1

conautovectoresasociados
n
e e , ,
1

ortonormalestales7ue
(
(/ 0
A6)D);2siendoDdiagonaly)ortogonal
>4odamatrizsim=tricaesdiagonalizable?
25
ALGEBRA LINEAL
Ejemplo
Diagonalizar
26

,
_

2 2
2 3
A
A0!"1'("#e$ 2 '0!"1e!"#e$3
,)'%"&'()*')+&
ALGEBRA LINEAL
A0!"1'("#e$ 2 '0!"1e!"#e$3
#e4#e$e&!')+& e$4e!#'(

!ea
n
, ,
1

conautovectoresortonormales
n
e e , ,
1

tales7ue
!iAessim=trica entoncese5istenautovaloresreales
.
' '
2 2 2
'
1 1 1 n n n
e e e e e e A + + +
.
1
12
1 12 11

,
_

nn n
n
nxn
a a
a
a a a
A




27
ALGEBRA LINEAL
Ejemplo
Descomposicinespectralde
28

,
_

6 2
2 "
A
A0!"1'("#e$ 2 '0!"1e!"#e$3
#e4#e$e&!')+& e$4e!#'(
ALGEBRA LINEAL
F"#-'$ 0',#5!)'$

A
n5n
sim=trica9
( )

<


+
+ + + + + + +

,
_

,
_

n
j i
i
n
j
j i ij
n
i
n
j
n
i
i ij j i ij
n n n n j i ij n nn
n nn n
n
n
x x a x a x x a
x x a x x a x x a x a x a
x
x
x
a a
a
a a a
x x x x f
1 1 1 1 1
2
1 1 2 1 12
2 2
1 11
2
1
1
21
1 12 11
2 1
2
) (

n
x
2

,
_

n
x
x
x
1
f>5?65;A5esunaformacuadrtica
2"
ALGEBRA LINEAL
F"#-'$ 0',#5!)'$
Ejemplo
85presarmatricialmentelaformacuadrtica
8scribirenformacuadrtica
30
3 2 3 1 2 1
2
3
2
2
2
1 3 2 1
5 4 6 3 2 5 ) , , ( x x x x x x x x x x x x f + +
( )

,
_

,
_

2
1
2 1 2 1
2 2
2 1
) , (
x
x
x x x x f
ALGEBRA LINEAL
F"#-'$ 0',#5!)'$
ComoA
n5n
essim=trica2esdiagonalizable2
sepuedeescribirA6)D);y2portanto2
7ueda%f>5?65;)D);5.
@aciendoy6);5%
( ) ,
0
0
' ) (
1
2
1 1
1

,
_

,
_

n
i
i i
n n
n
y
y
y
y y Dy y y f

setiene
. ) (
2
1
2
1 1
2
n n
n
i
i i
y y y y f

+ +
31
F"#-'$ 0',#5!)'$
x
2
x
1 y
2
y
1
e
2 e
1
2

c
1

c
ALGEBRA LINEAL
32
ylosautovectores
5;A56c
(
representageom=tricamenteunaelipse
en
2 2
2 2
2
1 1
2
2
' '
'
c y y c x !D! x
c Ax x
+

9losautovaloresson
2 1
>
normalizadossone
'
ye
(.

F"#-'$ 0',#5!)'$
ALGEBRA LINEAL
33
Ejemplo
Aepresentar2"allarlose&esyobtenerlae5presin
reducidade
( ) "
13 5
5 13
2
1
2 1

,
_

,
_

x
x
x x
F"#-'$ 0',#5!)'$
Clasificacindeformascuadrticas
ALGEBRA LINEAL
34
!eaf>5?65;A5

fesdefinidapositivasi

fessemidefinidapositivasi

fessemidefinidanegativasi

fesdefinidanegativasi

fesindefinidasi
0 ) ( , 0 > x f x
0 ) ( , x f x
n
0 ) ( , 0 < x f x
0 ) ( 0 ) (
2 1 2 1
< > x f y x f que tal x y x
n n
0 ) ( , x f x
n
F"#-'$ 0',#5!)'$
!eanlosautovaloresdeA

fesdefinidapositiva

fessemidefinidapositiva

fessemidefinidanegativa

fesdefinidanegativa

fesindefinida
ALGEBRA LINEAL
0 , , 0
1
< <
n

0 , , 0
1

n

0 , , 0
1

n

0 , , 0
1
> >
n

0 , 0 < >
j i

35
n
, ,
1

R'6* 0',#',' ,e 0&' -'!#)*

BesraCzdeAsiA6BB9
ALGEBRA LINEAL

n
i
i i
e e A
1
'
AaCzcuadradadeunamatriz%
Asemidefinidapositiva;
B6A
'D(
9A6A
'D(
A
'D(

!iAessim=tricayA6)D);con
descomposicinespectral
entonces%
36
F"#-'$ 0',#5!)'$
ALGEBRA LINEAL
AaCzcuadradadeunamatriz%
'
'
0
0

'
0
0

1
1
2 / 1
1
i i
n
i
i
n
n
e e
! ! A
! ! A "ea

,
_

,
_

'
1
'
/ 1 0
0 / 1
1
1
1
i i
n
i
i
n
e e ! ! A

,
_

,ota%
37
De$"-4"$))+& $)&%0('# ,e 0&' -'!#)*
ALGEBRA LINEAL
i

DadalamatrizA
m5n
2AA;escuadraday
sim=trica9portanto2diagonalizable.

V # A
$

,
_

0 0
0
0
0
1

esunvalor singulardeA2si
2
i

esautovalordeAA;.
Descomposicinsingular
!eaAunamatrizmxn9 $
, ,
1

valoressingularesdeA.
8ntoncese5istenmatricesortogonales3yVtales7ue%
38
Ve!"#e$ 2 -'!#)e$ '(e'!"#)'$
2 2
)1 ( 2 ) (
) (
aleatoria 3ariable
i i i i ii
i i
i
X % X % X V
X %
X

,
_

,
_

mn m m
n
p
X X X
X X X
X
X
X

2 1
1 12 11 1
%
Vector
aleatorio
#atriz
aleatoria
31
Ve!"#e$ 2 -'!#)e$ '(e'!"#)'$

,
_

,
_

) (
) (
1 1
p p
X %
X %
%X

!ellamavector de mediasa%
ycovarianzaentredosvariablesa
!edefinelamatriz de covarianzasdeXcomo%
)1. )( 2( ) , (
j j i i j i ij
%X X %X X % X X &ov

,
_

pp p
p
X
VX

1
1 11
40

& +ntone! . , % on!tante! ,
1 1

,
_

,
_

VX %X
c
c
X
X
X
p p

c c X c V ii
c X c % i

' ) ' ( ) (
' ) ' ( ) (
'. ) ( ) (
. ) ( ) (
& +ntone! . on!tante! 4e )atri5
& & &X V ii
&%X &X % i
&
mxp

Ve!"#e$ 2 -'!#)e$ '(e'!"#)'$

Ve!"#e$ 2 -'!#)e$ '(e'!"#)'$
ALGEBRA LINEAL
Ejemplo
42

,
_

,
_

'

,
_

4 2
2 6
0
1
2
2
1 2 3
2 1 2
1 2 1
2
1

X X '
X X '
X X '
X
X
X
Ve!"#e$ 2 -'!#)e$ '(e'!"#)'$
) ( ) ( ) ( ) (
) ( ) ( ) (
) ( ) (
) ( ) (
) ( ) ( ) (
1
1 11
' % X % ' X % ' iii
( X A% AX( % ii
X % X %
X % X %
A X A% AX % i
mxn
mn m
n
+ +

,
_

)ropiedades
!eaE
m5n
yseanA
F5m
yB
n5r
matricesdeconstantes.
8ntonces%
43
Ve!"#e$ 2 -'!#)e$ '(e'!"#)'$
,
1
1
1
2 1
2 21
1 12

,
_

p p
p
p
r r
r r
r r

#atrizdecorrelaciones
,
2 / 1 2 / 1
V V
enformamatricial%
dondeVeslamatriz de varianzas%

,
_

,
_

2
2
1 11
0
0
0
0
p pp
V

donde
%
jj ii
ij
ij
r

44
Ve!"#e$ 2 -'!#)e$ '(e'!"#)'$

,
_

,
_

,
_

+
) 2 (
) 1 (
1
1
1
%
X
X
X
X
X
X
X
X
X
X
p
r
r
p

)articindeunvectoraleatorio

,
_

) 2 (
) 1 (

Vectordemedias%
!ea

#atrizdecovarianzas%

,
_

22 21
12 11
) , ( ) , (
) (
) (
) 2 ( ) 1 (
) 2 ( ) 1 ( '
21 12
) 2 (
22
) 1 (
11
j i
X X &ov X X &ov
X V
X V



2donde
45
M'!#)* ,e ,'!"$
46
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x

,
_

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x

,
_

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
en
Objeto_1
Objeto_n
Variable_1 Variable_p
n
x
x
n
x
x
n
i
ip
p
n
i
i


1 1
1
1

M'!#)* ,e ,'!"$
47

,
_

p
x
x
x
1

Vectordemedias%

#atrizdevarianzasycovarianzas%
donde

,
_

pp p
p
n
s s
s s
"

1
1 11
n x x x x s
j $j
n
$
i $i ij
/ ) ( ) (
1

#atrizdecorrelaciones%
2 / 1 2 / 1

n n n
V " V )
2donde

,
_

pp
n
s
s
V
0
0
11

48
EJEMPLOS
EJEMPLOS
4"
50
EJEMPLOS
51
EJEMPLOS
52
EJEMPLOS
53
EJEMPLOS
54
EJEMPLOS
M'!#)* ,e ,'!"$
% . . . , , , %
2 1
1
d i i X X X
X
X
X
n
p

,
_

)roposicin
n
X
X
n
i
i

1
Dado
55

n
n
" % iii
n X V ii
X % i
n
1
) ( ) (
/ ) ( ) (
) ( ) (
M'!#)* ,e ,'!"$
56
Gamatrizdedatossepuederepresentarcomo%

Diagramadedispersin2npuntosenelespacio
p

5
'
5
(
p6(
5
'
5
(
5
*
p6*
ComoparapH*noesposiblerepresentarlo2seutilizan
diagramasdedispersinmIltipleconparesde
variables.
M'!#)* ,e ,'!"$
57

Considerandolascolumnasenvezdelafilasdela
matrizdedatos2esdecir2ppuntosen
n
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x

,
_

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
en
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
np n n n
p
p
p
X
x x x x
x x x x
x x x x
x x x x

,
_

3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
p
en
Objeto_1
Objeto_n
Variable_1 Variable_p
6
1
6
2
6
3
6
p
)aracuatrovariables%

,
_

34 33 32 31
24 23 22 21
14 13 12 11
x x x x
x x x x
x x x x
X
6
1
6
2
6
3
6
4
J
'
J
+
J
*
J
(
M'!#)* ,e ,'!"$
58

yformaelmismongulocontodos
lose&es.

,
_

1
1
1
1
nx
n 1
Vectordeunos%
nunos
)ropiedades

eselvectorunitario7ueformaelmismo
nguloentodaslasdirecciones.
n / 1
M'!#)* ,e ,'!"$
5"

)royeccindeunvectorsobreelvector

,
_

i
i
i
n
j
ij
i
i
x
x
x
n
x
y
y pr 1 1 1
1 , 1
1 ,
) (
1
1
& 1
y
i
1
1
i
x
M'!#)* ,e ,'!"$
60

,
_

,
_

,
_

1
1
1 1

i
ni
i
i ni
i i
i
x
x
x
x x
x x
d
Vectordedesviacionesalamedia%
M'!#)* ,e ,'!"$
61
8ntonces%
ij
jj ii
ij
jj ii
ij
j i
j i
j i
ij j $j
n
$
i $i j i
ii i i ni i i i
r
s s
s
ns ns
ns
d d
d d
d d
ns x x x x d d
ns d x x x x d


+ +

,
) , o!(
) ( ) ( ,
) ( ... ) (
1
2
2 2
1
M'!#)* ,e ,'!"$
62

,
_

,
_

,
_

pp p
p
p p
X %
X
X
X

1
1 11 1 1
% ) ( %
Varianzageneralizadayvarianzatotal%
M'!#)* ,e ,'!"$
63

VarianzageneralizadadeX%

VarianzatotaldeX%

Varianzageneralizadamuestral%

Varianzatotalmuestral%
) 4et(
pp
traza + +
11
) (
pp n
s s " traza + +
11
) (
) 4et(
n n
" "
M'!#)* ,e ,'!"$
64
:nterpretacingeom=trica

rea6

Varianzageneralizadaen
p
n
n
Volumen
"
2

7 7 ) 1 ( o! 1
2
12 22 11
2
22 11 2 1 n
" n r s s n ns ns sen d d
p
65
EJEMPLOS
66
EJEMPLOS
67
EJEMPLOS
M'!#)* ,e ,'!"$
68

,
_

,
_

,
_

,
_

,
_

p p pp p
p
n
p p
b
b
b
c
c
c
s s
s s
"
x
x
x
X
X
X

1 1
1
1 11 1 1
% % % %
Combinacioneslinealesdelascomponentesde
unavariable
ylascombinacioneslineales%

#ediamuestraldecX%

VarianzamuestraldecX%

CovarianzamuestraldecXybX%
p p
p p
X b X b X b
X c X c X c
+ +
+ +

1 1
1 1
'
'
x c'
c " c
n
'
b " c
n
'
M'!#)* ,e ,'!"$
6"
ALGEBRA LINEAL
Ejemplo
3 1
2 1
3
2
1
2 '
3 2 '
0 1 4
0 1 2
0 1 3
1 0 2
X X X b
X X X c
X
X
X
X X

,
_

,
_

70
EJEMPLOS
71
EJEMPLOS
72
EJEMPLOS
73
EJEMPLOS
74
EJEMPLOS
75
EJEMPLOS
76
EJEMPLOS