Beruflich Dokumente
Kultur Dokumente
Machine Learning
Cédric RICHARD
Université Nice Sophia Antipolis
Analyse en composantes principales
Objectifs
1
Analyse en composantes principales
Exemple
vue 3 vue 2
vue 1
2
Analyse en composantes principales
Exemple plus réaliste
cidre odeur sucre acide amer astringence suffocante piquante alcool parfum fruité
1 2.14 1.86 3.29 2.29 2 0.14 2.29 1.86 1.29 1.29
2 2.43 0.79 2.71 2.57 2 0.43 2.57 2.86 0.43 0.14
3 2.71 3.14 2.57 2.57 1.43 0.14 2.14 0.86 2.29 1.71
4 3 3.71 2.14 2.07 1.57 0 1.29 1 3.14 3.14
5 3.43 1.29 2.86 3.14 2.17 1 1.86 2.86 1.14 0.29
6 3.14 0.86 2.86 3.79 2.57 0.14 1.71 3.29 0.14 0
7 3.14 1.14 2.86 2.86 2 0.43 1.71 1.86 0.14 0
8 2.43 3.71 3.21 1.57 1.71 0 1 0.57 2.57 2.86
9 5.1 2.86 2.86 3.07 1.79 1.71 0.43 1.43 0.57 2.71
10 3.07 3.14 2.57 3 2 0 0.43 1.29 2.57 3.07
Notes obtenues pour 10 cidres selon 10 critères lors d’un concours agricole.
3
Espace des individus
Métrique
Métrique : L’ACP repose sur les distances entre individus dans E. Le choix
de la métrique a une influence fondamentale sur le résultat de l’analyse.
hxi , xj iM = x⊤
i M xj
4
Analyse des données
Métrique
5
Analyse des données
Métriques particulières
6
Analyse des données
Tableau de données centrées réduites
En effet :
d2M (xi , xj ) = kxi − xj k2M = (xi − xj )⊤ D ⊤
1/σ D 1/σ (xi − xj )
7
Inerties
Inertie par rapport à un point
8
Inerties
Inertie par rapport à un point
m xi
9
Inerties
Théorème de Huygens
Ia = Im + d2M (a, m)
Démonstration :
n
X
Ia = pi k(xi − m) − (a − m)k2M
i=1
Xn n
X n
X
= pi kxi − mk2M + pi k(a − m)k2M − 2 pi hxi − m, a − miM
i=1 i=1 i=1
= Im + d2M (a, m)
10
Inerties
Inertie par rapport à un axe
11
Inerties
Inertie par rapport à un axe
∆⊥
xi
∆
a
12
Inerties
Inertie par rapport à un sous-espace affine
13
Inerties
Inertie par rapport à un sous-espace affine
∆⊥
14
Inerties
Inertie par rapport à un sous-espace affine
a = aE + aE ⊥
avec aE ∈ E1 et aE ⊥ ∈ E1⊥ .
xi = xi,E + xi,E ⊥
15
Inerties
Inertie par rapport à un sous-espace affine
Ia = IF1 + IF1⊥
16
Inerties
Inertie par rapport à un sous-espace affine
F1⊥
E1⊥
xi,F ⊥ xi
xi,E ⊥
0 xi,E E1
a xi,F F1
17
Inerties
Inertie par rapport à un sous-espace affine
1
Remarque : toute autre métrique M peut être choisie en travaillant avec Y M 2
18
Inerties
Vocabulaire
La propriété Im = IE1 + IE1⊥ signifie qu’en projetant les données sur E1 , l’inertie
perdue par le nuage vaut IE1 . Le nuage projeté a alors pour inertie IE1⊥ .
En conséquence :
19
Analyse en Composantes Principales
Formulation du problème
20
Analyse en Composantes Principales
Résolution du problème
d2 (z i , ∆) = min d2 (z i , vi u)
vi
avec v = [v1 , . . . , vn ]⊤ .
21
Analyse en Composantes Principales
Détermination du premier axe
22
Analyse en Composantes Principales
Détermination du premier axe
Lequel ?
23
Analyse en Composantes Principales
Détermination du premier axe
Le vecteur propre recherché est donc celui associé à la plus grande valeur propre
24
Analyse en Composantes Principales
Détermination du premier axe
Inertie correspondante : L’inertie expliquée par l’axe ∆(u1 ) est donnée par
I∆⊥ (u1 ) = Im − I∆ (u1 )
= Trace(Σ) − [Trace(Σ) − λ1 ]
= λ1
25
Analyse en Composantes Principales
Détermination du deuxième axe
= (1 − 2 + 1) ku1 k2 kv 1 k2D u1 = 0
26
Analyse en Composantes Principales
Détermination du deuxième axe
Pour déterminer le deuxième axe, on pose le même problème que pour le premier,
avec le tableau Z 1 . On aboutit alors à u2 . En effet
Inertie correspondante : L’inertie expliquée par l’axe ∆(u2 ) est donnée par
I∆⊥ (u2 ) = (Im − λ1 ) − I∆ (u2 )
= Trace(Σ1 ) − [Trace(Σ1 ) − λ2 ]
= λ2
et ainsi de suite...
27
Analyse en Composantes Principales
Axes principaux et inertie expliquée
IEk⊥ = λ1 + . . . + λk0
0
28
Analyse en Composantes Principales
Nombre d’axes à retenir
1 3 5 7 9
29
Analyse en Composantes Principales
Composantes principales
cℓk = z ⊤
ℓ uk
ck = Z uk
30
Analyse en Composantes Principales
Propriétés des composantes principales
Moyenne arithmétique :
Variance :
⊤ ⊤
var(ck ) = c⊤
k D ck = uk Z DZuk = λk
Covariance : Il s’agit des vecteurs ck des coordonnées des individus sur l’axe
principal ∆(uk ), c’est à dire
⊤ ⊤
cov(ck , cℓ ) = c⊤
k D cℓ = uk Z DZuℓ = 0
31
Analyse en Composantes Principales
Qualité de la représentation d’un individu
p
Comme z ⊤
ℓ uk = cℓk , et {uk }k est une base orthonormée de IR , on a
2 c2ℓk
cos (z ℓ , uk ) = Pp 2
k=1 cℓk
32
Analyse en Composantes Principales
Contribution d’un individu à une composante principale
Pn
On a vu que var(ck ) = λk = i=1 pi c2ik .
Définition : On définit la contribution de l’individu ℓ à un axe principal k par
pℓ c2ℓk
θℓk =
λk
33
Analyse en Composantes Principales
Espace des variables
hz i , z j iD = (z i )⊤ D z j kz i k2D = (z i )⊤ D z i
i j hz i , z j iD
cor(z , z ) = i j
= cos(z i , z j )
kz kD kz kD
√
Remarque : Les composantes principales normalisée ck / λk forment une
base D-orthonormale :
* + !
c c ci cj
√ i , pj = cor √ , p = δij
λi λj λi λj
D
34
Analyse en Composantes Principales
Corrélation des composantes principales et variables
i hck , z i iD
cor(ck , z ) = √
λk
Z ⊤D ck
cor(ck , Z) = √
λk
35
Analyse en Composantes Principales
Cercle des corrélations
∆(u2 )
z4
z1
∆(u1 )
z3
z2
36
Analyse en Composantes Principales
En résumé
37