APLICAII ALE PCA N

COMPRESIA I
RESTAURAREA
SEMNALELOR
I. SCHEMA DE COMPRESIE/DECOMPRESIE PCA
Teorema (Schema de compresie/reconstrucie linear optimal LMS) Fie 1 2 ... m ... n
valorile proprii ale matricei de covarian i 1 , 2 ,..., m ,..., n un set de vectori proprii asociai.
Schema de compresie/reconstrucie linear definit prin
1
U W W T W
WT
X Y W T X
X W W T W

1
WT X
este optimal din punct de vedere al erorii medii ptratice dac LW L 1 , 2 ,..., m , spaiul
linear generat de vectorii 1 , 2 ,..., m .
Schema de compresie/decompresie linear de eroare ptratic minim corespunde matricelor
W 1 , 2 ,..., m , U W W T W W ,
1

WT
X Y W T X W X WW T X
m n

2
inf ,W tr j
2
j .
W M n ,m R j 1 j m 1

Dac m=n i 1 , 2 ,..., n sunt vectorii proprii ortonormali ai matricei de covarian , atunci
n
X Yi i este referit drept reprezentarea Karhunen-Love a formei X.
i 1
 Algoritmul

1. I1, I2,..., I nr exp imagini de dimensiune m n p , instane ale lui X. Se lucreaz liniarizat. Fie
dim<p numrul de componente selectate pentru compresie
nr exp
1
2. Calculeaz

nr exp
I
i 1
i

3. Centreaz datele Yi I i
, i=1,,nrexp
nr exp
1
4. Calculeaz
nrexp 1 i i
Y
i 1
Y T

5. Calculeaz componentele principale: un set de vectori proprii ortonormali corespunztori valorilor

n ordinea descresctoare a valorilor proprii. Selecteaz W 1, 2,..., dim
proprii ale lui
T
6. Realizeaz compresia: Z i W I i , i=1,,nrexp

7. Decompresia i restaurarea: X i WZi

, i=1,,nrexp
 Compresie de caractere

Multimea imaginilor iniiale (caractere reprezentate n imagini monocrome 16x16)

Multimea imaginilor restaurate de la reducerea 16x16=256 componente principale

la primele 10 componente principale

Datele iniiale: 30 exemple de dimensiune 256 (30x256=7680 componente)

Datele necesare pentru restaurare: (3116 componente)
imaginea medie, de dimensiune 256 (256 componente)
30 exemple de dimensiune 10 (30x10=300 componente)
Componentele principale, de dimensiune 10x256 (10x256=2560 componente)
 Compresie de imagini

Cateva exemple din multimea imaginilor iniiale (imagini monocrome 50x50)

Corespondentele restaurate de la reducerea 50x50=2500 componente principale la

primele 14 componente principale
II. ALGORITMII CSPCA I CSPCA CU COMPRESIE

Modelul propus pentru eliminarea zgomotului N 0, I n , CSPCA (Code Shrinkage

2

Principal Component Analysis), utilizeaz tehnici de tip PCA i contracie a codului

X 0 - setul imaginilor originale perturbat aditiv cu zgomotul t , t 0 . Se presupune
c zgomotul este un proces stochastic staionar:
2
pentru orice t, t este distribuit N 0, 2 I n , cu cunoscut.
X 0 este proces staionar, cu
media E X 0 t i

matricea de covarian Cov X 0 t , X 0 t .
T

Setul de imagini observate (cunoscute) este

X X0 .
Deoarece
E X0 t , E 0
rezult c vectorul medie
E X0 t E X este cunoscut.
 n etapa de preprocesare: datele normalizate (rezult 0 2 1 ) i centrate,

Y X E X X 0 , E Y 0, Cov Y, Y T 2 I n .
Deoarece X este observat (cunoscut), rezult c Y este cunoscut, deci matricele
2I n i sunt cunoscute (sau pot fi aproximate din date).
1
unde 1,..., n este matricea ortonormal cu coloane vectorii

Fie A 2,

2
proprii ai lui i diag 1 , 2,..., n , i 1 ,unde 1 2 ... n valorile
i
proprii ale lui .
Rezult c fiecare coloan din A corespunde unui vectori propriu al matricei

1 2 I n , iar 1 , 2 ,..., n sunt valorile proprii asociate. Deoarece
1
1
n n 1 ... 1 , rezult c A ,..., n
2
are coloanele n ordinea
1 n
cresctoare a valorilor proprii, deci componentele principale ale semnalului cu matrice
de covarian corespund componentelor minore ale semnalului cu matrice de

covarian 1 2 I n
 Fie
Z AT Y AT X 0 AT .
T
Componenta zgomot din vectorul Z este nglobat n principal n A
Obinem,

T



Cov AT , AT 21

Deoarece t este distribuit N 0, 2 I n , vectorul A are distribuia N 0, 2 1 , deci

T

T
elementele componentei zgomot rezultate, A , sunt independente.
Lui Z i este aplicat funcia de contracie
2
g u sign u max 0, u 2
i
i rezult o aproximare a lui Z n varianta fr zgomot,
Z0= A X 0 .
T

Este obinut o aproximare a setului de imagini iniiale

AT
X0 1
Z0 .
 Tehnica CSPCA este combinat cu o schem de compresie/decompresie, astfel nct
procesul de eliminare a zgomotului este tratat n spaiul caracteristicilor principale.
Ideea este aceea c, n principal, componenta zgomot este regsit n componentelor
minore ale semnalului.
Fie 1,..., n vectorii proprii unitari ai matricei i 1 2 ... n valorile
proprii corespunztoare. Pentru orice 1 m n , m 1,..., m ,
1 1 n
m diag 1 , 2 ,..., m i A m m m

2 ,...,
1 n
Modulul de eliminare a zgomotului este implementat n spaiul m-dimensional al
caracteristicilor principale, F. Obinem schem de compresie/decompresie i restaurare.
1. Compresia
Y X A m T F A m T Y
2. Modulul de eliminare a zgomotului

F F0
CSPCA

3. Decompresia F0 A m
T A m T F .
,unde X este imaginea restaurat, X
X 0
 2
Implementare. Varianta 1 se dispune de , i .

Obinerea imaginilor cu zgomot

I1, I2,..., I nr exp imagini neperturbate de dimensiune m n p , instane ale lui X 0 . Se
I
lucreaz cu blocuri 16x16 i liniarizate i normalizate I i i 255, 1 i nrexp .. Dup cum
2
rezult din model, se dispune de , i . , pot fi calculai direct din imaginile
neperturbate pentru variantele normalizate ale imaginilor,
Perturbarea: este realizat cu zgomot necorelat, fiecare pixel fiind perturbat aditiv cu
zgomot gaussian de medie 0 si deviaie standard . Rezult J1, J 2,..., J nr exp imagini
perturbate de dimensiune m n p , liniarizate.
Algoritmul de eliminare a zgomotului
Date de intrare: J 1, J 2,..., J nr exp , dim<256 ,numrul de componente selectate pentru
compresie (zgomotul este nglobat i n componentele minore, deci se recomand ignorarea
2
lor), , , 1 . Imaginile se normalizeaz (se aduc valorile matricelor n [0,1], prin
2
2
mprire la 255). Varian dup normalizare: 1
255
1. Centrarea: J i J i , 1 i nrexp
1

2. Construiete matricea transformrii liniare:

A dim dim dim dim vectori i

2,
1 2

valori proprii calculai pentru 1I p . Se lucreaz cu valorile proprii ordonate
cresctor: componentele principale ale semnalului cu matrice de covarian corespund
componentelor minore ale semnalului cu matrice de covarian 1I p
1 2

3. Aplic transformarea direct: Z i A dim J i , 1 i nrexp vector compresat la dim

T

4. Aplic funcia de contracie a codului

Z 0i t g Z i t sign Z i t max 0, Zi t 2
1
2
, 1 i nr exp, 1 t dim
t
5.Aplic transformarea invers, pentru revenirea n spaiul initial (necompresat)

Y 0i pinv A dim T Z 0i , 1 i nrexp
6. Calculeaz o aproximare a imaginilor iniiale
X i Y 0i , 1 i nrexp
J 255* X , 1 i nrexp
i i
Imagini perturbate
VARIANTA 1 DE IMPLEMENTARE
Restaurare cu reducere de dimensiune de la 256 la 30
 2
Implementare. Varianta 2 se dispune doar de .

Obinerea imaginilor cu zgomot

I1, I2,..., I nr exp imagini neperturbate de dimensiune m n p , instane ale lui X 0 . Se
lucreaz cu blocuri 16x16 i liniarizate.
Perturbarea: este realizat cu zgomot necorelat, fiecare pixel fiind perturbat aditiv cu
zgomot gaussian de medie 0 si deviaie standard . Rezult J1, J 2,..., J nr exp imagini
perturbate de dimensiune m n p , liniarizate.
Observaie
Numrul exemplelor trebuie s fie suficient de mare nct valorile estimate pentru vectorul
medie i matricea de covarian s fie apropiate de cele teoretice (de exemplu fiecare I k ,
genereaz NR imagini perturbate; numrul exemplelor perturbate devine nrexp=NR*nrexp).

Algoritmul de eliminare a zgomotului

2
J ,
Date de intrare: 1 2 J ,..., J nr exp , dim<256, . Imaginile se normalizeaz (se aduc
valorile matricelor n [0,1], prin mprire la 255).
 ,
1. Calculeaz
, unde este vectorul medie de selecie pentru J1, J 2,..., J nr exp ,
1 1

J , J ,..., J I

matricea de covarian de selecie pentru 1 2 nr exp . Consider 1
255
p

2

aproximare a lui . n modelul teoretic,
1 I p unde 1 este matricea de
255
covarian (teoretic) a vectorului aleator care a generat J1, J 2,..., J nr exp
2. Centrarea: J i J i
, 1 i nrexp
1

3. Construiete matricea transformrii liniare: A dim dim dim

2, dim vectori i valori
1
proprii calculai pentru .
1
4. Aplic transformarea direct: Z i A dim J i , 1 i nrexp vector compresat la dim
T

5. Aplic funcia de contracie a codului

Z 0i t g Z i t sign Z i t max 0, Z i t 2
, 1 i nr exp, 1 t dim
255* t

6. Aplic transformarea invers Y 0i pinv A dim Z 0i , 1 i nrexp
T

7. Calculeaz o aproximare a imaginilor iniiale X i Y 0i , Ji 255* X i , 1 i nrexp

Imagini perturbate
VARIANTA 2 DE IMPLEMENTARE
Restaurare cu reducere de dimensiune de la 256 la 30
(fiecare poza genereaz cte 40 variante perturbate, deci NR=40)