Notes de cours en traitement numérique du signal et applications

Niveau : Filière RT4 (INSAT)

Chargée de cours : R. Amara

Livre de base pour les notes de cours : ”statistical signal processing” (S. Hayes)

1
 A. Moments Conjoints

• l’intercorrélation de 2 V.A (x, y) (ou leur moment conjoint d’ordre 2) est

rxy = E{xy ∗ }

• l’intercovariance (x, y) par

Cxy = E{(x − mx )(y − my )∗ } = rxy − mx m∗y

• leur coefficient de corrélation normalisée par

E{xy ∗ } − mx m∗y
ρxy =
σx σy
B. Déf. de l’indépendance, la décorrélation et l’orthogonalité

• x et y sont statistiquement indépendantes si leur ddp conjointe est séparable

comme suit
fx,y (α, β) = fx (α)fy (β)
• x et y sont décorrélées si

Cxy = 0 ⇔ E{xy ∗ } = E{x}.E{y}∗

• x et y sont orthogonaux si rxy = 0

C. Application : Estimation linéaire à moyenne quadratique minimale

Pb Estimer une v.a x connaissant une certaine réalisation d’une v.a y (qui lui
est statistiquement liée)

Idée est de générer une estimation x̂ très proche de la vraie valeur de x connais-
sant la valeur prise par y

1 → on doit choisir une structure pour x̂ en fonction de y (par exemple, linéaire

2
x̂ = ay + b)
2 → Mais quelles valeurs pour a et b nous garantissent x̂ proche de x !
3 → d’abord, traduire mathématiquement x̂ proche de x (i.e quelle distance
d(x, x̂) peut on définir !)
Exemple. La MQ d(x, x̂) = E{(x − x̂)2 }
d(x, x̂) = P {x̂ ̸= x}
4 → déterminer donc a et b de façon à minimiser d(x, x̂)

Exemple x̂ = ay + b et ξ = E{(x − x̂)2 }

les paramètres optimaux sont obtenus de façon à minimiser ξ comme suit

∂ξ ∂ξ
= =0
∂a ∂b
on trouve alors
E{yx} − mx my E{y 2 }mx − E{xy}my
aopt = et bopt =
σy2 σy2
et donc
σx
x̂M Q = ρyx (y − my ) + mx
σy
et
ξmin = E{(x − x̂M Q )2 } = σx2 (1 − ρ2yx )

D. V.A gaussiennes

la ddp d’une v.a gaussienne scalaire est

1 (α − mx )2
fx (α) = √ exp{− }
2πσx2 2σx2

x et y sont conjointement gaussiens si

3
 1 (α − mx )2 (α − mx ).(β − my ) (β − my )2
fx,y (α, β) = A exp{− [ −2ρ xy + ]}
2(1 − ρ2xy ) σx2 σx σy σy2
avec
1
A= √
2πσx σy 1 − ρ2xy
Propriétés

P1 - Si x et y sont conjointement gaussiens alors z = ax + by est gaussien de

moyenne
mz = amx + bmy

et de variance
σz2 = a2 σx2 + b2 σy2 + 2abσx σy ρxy

P2 - Si x et y sont conjointement gaussiens et décorrélés alors ils sont statisti-

quement indépendants.

E. Performances de l’estimation paramétrique : Biais et Consistence

Pb Estimer un paramètre inconnu θ à partir d’un ensemble d’observations d’une

v.a x liée à ce paramètre et qu’on note xn , n = 1, . . . , N

Si on note

θ̂N : l’estimée de θ en fonction des xn , n = 1, . . . , N

On appelle Biais B = θ − E{θ̂N }

4
• Si B = 0 =⇒ E{θ̂N } = θ (estimateur non biaisé)
• Si B ̸= 0 =⇒ estimateur biaisé

• Si B ̸= 0 mais limN −→+∞ E{θ̂N } = θ =⇒ estimateur asymptotiquement non

biaisé

il est nécessaire de voir si l’estimateur est convergent ou pas en observant sa

variance

lim var{θ̂N } = lim E{|θ̂N − E{θ̂N }|2 } = 0

N −→+∞ N −→+∞

on dit alors que l’estimateur est asymptotiquement consistent

Un estimateur non biaisé est consistent si

θ̂N =⇒N −→+∞ θ en M.Q ( si donc ) lim E{|θ̂N − θ}|2 } = 0

N −→+∞

5
 CHAPITRE2. Caractérisation des signaux ou processus aléatoires à temps

Soit x(n) un s.a à Temps Discret (TD)

• si on fixe n = n0 =⇒ x(n0 ) est une v.a
• pour une réalisation wi ∈ Ω =⇒ x(n; wi ) = xi (n) est une trajec-
toire déterministe du s.a
1. Comment caractériser un signal aléatoire ? par

• sa distribution instantannée au 1er ordre Fx(n) (α) = P {x(n) ≤ α}

dFx(n) (α)
• ou sa ddp instantannée fx(n) (α) =
dα

Pour une caractérisation complète du s.a, on utilise sa distribution (ou ddp)

conjointe

Fx(n1 ),...,x(nk ) (α1 , . . . , αk ) = P {x(n1 ) ≤ α1 , . . . , x(nk ) ≤ αk }∀(n1 , . . . , nk ), ∀k

⇕
∂ k Fx(n1 ),...,x(nk ) (α1 , . . . , αk )
fx(n1 ),...,x(nk ) (α1 , . . . , αk ) =
∂α1 . . . ∂αk
2. Moyennes statistiques ou d’ensembles

• Moyenne de 1er ordre mx (n) = E{x(n)}

• variance σx2 (n) = E{|x(n) − mx (n)|2 } = E{|x(n)|2 } − |mx (n)|2
• la covariance du s.a Cx (k, l) = E{(x(k) − mx (k))(x(l) − mx (l))∗ }
• l’autocorrélaton du s.a rx (k, l) = E{x(k)x∗ (l)} ou encore rx (n, l − k) =

6
E{x(n)x∗ (n − k)}

Remarque

Cx (k, k) = σx2 (k) et Cx (k, l) = rx (k, l) − mx (k)m∗x (l)

Exemple

• processus harmonique x(n) = A.sin(nw0 + ϕ) ; ϕ ∼ U ([−π, π])

on Mq
A2
E{x(n)} = 0 et rx (k, l) = cos((k − l)w0 )
2
• x(n) = Aej(nw0 +ϕ)

3. Pour deux s.a x(n) et y(n), on définit

• leur intercovariance par Cxy (k, l) = E{(x(k) − mx (k))(y(l) − my (l))∗ }

• leur intercorrélation par rxy (k, l) = E{x(k)y ∗ (l)}
• les deux s.a sont décorrélés si Cxy (k, l) = 0∀k, l ⇐⇒ rxy (k, l) = mx (k)m∗y (l)
• ils sont orthogonaux si rxy (k, l) = 0

Exemples

• y(n) = x(n − 1)
• y(n) = h(n) ∗ x(n)
• Dans la plupart des systèmes d’acquisition, le bruit de mesure est modélisé
par un s.a additif
y(n) = x(n) + w(n)
7
w(n) est centré et décorélé de x(n) =⇒ ry (k, l) = rx (k, l) + rw (k, l)

• Soit
∑
M
x(n) = Am sin(nwm + ϕm ) + v(n)
m=1
les {ϕm }m sont centrées et décorrélées 2 à 2 ∼ U ([−π, π]) et indépendantes de
v(n)
⇓
1∑ 2
M
rx (k, l) = A cos((k − l)wm ) + rv (k, l)
2 m=1 m
Remarque : Processus gaussiens

 
x1 (n)
 
 
 x2 (n) 
Soit x(n) =  ..  . un s.a vec. formé de N v.a conjointement gaussiennes
 . 
 
xN (n)

sa ddp est donnée par

1 1
f (x(n)) = √ exp{− (x(n) − mx (n))′ Cx−1 (x(n) − mx (n))}
2πdet(Cx ) 2
4. Processus stationnaires

• un s.a est dit stationnaire au 1er ordre si sa ddp au 1er ordre ne dépend pas du
temps i.e

fx(n) (α) = fx(n+k) (α) ∀n ∀k(=⇒ mx (n) = mx et σx2 (n) = σx2 )

• un s.a est dit stationnaire au second ordre (ou au sens strict) si la ddp conjointe
d’ordre 2 vérifie
8
 fx(n1 ),x(n2 ) (α1 , α2 ) = fx(n1 +k),x(n2 +k) (α1 , α2 ) ∀α1 , α2 ∀k ∀n1 , n2

i.e la ddp conjointe ne dépend que de n2 − n1

5. Stationnarité au Sens Large (SSL) un s.a x(n) est dit SSL ssi

1. mx (n) = mx (i.e la moyenne statistique de dépend pas du temps)

2. l’autocorrélation rx (k, l) ne dépend que de k − l ou encore rx (n, n − k) ne
dépend que de k.
Remarque

• la stationnarité au sens strict est plus contraignante que la stationnarité au sens

SSL (pour les s.a gaussiens, les deux caractéristiques deviennent équivalentes)

• Montrer que rx (k, l) ne dépend que de k − l est équivalent à Mq

rx (k, k − n) = E{x(k)x∗ (k − n)} = rx (n)

6. Propriétés importantes pour les signaux SSL

P1− Symétrie hermitienne

rx (k) = rx∗ (−k) (pour les s.a réels rx (k) = rx (−k))

P2− rx (0) = E{|x(n)|2 } ≥ 0

9
P3− |rx (k)| ≤ rx (0) ∀k

7. Matrices d’autocorrélation et de covariance

   
∗ ∗ ∗
x(0) x(0)x (0) x(0)x (1) ..... x(0)x (p)
   
 x(1)   x(1)x∗ (0) ∗
x(1)x (p) 
∗
   x(1)x (1) ..... 
x= ..  =⇒ xx = 
H
..  ∈ C(p+1)×(p+1)
 .   . 
   
x(p) x(p)x∗ (0) x(p)x∗ (1) ..... ∗
x(p)x (p)
si x(n) SSL et en utilisant P1, on définit la matrice d’autocorrélation de x(n)
par
 
r (0) rx∗ (1) ..... rx∗ (p)
 x 
 r (1) rx∗ (p− 1) 
 x rx (0) ..... 
Rx = E{xx } =  .
H

 .. 
 
rx (p) rx (p − 1) ..... rx (0)
de la même manière et pour un s.a SSL, on appelle matrice de covariance

Cx = E{(x − mx )(x − mx )H } = Rx − mx mH
x où mx = [mx , . . . , mx ]
T

Propriétés de Rx

P1 - Rx est hermitienne i.e RxH = Rx (pour les signaux réels, RxT = Rx )

P2 - La matrice d’autocorrélation est une matrice de Toeplitz

Rx = T oep(rx (0), rx (1), . . . , rx (p))

10
P3 - La matrice d’autocorrélation d’un signal SSL est Définie Non Négative
(DNN) (spectre de Rx formé de valeurs propres λi ≥ 0)

8. Ergodicité

• Pratiquement, on a besoin de connaitre les moyennes d’ensemble d’un signal

aléatoire (exemple. mx (n), rx (k, l))

possible si on dispose de plusieurs réalisations du s.a xi (n), i = 1, . . . , L, dans

ce cas,
1∑
L
m̂x (n) = xi (n) ⇐ Pas pratique
L i=1
En temps réel, on dispose plutôt de la moyenne d’échantillons ou moyenne
temporelle (sur une trame)
N −1
1 ∑
m̂x (N ) = x(n)
N n=0

Question Pour les signaux SSL, quand est-ce que m̂x (N ) et mx sont confondus
ou peut-on avoir la convergence de m̂x (N ) vers mx ? Dans quel sens ?

Définition Pour un s.a x(n) SSL, ce signal est dit ergodique si m̂x (N ) converge
vers mx au sens de la M.Q càd

lim E{|m̂x (N ) − mx |2 } = 0
N −→+∞

Théorème Soit un s.a x(n) SSL de covariance Cx (k).

11
 N −1
1 ∑
x(n) est ergodique ⇔ lim Cx (k)
N −→+∞ N
k=0
Exemple étudier l’ergodicité des signaux suivants
• Soit le p.a x(n) = A tel que p(A = +1) = p(A = −1) = 1/2
• x(n) = Asin(nw0 + ϕ) avec ϕ ∼ U ([0, 2π])
On peut parler aussi d’ergodicité en autocorrélation
une approximation de l’autocorrélation par une moyenne d’échantillons est donnée
par
N −1
1 ∑
r̂x (k, N ) = x(n)x∗ (n − k)}
N n=0
x(n) est dit ergodique si r̂x (k, N ) converge vers rx (k) au sens de la M.Q pour
tout k
9. Bruit blanc x(n) est un bruit blanc si x(n) est SSL et que Cx (k) = σx2 δ(k)
(δ(.) étant la fonction indice de Kronecker)
10. La densité spectrale de puissance (dsp) de signaux SSL
la dsp est définie par
∑
jω
Px (e ) = rx (k)e−jkω = T F T D{rx (k) = T Z{rx (k)}[z = ejω]
k∈Z

Px (.) est périodique de période 2π. La forumule d’inversion nous ramène le

rx (k) selon
∫ π
1
rx (k) = Px (ejω )ejkω dω relation de T F T D−1
2π −π

on peut aussi définir le spectre de puissance dans le domaine en z

∑
Px (z) = rx (k)z −k = T Z{rx (k)}
k

Propriétés
P1- symétrie la dsp d’un signal SSL est réelle (P x = Px∗ ) ou encore Px (z) =
12
Px∗ (1/z ∗ )P si x(n) est en plus réel alors Px (ejω ) = Px (e−jω ) ou encore Px (z) =
Px∗ (z ∗ )
P2- Px (ejω ) ≥ 0
∫π
P3- rx (0) = E{|x(n)|2 } = 1
2π −π Px (ejω )dω
P4- le spectre de la matrice d’autocorrélation d’un processus SSL centré vérifie
minω Px (ejω ) ≤ λi ≤ maxω Px (ejω ) Exemple
• pour un bruit blanc centré rv (k) = σv2 δ(k) ⇒ pv (ejω ) = σv2
A2
• Calculer la dsp des sigaux d’autocorrélation rx (k) = 2 cos(kω0 ), rx (k) =
α|k| , |α| < 1
11. Filtrage de processus aléatoires Soit x(n) SSL de moyenne mx et d’auto-
corrélation rx (k)

y(n) = x(n) ∗ h(n) (Rappel sur le filtrage numérique)

• E{y(n)} = mx H(ej0 )
• ryx (k + n, n) = rx (k) ∗ h(k)
• montrer que ry (k + n, n) = ryx (k) ∗ h∗ (−k)

ry (k) = rx (k) ∗ h(k) ∗ h∗ (−k) (y(n) est bien SSL)

∑ ∑ ∗
• la puissance de y(n) est Py = ry (0) = l m h(l)h (m)rx (m − l) (ou en-
core Py = hH Rx h, h vecteur des coeff. de la RI, montrer l’expression dans le
cas de filtres transverses)
• par la suite Py (ejω ) = Px (ejω ).|H(ejω )|2 ou encore Py (z) = Px (z)H(z)H ∗ (1/z ∗ )
12. Applications
12.a filtrage d’un bruit blanc w(n) : bruit blanc centré tel que σw2 = 1, filtré
1
par H(z) = 1−0.25z −1 , donner dsp de la sortie x(n) correspondante puis trouver

13
l’autocorrélation correspondante
 Px (z) = σw2 H(z)H(z −1 ) = 1
(1−0.25z −1 )(1−0.25z) = 16/15
1−0.25z −1 + 4/15
z −1 −0.25 →
(T Z −1 )
rx (k) = 16 k
15 (1/4) u(k) + 4 k
15 4 u(−k − 1)
12.b Mise en forme spectrale on veut générer un s.a de dsp de la forme
5+4cos(2ω)
Px (ejω ) = 10+6cos(ω) en filtrant un bruit blanc centré de variance 1.
5+2ejω +2e−jω 5+2(z 2 +z −2 ) (2z 2 +1)(2z −2 +1)
Px (ejω ) = 10+3ejω +3e−jω d’où Px (z) = 10+3(z 2 +z −2 ) = (3z+1)(3z −1 +1) soit H(z) =
2z 2 +1
(3z+1)
13. Processus aléatoires autorégressifs (AR)
un processus AR x(n) est un processus qu’on peut modéliser par

x(n) = −ap (1)x(n − 1) − ap (2)x(n − 2) − ... − ap (p)x(n − p) +b(0)w(n)

| {z }
x̂(n): une régression linéaire de x(n)

avec w(n) est un bruit blanc centré de variance σw2

x(n) est la sortie d’un filtre tout pôles H(z) = ∑p b(0) = b(0)
1+ k=1 ap (k)z −k Ap (z) , ainsi

|b(0)|2 2 |b(0)|
2
Px (z) = σw2 ou P x (ejω
) = σ
Ap (z)A∗p (1/z ∗ ) w
|Ap (ejω )|2
En plus, si on calcule l’autocorrélation, on trouve qu’elle obéit à
∑
p
rx (k) + ap (l)rx (k − l) = σw2 |b(0)|2 δ(k) pour k ≥ 0
l=1

sous forme matricielle

    
r (0) rx (−1) . . . rx (−p) 1 1
 x    
r (1) . . . rx (−p + 1)    
 x rx (0)  ap (1) 2 0
 . .. .. ..   .  = σw |b(0)|  . 
2
 .. . . .   ..   .. 
    
rx (p) rx (p − 1) . . . rx (0) ap (p) 0

d’où l’écriture matricielle

14
 Rx ap = σw2 |b(0)|2 G

La solution de ce système nous procure ainsi les coeffcients du filtre auto-

régressif.
Remarque
• Evaluation de la pertinence de la modélisation AR sur des signaux réels à tra-
vers l’EQM calculée entre x(n) et x̂(n) (faire des tests de simulations
• s’adapter à la non stationnaité d’un signal en recalculant les statistiques mises
en jeu
• Si modélisation, pour un ordre p donné, ne fonctionne pas, alors
- faire varier l’ordre
- inclure une régression du bruit w(n) (processus ARMA)
- changer la structure du régresseur (n’est plus linéaire)

15