TR LMSRLS

Introduction
LMS
Moindres Carres Recursifs (MCR)
Estimation Bayesienne
Moindres carres recursifs et algorithme adaptatif
Departement du Traitement du Signal et des Images
Laboratoire de Transmission et de Communication de lInformation-UMR5141
Telecom Paris-Tech
6 mars 2011
Introduction
LMS
1
Introduction
2
LMS
3
4
Introduction
LMS
Introduction
Dans la suite on envisage des systèmes entree-sortie qui varient
dans le temps.
Sadapter : changer sa structure, ses modes de travail, ses
paramètres pour repondre à des changements denvironnement.
Introduction
LMS
Exemple : Annulation decho acoustique
Figure: Annulation decho acoustique
En pratique, les coecients du ltre doivent etre modies de
facon à suivre les variations du canal acoustique.
En labsence du signal s(n), le signal en sortie de lannuleur decho
doit etre nul.
Introduction
LMS
Estimation de la moyenne : convergence
On veut estimer la moyenne m = E[x
1
] dune suite de v.a. x
n
supposees i.i.d. On utilise lestimateur
m
n
=
1
n
n
i=1
x
i
Acquisition/convergence : la loi des grands nombres assure
Mis sous forme recursive . . . il vient
m
n
= m
n1
+
n
(x
n
m
n1
)
o` u m
0
= 0 et o` u
n
=
1
n
Le pas tend vers 0 quand n tend vers linni.
Introduction
LMS
Estimation de la moyenne : poursuite
On suppose à present que
E[x
n
] =
_
m
1
si n T
m
2
si n > T
Pour n > T, on a m
n
m
2
=
T
n
(m
1
m
2
) +
n
o` u
n
=
1
n
T
i=1
(x
i
m
1
) +
1
n
n
i=T+1
(x
i
m
2
)
Daprès les hypothèses,
n
est centree. Par consequent pour n > T
E
_
( m
n
m
2
)
2
T
2
(m
1
m
2
)
2
n
2
Capacite de poursuite
Introduction
LMS
Estimation de la moyenne : algorithme à pas constant
Considerons lalgorithme à pas constant :
m
n
= m
n1
+(x
n
m
n1
)
o` u on suppose que x
n
= m+Z
n
avec Z
n
BB(0,
2
).
On pose
n
= m
n
m. Alors
n
= (1 )
n1
+Z
n
Cette equation est celle dun processus AR-1. On sait quelle a une
solution stationnaire ssi [1 [ < 1 cad 0 < < 2,
Introduction
LMS
On montre que la solution stationnaire a pour moyenne :
E[
n
] = 0
et, par consequent, m
n
uctue autour de la vraie valeur m et que
sa variance secrit :
var(
n
) =

2
1 (1 )
2

2
=

2

2
Si 2 alors . . .
On doit accepter un compromis entre convergence et capacite de
poursuite.
Introduction
LMS
Algorithme recursif
Pour prendre en compte deventuelles non-stationnarites, on
considère des algorithmes de la forme suivante :
n
=

n1
+
n
(e(n))
o` u
n
tend vers 0 quand e(n) tend vers 0. On note que cette
forme dalgorithmes ne necessite ni une operation de minimisation
ni une operation de calcul de moyenne. On souhaite verier les
points suivants :
la simplicite dimplementation
la capacite dacquisition,
la capacite de poursuite.
Introduction
LMS
Theorème de projection
On considère un espace de Hilbert H.
Soit x H et ( H.
Il existe un unique element de (, note (x[(), tel que
y ( |x (x[()| |x y|
(x[() verie
x (x[(), (, principe dorthogonalite
|x (x[()|
2
= |x|
2
|(x[()|
2
Soit v H. Notons = v (v[() alors
(x[( v) = (x[C) + (x[) = (x[C) +
(x, )
(, )

Introduction
LMS
Filtre de Wiener
Dans la suite, lespace de Hilbert considere est celui des v.a. de
carre integrable E
_
[x
n
[
2
< +.
On considère une suite dobservations (x
n
, y
n
) stationnaires au
second ordre, centrees et de covariance stationnaire et on cherche
= [
0
, ,
P1
]
T
qui minimise
J() = E
_
[x
n
T
y
n
[
2
_
o` u y
n
= [y
n
, , y
nP+1
]
T
. Par consequent verie :
x
n
T
y
n
y
n
cad E
_
y
n
(x
n
T
y
n
)
T
_
= 0
Introduction
LMS
La solution est le ltre dit de Wiener dont lexpression secrit :
w
=
_
E
_
y
n
y
T
n
__
1
E
_
(y
n
x
n
)
_
et
J(
w
) = E
_
[x
n
[
2
E
_
x
n
y
T
n
_ _
E
_
y
n
y
T
n
__
1
E
_
(y
n
x
n
)
_
On en deduit :
J() = J(
w
) + (
w
)
T
R
yy
(
w
)
Introduction
LMS
Reprenons :
w
=
_
E
_
y
n
y
T
n
__
1
E
_
(y
n
x
n
)
_
(1)
Les problèmes lies au calcul de
w
(expression (1)) sont :
Estimation des covariances,
Calcul de linverse de matrice,
Absence dadaptation
Pour repondre à ces dierents points, une idee consiste à deduire,
dans un premier temps, un algorithme recursif pour la solution
stationnaire puis de remplacer certaines esperances par des
estimations basees sur les observations passees.
Introduction
LMS
Algorithme du gradient
Un algorithme recursif classique en optimisation est lalgorithme
dit du gradient. Soit la fonction dobjectif à minimiser
J() = E
_
[x
n
[
2
2
T
E
_
x
n
y
n
_
+
T
E
_
y
n
y
T
n
_
Son gradient secrit :
(J) = 2E
_
x
n
y
n
_
+ 2E
_
y
n
y
T
n
_
Introduction
LMS
Lalgorithme du gradient a pour expression :
n
=
n1
h
(J), o` u 0 (2)
=
n1
+ 2E
_
y
n
(x
n
y
T
n
n1
)
_
= (I 2E
_
yy
T
)
n1
+ 2E
_
y
n
x
n
_
On montre qu,e si 0 < < 2/
max
, la suite
n
converge et sa
limite est . . .
Introduction
LMS
150
100
50
0
50
100
150 40
30
20
10
0
10
20
30
40
50
0
500
1000
Figure: Critère du gradient deterministe
Introduction
LMS
LMS - Least Mean Squares
Lalgorithme LMS, appele aussi algorithme du gradient
stochastique, consiste à supprimer les esperances dans (2), ce qui
donne :
Valeur initiale :
0
= [0, , 0]
T
,
Repeter :
e
n
= x
n
y
T
n
n1
n
=
n1
+e
n
y
n
(3)
Le problème de la convergence est un problème dicile dans le cas
general.
Introduction
LMS
En pratique, pour xer la valeur de , on adopte souvent la
procedure suivante : on augmente progressivement jusquà ce
que lalgorithme diverge puis ensuite on reduit la valeur obtenue
dau moins 10%.
Introduction
LMS
LMS normalise
On a vu que le pas du gradient doit etre choisi comme linverse de
la plus grande valeur propre. Do` u lidee de prendre, quand le
signal nest pas stationnaire, un pas variant comme linverse de la
puissance instantanee.
Valeur initiale :
0
= [0, , 0]
T
,
Repeter :
e
n
= x
n
y
T
n
n1
n
=
n1
+

+y
T
n
y
n
e
n
y
n
(4)
Introduction
LMS
Moindres Carres Recursifs avec facteur doubli exponentiel
On reprend lidee des moindres carres qui, dans le cas de la
moyenne secrit
min
m
n
i=1
(x
i
m)
2
qui donne comme estimateur m
n
= n
1
n
i=1
x
i
dont lexpression
recursive secrit
m
n
= m
n1
+
1
n
(x
n
m
n1
) (5)
Introduction
LMS
Un inconvenient de lexpression (5) en terme de poursuite est le
gain de la forme 1/n qui tend vers 0 quand n tend vers linni.
Pour contourner cette diculte on introduit un facteur doubli sur
les echantillons passes :
min
m
n
i=1
(x
i
m)
2
ni
avec 0 < 1
qui donne pour ,= 1
m
n
= m
n1
+
1
1
n
(x
n
m
n1
)
Introduction
LMS
On observe une suite scalaire x
n
et une suite vectorielle y
n
de
dimension P. On cherche
o
qui minimise
J() =
n
i=1
ni
(x
i
y
T
i
)
2
= |x Y |
2
o` u Y = [y
T
1
, , y
T
n
]
T
et x = [x
1
, , x
n
]
T
.
Introduction
LMS
La solution de la minimisation sur verie
(x Y
o
) Y
ce qui secrit :
o
= (Y
T
Y )
1
Y
T
x
et
J(
o
) = x
T
x x
T
Y (Y
T
Y )
1
Y
T
x
Introduction
LMS
On note à present la valeur obtenue à letape n :
n
= (Y
T
n
n
Y
n
)
1
Y
T
n
n
x
n
o` u Y
n
= [y
T
1
, , y
T
n
]
T
et x
n
= [x
1
, , x
n
]
T
.
On donne le lemme dinversion matricielle :
(R +
T
)
1
= R
1
R
1
T
R
1
1 +
T
R
1
(6)
Introduction
LMS
Montrons que pour n = 0 . . . :
K
n+1
=
1
Q
n
y
n+1
1 +
1
y
T
n+1
Q
n
y
n+1
n+1
=
n
+K
n+1
(x
n+1
y
T
n+1
n
) (7)
Q
n+1
=
1
Q
n
(1 +
1
y
T
n+1
Q
n
y
n+1
)K
n+1
K
H
n+1
avec comme conditions initiales Q
0
= I
P
/ with 1 et
0
= 0.
Introduction
LMS
Estimation bayesienne
Modèle statistique = famille de mesures de probabilite denies sur
le meme espace dobservation :
A, B(A), p
X|
(x, );
Un estimateur de est une application T : A .
Dans lapproche bayesienne on suppose que est un v.a. et que sa
loi possède une densite notee p
(t). Lestimateur qui minimise

lecart quadratique E
_
|
(X)|
2
_
est lesperance conditionnelle,
qui secrit
E[[X] =
_
tp
|X
(t, X)dt
Introduction
LMS
Estimateur lineaire, bayesien
Soit une observation X = (x
1
, . . . , x
n
)
T
et R
p
.
On suppose connus les moments jusquà lordre deux :
E[], E[X],
R
X
= E
_
( E[])(X E[X])
T
,
R
= E
_
( E[])( E[])
T
,
R
XX
= E
_
(X E[X])(X E[X])
T
.
Lestimateur lineaire de risque quadratique minimum est donne
par :
(X) = E[] +R
X
R
1
XX
(X E[X]) (8)
Le risque quadratique minimal est :
R
= R
R
X
R
1
XX
R
X
Introduction
LMS
Gauss-Markov bayesien
Soit le modèle dobservation lineaire gaussien deni par
x
n
= b
T
n
+w
n
x
n
= B
n
+w
n
(9)
Lestimateur bayesien est alors donne par (8) qui secrit :
n
= E[] +R
B
T
n
(B
n
R
B
T
n
+R
WW
)
1
(x
n
B
n
E[]) (10)
= E[] +
_
R
1
+B
T
n
R
1
WW
B
n
_
1
B
T
n
R
1
WW
(x
n
B
n
E[])
Introduction
LMS
et le risque bayesien
R
= R
B
T
n
(B
n
R
B
T
n
+R
WW
)
1
B
n
R
=
_
R
1
+B
n
R
1
WW
B
T
n
_
1
Introduction
LMS
Algorithme recursif
Posons :
x
n+1
=
_
x
n
x
n+1
_
, B
n+1
=
_
B
n
b
T
n+1
_
, R
WW,n+1
=
_
R
WW,n
0
0
2
n+1
_
et Q
n
=
_
R
1
+B
T
n
R
1
WW,n
B
n
_
.
Les solutions obtenues pour lestimateur aux etapes n et (n + 1)
verient :
Q
n
(
n
E[]) = B
T
n
R
1
WW,n
(x
n
B
n
E[])
Q
n+1
(
n+1
E[]) = B
T
n+1
R
1
WW
(x
n+1
B
n+1
E[])
Introduction
LMS
On verie aisement que :
Q
n+1
= Q
n
+
2
n+1
b
n+1
b
T
n+1
(11)
Q
1
n+1
= Q
1
n

Q
1
n
b
n+1
b
T
n+1
Q
1
n
2
n+1
+b
T
n+1
Q
1
n
b
n+1
puis
Q
n+1
(
n+1
n
) = (Q
n+1
Q
n
)(
n
E []) + b
n+1
2
n+1
(x
n+1
b
T
n+1
E [])
=
2
n+1
b
n+1
b
T
n+1
(
n
E []) + b
n+1
2
n+1
(x
n+1
b
T
n+1
E [])
= b
n+1
2
n+1
(x
n+1
b
T
n+1
n
)
Introduction
LMS
Par consequent :
n+1
=

n
+K
n+1
(x
n+1
b
T
n+1
E[])
o` u nous avons pose K
n+1
= Q
1
n+1
b
n+1
2
n+1
. En utilisant (11) et
en posant P
n
= Q
1
n
, on en deduit que
K
n+1
=
P
n
b
n+1
2
n+1
+b
T
n+1
P
n
b
n+1
o` u P
n+1
verie (11), ce qui donne :
P
n+1
= (I K
n+1
b
T
n+1
)Pn
Introduction
LMS
En denitif, on a lalgorithme recursif :
Valeurs initiales :
0
= E[]
P
0
= R
Pour n = 0, 1, . . . repeter :
_
_
K
n+1
=
P
n
b
n+1
2
n+1
+b
T
n+1
P
n
b
n+1
n+1
=

n
+K
n+1
(x
n+1
b
T
n+1
n
)
P
n+1
= (I K
n+1
b
T
n+1
)P
n
(12)
A rapprocher de (7).

TR LMSRLS

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

TR LMSRLS

Hochgeladen von

Copyright:

Verfügbare Formate

Introduction

Son gradient secrit :

(t). Lestimateur qui minimise

Das könnte Ihnen auch gefallen