Rls

4.
5 Algoritmo RLS (Recursive Least Squares)

Metodo de mnimos cuadrados (LS)
Ecuaciones normales
Pseudoinversa
Variantes del LS
Algoritmo RLS (Recursive Least Squares)
Introduccion
Calculo recursivo de la matriz de autocorrelacion y la estima LS
Convergencia
Comparacion de prestaciones con el LMS
Conclusiones
Doctorado en Tecnologas de las Comunicaciones - Procesado Digital de Seales en Comunicaciones (Curso 2003/04)
M
etodo de mnimos cuadrados (LS)
LS: Solucion determinista a problemas de estimacion lineal
Planteamiento del problema
Determinar los coeficientes optimos de un filtro FIR dados los patrones de entrada x(n) y las salidas deseadas d(n)
Solucion estocastica: minimizar
Filtro de Wiener

J(w) = E |e(n)|2
LMS
Solucion determinista: minimizar
N
1
Mnimos cuadrados
X
J(w) =
|e(n)|2
RLS
n=0
Principio de ortogonalidad
Problema a resolver: encontrar el mnimo para J =
N
1
X
e(n)e (n)
n=0
Gradiente
k J = 2
N
1
X
x(n k)e (n)
n=0
k J = 0 Principio de ortogonalidad
La serie temporal de errores mnimos, emin (n), es ortogonal con la serie temporal
de entrada del filtro x(n k)
N
1
X
x(n k)emin (n) = 0,
k = 0, 1, 2, , M 1
n=0
Corolario: La salida del filtro optimo, ymin (n), es ortogonal al error emin (n)
N
1
X
ymin (n)emin (n) = 0
i=0
Ecuaciones normales
Principio de ortogonalidad
N
1
X
x(n k) d (n)
M
1
X
n=0
i x (n i)
=0
i=0
Sistema de ecuaciones: Ecuaciones Normales

M
1
X
i=0
N
1
X
x(n k)x (n i) =
n=0
N
1
X
x(n k)d (n), k = 0, , M 1
n=0
H

= XH d
X X w
Notacion Problema: XN M wM
1 + eM 1 = dM 1 (Normalmente N > M )
x(0)
x(1)
..
.
x(1)
x(0)
..
.
x(M + 1)
..
.
x(M + 2) 1
..
..
.
.
M
x(N M )
1
x(N 1) x(N 2)
e(0)
e(1)
..
.
e(N 1)
d(0)
d(1)
..
.
d(N 1)
Soluci
on LS
Solucion u
nica
a) N M (Sistema sobredeterminado)
b) Rank(XH X)=M (columnas linealmente independientes)
1 H
H
= X X
X d
w
Infinitas soluciones
N < M (Sistema indeterminado)
Solucion de norma mnima
H
=X
w
1
X X
d
H
Pseudoinversa
Definiendo el operador pseudoinversa X+
= X+ d
w
1 H
X X
X ,
1
+
H
H
X = X X X
,
X1 ,
Si N > M
Si N < M
Si N = M
Cuando N M y Rank(XH X)=M

1 H
=X X X
d = Xw
X d
|
{z
}
Px
Px : matriz de proyeccion en el sub-espacio de las columnas de X
LS/Filtro de Wiener
Ecuaciones normales
H

= XH d
X X w
= M 1
M M w
Interpretacion de y
: estima de la autocorrelacion
= XH X =
N
1
X
xn xH
n
n=0
: estima de la correlacion cruzada

= XH d =
N
1
X
d(n)xn
n=0
Propiedades
La matriz
es hermtica ( = H )
es semidefinida positiva (xH x 0)
El estimador LS es insesgado si el error tiene media nula
Si el error es blanco, de media nula y varianza 2

H
wo )(w
wo ) = 2 1
E (w
El estimador LS es el mejor estimador lineal insesgado (BLUE)
Si ademas el error es gaussiano, el estimador LS alcanza el lmite de
Cramer-Rao (es el mejor estimador, lineal o no lineal)
LS ponderado (Weighted Least Squares)

El WLS introduce una matriz de ponderacion
J(w) = (d Xw )H A(d Xw ) = ||e||2A
A: hermtica positiva semidefinida
A diagonal: se pondera cada error de forma distinta
J(w) =
N
1
X
a(n)|e(n)|2
n=0
Ecuaciones normales
XH AXw = XH Ad
Solucion (si N M y Rank(XH AX)=M )
1 T
H
= X AX
w
X Ad
LS regularizado
Funcion de coste
J(w) = wH Aw + ||d Xw ||2
A: hermtica positiva semidefinida
Solucion
1 H
= X X+A
w
X d
H
Tpicamente: A = I
1 H
= X X + I
w
X d
H
Si la matriz XH X esta mal condicionada el LS regularizado reduce la amplificacion

de ruido (a cambio de sesgar el estimador)
max +
max
<
min +
min
| {z }
| {z
}
cond(XH X+I) cond(XH X)
Algoritmo RLS: Introducci

on
Estima recursiva de la solucion LS
Problema: estimar la media de N muestras x(n), n = 1, , N .
N
X
1
xN =
x(n)
N n=1
Si se dispone de una nueva muestra x(N + 1)

xN +1
1
=
(N xN + x(N + 1))
N +1
Algoritmo RLS: resuelve de modo similar el caso del estimador LS

Como se actualiza la estima LS obtenida con N datos cuando se
dispone de un nuevo dato, x(N + 1),d(N + 1) ?
Funci
on de coste y soluci
on LS
Funcion de coste (determinista) en el instante n
Jn (w) =
N
X
ni |e(i)|2 = |e(n)|2 + |e(n 1)|2 + + ni |e(1)|2
i=1
e(n) = d(n) wH xn
: factor de olvido exponencial (0 < < 1)
La solucion cumple las ecuaciones normales
n wn = n
n =
N
X
i=1
ni xi xH
i ,
wn = 1
n n
n =
N
X
ni xi d(n)
i=1
Cuestiones preliminares
En la solucion obtenida para cada instante n intervienen todos los
datos hasta ese instante (aunque ponderados de distinta manera)
La estima LS es determinista; no obstante, si = 1 y los procesos
que intervienen son ergodicos
lmn n1 n = R
lmn n1 n = p
lm LS = Wiener
n
La inversion de la matriz de autotocorrelacion para cada n necesitara O(M 3 ) operaciones y O(M 3 ) posiciones de memoria
Se puede hacer el calculo de forma recursiva?
C
alculo recursivo de 1
n
n+1 =
N
+1
X
H
n+1i xi xH
=
+
x
x
n
n+1 n+1
i
i=1
1
n+1
= n +
1
H
xn+1 xn+1
Aplicando el Matrix Inversion Lemma

1
n+1
2 1
H
1
x
x
n+1
n
n+1 n
= 1 1
n
1
1 + 1 xH
n+1 n xn+1
Definiciones
Pn = 1
on
n Inversa de la autocorrelaci
kn+1
1 Pn xn+1
=
Vector de ganancia
H
1
1 + xn+1 Pn xn+1
C
alculo recursivo de 1
n (II)
Ecuacion de Ricatti para el RLS
Pn+1 =
Pn
kn+1 xH
n+1 Pn
Vector de ganancia
kn+1 = Pn+1 xn+1
son los datos blanqueados por la inversa de la matriz de autocorrelacion
Actualizaci
on del filtro
Solucion de mnimos cuadrados
wn+1 = 1
n+1 n+1
que puede desarrollarse como
wn+1 = Pn+1 n+1 = Pn+1 n + Pn+1 xn+1 d (n + 1)
Teniendo en cuenta la recursion de la ecuacion de Ricatti
H
wn+1 = P
k
x
P
+
P
x
d
(n + 1)
n
n
n+1
n
n
n+1
n+1
n+1
| {z }
| {z }
wn
kn+1
Expresion final
wn+1

H
= wn + kn+1 d (n + 1) xn+1 wn
Errores a priori y a posteriori

Error a priori (innovacion)
(n + 1) = d(n + 1) wnH xn+1
error que comete el filtro estimado sin usar el nuevo dato
Error a posteriori
H
e(n + 1) = d(n + 1) wn+1
xn+1
error utilizando el nuevo dato

En la funcion de coste se minimizan los errores a posteriori
En la recursion del RLS aparecen los errores a priori
Convergencia del RLS

Convergencia en media
El RLS converge a la solucion de mnimos cuadrados
Si = 1 y las se
nales son ergodicas el RLS converge en media a
Wiener
Convergencia en error cuadratico ( = 1, ergodicidad)

M
J(n) Jmin 1 +
n
El RLS converge en aproximadamente 2M iteraciones
El RLS no tiene desajuste (si = 1)
RLS/LMS

H
RLS: wn+1 = wn + kn+1 d (n + 1) xn+1 wn

H
LMS: wn+1 = wn + xn d (n) xn wn
En ambos casos se actualiza el filtro mediante un termino de error
Para obtener wn+1
El LMS utiliza los datos en n
El RLS utiliza todos los datos (a traves de Kn+1 )
En el LMS el error se multiplica por xn
En el RLS el error se multiplica por
Los datos se blanquean en cada iteracion

kn+1 = 1
n+1 xn+1
Desacoplo de la convergencia de w
Ejemplo: Identificaci
on
Sistema: W (z) = 1 + 0.5z 1
Entrada correlada con un factor r, es decir, R =
1 r
r 1
u(n): ruido aditivo balnco, gaussiano de media cero, varianza 0.001

e independiente de la entrada
Ejemplo: Identificaci
on (II)
Coeficiente de
correlacion de la
entrada r = 0.1
Coeficiente de
correlacion de la
entrada r = 0.8
Resumen del RLS

Parametros iniciales
M = no coef., P0 = 1I, < 0.01x2 , w0 = 0M 1, 1
Iteraciones
kn+1
1Pnxn+1
=
1 + 1xH
n+1 Pn xn+1
(n + 1) = d(n + 1) wnH xn+1

wn+1 = wn + kn+1(n + 1)
Pn+1 = 1 Pn kn+1xH
n+1 Pn
El RLS en ambientes no estacionarios

Aproximadamente la memoria del RLS viene dada por
1
Memoria =
1
Si = 1 la memoria es infinita (ambientes estacionarios)
Si < 1
Aumenta la capacidad de seguimiento
Aumenta el deasjuste
1
D=
M (para valores de cercanos a 1)
1+
Capacidad de seguimiento LMS/RLS

LMS: capacidad de seguimiento determinada por el paso de adaptacion
mejor seguimiento

mayor desajuste
RLS: capacidad de seguimiento determinada por el factor de olvido
mejor seguimiento

mayor desajuste
Para un mismo desajuste (que fija y ) el LMS tiene habitualmente
un mejor comportamiento en ambientes no estacionarios.
Conclusiones
El RLS obtiene de manera recursiva el estimador LS
Utiliza todos los datos pasados (ponderados por un factor de olvido)
Evita la inversion de la matriz de autocorrelacion en cada paso: se actualiza 1
n+1
a partir de 1
n
Insensible a la dispersion de autovalores de la matriz de autocorrelacion
El valor de ganancia kn desacopla la convergencia de los coeficientes
Para = 1 y procesos ergodicos el RLS converge a Wiener y no existe desajuste
En comparacion con el LMS
Velocidad de convergencia muy superior (del orden de 2M )
Gasto computacional superior (versiones rapidas: Fast-RLS)
Para un mismo desajuste se comporta peor en ambientes no estacionarios
El RLS puede presentar problemas de estabilidad numerica

Rls

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Rls

Hochgeladen von

Copyright:

Verfügbare Formate

4.

5 Algoritmo RLS (Recursive Least Squares)

x(n k)e (n)

x(n k)emin (n) = 0,

ymin (n)emin (n) = 0

Sistema de ecuaciones: Ecuaciones Normales

x(n k)d (n), k = 0, , M 1

Cuando N M y Rank(XH X)=M

Px : matriz de proyeccion en el sub-espacio de las columnas de X

: estima de la correlacion cruzada

LS ponderado (Weighted Least Squares)

Si la matriz XH X esta mal condicionada el LS regularizado reduce la amplificacion

Algoritmo RLS: Introducci

Si se dispone de una nueva muestra x(N + 1)

Algoritmo RLS: resuelve de modo similar el caso del estimador LS

ni |e(i)|2 = |e(n)|2 + |e(n 1)|2 + + ni |e(1)|2

Aplicando el Matrix Inversion Lemma

Errores a priori y a posteriori

error utilizando el nuevo dato

Convergencia del RLS

Los datos se blanquean en cada iteracion

Sistema: W (z) = 1 + 0.5z 1

Entrada correlada con un factor r, es decir, R =

u(n): ruido aditivo balnco, gaussiano de media cero, varianza 0.001

Resumen del RLS

(n + 1) = d(n + 1) wnH xn+1

El RLS en ambientes no estacionarios

Capacidad de seguimiento LMS/RLS

Das könnte Ihnen auch gefallen