Filtragem Adaptativa

Charles Casimiro Cavalcante

charles@gtel.ufc.br

Grupo de Pesquisa em Telecomunicaco

es Sem Fio GTEL
Programa de P
os-Graduaca
o em Engenharia de Teleinform
atica
Universidade Federal do Cear
a UFC
http://www.gtel.ufc.br/charles

c C. C. Cavalcante
Filtragem Adaptativa
Filtros adaptativos, os quais tem como meta transformar os sinais
portadores de informacao em versoes limpas ou melhoradas,
ajustam suas caractersticas de acordo com os sinais encontrados.
Eles formam os exemplos mais simples de algoritmos no campo de
aprendizado de maquinas.

Philip A. Regalia, 2005

IEEE Control Systems Magazine, Agosto de 2005

c C. C. Cavalcante
Filtragem Adaptativa
Conteudo do curso

1 Introducao
2 Revisao de Processos Estoc
asticos
3
Filtragem Linear Otima
4 Algoritmos Recursivos no Tempo
5 Metodo dos Mnimos Quadrados
6 Estruturas Alternativas de Filtragem Adaptativa
7 T
opicos Avancados

c C. C. Cavalcante
Filtragem Adaptativa
 Parte II

Revisao de Processos Estocasticos

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Eventos probabilsticos

Evento
ao: Qualquer subconjunto do espaco amostral S que
Definic
constitui um campo de Borel F

Eventos mutuamente exclusivos

Quando a ocorrencia de um impossibilita a ocorrencia do outro
Exemplo: Dado

A = {par}
A B = (eventos mutuamente exclusivos)
B = {impar}

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Definic
ao de probabilidade

Probabilidade (Definic
ao Axiom
atica)
qualquer funcao real definida na classe F tal que
E
1 Pr(A) 0
2 Pr(S) = 1
3 Se A B = Pr(A + B) = Pr(A) + Pr(B)
(eventos mutuamente exclusivos)
Assim,
Pr() : F R

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Probabilidade condicional

Probabilidade condicional
Probabilidade de ocorrencia de A dado que ocorreu B

Pr(AB)
Pr(A|B) , , Pr(B) > 0 (1)
Pr(B)

Pr(A|B) e probabilidade, pois

Pr(AB)
Pr(A|B) = Pr(B) 0
Pr(S|B) = 1
Para A C = Pr [(A + C)|B] = Pr(A|B) + Pr(C|B)

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Regra da probabilidade total

Teorema da probabilidade total

Sejam A1 , A2 , A3 , . . . , An eventos mutuamente exclusivos
Pr(Ai ) > 0, i = 1, 2, . . . , n
B {A1 + A2 + + An }

A. A/ A0 A1

A2 A3

...

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Regra da probabilidade total - cont.

Teorema da probabilidade total - cont.

Pr(B) = Pr(BA1 ) + Pr(BA2 ) + + Pr(BAn ) pois
B = BA1 + BA2 + + BAn
| {z }
mutuamente exclusivos
Pr(B) = Pr(B|A1 ) Pr(A1 ) + + Pr(B|An ) Pr(An )

Probabilidade total
n
X
Pr(B) = Pr(B|Ai ) Pr(Ai ) (2)
i=1

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Regra de Bayes

Regra de Bayes
Inverso do conceito da probabilidade total

Pr(B|Aj ) Pr(Aj )
Pr(Aj |B) = (3)
P
n
Pr(B|Ai ) Pr(Ai )
i=1

Tambem chamada de probabilidade a posteriori

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Independencia probabilstica

Eventos independentes
Dois eventos A e B sao independentes se

Pr(A B) = Pr(A) Pr(B)

Generalizando (para tres eventos): A, B e C

Pr(AB) = Pr(A) Pr(B)
Pr(AC) = Pr(A) Pr(C) Pr(ABC) = Pr(A) Pr(B) Pr(C)

Pr(BC) = Pr(B) Pr(C)

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Independencia probabilstica - cont.

Propriedades de eventos independentes

1 Pr(A|B) = Pr(A)
2 Pr(AB) = Pr(A) Pr(B)
3 Pr(AB) = Pr(A) Pr(B) e Pr(AB) = Pr(A) Pr(B)
Ou seja Se A e B sao independentes, A e B s
ao independentes e
A e B tambem o sao

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Eventos conjuntos

Eventos conjuntos
Dado S (espaco amostral), podemos atribuir diferentes atributos
aos eventos pertencentes a diferentes classes de Borel
S = {x1 , x2 , . . . , xn }

A1 , A2 , , An F1
B1 , B2 , , Bn F2

Exemplo:
S = {Joao, Jose, Maria }
(idade,altura)

Rescrevendo:
S = {(10, 1.50), (30, 1.80), (32, 1.65)}

c C. C. Cavalcante
Filtragem Adaptativa
Probabilidade
Probabilidade marginal

Probabilidade marginal
A1 + A2 + + An = S1
B1 + B2 + + Bn = S2

Pn
Pr(Ai ) = Pr(Ai , Bj )

X n X n (4)
j=1
P
n Pr(Ai , Bj ) = 1

Pr(Bj ) = Pr(Ai , Bj )
i=1 j=1
i=1

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias

Definic
ao
Variavel aleatoria (v.a.) e qualquer func
ao definida no espaco
amostral S tal que:

{X : S R, X(w) (, x], w S} F (5)

Exemplo
Moeda:
S = {cara, coroa}
X(cara) = 0
X(coroa) = 1

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Func
ao distribuic
ao de probabilidade (func
ao de probabilidade cumulativa)

Definic
ao

FX (x) , Pr{X x} (6)

Exemplo: Distribuicao uniforme

FX (x)

0, se x a 1
FX (x) = x a, se a < x b

1, se x > b
0 a b x

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Func
ao distribuic
ao de probabilidade - cont.

Propriedades da fdc
1 FX () = 0
2 FX () = 1
3 Pr{x1 X x2 } = FX (x2 ) FX (x1 )
4 Se x1 x2 FX (x1 ) FX (x2 ), ou seja, FX (x) e
monotonico nao-decrescente

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Func
ao densidade de probabilidade

Definic
ao
d
pX (x) , FX (x) (7)
dx

Exemplo: Distribuicao uniforme

FX (x) pX (x)
1
1 ba

0 a b x 0 a b x

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Func
ao densidade de probabilidade - cont.

Propriedades
Rx
1 FX (x) = pX () d

2 FX (x) e monot ao-decrescente pX (x) 0
onico n
3 Pr{X > x} = 1 FX (x) = 1 Pr{X x}
Rx2
4 Pr{x1 < X x2 } = FX (x2 ) FX (x1 ) = pX () d
x1

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Vari
aveis aleat
orias discretas

Dificuldade
Neste caso, as variaveis admitem valores somente em determinados
instantes de tempo. O que ocorre com as probabilidades?

pX (x) P2
Funcoes () de Dirac (impulsos)
P1
P3 R

f (t)(t t0 ) dt = f (t0 )
(t) R



(t) dt = 1

x1 x2 x3 x

(t) = funcao impulsiva de Dirac

d
= u(t), em que u(t)e a funcao degrau unitario
dt

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Vari
aveis aleat
orias discretas - cont.

Logo, teremos
N
X
pX (x) = Pr{X = xi } (x xi )
i=1
Zx N
X Zx
FX (x) = pX () d = Pr{X = xi } ( xi ) d
i=1

Mas sabe-se que

Zx 
0, se x < xi
( xi ) d =
1, se x xi

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Vari
aveis aleat
orias discretas - cont.

pdf

pX (x)
P2

P1
P3

x1 x2 x3 x

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Vari
aveis aleat
orias discretas - cont.

fdc
FX (x)
P1 + P2 + P3
P3
P1 + P2
P2
P1
P1

x1 x2 x3 x

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Func
ao de densidade de probabilidade gaussiana

Definicao
Seja X uma v.a., X e dito ter distribuic
ao de probabilidade
gaussiana, ou normal, se sua densidade de probabilidade pode ser
escrita da seguinte forma
!
1 (x )2
pX (x) = exp (8)
2 2 2

Notacao usual:

X N , 2

media
Parametros
2 vari
ancia

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
pdf gaussiana - cont.

Normalizacao
Z N (0, 1)
 2
1 z
pZ (z) = exp
2 2

Funcao erro
Funcao de distribuicao cumulativa da func
ao gaussiana

erf(x) = FZ (x) = Pr{Z x}

Zx  2
1 z (9)
= exp dz
2 2

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Vari
aveis aleat
orias bidimensionais

Funcao distribuicao de probabilidade

FX,Y (x, y) = Pr {X x, Y y} (10)

| {z }
intersecca
o

{X x, Y y} = { w S|[X(w), Y (w)] D }
| {z }
evento
em que D = { (X, Y )|X (, x], Y (, y] }
Y
y
2
D x X pX,Y (x, y) = FX,Y (x, y) (11)
x y

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Vari
aveis aleat
orias bidimensionais - cont.

Propriedades
1 FX,Y (, y) = 0
2 FX,Y (x, ) = 0
3 FX,Y (, ) = 1

FX,Y (x, ) = FX (x)
4 distribuic
oes marginais
FX,Y (, y) = FY (y)
Rx Ry
5 FX,Y (x, y) = pX,Y (, ) d d

R
pX (x) = pX,Y (x, y) dy
6

R
pY (y) = pX,Y (x, y) dx

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Vari
aveis aleat
orias independentes

Definicao
Sejam X e Y v.a.s. Elas s
ao independentes se:

FX,Y (x, y) = FX (x) FY (y) (12)

FX,Y (x, y) = Pr{ X x, Y y }

= Pr{X x} Pr{Y y}
Logo:
pX,Y (x, y) = pX (x) pY (y) pois
2
pX,Y (x, y) = FX,Y (x, y)
x y
?
2 z}|{
= (FX (x) FY (y)) = pX (x) pY (y)
x y
c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Medidas estatsticas

Momentos
Sao estatsticas de uma variavel aleatoria capazes de representar
seu comportamento probabilstico. Os infinitos momentos
estatsticos definem a func
ao de densidade de probabilidade.

Media
Tambem chamada de esperanca matem atica, valor esperado,
momento de 1a ordem, e definido como

Z
= E {X} , x pX (x) dx (13)

para X v.a. contnua

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Medidas estatsticas - cont.

Media
Para X discreta

X
= E {X} = xi Pr{X = xi } (14)
i=

OBS: Se pX (x) for simetrico em relac

ao a um valor
E
x = a {X} = a

Pergunta: Num jogo de moeda, qual a media? E no caso de uma

distribuicao uniforme entre [0, 1]?

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Medidas estatsticas - cont.

Propriedades da media
1 Linearidade
m E
- {X + Y } = {X} + E E {Y } ou ainda,
E P P
E
m
ai Xi = ai {Xi }
i=1 i=1
2 E {X Y } = E {X} E {Y } se X e Y sao v.a.s independentes
3 Transformacao linear - E {Ax} = AE {x}

E {f (X, Y )} = R R f (x, y)pX,Y (x, y) dxdy

4

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Medidas estatsticas - cont.

Propriedades da media - cont.

5 Invariancia `a transformac
ao - Seja y = g(x), entao
Z Z
ypY (y) dy = g(x)pX (x) dx

6 Se X e Y sao independentes
E E
{f (X) g(Y )} = {f (X)} E {g(Y )}

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Medidas estatsticas - cont.

Momentos de ordem k

n o Z
k = E X k
= xk pX (x) dx (15)

Os momentos de uma vari avel aleatoria s

ao uma
representacao da pdf da vari
avel
A coletanea dos infinitos momentos da v.a. definem sua pdf
Algumas distribuic
oes possuem alguns momentos nulos
A estimativa de momentos cresce em complexidade e decresce
em precisao com o aumento direto de k

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Medidas estatsticas - cont.

Momentos centrados
Uma importante medida estatstica e avaliar o comportamento da
v.a. em torno da media. Assim, define-se o momento centrado de
ordem k como sendo
n o Z
ck = E (X ) k
= (x )k pX (x) dx (16)

ancia ( 2 =
De particular interesse: vari E (X )2 0)
ao a media ck = 0 para k mpar!
OBS: Se pX (x) e simetrica em relac

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais

Meta
Caracterizacao da distribuic
ao de probabilidade de uma variavel
aleatoria condicionada a ocorrencia de outra variavel aleatoria ou
evento

Definicao distribuicao cumulativa condicionada

FX (x|A) , Pr {X x|A}
Pr{X x, A} (17)
=
Pr{A}
d
pX (x|A) , FX (x|A)
dx

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Analisando...
Seja A = {x a} (evento)

FX (x|A) = FX (x|X a)
= Pr{X x|X a}

(a) x < a
Xa

x a

FX (x|x a) = 0

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

(a) x a
PSfrag xa

a x
Xx

Rx
pX () d
Pr{X x, X a}
FX (x|x a) = = Ra
Pr{X a}
pX () d
a
FX (x) FX (a)
=
1 FX (a)
d
d FX (x) pX (x)
pX (x|X a) = FX (x|X a) = dx =
dx 1 FX (a) 1 FX (a)

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Resumindo
pX (x)
pX (x|X a) = R U (x a)
pX () d
0

pX (x|X a)

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Observacoes
1

Z Z
pX (x)
pX (x|X a) dx = U (x a) dx
R
pX () d
a
R
pX (x) dx
a
= =1
R
pX () d
a

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Observacoes - cont.
2 E {X|A} =?
A = {X a}
Z
E {X|X a} = x pX (x|X a) dx

Z
xpX (x)
= U (x a) dx
R
pX () d
a

R
x pX (x) dx
E {X|X a} = a
R
pX () d
a

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Observacoes - cont.
3 Caso em que A = {X = a}

Pr{X x, X = a}
FX (x|X = a) =
Pr{X = a}
| {z }
v.a. contnuaPr{X=a}=0

Relaxando um pouco X = a para

a X a + a, a 0 (depois)
Pr{X x, a X a + a}
FX (x|A) = FX (x|a X a + a) =
Pr{a X a + a}

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Observacoes - cont.
Temos 3 situacoes
X < a FX (x|A) = 0
Pr{aXx}
a X a + a FX (x|A) = Pr{aXa+a}
X > a + a FX (x|A) = 1

FX (x|A)

a a + a

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Observacoes - cont.
Fazendo 0:
FX (x|A)

FX (x|A) = U (x a)
| {z }
funca
o degrau unit
ario

FX (x|X = a) = U (x a)
d
pX (x|X = a) = FX (x|X = a) = (x a)
dx
c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Funcao densidade condicional de duas vari

aveis aleatorias

pY (y|x) =?
Pr{Y y, x X x + x}
FY (y|x X x + x) =
Pr{x X x + x}

Ainda
Zy Z
x+x

Pr{Y y, x X x + x} = pX,Y (, ) dd
x

= pX,Y (x, )x metodo de Euler
Zy
= pX,Y (x, ) d x

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Distribuic
oes e densidades condicionais - cont.

Funcao densidade condicional de duas vari

aveis aleatorias - cont.
Z
x+x

Pr{x X x + x} = pX () d
= pX (x) x
x
Ry Ry
pX,Y (x, ) d x pX,Y (x, d

FY (y|x)
= =
pX (x) x pX (x)
dFY (y|x) pX,Y (x, y)
pY (y|x) = =
dy pX (x)
Se X e Y forem independentes

pX,Y (x, y) = pX (x) pY (y)

(18)
pY (y|x) = pY (y)

c C. C. Cavalcante
Filtragem Adaptativa
Variaveis aleatorias
Igualdades de densidades

pX,Y (x, y)
pX|Y (x|y) =
pY (y)
pX,Y (x, y)
pY |X (y|x) =
pX (x)
pX|Y (x|y)pY (y)
pY |X (y|x) =
pX (x)

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Problema geral

Funcao de uma variavel aleatoria

Dada X v.a. e uma func ao

Y = f (X)

a questao e como determinar pY (y) conhecendo-se pX (x).

Por exemplo, seja X uma v.a. uniforme em [0, 1]
 
1 1
Y = ln
X

pX (x) pY (y)
f (X)
?
x y
0 1

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de uma vari
avel aleat
oria

Vamos analisar dois casos

1o. caso
X v.a. pX (x)conhecido

y = f (x)
df (x)
dx > 0 f (x)
e monot
onico crescente
f e biunvoca[pY (y), FY (y)]
fy (Y ) = Pr{Y y} = Pr{f (X) Y }

Y
Como y = Pr{X f 1 (y)}
 
df (x) = FX f 1 (y)
dx >0
x X

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de uma vari
avel aleat
oria

1o. caso - cont.

 
dFY (y) dFX f 1 (y)
pY (y) = =
dy dy
f 1
Z (y)
d
= pX (x) dx
dy

  df 1 (y)
= pX f 1 (y)
dy
df 1 (y) dx 1 1
Mas: dy = dy = dy = df (x) Logo,
dx dx


1  df (x)
pY (y) = pX (x) df (x)  para >0
 dx
dx x=f 1 (y)

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de uma vari
avel aleat
oria

2o. caso
X v.a. pX (x)conhecido

y = f (x)
df (x)
dx < 0 f (x)
e monot
onico decrescente
f e biunvoca[pY (y), FY (y)]
FY (y) = Pr{Y y}
FY (y) = Pr{f (X) y}

Y
y = Pr{X > f 1 (y)}
 
= 1 FX f 1 (y)

x X

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de uma vari
avel aleat
oria

2o. caso - cont.


FY (y) pX (x)  df (x)
pY (y) = = df (x)  com <0
dy  dx
dx x=f 1 (y)
pX (x)
= df (x)
dx
df (x)
O sinal desaparece pois dx tambem e negativo.

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de uma vari
avel aleat
oria

Resumindo, para funcoes de uma vari

avel aleatoria temos:
Para encontrar pY (y)


pX (x) 
pY (y) =   (19)
df (x)  
 dx  
x=f 1 (y)

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de v
arias vari
aveis aleat
orias

Problema
X v.a. Y v.a.

U = f (X, Y )
V = g(X, Y )
Conhecido pX,Y (x, y), como achar pU,V (u, v)?

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de v
arias vari
aveis aleat
orias

pU,V (u, v)
Em regioes biunvocas:


pX,Y (x, y) 
pU,V (u, v) =     (20)
J u,v
x,y 
 x = f(u, v)
y = g(u, v)

em que f() e g() sao func

oes inversas. E
  " #
du du
u, v dx dy 1
J = det dv dv =  df df 
x, y dx dy
det du
dg
dv
dg
du dv

e chamado Jacobiano de u, v em relac

ao a x, y

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de v
arias vari
aveis aleat
orias

Caso particular
Z = X + Y, X v.a., Y v.a.
pX,Y (x, y) conhecido
pX (z) =?
Definir entao

z = x+y
pZ,W (z, w)
w=x
   
z, w 1 1
J = det = 1
x, y 1 0

Logo, 
pX,Y (x, y) 
pZ,W (z, w) =
| 1|  x = f(z, w)
y = g(z, w)
c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de v
arias vari
aveis aleat
orias

Caso particular - cont.

x = w, y =zw
pZ,W (z, w) = pX,Y (w, z w)
Entao, para achar a densidade marginal pZ (z), temos
Z
pZ (z) = pX,Y (w, z w) dw

c C. C. Cavalcante
Filtragem Adaptativa
Funcoes de Variaveis Aleatorias
Func
ao de v
arias vari
aveis aleat
orias

Caso particular - cont.

Se supormos que X e Y sao independentes

pX,Y (w, z w) = pX (w) pY (z w)

pZ,W (z, w) = pX (w) pY (z w)
Z Z
pZ (z) = pZ,W (z, w) dw = pX (w) pY (z w) dw

| {z }
convoluca
o

Assim:
pZ (z) = px (x) pY (y) (21)

c C. C. Cavalcante
Filtragem Adaptativa