PROBABILIDADE & PROCESSOS

ESTOCSTICOS

H. Magalhes de Oliveira, docteur

Programa de ps-graduao em Engenharia Eltrica

DINTER UEA-UFPE
E-mail hmo@ufpe.br URL http://www2.ee.ufpe.br/codec/deOliveira.html
 SUMRIO DA PARTE I

Conceitos de Probabilidade

lim sup e lim inf, classes monotnicas

lgebra e -lgebra

Continuidade

Independncia e probabilidade condicional

Funes mensurveis e variveis aleatrias

Bernoulli, Binomial, geomtrica, Poisson, uniforme,

exponencial, gama, beta, normal, chi2, Weilbull...

Variveis conjuntas

Transformao de variveis aleatrias

.................................. Vetores aleatrios: Jacobiano

Desigualdades:
.................................. Jensen, Minkowski, Liapunov, Cr

Funo caracterstica e suas propriedades

.................................. Geradora de momentos
Cotas sobre probabilidades
.................................. Chebyshev
.................................. Markov
.................................. Chernoff

Seqncias de variveis aleatrias

Critrios de convergncia
.................................. em mdia quadrtica
.................................. em probabilidade
.................................. com probabilidade 1
.................................. em distribuio
Lei dos grandes nmeros
.................................. Teorema de Bernoulli
.................................. Teorema da Kolmogorov
.................................. Teorema de Borel

Teorema central do limite

.................................. (Lindenberg-Lvy, Lyapunov, etc.)

[Mdias estatsticas e momentos

.................................. Correlaes, propriedades...]

Estimao e predio: Amostragem

 SUMRIO DA PARTE II

Processos Estocsticos (contnuos e discretos)

Definies e classificao

Estacionaridade (sentido amplo e restrito)

Passeio aleatrio

Processo de Wiener-Lvy (movimento Browniano)

Onda telegrfica aleatria

Martingales

Densidade espectral, teorema de Wiener-Kinchine

Ergodicidade

Processos estocsticos atravs de Sistemas Lineares

.................................. Anlise espectral

Preditores lineares: Filtragem tima de Wiener

Cadeias de Markov
.................................. Equaes de Chapman-Kolmogorov
.................................. Classificao de estados
.................................. Probabilidades limites
Processo de Poisson
.................................. Processo de contagem
.................................. Tempo entre chegadas
.................................. Tempo de espera
.................................. Processo filtrado

Teoria das filas

.................................. M/G/1, G/M/1, M/M/k ...

Processos Estocsticos Gaussianos

.................................. Normal e log-normal
.................................. Vetores gaussianos
.................................. Processo banda-estreita
 REFERNCIAS RECOMENDADAS

Probabilidade, Variveis Aleatrias e Processos

Estocsticos, J. Albuquerque, J.P. Fortes, W.
Finamore, Interciencia, Rio de Janeiro, 2008.

Probabilidade e Variveis Aleatrias, Marcos N.

Magalhes, edUSP, So Paulo, 2 ed., 2006.

Probability, Random Variables and Stochastic

Processes, A. Papoulis, McGraw-Hill, 1965.
Introduction to Probability Models, 9th ed. S.M. Ross,
Academic Press, 2007.

A First Course in Stochastic Processes, S. Karlin & H.

Taylor, Academic Press, 1975.

Random Processes: An Introduction for Applied

Scientists and Engineers, Davenport Jr, W.B.,
McGraw-Hill, 1970.

Sistemas Probabilsticos, F.M. Campello de Souza,

Vade Mecum, Recife, 2006.
An introduction to the Theory of Random Signals and
Noise, Davenport Jr, W.B. and Root, W.L, McGraw-
Hill, 1958.

An Introduction to Probability Theory and its

Applications, Feller, W., vol.1, 3a ed, New York: Wiley,
1966.

Probability Theory, M. Love, Van Nostrand, 1963.

 Probabilitas

<<Incerteza a marca indelvel do universo.>>

Dennis Poisson.
Assim um evento ter, pela sua prpria natureza, uma chance, maior ou menor,
conhecida ou desconhecida, e sua probabilidade ser relativa aos nossos
conhecimentos naquilo que lhe diz respeito. Poisson, 1837. (Sceaux, Frana)

PROBABILIDADES ALEATRIAS

Modelam o acaso em fenmenos empricos

PROBABILIDADES ESPISTMICAS

Descrevem graus de crena parcial lgicos de pessoa/sistema

intencional

Matemtica determinismo
Aleatrio: Taboo

Teorema de Gdel e o fim da certeza matemtica...

AXIOMAS 2 (lgica) = Resultados (Proposies)

Mundo real

Explicar  resposta ao POR QU?

TELEOLGICA (finalista)
ESTATSTICA (probabilstica)
GENTICA (histrica)
NOMOLGICA (dedudiva) ** cientfica
Deus ex-machina, anjos,...
???? Qual a finalidade? Tudo tem uma razo. Qual a utilidade? Por que fazer?
Viso pessoal: (interrogaes postas no inicio das questes, discordante).
BREVE HISTRICO
1654 Pascal-Fermat (Paris-Toulouse)
1812 Laplace - escola deterministica (o demnio laplaciano)

Russos : Markov, Chebyshev, Liapunov, Kinchine, Kolmogoroff..

TEORIAS

i) Definio a priori como razo entre casos favorveis para

total de casos possveis.

ii) Freqncia relativa (Von Mises)

iii) Axiomtica

iv) Medida de crena

TRATAMENTO AXIOMTICO
URL: http://www2.ufpe.br/codec/deOliveira.html
Exerccio.
Se A e B so eventos certos, i.e., P(A)=P(B)=1, avaliar, usando
apenas os axiomas de Kolmogorov:
P(AB) e P(AB).

Dicas: problemas 5 e 6.
UNIES FINITAS DISJUNTAS
Dados eventos A1, A2, A3..., An todos disjuntos par-a-par, ento:
n n
P(U Ak ) = P( Ak ) .
k =1 k =1

Por induo finita:

P2. P(A1A2)=P(A1)+P(A2) (verdade via AX4)
n n
Ak ) = P( Ak )
Pn. Admita verdadeira Pn. P(U
k =1 k =1
.

Mostrar que Pn Pn+1

 n +1 n n +1 n
P(U Ak ) = P(U Ak An +1 ) P(U Ak ) = P(U Ak ) + P( An +1 )
k =1 k =1
T2 k =1 k =1

n +1 n +1
P(U Ak ) = P( Ak )
(via Pn) k =1 k =1
i.e. Pn+1 verdadeira! Q.E.D.
O problema dos aniversrios

Proposto por Feller, avalia a seguinte probabilidade para um

grupo de r pessoas:

Qual a probabilidade de pelo menos duas delas tenha exatamente a

mesma data de aniversrio?
1 2 r 1
P (2 aniv em grupo de r pessoas ) = 1.1 .1 ....1 .
365 365 365

r=20 P(2 aniv)41%

r=30 P(2 aniv)70%
r=40 P(2 aniv)90%
 APLICAES RECENTES DA TEORIA

Inteligncia artificial
Mecnica Quntica
Algoritmos probabilsticos (e algoritmos genticos)
Lgica nebulosa
Teoria de informao
Controle estocstico
Redes neuronais
Teoria da evoluo e seleo natural
Gentica
Otimizao
Predio, teoria da deciso, teoria dos jogos
etc. etc. e tal.
TEORIA DOS CONJUNTOS
Coleo arbitrria de elementos

Conjunto vazio por abuso, aquele que no contm elementos.

CLASSE: conjuntos cujos elementos so conjuntos.

CONJUNTO DE INDICES = T
{At, t T}.
Conjunto das partes ( uma classe)
A={w1, w2}
(A)={ {w1}, {w2}, A, }
2n
Conjunto finito=
tem um nmero finito de elementos.
Conjunto enumervel =
se finito ou
pode ser posto em correspondncia biunvoca com .
CARDINALIDADE
|| ||= || ||=0

cardinalidade 2c (do continuum)

||A||=2c se e s se f:A biunvoca.

1,2,3,..., 0 (?) 2c
Paul Cohen (1934-2007), Medalha Fields
No pode ser deduzido da teoria de conjuntos. ?=sim ou no.
Considere uma rede com diferentes caminhos entre os ns 1,2,3,4.
Os caminhos so indicados por letras. Escreva o evento K13, h
uma ligao (caminho fechado) entre o n 1 e 3, em termos dos
caminhos A, B, C, D, E.

Aplique leis distributivas para mostrar que

K13={A [B C (CE)]} {D [E (B C)]}.
DEFINIO. Dada uma classe {At}tT

sup At = UA t
t T
t T

inf At = I At
tT
t T
 LEIS DE DE MORGAN

c
c
U At = I At
tT tT
c
c
I At = U At
tT tT
Conseqncia

c
sup At inf At
c

=
t T t T
c
inf At
sup At
c

=
t T t T
CAMPO (ALGEBRA)
uma classe fechada quando efetuamos um nmero finito
(arbitrrio) de operaes entre seus elementos.

i) A,B AB
ii) A,B AB
iii) A Ac

A,B Ac,Bc AcBc [AcBc]c AB

Exerccio.
Determinar uma lgebra em contendo A,B
.
Use apenas e (.)c

Mostremos que

={,A, B, Ac, Bc, AB, (AB)c, AB, (AB)c, (B-A), (B-A)c,

(A-B), (A-B)c, AB, (AB)c}
DEF. LIMITE INFERIOR

O conjunto de pontos que pertencem a quase todos os elementos Ak

de uma classe (exceto possivelment em um nmero finito delas)
chamado de LIMITE INFERIOR de {At}tT

lim inf Ak := UIA k
n =1 k = n

montar tais unies e interpretar...

DEF. LIMITE SUPERIOR

O conjunto de pontos que pertencem a um nmero infinito de

elementos Ak de uma classe chamado de LIMITE SUPERIOR de
{At}tT

lim sup Ak := IU Ak
n=1 k =n

montar as unies e interpretar...

Obs-

lim inf Ak lim sup Ak

Exemplo (trivia).
Seja wAk se k mpar
wAk se k par.

w lim inf Ak e w lim sup Ak

CONVERGNCIA EM CLASSES

Seja {Ak}k=1 uma classe de cardinalidade enumervel.

Dizemos que {Ak} uma seqncia convergente e que existe um
limite na classe quando
lim inf Ak = lim sup Ak = A

Escreve-se lim Ak = A .
CLASSES MONOTNICAS

Classe no-decrescente: A1 A2 A3 A4 ...

notao An

Classe no-crescente: A1 A2 A3 A4 ...

notao An
Classes monotnicas so convergentes! Vejamos.

lim An = lim sup Ak = U An
An n =1

lim An = lim inf Ak = I An
An n =1
Se {Bn } uma seqncia qualquer, ento:

inf Bk
I Bk =
k =n kn faa diagramas de Venn...

sup Bk
U Bk ==
k =n kn faa diagramas de Venn...
Verificao:

Dn+1 = IB k Dn = Bn I Dn+1 Dn Dn+1
k =n+1 ,

En+1 = UB k En = Bn U En+1 En En+1 .
k =n +1 ,
Examinar o tipo e a convergncia nas seguintes classes: =[0,1]

1 1
An := x | < x 1 Bn := x | 0 < x <
n +1 e n
-lgebra lgebra de Borel

Uma -lgebra uma classe no vazia fechada sobre todas as

operaes enumerveis com conjuntos.

Obs- toda -lgebra uma lgebra, mas o inverso no vlido.

Obs- o conjunto das partes () sempre uma -lgebra.
Seja C uma classe. Para que ela seja uma -lgebra necessrio e
suficiente que
An C,
c
1) An C

2) U A n
C
n =1

Paralelo com o fechamento a.b e a+b

EXEMPLOS TRIVIAIS
:= { [0,0.5], (0.5,1), , [0,1]} lgebra e -lgebra.

:= { [ ], [ ), ( ], ( ), , [0,1]} no -lgebra.

lgebra de BOREAL na reta real

a lgebra que contm uma determinada classe de intervalos na

reta real: os intervalos abertos.
Notas:
1) Por causa da regra de dualidade, fechamento sob
complementao e interseces finitas (enumerveis)
implica em fechamento sob unies finitas (enumerveis).
Podemos ento trocar tambm, nestas propriedades,
interseces e unies.

2) A maior -lgebra para uma dada classe o conjunto das

partes desta classe.
PROPOSIO.
A menor -lgebra passvel de construo {,}.
PROVA.
Se G uma -lgebra e A G, ento F definio de -lgebra,
,Ac e G e, portanto, F G. Mas F uma -lgebra, pois se
tomamos complementos ou unies de conjuntos de F,
invariavelmente obtemos elementos de F. Segue-se que F uma
-lgebra que est contida em qualquer outra -lgebra G que
contenha A, da o resultado.
Classes monotnicas.


1) Ej

Ej Ej+1 e lim En = U
j =1
Ej


2) Ej

Ej Ej+1 e lim E n = I
j =1
Ej

-lgebra mnima
Est contida em qualquer -lgebra definida sobre a class.
nica. Fmin=F.
TEOREMA.
Toda -lgebra uma lgebra monotnica e vice-versa.

TEOREMA.
A -lgebra mnima sobre uma classe e a classe monotnica
mnima sobre a mesma classe coincidem.
 -lgebra
de BOREAL

a -lgebra mnima que contm uma determinada classe de

intervalos na reta real: os intervalos abertos.

FUNES DE CONJUNTO
Seja C uma classe. Considere uma aplicao de C em .

: C
A a (A) .
1. Funes de conjunto aditivas
n n

Se C ={Aj} uma classe disjunta e U A j =

( A ) , a funo
j
j =1 j =1

dita ser uma funo de conjunto aditiva.

Notao: AB=A+B se AB=

n n

Generalizando, tem-se U A = A , se {Aj} disjunta.

j =1
j
j =1
j
2. Funes de conjunto -aditivas

U A j = ( A j )
Se C ={Aj} uma classe disjunta e j =1 j =1
, a funo

dita ser uma funo de conjunto -aditiva.

Se j, |(Aj)|<+ , ento a funo de conjunto dita -finita.

Nota. Toda funo aditiva (ou -aditiva) exige que ()=0.
Prova. A=A+ (A)= (A)+ (), da o resultado.

TEOREMA.

(U A j ) < +
Seja uma funo de conjunto -aditiva tal que j =1
.

Ento ( A ) converge absolutamente.

j
j
Nota.

( A ) < +
j
j
(~) ( A ) < +
j
j

( A ) < +
j
j
() ( A ) < + .
j
j

Separando:
A +j = Aj ou , se ( A j ) 0

A j = Aj ou , se ( A j ) 0 .
 j j j)

j
( A ) = ( A +
) + ( A

O primeiro termo converge por hiptese:

+
(A j )

O segundo termo exclui -.

Sub-
-aditividade.

TEOREMA
Seja uma funo de conjunto no-negativa, 0, e aditiva.
Ento:
i) A | (A)<+ (-finita), se AB (B) (A)<+
(monotonicidade)
n n
U A j ( A j )
ii) j =1 j =1
(sub--aditividade).
Prova.
i AB
A=B+(A-B) e B(A-B)=. (i.e. B(BcA)).
Pela hiptese de aditividade, (A)= (B)+ (A-B). Mas como a
funo no-negativa, (A-B)0, e a monotonicidade segue.

ii UA
j =1
j = A1 + ( A2 A1 ) + ( A3 A2 A1 ) + ...

c c c
ou seja, U A j = A1 + ( A1 A2 ) + ( A1 A2 A3 ) + ...
j =1
 c
Mas Ai A j A j e pela monotonicidade (item i), segue-se:

(U A j ) ( A1 ) + ( A2 ) + ( A3 ) + ...
j =1
, provando assim a sub--

aditividade.
 CONTINUIDADE DE FUNES DE CONJUNTO

contnua por baixo se e s se An

lim An lim ( An )
=
n n

contnua por cima se e s se An

lim An lim ( An )
=
n n
DEFINIO. contnua se e s se ela contnua por baixo e
contnua por cima.

Um exemplo. Seja A=[0,1].

1 1 x2 / 2
( A) = e dx
(integral de Riemman)
0
2

Medida AnA .
Considere An no decrescente A1 A2 A3 A4 ...

1 1
An := x R | x 1
n + 1 n + 1 n =1
An A
1
1 1 x2 / 2
( An ) = 1 n +1 e dx
n +1 2

Se contnua, ento (lim An ) = lim ( An ) = ( A) .

Mas i) (lim An ) = ( A)
1
1 1 x2 / 2
1 1 x2 / 2
lim ( An ) = lim 1 n +1 e = e = ( A)
ii) n +1 2 0
2

parece ser contnua (de fato, ela o ). Porm, verificar

continuidade pela definio, j era!
Mostraremos a continuidade da funo Probabilidade.

Probabilidade (Kolmogorov) uma funo de conjunto -aditiva

definida na classe de eventos de um espao amostral. (rigor, escola
formal).

-aditividade Continuidade.
Nota histrica.

Axiomas: Kolmogorov usou continuidade, ao invs de A5 (d no

mesmo, so equivalentes). Hoje, usa-se formalmente a -
aditividade.
TEOREMA DA CONTINUIDADE DA MEDIDA DE
PROBABILIDADE (siga tambm Davenport Jr)

Prop(i) Toda funo de conjunto -aditiva aditiva e contnua.

Prop(ii) Se uma funo de conjunto aditiva, contnua por baixo,
finita e contnua em , ento ela -aditiva.

Nota. Nem preciso continuidade (por baixo e por cima), porm

leia-se em termos prticos:
 i) -aditiva aditiva e contnua
ii) aditiva e contnua -aditiva.

PROVA.
()
Seja An uma seqncia no-decrescente (arbitrria).

lim An = UA
n =1
n

lim An = A1 + ( A2 A1 ) + ( A3 A2 ) + ...

lim An = ( An An 1 )
n =1
se A0:=.

lim n
lim An =
n k =1
( Ak Ak 1 )

Aplicado a funo de conjunto aos dois membros,

lim n
(lim An ) = (
n k =1
( Ak Ak 1 ))
. Pela -aditividade,
 lim n
(lim An ) =
n k =1
( Ak Ak 1 )
.

Mas
n

( A
k =1
k Ak 1 ) =

( A1 ) + ( A2 ) ( A1 ) + ( A3 ) ( A2 ) + .. + ( An ) ( An1 ) = ( An )

lim
(lim An ) = ( An )
Ento n contnua por baixo.
Seja An uma seqncia no-crescente (arbitrria).

lim An = I An
n =1

Construa uma seqncia (An0-An) nn0, (no-decrescente),

com ( An 0 ) < + . Aplicando a parte anterior da demonstrao,

vem:
(lim( An 0 An ) ) = lim ( An 0 An )

Ou seja, ( An 0 lim An ) = ( An 0 ) lim ( An ) e finalmente,

( An 0 ) (lim An ) = ( An 0 ) lim ( An )
donde a continuidade por cima.
Se contnua por baixo e por cima, ento ela contnua.

()
n

An =
Parte A U ( Ak ) + Ak
k = n +1 .
n =1 k =1

lim Ak = () = 0
Mas quando n+, k = n +1 (use hiptese)
( claro que assumimos a classse {An} disjunta, pois queremos
provar a -aditividade).

An = ( Ak )
Assim, U
n =1 k =1

Outra demonstrao.
n

U An = Ak = lim Ak
n =1 k =1 k =1 . Pela continuidade por baixo, se

Bn ento (lim Bn ) = lim ( Bn )

 n
Bn := Ak
A seqncia construda k =1
e segue-se
n n
(lim An ) = lim ( An )
k =1 k =1
e, portanto,
n
( An ) = lim ( An ) = ( An )
k =1 k =1 k =1
Q.E.D.
TEOREMA (compacticidade).
Se contnua, ento C, D tais que
(C ) = sup e ( D) = inf .
Prova. Tomemos <.
{An} com An A.
n
'
Cada An escrito como unies disjuntas de I k
A
k =1
'
, sendo k = Ak ou
A

Ak' = A Ak .
So 2n subconjuntos. Caso n=2
A1A2
(A-A1)A2
A1(A-A2)
(A-A1)(A-A2)

Exemplo. Caso n=2 reescrever A2

A2=(A1A2)+A2(A-A1) = Azul + Cinza
Exemplo. Caso n=3 reescrever A3
A3=
A1A2A3+(A-A1)A2A3+(A-A1)(A-A2)A3+A1(A-A2)A3.
Vermelho + Cinza + Verde + Azul
 Bn := U Anm
Seja , Bn= quando ( Anm ) < 0

Observao: An 'm ' An , m para n>n.

( An ) ( Bn ) ( Bn Bn + 1 Bn + 2 ... Bn ' ) = U Bk
k =n
contnua.


Defina C := lim kU
=n
Bk

n+, sup (C ) , mas sup (C ) (seno no seria sup).

Assim
sup = (C ).
Prova nas mesmas linhas para a existncia do inf.

Q.E.D.
Resolvendo a questo 11.

lim inf Ak lim sup Ak

{An} com conjuntos disjuntos para a par, AiAj=.
Calcularemos o lim sup Ak.

lim sup Ak = IUA
n =1 k = n
k

lim sup Ak = U Ak U Ak U Ak U Ak ...
k =1 k =2 k =3 k =4

ou seja,


lim sup Ak = U Ak U Ak A1 U Ak ( A1 + A2 ) U Ak ( A1 + A2 + A3 )...
k =1 k =1 k =1 k =1

Escrevendo em termos de eventos complementares:

lim sup Ak =

c c c

k =1
Ak Ak A1 Ak ( A1 + A2 ) Ak ( A1 + A2 + A3 ) ...
k =1 k =1 k =1

Usando de Morgan,
lim sup Ak =

c c c
k k k
c c c
Ak A A1 A ( A1 A2 ) A ( A1 A2 A3 ) ...
k =1 k =1 k =1 k =1

ou seja,

c


c


lim sup Ak = Ak I Ak = Ak Ak =
k =1 k =1 k =1 k =1 .

Como lim inf Ak lim sup Ak , ento lim inf Ak = .

De lim inf Ak=lim sup Ak, segue-se que o limite existe e vale .
PROBABILIDADE CONDICIONAL

Dados A,B, com P(A)>0, define-se

P( A B)
P ( B | A) :=
P ( A) .

Implicaes
Se AB= P(AB)=0 P(B|A)=0.
Se AB AB=A P(B|A)=1
Se AB AB=B P(B|A)= P(B)/P(A)P(B).
Caso limite
P(B|A) com P(A)=0.
Como definir? Abordagem menos comum nos textos bsicos.
Tome uma seqncia monotnica An que converge para A.
Defina ento
P ( B An )
lim
P ( B | A) := P ( An )
n

caso o limite exista e independa da escolha da seqncia An.

Probabilidade Total (lei das probabilidades totais)

Seja {Bj} uma partio de .

n
P( A) = P( A B j )
j =1
REGRA DE BAYES

Seja {Bj} uma partio de , P(Bj)>0 (j).

A , P(A)>0.

P( B j ) P( A | B j )
P( B j | A) = n

P( B ) P( A | B )
k =1
k k
INDEPENDNCIA ENTRE EVENTOS

P(B|A) = P(B)

P(A|B) = P(A)

P(AB)=P(A).P(B)

Equivalentes!
Nota. A e B mutuamente exclusivos so dependentes.
AB= P(AB)=0
P(B|A)=0 P(B) no so independentes.

Independncia estatstica entre eventos

{A }n
k 1 estatisticamente independentes se e s se para qualquer
subcoleo arbitrria:
j j
P (I Aki ) = P ( Aki )
i =1 i =1
.
PROVAS DE IGUALDADE ENTRE CONJUNTOS

A guia estabelecer que

i) Se xA xB. ii) Se xB xA.

A funo indicadora de conjunto. Para um conjunto A,

1 w A
I A ( w) =
0 w A .
lgebra de funes indicadoras- operaes.

I A + B = I A + I B se AB=.
I A B = I A . I B
I AB = ( I A + I B ) mod 2

Uma seqncia {An} converge para A

lim An=A I An I A .
Funes mensurveis e medidas

Considerando a reta real .

Classe: conjunto das partes de , ( ).

Gera-se uma lgebra A na reta que consiste em todos os intervalos

abertos IA, I . Os intervalos so do tipo I=(a,b) ou combinaes

(finitas) deles.
 A MEDIDA DE RIEMMAN (integral de Riemman)

A medida m de conjuntos na lgebra A naturalmente (uma funo de

conjunto) expressa pelo comprimento do intervalo, i.e.,

m(I):=l(I)=b-a.

(quantos centmetros h em uma rgua, no intervalo entre as marcaes 4 cm e

7 cm? Naturalmente l(I)=7-4=3 cm. Sabemos medir outros conjuntos?).
 A extenso natural passar de uma lgebra A para uma -lgebra
B( ).

A -lgebra de Borel na reta real aquela que contm todos os

intervalos abertos na reta (B uma extenso de A, i.e. B A).

Como estender a medida m para os conjuntos em B? uma medida de

extenso (medida externa) foi utilizada.
A medida de Lebesgue: a caminho de variveis aleatrias.

Dado um conjunto A , define-se a medida

inf l ( I n )
( A) :=
A I n .

Note que esta medida funciona como uma extenso: o caso particular de
conjuntos do tipo intervalos, A=I, e a medida usada no requer uma cobertura
UI n e a medida vale l(I)=b-a, coincidindo com a medida de Riemman.
n
NOTA-A medida de Lebesgue no uma medida de probabilidade, pois
( )1 e, portanto, no obedece AX3 (normalizao).

VARIVEIS ALEATRIAS
Considere os mapeamentos X (denominados variveis aleatrias)

X : R
w a X ( w)

A cada ponto do espao amostral, atribui-se um nmero na reta real. Isto

corresponde a transformar o objeto de estudo de um plano abstrato
(espao amostral) em valores numricos. Agora saberemos fazer
contas.

Conjuntos sero mapeados em intervalos (que so mensurveis usando

as medidas Riemman ou Lebesgue).
A varivel aleatria uma funo (mapeamento): X(w)=x.
As transformaes so entre dois sistemas espaos de probabilidade triplas

(,A,P) ( ,B,P)
Lembre o exemplo trivial: lanamento de um dado

No espao amostral, h face do dado caiu exibindo 1, face do dado

caiu exibindo 2,..., face do dado caiu exibindo 6. Estes eventos so
mapeados via v.a. nos nmeros reais 1, 2, 3, 4, 5 e 6.
Vejamos a medida de probabilidade: uma funo de conjunto

P:A
A[0,1]

Para cada subconjunto B na lgebra B

BB P(B):=P(X-1(B)) se X-1(B)A.

Os conjuntos da -lgebra de Borel podem ser mensurveis.

Funes mensurveis

Dada f funo real, contnua

Qualquer conjunto do tipo {x | f(x)>} mensurvel.

Veja que conjuntos {x | f(x)} so mensurveis:

+
1
x | f ( x ) } = U{x | f ( x) >
n =1 n
Se {x | f(x) } mensurvel, seu complemento tambm o :

{x | f(x) }c= -{x | f(x) } = {x | f(x)<}.

Se {x | f(x)<} mensurvel, {x | f(x)} tambm o , pois

+
1
x | f ( x ) } = U {x | f ( x ) < +
n =1 n

Assim, basta considerar conjuntos de um dos tipos:

}.
Seja a seleo {x | f(x)
No contexto de variveis aleatrias, consideram-se:

wx
X f
{w | X(w)}:=FX().

ISTO a funo distribuio da varivel aleatria X!

Conhecido FX(.), tem-se informao para calcular a probabilidade de eventos

que representem quaisquer eventos que so meapados em conjuntos da lgebra
de Borel.
NOTAO

P(B):=P{w | wX-1(B)A}
FX():={w | X(w)}

Usaremos simplificadamente FX(x)= Pr(X<x)

F contnua esquerda.

(observao: definindo-se F(x):=Pr(Xx), F contnua direita).

EXEMPLOS (ilustrao do comportamento de FX)

Varivel discreta

Varivel contnua
NOTAS (DE RODAP) SIMPLES

FX(x1)=P(w | X(w)<x1)
FX(x2)=P(w | X(w)<x2)
Se x1<x2 F(x1) F(x2).

F(-)=P(w | X(w)<-)=P()=0.

F(+)=P(w | X(w)<+)=P()=1.
Funo densidade de Probabilidade

f(x) associada com a funo distribuio de probabilidades F(x).

x
F ( x) =

f ( )d .
dF ( x)
Como F(x) no decrescente (monotonicidade), f ( x) = 0.
dx

Distribuies contnuas e diferenciveis. Para os demais casos (discretas e

mistas), usam-se impulsos de Dirac.
Interpretando: x suficientemente pequeno
lim P( x X x + x)
P( x X x + x) f ( x).x ou f ( x) =
x 0 x

Discretas

Assumindo valores x1, x2, x3,... com probabilidade P(xi)

F ( x) = P( X = xi )u ( x xi )
i

Derivando aparecem impulsos. No caso de distribuies mistas:

dC ( x)
f ( x) = + P( X = xi ) ( X xi ) .
dx i
EXPERIMENTOS DE BERNOULLI
(ensaios de Bernoulli)

Um dos experimentos largamente usados quando ao invs de lidar com

resultados de UM NICO experimento, considera-se o caso e realizao
repetida de um mesmo experimento.
Em particular, interessa a probabilidade de o evento ocorrer k vezes nas n
(n>k) realizaes do mesmo.

(este essencialmente o problema de obter k caras em n lanamentos de uma

moeda. O nmero de repeties do evento jogar a moeda n.)
Se p denota a probabilidade de ocorrer o evento, 1-p a probabilidade dele no
ocorrer (conseqncia imediata dos axiomas).

A probabilidade de ocorrncia de k caras em n jogadas (experimentos

independentes)

P(A1A2A3...An)=P(A1).P(A2).P(A3)...P(An)
p.p.p...p.(1-p).(1-p)....(1-p)
k vezes n-k vezes (total n)
Como os eventos da ocorrncia de k caras em n lanamentos so mutuamente
n
exclusivos e ocorrem em nmero , via AX4 tem-se:
k

n k
p (1 p ) n k
P(k ocorrncias em n eventos repetidos)= k

Note que s podem ocorrer k=0, k=1, k=2, k=3, ou... k=n ocorrncias.
MUTUAMENTE EXCLUSIVAS
n
n k
P()= p (1 p) nk
=[p+(1-p)] n
=1 (vale AX3).
k =0 k

A probabilidade de haver a ocorrncia entre k1 e k2 vezes o evento nos n
ensaios dada por:
k2
n k
p (1 p ) nk
.
k =k1 k
HIPTESES: Varivel aleatria binria, n eventos, independencia entre eles.

TEOREMAS ASSINTTICOS.

D um trabalho calcular estas expresses quando n grande!

 TEOREMA DE DE MOIVRE-LAPLACE

Assumindo que n grande e tambm de modo que n.p.(1-p)>>1, ento

Vale uma aproximao Gaussiana para a Binomial:
( k np ) 2
n k 1
p (1 p) k e 2 np (1 p )
k 2np(1 p)
Assim, o clculo da probabilidade da ocorrncia entre k1 e k2 vezes o evento
nos n ensaios pode ser estimado por:
( x np ) 2
k2
n k 1

k2
p (1 p) k e 2 np (1 p )
dx
k = k1 k k1 2np(1 p)
Integral Gaussiana Tabelada. Funo Q(.) ou erfc(.).

n k k 2 np
erf k1 np
k2

p (1 p ) n k erf
n. p.(1 p) n. p.(1 p)
k = k1 k
(tirar pirulito de criana!) Procure conhecer sobre a aproximao de continuidade.

Aproximao II. n

A aproximao proposta por De Moivre requer n.p>>1.

Nos casos em que n.p1, isto no vlido. Considera-se agora:
 TEOREMA DE POISSON n

n k nk np ( np )
k
p (1 p ) e
k k!

Se n e p0, mas com a relao n.pa, tem-se

n k nk a (a)
k
p (1 p) e
k k! .

Isto definir a varivel aleatria de Poisson e o processo de Poisson.

APLICAO

Uma companhia area estima que 5,5% dos clientes que reservam vos
terminam em no shown. Um Airbus 319 tem capacidade de transporte de
144 passageiros, com velocidade de cruzeiro 850 km/h. Ela estabelece a
poltica de venda de 150 bilhetes em cada vo com esta aeronave.

1. Avalie a probabilidade de haver overbooking.

2. Qual a probabilidade que haja vaga no vo para todos os passageiros que

comparecerem ao check in?
Overbooking N bilhetes vendidos, N>144,
p=probabilidade que um cliente perca o vo
N
N
Poverbooking = (1 p ) k p N k
k =145 k

150
150

k =145 k
0.945 k 0.055150 k (use tambm o teorema de De Moivre-Laplace).

N Prob(overbooking)
145 0,03% (0.00027)
146 0,25% (0.00246)
147 1% (0.01123)
148 3,5% (0.03487)
149 8,5% (0.08297)
150 16% (0.1618)
 VARIVEIS ALEATRIAS USUAIS

Discretas Bernoulli, Binomial, Poisson

Contnuas Gaussiana, exponencial, Cauchy, Laplace,
Uniforme, beta, 2
Mistas

GAUSSIANA UNIFORME

1
( xm)2 1 a<x<b
2
f X ( x) = e 2 f X ( x) = b a
2 2 0 caso contrrio
EXPONENCIAL chi2
2 n 1 x 2 / 2 2
f T (T ) = a.e aT
u (T ) f X ( x) = n/2
x e u ( x)
2 ( n / 2)
n

BETA
+
Funo fatorial generalizado (funo gama de Euler) ( x) := 0
x e d = x!

(a).(b)
Funo beta B(a, b) :=
(a + b)

f X ( x) = B ( , ) x +1.(1 x) +1
M ( , )
( t a( , ) )
1 1
phibeta ( t , , ) := ( b ( , ) t )
+ 1
T( , )
Limitada direita e a esquerda. Pode ser simtrica ou assimtrica. A
simetria controlada pelos parmetros.

MAXWELL
1 2 2
/ 2 2
f X ( x) = 2
x 2e x u ( x)

Weibul
1 ( x / )
f X ( x; , ) = x e u ( x)
,>0

F-Senedecor
m/2
m x ( m2) / 2
f X ( x) = B(n, m). . ( n+ m) / 2
.u ( x)
n m
1 + x
n

Log-Normal
(ln x m ) 2
1 2 2
f X ( x) = e u ( x)
2
2 x
Gama
1 x
f X ( x; , ) = x e u ( x)
( )

Logstica
ex
f X ( x) =
(1 + e )
x 2

Pareto
+1
c
f X ( x; , c) = u ( x c) ,c>0
c x
 VETORES ALEATRIOS

O conceito de varivel aleatria pode ser estendido para mapeamento no

espao euclidiano n-dimensional.
n
X:

3
exemplo: mapeamento em .
 Um vetor aleatrio um mapeamento vetorial tal que
n
1) x , o conjunto no espao amostral X:={w |Xx} corresponde
a um evento.
O vetor de x:=(x1,x2,x3,...,xn) e
Xx (X1(w) x1, X2(w) x2, X3(w) x3,, Xn(w) xn)

2) P(X1(w) x1, X2(w) x2, ,Xi(w)=,, Xn(w) xn)=0 (i)

3) P(X1(w) x1, X2(w) x2, ,Xi(w)=-,, Xn(w) xn)=0 (i).

FUNO DISTRIBUIO DE UM VETOR ALEATRIO

A funo distribuio de um vetor aleatrio descrita por

n
FX:
x FX(x).
Lembrete: o resultado sempre um nmero real.

FX(x)=P(Xx)=P(X1(w) x1, X2(w) x2, X3(w) x3,, Xn(w) xn)

A notao mais usual : FX 1 , X 2 ,..., Xn ( x1 , x2 ,..., xn ) .

PROPRIEDADES DA FUNO DISTRIBUIO DE UM VETOR
ALEATRIO

i) FX 1 , X 2 ,..., Xn ( x1 , x2 ,...,,...xn ) = 0

ii) FX 1 , X 2 ,..., Xn (, ,..., ,..., ) = 1 (normalizao AX3)

iii) F montona no-decrescente em cada argumento.
iv) F contnua pela direita em cada argumento.

v) i FX 1 , X 2 ,..., X i ,..., Xn (, ,..., xi ,..., ) = FX i ( xi ) .

O caso usual de (v) a reobteno das distribuies marginais em cada
dimenso:

Partindo de FX ,Y ( x, y ) :
FX ,Y ( x, ) = FX ( x)

FX ,Y (, y ) = FY ( y ) .
A funo densidade de um vetor aleatrio tambm pode ser definida por
extenso:
n
f X ( x) := FX 1 , X 2 ,..., X n ( x1 , x2 ,..., xn )
x1x2 ...xn .
 PROPRIEDADES DAS DENSIDADES DE VETORES
x1 x2 xn
FX 1 X 2 ... X n ( x1 , x2 ,..., xn ) = ... f X 1 X 2 ... X n (1 , 2 ,... n )d1d 2 ...d n

1) Normalizao:
+ + +
...

f X1X 2 ... X n (1 , 2 ,... n )d1d 2 ...d n = 1

2) No-negatividade:

f X 1 , X 2 ,..., X n ( x1 , x2 ,..., xn ) 0
3) Distribuio Marginal:
+ + xi +
FX i ( xi ) = ... ... f X1X 2 ... X n (1 , 2 ,... n )d1d 2 ...d n

4) Densidade Marginal (caso usual):

+ +
f X ( x) = f XY ( x, y )dy e fY ( y ) = f XY ( x, y )dx

H que se estudar e ler detalhadamente definio e propriedades de

densidades de probabilidade condicionadas.
Relao entre densidades e INDEPENDNCIA ESTATSTICA

Independncia entre duas v.a.s X e Y. (desacoplamento)

X e Y Independentes FXY ( x, y ) = FX ( x).FY ( y )

De modo equivalente:

Independncia entre duas v.a.s X e Y. (desacoplamento)

X e Y independentes f XY ( x, y ) = f X ( x). fY ( y ) .
Do ponto de vista de densidades condicionais, a independncia implica
em:
f X |Y = y ( x) = f X ( x) e fY | X = x ( y ) = fY ( y ) .

Def. VETORES ALEATRIOS INDEPENDENTES.

No caso mais geral de vetores aleatrios, a independncia definida

quando
n
FX1X 2 ... X n ( x1 , x2 ,..., xn ) = FX i ( xi )
i =1

Independncia simplifica substancialmente as coisas! ...

 VALOR ESPERADO E MOMENTOS

Uma varivel assume valore REAIS. Assim, possvel realizar clculos,

mdias, modas, desvios...

O valor esperado de uma varivel aleatria X definido por

n
E ( X ) := P ( X = xi ) xi CASO DISCRETO
k =1

+
E ( X ) := xf X ( x)dx CASO CONTINUO

Interprete como mdias ponderadas pela probabilidade de ocorrncia.

Isto permite definir uma srie de mdias (MOMENTOS) de uma v.a.

E(X), E(X2), E(X3),..., E(Xn)
E os respectivos momentos centrais, relativos mdia m=E(X)
(funcionam com o clculo do centro de massa, momentos de inrcia
etc.)
E(X-m), E((X-m)2), E((X-m)3),..., E((X-m)n).
Os momentos relevantes so sempre os primeiros, de ordem mais baixa:

E(X), mdia (m) E(X2), 2 momento

E(X-m)=0 (sem uso), E((X-m)2), varincia (2)

Primeiro (medida do comportamento mdio)

Segundo (medida de espalhamento e variao, da o nome)

O desvio padro tambm largamente usado, expressando idia similar

varincia, mas com interpretao fsica atrativa
= 2 := E{( X m) 2 }
Momentos de ordem mais elevada so menos usados.
Entre estes:

LIGADO AO 3 MOMENTO
Coeficiente de assimetria da distribuio

3 :=
[
E ( X )3 ]
3
LIGADO AO 4 MOMENTO CENTRAL
Coeficiente de curtose da distribuio

4 :=
[
E ( X )4 ]
4 .
CASO DE DUAS VARIVEIS
X, Y
E(XnYm)
E{(X-mX)n(Y-mY)m}.

Se n ou m so nulos, os momentos so marginais, no cruzados. Para

momentos cruzados, requer-se n,m0. Os momentos de menor ordem
deste tipo so
CORRELAO E(XY):= corr(X,Y)=RX,Y ou
COVARINCIA E{(X-mX)(Y-mY)}:=cov(X,Y)=KX,Y.
Observe o nome co-varincia (varincia, 2 momento, co=entre variveis).
Significado como medida de dependncia.
(relao linear => correlao)

Proposio. Variveis aleatrias {X i }i =1

n

n n
var X i = var( X i ) + 2 cov( X i , X j )
i =1 i =1 i< j
.

{ }n
Corolrio. Variveis aleatrias i i =1 independentes
X

n n
var X i = var(X i )
i =1 i =1 .
INDEPENDNCIA E MOMENTOS
X e Y independentes (usando o desacoplamento entre densidades)
E(XnYm)=E(Xn).E(Ym) n,m

Existem os dois tipos de momentos (cruzados) de 2 ordem

E(XY)
E{(X-mX).(Y-mY)}=E(XY)-mXmY.
Cov e corr so relacionados.

Teste preliminar:
Se E(XY)=E(X)E(Y), ento h um desacoplamento parcial, de 2
ordem.
Neste caso, cov(X,Y)=corr(X,Y)-E(X).E(Y)=0

ISTO REFERIDO (por abuso) como correlao nula.

O coeficiente dito coeficiente de correlao normalizado (deveria ser de
covarincia!)
K XY
XY :=
X Y
Mostra-se que -1 +1.
 O caso =0 definido na literatura como correlao nula.

(no covariacionados, termos mais correto, soa estranho e nunca usado!)

TRANSFORMAES DE VARIVEIS ALEATRIAS

Se existe uma funo determinista em cuja entrada aplicada uma

varivel aleatria, a sada TAMBM ser uma varivel aleatria.
Exemplo.
X v.a.
Uma funo quadrtica y=x2. (funo)
A varivel Y=X2 aleatria. => transformao da v.a. X

Como determinar a distribuio de probabilidades da nova varivel

(transformada) Y em termos da distribuio da entrada X, conhecida?

Vejamos. Y=g(X), (em termos de f.D.p)

FX(x)=P(Xx)
FY(y)=P(Yy)=P(g(X) y).
[Yy] => [Xx1 ou x2Xx3 ou x4Xx5] disjuntos (P aditiva)

FY(y)=P(Xx1)+P(x2Xx3)+P(x4Xx5).
Escrevendo agora em termos de integrais:

FY ( y ) = + + f X ( x)dx
x1 x3 x5

x2 x4

1
Ora, xi = g1 ( y ) (imagem inversa)

EXEMPLO
f X ( x) = e xu ( x) . Seja a transformao Y=X2, quem fY? y>0:
 y y
FY ( y ) = f X ( x)dx = e x dx = 1 e y
0 0

FY ( y ) = 1 e y u(y) . (deriva-se e obtm-se a densidade).

GENERALIZAO

+
FY ( y ) = + + + ... + f X ( x)dx
x1 x3 x5

x2 x4 xn
Para a determinao da densidade de probabilidade, usa-se a REGRA
DE LEIBNITZ

d a ( ) da( ) db( ) a ( )
f ( x, )dx = f (a( ), ) f (b( ), ) + f ( x, )dx
d b( ) d d b ( )
Aplicando-a na expresso de FY

FY ( y ) dx dx dx dx dx dx
fY ( y ) = = f X ( x1 ) 1 + f X ( x3 ) 3 f X ( x2 ) 2 + f X ( x5 ) 5 f X ( x4 ) 4 ... f X ( xn ) n
y dy dy dy dy dy dy

dx i
f Y ( y ) = f X ( xi )
i dy

dxi
1
f X ( g ( y ))
i
dy .
i g i1 ( y )
JACOBIANO da transformao
No caso de vetores aleatrios,

f Y ( y ) = f X ( g i1 ( y )) || J ||1
g i1 ( y )
i

Funes biunvocas e diferenciveis:

Y=g(X), Y=(g1(X), g2(X),..., gn(X)).
g1 g1 g1
K
x1 x2 xn
g 2 g 2 g 2
K
J ( X ) = x x2 xn
1 use |det(J(X))|.
M K M M
g n g n
K
g n
x xn xn
n
 Exemplo resolvido.
A transformao de um vetor bidimensional gaussiano em coordenadas
polares, X e Y independentes.
(X,Y) (r,).
Qual a distribuio conjunta da amplitude e da fase, fr( r,)?
2 2 y
Sejam r = x + y ; = tg 1
x

r r x y

x y x2 + y 2 x2 + y 2
J = =
O jacobiano da transformao

y x
x y x2 + y 2 x2 + y 2
 1 1
| J |= det J = =
x2 + y 2 r.

x2 + y2 r2
f XY ( x, y ) r r
f r (r , ) = = e 2 2
= e 2 2
Assim, | J | 2 2
2 2

Como no aparece em fr, f() deve ser constante (v.a. uniforme).

Como a varivel fase distribuida entre (0,2):
r2
1 r 2 2
f r ( r , ) = . 2e = f r (r ). f ( )
2
As variveis transformadas so indendentes:
amplitude Rayleigh e fase uniforme.
 DESIGUALDADES CLSSICAS

Jensen CONVEXIDADE
A desigualdade de Jensen estabelece que

f gd ( f o g )d

f convexa em (a,b) e gL1(),
ag(x)b e ()=1.

g Lebesgue-integrvel, i.e., gd +

 1/ p

| g | p d +
Observao: Se

diz-se que gLp().

DEFINIO (convexidade)
f : ( a, b ) dita ser uma funo convexa se

x<y f [(1 ) x + y ] (1 ) f ( x) + f ( y ) 01.

Ilustrao:
Observao.
f (t ) f ( s ) f (u ) f (t )
a < s < t < u < b uma condio equivalente.
ts u t
 A derivada, se existir, monotonicamente no-decrescente.
A 2 derivada, se existir, sempre positiva (concavidade)
x, (a, b ) ento f ( x) > f ( ) + f ' ( ).( x )

TEOREMA.
Se f convexa em (a,b), ento f contnua em (a,b).

Exemplo de funo convexa: f(x)=ex.

TEOREMA DE JENSEN
Seja uma medida em uma lgebra A definida no espao tal que
()=1. Se g uma funo real em L1(), com a<g(x)<b para todo x em
, e se f uma funo convexa em (a,b), ento:

f gd ( f o g )d

.

Observao.
Este teorema no exclui os casos limites a=-, b=+.
PROVA.

Seja t :=
gd a<t<b.

Tome agora
f (t ) f ( s ) f (t ) f ( s )
:= sup ( , pois o sup).
ts ts

Conclumos que f ( s) f (t ) + ( s t ) (a<s<b), em particular, s=g(x),

obtemos
f ( g ( x)) f (t ) g ( x) + t 0 .

Integrando agora a expresso anterior, chega-se a:

( f o g )d f (

gd ) d gd + t d 0 .

Da ( f o g )d f (

gd ) d t + t 0 donde

( f o g )d f (

gd ) d 0 , concluindo a demonstrao.

CONSEQUNCIAS

1) Se g(x)=x, obtemos a desigualdade:

f (E{X }) E{ f (x)}
2) Se f(x)=e
x {
}
exp gd e g d .

Suponha agora que ={p1,p2,...,pn} e que (pi)=1/n (equiprovveis) e

tome g(pi)=xi . Ento:
1 1
(
exp (x1 + x2 + ... + xn ) e x1 + e x2 + e x3 ... + e xn )
n n

Fazendo yi=exp(xi), obtm-se

( y1. y2 .... yn )1 / n 1 ( y1 + y2 + ... + yn ) importante!

n

mdia geomtrica mdia aritmtica.

3) {
exp log hd hd

} (tomando g=log h)
mdia geomtrica mdia aritmtica

Se ( pi ) := i > 0 ,
i
i = 1 (distribuio discreta arbitrria)

Chega-se a
n
y1 1 . y2 2 .... yn 1 y1 + 2 y2 + ... + n yn
Generalizao da relao entre mdias harmnica & geomtrica.
 3) Sejam p e q expoentes conjugados, i.e,
1 1
+ = 1; 1<p<+
p q

(ou seja, p+q=p.q)

TEOREMA- DESIGUALDADES BSICAS

Sejam p, q expoentes conjugados, 1<p<+. Seja X um espao de

medida, com medida . Sejam f e g funes mensurveis em X, com
valores na faixa [0, +]. Ento:
(i) Desigualdade de Hlder Otto Hlder

X
f .gd {
X
f dp
} .{ g d}
1/ p

X
q
1/ q

(ii) Desigualdade de Minkowsky Hermann Minkowski

{ ( f + g ) d} {
X
p
1/ p

X
f dp
} + { g d}
1/ p

X
p
1/ p

.
Hlder (PROVA)

X
f .gd {X
f dp
} .{ g d}
1/ p

X
q
1/ q

:=A :=B
(p e q so expoentes conjugados, f0, g0 mensurveis)

f g
Sejam F := e G := funes
A B

(casos A=0 ou B=0; A=+ ou B=+ Triviais)

Vejamos que
{ F d}= 1 e { G d}= 1 .
X
p
X
q

{substituindo,

fp 1
X p d = p
f p d
f p d X
=1
;
A A f d
X p
X

gq 1
X q d = q
g q d
g q d X
=1
}.
B B g d
X q
X
 s/ p t/q
Dado x, s, t | F ( x) = e e G ( x) = e .
e s / p + t / q p 1e s + q 1et
s t
g
{e convexa, + =p-1s+q-1t uma combinao convexa}
p q

F ( x)G ( x) p 1e s + q 1et

Da segue-se:
F ( x)G ( x) p 1 F s ( x) + q 1G t ( x) ,

pois F ( x) = e e G ( x) = e .
p s q t
Integrando ambos os membros, deduz-se a desigualdade

X
F ( x)G ( x)d p 1 F p d + q 1 G q d
X X

Pela normalizao, o 2 membro torna-se p-1+q-1. Como os expoentes

so conjugados (por escolha inicial), chega-se a

X
F ( x)G ( x)d 1 .
Substituindo as expresses de F e G em termos de f e g,
f ( x) g ( x)

X A B
d 1 X
f ( x).g ( x)d A.B

e a demonstrao concluda! Q.E.D.

Para p=q=2, a desigualdade reduz-se conhecida

DESIGUALDADE DE SCHWARTZ (Hlder p=q=2)

{ ( f + g ) d} {
X
2
2

X
}{
f 2 d . g 2 d
X
}.
Aplicao direta para variveis aleatrias:

HLDER PARA V.A.s

Sejam f:=|X| e g:=|Y|

{ } { }
E{| XY |} E1 / p | X | p .E1 / q | Y |q .
Minkowsky (PROVA)

{ ( f + g ) d} {
X
p
1/ p

X
f d
p
} + { g d}
1/ p

X
p
1/ p

Pode ser reescrita de modo compacto como || f + g || p || f || p + || g || p

Partindo de
(f+g)p=f(f+g)p-1+g(f+g)p-1 [**]
Aplicando Hlder a cada das funes do 2 membro:

X
f ( f + g) p 1
d { f d } .{ ( f + g )
X
p
1/ p

X
( p 1) q
d }
1/ q
(1 funo)

d { g d } .{ ( f + g ) }
1/ p 1/ q
g ( f + g ) p 1 ( p 1) q
p
d (2 funo)
X X X

Somando agora as desigualdades membro a membro, usando [**] no

1 membro, tem-se

X
( f + g ) d
p
{[ X
f d p
] + [ g d ] }
1/ p

X
p
1/ p
. ( f + g )
X
pq q
d

1/ q

.
Dividindo adequadamente, chega-se a

X
( f + g ) p d
( f + g ) p d
1/ q
{[
X
f p d ] + [ g d ] } e a prova conclui. Q.E.D.
1/ p

X
p
1/ p

Casos particulares da desigualdade de Minkowsky:

{ ( f + g ) d} {
X
2
1/ 2

X
2
f d } + { g d}
1/ 2

X
2
1/ 2
DESIGUALDADE Cr

Estabelece que E | X +{Y |r

}
C r E | {
X | r
}
+ C r E { }
| Y |r

em que

2 r 1 r 1
Cr :=
1 r 1
Prova.
Considere f()=r+(1-)r.
Um esboo de f
Segue a cota:
21r se r 1
f ( )
1 se r 1 .

Concluso: Cr f ( ) 1 , r. (1)

|X| |Y |
Tome agora = | X | + | Y | e da 1 = | X | + | Y |

Substituindo em (1), obtemos:

| X |r | Y |r
Cr + Cr 1.
(| X | + | Y |)r
(| X | + | Y |)r
 C r | X | +C r | Y |
r r
( )r
| X | + |Y | .

Tomando o valor esperado:

{ } { }
Cr E | X |r + Cr E | Y |r E (| X | + | Y |)
r

Usando finalmente a desigualdade triangular, chega-se a:

{ } { } (
Cr E | X |r + Cr E | Y |r E | X + Y |r , )
Completando a prova. Q.E.D.
DESIGUALDADE DE LYAPUNOV (Liapunov grafia nossa)

Teorema. Vale a desigualdade E 1/ s

{| X | s
} E 1/ r
{| X |r
} para rs>0.
Isto significa que LrLs.

PROVA.
Defina a funo f (t ) := log E {| U |t } , t0, funo convexa.

t+h t h

Seja X :=| U | 2
e Y :=| U | , (h).
2
Da desigualdade de Cauchy-Schwartz, tem-se:
E 2 {| XY |} E | X |2 .E | Y |2

Substituindo as variveis X e Y em termos de U,

{ }
E 2 | U |t E | U |t +h .E | U |t h

Tomando log(.) em ambos os membros, chega-se a

 1 1
f (t ) f (t + h) + f (t h) h.
2 2

Observao. Se f contnua e a desigualdade anterior se verifica, ento f

convexa.
f(0)=0
f (t )
t declividade, montona crescente. (antilog=exp)
f (t ) f (t ) log E {| U |t }
De t , antilog t =antilog = E1 / t {| U |t }
t

Da relao E 1 / t {| U |t } segue a prova. Q.E.D.

 SIMULAO MONTE CARLO

Estimativa de algibeira para o nmero de simulaes necessrias

para estimar a freqncia relativa de evento de probabilidade p
(p desconhecida).

Suponha que voc deseja simular um sistema e avaliar uma taxa de erros
ou taxa de acertos (e.g. de peas em uma linha de montagem, de uma
transmisso digital, taxa de coliso de partculas etc.).
A cada simulao, efetuam-se n repeties do evento e obtendo um
resultado diferente cada vez que a simulao for realizada. O valor
mdio um estimador da probabilidade p (vide anexo).

Embora p<<1 seja desconhecida (tpico), deve simular de modo a

garantir um espalhamento pequeno em trono da mdia, digamos 10%
(ou 1%).

=0,1 (critrio 10%)

EXEMPLO. Ao estimar em computador a probabilidade de um evento
que voc desconfia em uma estimativa grosseira ter probabilidade da
ordem de 10-4, (querendo simular para encontrar uma estimativa
probabilisticamente confivel), use:

N.B. Se o valor da estimativa for , por exemplo, bem inferior

a sua estimativa inicial, refaa as contas sobre n e refaa a simulao...
O mtodo clssico de simulao, chamado MONTE CARLO,
certamente no indicado para avaliar a taxa de eventos com
probabilidades muito pequenas, e.g., 10-9. (see importance sampling)

ANEXO. Para um experimento de Bernoulli, k sendo o nmero de sucessos e n o nmero de repeties do

experimento, k uma varivel aleatria com distribuio binomial.

E(k)=np e var(k)=2(k)=np(1-p).
Seja a estimativa de freqncia relativa para a probabilidade p do evento estudado (e repetido): . Como
k uma varivel aleatria, tambm o .
1. , o estimador no enviezado.
(o valor mdio das diversas simulaes tende a fornecer o valor de p)
2. de modo que o espalhamento relativo mdia vale .

(p pequeno)
 Integrao Monte Carlo
Hit or miss technique
b
0g(x)c em axb. Deseja-se avaliar S := g ( x)dx
a

Seja o espao amostral := {( x, y ) a x b,0 y c}

1 se ( x, y )

f X ,Y ( x, y ) := c(b a)
E uma distribuio 2D-uniforme 0 caso contrrio
 S
p := N realizaes aleatria.
area ()
n
p := hits
estimador de freqncia relativa N
Convergncias plim p = p e l.i.m. p = p (ver-se- aps).

ALGORITMO.

1. Gere 2N nmeros aleatrias uniformes {Uj}

2. Arrange-os em N pares (U1,U1), ..., (UN,UN)
3. Calcule X i = a + U i (b a) e g ( X i ) i=1,2,...,N.
4. Conte o nmero de casos n hits para os quais g(Xi)>cUi
p.(1 p)c(b a)
5. Estime a integral por c(b a) p z N
 J. Von Neumann (EUA, imigrante Hngaro)

Aplicaes

Otimizao global (programao matemtica)

Sistemas de equaes lineares
Integrais mltiplas
Cadeias de Markov
A Funo Caracterstica de uma varivel aleatria

Def. Dada uma v.a. de distribuio FX(.), define-se:

+ +
M X ( j ) := e dFX ( x) = e jx f X ( x)dx .
j x

Notaes usuais: MX(.) ou X (.)

Isto corresponde a transformada inversa de Fourier da densidade de

probabilidade da varivel aleatria: M X ( j ) f X ( x) .

Nota: MX poderia ter sido mais naturalmente definida como a TF da
densidade de probabilidade fX da v.a. X

Exemplo.

1) Varivel uniforme X~ U(a,b).

+
M X ( j ) = e

j x
b
f X ( x)dx = e jx
a
1
ba
dx =
1
j (b a)
[
e j b e j a ].

M X ( j ) =
1
j (b a )
[
e j b e j a ]
A funo caracterstica
 E(),
2) Varivel exponencial . X~E
+
M X ( j ) = e j x
f X ( x)dx = e x e jx dx .
0

M X ( j ) =
j .

Exemplo: O caso Gaussiano.

1) Para uma v.a. de distribuio Gaussiana normalizada, X~N

N(0,1)

1 x2 / 2
f X ( x) = e . Tem-se imediatamente M X ( j ) = e
2 / 2
.
2
2) Uma varivel gaussiana sob transformao afim,
1 2 2
f X ( x) = e ( x ) / 2 resulta em
2
j 2 2 / 2
M X ( j ) = e e .

3) varivel de Poisson
+
M X ( j ) = e j x

i e
( x i )dx = e

(e )
j i

i =0 i! i =0 i!

(1e j )
M X ( j ) = e .
Propriedades da funo caracterstica. (10 propriedades)

i) Para todo | M X ( j ) | 1 = M X (0) .

Claro que
+ + +
M X (0) = dFX ( x) e | M X ( j ) |=| e jx dFX ( x) | | e jx | f X ( x)dx = 1 .

ii) M X ( j ) = M X* ( j ) bvio.

iii) MX uniformemente contnua em .

+ +
| M X ( j + h ) M X ( j ) =

e j ( + h ) x dFX ( x) e jx dFX ( x)

 [e ]
+ + +
dFX ( x) e dFX ( x) =
j ( + h ) x j x j ( + h ) x
Mas e e jx dFX ( x)

| M X ( j + h ) M X ( j ) =
+

[ ] +
[
e jx e jhx 1 dFX ( x) e jx e jhx 1 dFX ( x)

]
de onde:
+ +
| M X ( j + h) M X ( j ) | | e jx | e jhx 1 dFX ( x) = e jhx 1 dFX ( x) 0 se h0.

Assim, | M X ( j + h) M X ( j ) | h<

+ + +
= 1 + jhx 1 dFX ( x) = hx dFX ( x) =| h | x dFX ( x) =| h | .E{| X |}


| |<
E{| X |} .

iv) Transformao afim

M X ( j ) = M X* ( j ) e M aX +b ( j ) = M X ( ja ).e jb

v) Geradora de momentos:
n
{ }
E X n
= ( j ) n

n
M X ( j )
=0
vi) Frmula de inverso:
1 +
f X ( x) =
2
e jx M X ( j )d

vii) De Pr( X = x) = FX ( x + ) FX ( x ) ,
lim1 n
n M X ( j )d .
jx
Pr( X = x) = e
0 2n

viii) MX(.) semidefinida positiva:

M [ j (v u )]h(v)h * (u ) 0 , S
u , v S
X , finito, h: qualquer.
ix) {X i } v.a.s independentes, e Y := X i e a varivel soma, ento
i

M Y ( j ) = M X i ( j ) .
i

x) Sequncias de funes (Gnedenko 1962):

Se {M X n ( j )}n =1 uma sequncia de funes caractersticas, ento:

n 0 | n = 1 .M
n
n Xn ( j )
tambm uma funo caracterstica.
Teorema da unicidade. Se duas funes distribuio de probabilidade tm

a mesma funo caracterstica, ento elas so iguais. {decorre de Fourier}

(as funes caractersticas so especialmente teis nos teoremas limites).

Teorema (convergncia de seqncias de distribuies).

(a) Seja {Fn } uma sequncia de funes distribuio com funes

caractersticas respectivas {M n } . Se Fn F, ento Mn M, sendo a

convergncia uniforme com respeito a x em qualquer intervalo finito
a<x<b.
(b) Suponhamos que

i) Mn converge em e define a funo limite M;

ii) M contnua na origem. Ento:

Fn F, em que F uma funo distribuio de probabilidade
M a funo caracterstica da varivel de distribuio F.
Srie de Taylor para a funo caracterstica de uma v.a.

Suponha que a expanso em srie de Taylor da funo caracterstica existe

em algum intervalo que contenha a origem. Ento

+
( j ) k
[ ]
M X ( j ) = E Xk

k! .
k =0

A funo caracterstica fornece TODOS os momentos da varivel aleatria.

Assim, conhecer momentos conhecer distribuio.

Calcular os momentos (no-centrais) de uma distribuio gaussiana de mdia
nula e varincia 2.
X~ N(0,2).
Fazendo
2
2 /2 1 1 1
M X ( j ) = e = 1 2 2 + 4 4 + ... + (1) l l 2l 2l + ...
2 8 2 l!
Chega-se a
0

{ }
E X n
= n!
n mpar
2 n / 2 (n / 2)! n par .

+
10 x 2 / 4
avaliar:

x e dx , use 2=2 n=10.
EXERCCIO (seguradoras)
Algumas companhias de seguro aplicam o chamado princpio exponencial
para atribuir um custo de um seguro. Seja X a varivel aleatria que descreve
o valor a ser pago ao segurado nas diversas possveis ocorrncias em que ele
pode acionar o seguro. A distribuio adimitida como exponencial de
parmetro , e a quantia mdia para pela seguradora E(X)=.
O valor V estabelecido para a aplice segue a regra:
1
V =
a
( )
ln e aX , em que a=

uma constante positiva, sendo 0< <1

( ajustado de acordo com o perfil do segurado).
Determinando o valor cobrado pela aplice:

X~E(), cuja funo geradora de momentos vale M X ( s) = s , s<.

Deseja-se avaliar MX(a).

Note que a=<, pois 0<<1.

Assim,
1 ln(1 ) 1
V = ln =
a a
No caso de funes caractersticas conjuntas, seja o caso simples de apenas

duas variveis X1, X2, com distribuio FX1,X2.

Mostra-se que

n+m
[
EX X 1
n m
2 ] = ( j ) n+m

1 2
n m
M X 1 , X 2 ( j 1 , j 2 )
1 = 0 , 2 =0

generaliza-se facilmente ...

Funo caracterstica de vetor aleatrio

X vetor n-dimensional:
r
M Xr ( j ) := E e [ r r
j T X
]
r r
As propriedades so semelhantes, e.g., Y = A. X + B , A e B matrizes:
r r
j T b
M Yr ( j ) = e .M X ( jAT ) .

Aplicao. Seja X um vetor aleatrio bidimensional com funo caracterstica:

M Xr ( j ) = M Xr ( j ( 1 , 2 )) = e (2 1 + 2 2 + 1 . 2 ) .
r 2 2
 Deseja-se o vetor mdia mX e a matriz de covarincia KX.

M X
1) E {X 1 } = j ... calculando-se:
1 r
= ( 0,0)

r
E{X 1 } = j M X ( j )[ 4 1 2 ]r =( 0, 0 ) = 0 .

Idem para E{X2}.

0
Resultado: mXr = .
0

2M X r
2) E{X 1 X 2 } = ( j ) 1 2
2
= M Xr ( j ).[(4 1 + 2 ).(4 2 + 1 ) 1] = 1
r
=( 0,0 )
e E{X 2 X 1 } = E{X 1 X 2 } = 1 .

2M X
{ } = ( j )
E X 1
2 2
2 { } { }
= 4 e E X 2 = E X 2 = 4,
1 r
=( 0,0)
2 1

4 1
K X =
Resultando em
1 4 .
 A VARIVEL SOMA

Considere uma v.a. X definida pela soma de N variveis aleatrias

independentes, {X }N
n n =1 .

N
X := X n .
n =1

N

M
A funo caracterstica para X X ( j ) = E exp j X n .
n =1

N
Logo, M X ( j ) = E exp( jX n ) . Desde que as v.a.s so
n =1
independentes, o clculo da esperana desacoplado:
 N N
M X ( j ) = [E exp( jX n )] = M X n ( j ) .
n =1 n =1

N
M X ( j ) = M X n ( j )
n =1

A funo caracterstica da varivel aleatria soma de

variveis independentes o produto das funes

caractersticas das variveis individuais.

TRIVIA:

Z:=X+Y X e Y independentes.

M Z ( j ) = M X ( j ).M Y ( j ) e usando a transformada de Fourier:

f Z ( z ) = f X ( z ) * fY ( z ) .
Convoluo!

Caso particular Soma de duas v.a.s i.i.d. uniformes:

f Z ( z ) = f X ( z ) * fY ( z ) =
( z ) * ( z ) = (z )
Z:=X+Y .
 VARIVEL aleatria CAUCHY

1 1
f X ( x) = 2 e M X ( j ) = e | |
(1 + x )

{X }
N

i.i.d. Cauchy, e X :=
N
Sejam n n =1
Xn .
n =1

Qual a funo caracterstica de X? Calcule e mostre que tb Cauchy.

N.B. Depois, ser observado que E{X}=+ e a validade do teorema central

comprometida.
VARIVEL chi-quadrada (qui-quadrada)

x ( n2) / 2 e x / 2 1
f X ( x) = n / 2 u ( x ) M X ( j ) =
2 ( n / 2) e (1 j 2 ) n / 2

{X }
N

i.i.d. Cauchy, e X :=
N
Sejam n n =1
Xn .
n =1

Qual a funo caracterstica de X?

 COTAS SOBRE PROBABILIDADES

Desigualdade de Chebyshev (Pafnutti Tchebyscheff).

N.B. H diversas grafias na maioria dos nomes de outra nacionalidade:
Chebyshev, Chebyschev, Tchebyshev, Tchevyscheff...)

Dado >0 (arbitrariamente pequeno), X varivel aleatria de

Mdia mX
Varincia X2
X2
Pr{| X m |> } 2 .

Teorema. Se fa>0 em I , ento
E{ f ( X )}
Pr{X I } .
a
 +
Vejamos: E{ f ( X )} = f ( x)dFX ( x) .

E{ f ( X )} = f ( x)dF X ( x) + C f ( x)dF X ( x) E{ f ( X )} I f ( x)dF X ( x)

I I

Enfraquecendo a desigualdade: E{ f ( X )} a dFX ( x) = a Pr{ X I }

I

Q.E.D.
Aplicao. v.a. X, com mdia nula E{X}=0 e E{X2}=2
2
2
Seja f ( x) := x + a .

2 2
2 2
Para xa>0, (intervalo I), f ( x) = x + a a + 0 .
a
Esboo:

E{ f ( x)} { }
Pr{X a} 2 Pr{X a}
E X 2 + 2 E{ X } 2 / a + 4 / a 2
2 ou seja, 2
2
a + 2 a + 2
a
a

Logo
2 + 4 / a2 2 2
Pr{X a} 2
a + 2 ou Pr{X a} 2
a + 2 . (cota).
2
2
a + 2
a
 COTA INFERIOR E SUPERIOR

Teorema. X uma varivel aleatria e g0, g Borel mensurvel

(toda imagem inversa um conjunto na -lgebra de Borel)
Se g par e no-decrescente em [0,).
Ento a0, tem-se

E{g ( X )} g (a) E{g ( X )}

Pr{| X | a}
a.s. sup g ( x) g (a)
Calculando E{g(X)}:
E{g ( X )} = g ( x)dFX ( x) + c g ( x)dFX ( x) g ( x)dFX ( x) ,
A A A

pois o 2 termo positivo.

E{g ( X )} g ( x)dFX ( x) g (a)dFX ( x) = g (a) Pr{| X | a} .

A A
Por outro lado, sup g ( x) g ( x) ou a.s. sup g ( x) g ( x) a.e.

g ( x)dFX ( x) sup g ( x) dFX ( x) = sup g ( x). Pr{| X | a} (I)

A A

g ( x)dFX ( x) g (a) c dFX ( x) = g (a). Pr{| X | a} g (a) (II)

Ac A

Somando termo a termo,

+
g ( x)dFX ( x) sup g ( x). Pr{| X | a} + g (a)

E finalmente

E{g ( X )} g (a ) sup g ( x). Pr{| X | a} Q.E.D.

 Corolrio.
Desigualdade Generalizada de Chebyshev. Dado >0 arbitrrio, to
pequeno quanto se queira, g0,par no-decrescente em [0,).

E{g ( X )}
Pr{| X | }
g ( ) .

2 Pr{| X | }
{ }
E X2
Com g(x)=x 2 .

Para X-mx X Varivel aleatria central

var{X }
Pr{| X m X | }
2 desigualdade de Chebyshev
DESIGUALDADE DE MARKOV

Tomemos g(x)=|x|r

Pr{| X | }
{ }
E X
r

r .

Observao.

Convergncia em r-sima mdia Xn X se e s se E X n X { r

} 0.
r sima
Xn X E Xn X { r
} 0.
 Exemplo.
Uma visita verso fraca da LEI DOS GRANDES NMEROS

{Y }
Uma sequncia infinita de variveis aleatrias i n =1 , estatisticamente
independentes (e possivelmente identicamente distribuidas)

1 n
X := (Yi E (Yi ) )
Definamos n n i =1 n=1,2,3,...

Essa nova seqncia de v.a.s tem

E{Xn}=0

2
Y2
Var(Xn)= = n
i
n
Um esboo da verso fraca da Lei dos grandes nmeros:
var{X }
Pr{| X m X | }
2
2
Pr{| X n | } 2 0 quando n.
n
lim
Pr{| X n | } = 0
n0

O estimador de frequncia relativa um estimador consistente (quando ele

converge em Probabilidade). Os conceitos de convergncia de sequncias de
variveis aleatrias so requeridos.
 COTA (EXPONENCIAL) DE CHERNOFF

Uma cota apertada (tigth upper bound).

+
Usando a funo caracterstica. M X ( j ) := e dFX ( x).
j x

Passando ao plano real:

s j

+
( ) = dFX ( x) , s Real.
sx
Seja M X s e

(chamemo-la funo geradora de momentos, sentido estrito)

 { }
M X ( s ) = E e sX

Seja ( s ) := ln M X ( s ) = ln E {e sX
}.
+
( s ) := ln e sx dFX ( x) pela desigualdade de Jensen

( s) := ln
+
e dFX ( x) ln e
sx s

xdFX ( x )
= s.E{X }.

Dado >0, Avaliemos agora Pr{X }:

+
Pr {X } = dFX ( x ) = E {I [ , )} = I [ , ) dFX ( x )

1 1
Pr {X } = I [ , ) dFX ( x ) =
e s
E {
e s
. I [ , })
e s
E{ }
e s

Em termos de (s), s0
1 (s)
Pr{X } e = e ( s ) s
.
e s
Resolvendo agora o problema de programao matemtica (minimizao)

Min ( s) s
s.t. ( s)
s [ ( s ) s ] = 0 ou seja, s = o que atingido em um
s0

s=s0 particular.

A cota (exponencial) desejada

Pr {X } e ( s0 ) s0
Vejamos agora um caso de interesse.
N

Seja X := X i , com Xi i.i.d. e avaliemos Pr {X N }.

i =1

1 N

Pr
Isto equivale a considerar N
i =1
X i .

1 N

Pr
Da cota de Chernoff bsica, N
i =1
X i

e X ( s0 ) Ns0
.

s xi
N

Mas X ( s) = ln E{e } N sxi

( )
N

) = ln (M Xi ( s ) ) = N ln (M Xi ( s ) )
N
sx
= ln E e i =1 = ln E e sxi
= ln E ( e
i =1 i =1

A cota de Chernoff no caso de varivel soma i.i.d. torna-se:

1 N
N (s0 X i ( s0 ) )

N X i ( s0 ) Ns0
Pr X e = e
N i =1
i
.

A cota (exponencial) de CHERNOFF desejada

1 N

Pr
N

i =1
X i e

NE ( s0 , )

Esta cota decresce exponencialmente com N, enquanto que a lei fraca dos
grandes nmeros (com base na cota de Chebyshev) decresce apenas com
1/N.
UMA COTA EXPONENCIALMENTE APERTADA!

Pode ser demonstrado que o expoente E(s0,) o maior possvel, i.e., inexiste
uma cota exponencial da forma

1 N

Pr
N

i =1
X i

e NE '

Com E independente de N e tal que E> E(s0,).

Por esta razo a cota de Chernoff dita ser exponencialmente apertada

(tight bound).
APLICAO
1 x2 / 2
Cota para uma varivel Gaussiana.
f X ( x) = e
2

2 / 2 ( s / j )2 / 2 s2 / 2 s2
M X ( j ) = e . M X ( s) = e =e ( s) = .
2
( s)
impondo s = , tem-se s0 = .

Assim, Pr{X} pode ser exponencialmente cotada por

2
2
Pr{X } e 2
=e 2 / 2
EXEMPLO DOIS.ZERO. (h carro 2.0!)
1 N

A cota para a varivel N X

i =1
i com Xi variveis de Bernoulli.

1 com prob. p
Xi =
0 com prob.1 - p
 (
M X i ( s) = pe s + (1 p) ( s ) = ln pe s + (1 p ) . )

( s ) 1 .(1 p )
De s = . p.e s
= s
obtm-se 0 = ln
pe s + (1 p ) (1 ). p

(s
0 Xi
) . .
( s0 ) = . ln p (1 ) ln(1 p ) + . ln (1 ) ln(1 )

Definindo:

Tp ( ) := ln p (1 ) ln(1 p ) e
H ( ) := ln (1 ) ln(1 )
Mostra-se que:

1 N
N (T p ( ) H ( ) )
Pr
N

i =1
X i

e
, p < 1.

Ou

1 N
N (T p ( ) H ( ) )
Pr
N

i =1
X i

e
, 0 < p.

Herman Chernoff (EUA, imigrante russo)

CONVERGNCIA DE SEQUNCIAS DE VARIVEIS ALEATRIAS

Sequncias de nmeros reais:

{rn }n =1 r r (r
n n converge para r)
se e somente se >0 N | rn - r |< n> N

Varivel aleatria X: Funo real de varivel real.

Conjunto de funes de valores reais:

{ f n }n =1 fn f (fn converge para f ponto a ponto)

se e somente se >0 N,x | fn (x)- f(x) |< n> N,x x.
{fn } f
f n ( x) f ( x) x.
Seq. de nmeros reais.

Convergncia uniforme (j estudada em MMAT):

Usar N em lugar de N,x

Exemplo 1.
lim f n ( x) = 0
x [0,1] 2
f n ( x) := n xe nx
claro que n .

f n f = 0 . A convergncia uniforme?

Critrio.

lim sup f n ( x) f ( x) = 0
Fn converge uniformemente n x [0,1] .
Temos:
sup f n ( x) f ( x) = sup n 2 xe nx
x [0,1] x [0,1] .

d 2 nx 3 nx 2 nx
Verificando o mximo: dx
n xe = n xe + n e =0

1
[1-n.x]=0 i.e., o ponto de mximo ocorre em x =
n.

sup n 2 xe nx = n
e
x [0,1]
 lim sup n 2 xe nx = +
n x [0,1] e a convergncia no uniforme.

Graficamente:
Ver Animao.

Exemplo 2.

Xn() X()=0 (mas no uniformemente).

Dado 0 N n>N 2/n< 0
 lim sup | X n ( ) |= lim n = +
n [0,1] n .

/ n
Exemplo 3. X n ( ) := e , com [0,1].
Xn() X()=1 (converge uniformemente).

lim sup X n ( ) X ( ) = ?
n [0,1]
sup e / n 1 = sup 1 e / n
[0,1] [0,1] . Mas em [0,1] , e 1 / n e / n 1 e

lim sup X n ( ) X ( ) = lim | 1 e 1 / n |= 0

portanto, n [0,1] n .
CONVERGNCIA COM PROBABILIDADE 1

Def. {X }
n n =1 diz-se que Xn X c.p.1 (p.s. = a.s.) se e s se
lim X n ( ) = X ( ) a.s.
Pr w = 1 . Denota-se tambm X n X .
n

lim X n ( ) X ( )
Conseqencia. Pr w = 0 .
n

So equivalentes as seguintes proposies.

Xn X c.p.1 se e s se >0, >0 N,


 Pr n >I {w | X n ( ) X ( ) |< } > 1 (conjuntos bons)
N ,

 Pr U {w | X n ( ) X ( ) | } < 1 (1 ) = (conjuntos ruins)
n> N
,

sup | X n ( ) X ( ) |<
Pr w > 1 .
 n > N
,
CONDIES
I) Necessria

Pr(Bn)0 quando n

P U Bn P ( Bn ) 0
n> N n> N
1
Obs. Suponha que P ( B ) =
2n . Pr(Bn)0 quando n
n

mas P U Bn pode no ser menor que um >0 arbitrrio
n> N

Bn = 1.
Exemplo- bolo francesa nU
P
> N
II) Suficincia para convergncia cp 1

P U Bn <

Bn = bad sets
n > N

Bn i.e. {Bn } seja sequncia monotnica no crescente

 n n
Neste caso, U Bk = Bn P U Bk = P ( Bn ) 0 .
k > N k > N

III) outra condio e suficincia com probabilidade 1 (conv. certa)

P U Bn P ( Bn ) e Pr(B )0 quando n.

n

Suponha que P( B )
n =1
n seja convergente (cond.)

Ento N n > N n P ( Bn ) < e, portanto, P U Bk P ( Bn ) < .

> N n > N n > N
O Lema de Borel-Cantelli

Sejam {An} eventos com probabilidades pn:=P(An), n1. Ento:

i) Se
n =1
pn < P(lim sup An ) = 0

ii) Se
n =1
pn = + , {An} independentes P(lim sup An ) = 1 .
Consequncia: O macaco digitador

Pondo-se um macaco para digitar aleatoriamente, razovel supor que haja

p no-nula (ainda que p<<<<<<1) que ele digite corretamente um livro de
Machado de Assis, sem nenhum erro.

Se o macaco repete independentemente vrios (infinitos) ensaios, sendo

1 se o macaco tem sucesso na digitao
An := , P(An)=p>0 e pelo lema de Borel-
0 caso contrrio.

Cantelli ele ir digitar corretamente o livro com probabilidade 1. (o mesmo

se aplica considerando a OBRA inteira de Machado de Assis!!!).
 Convergncia em mdia r-sima

Definio.

{
lim E X n X r
} 0
n r>0 .

O espao Lr fechado em relao convergncia em mdia r-sima

l.i.m. X n = X
Notao para r=2: n

Proposio:

r { } { }
lim E X n r = E X r

se X n X ento n
i) para 0<r1, usando a desigualdade-Cr

{ }= E{X
E Xn
r
n X +X
r
} E{X n X
r
}+ E{X }
r

{ } E{X
E X
r
n X
r
}+ E{X } n
r

Denominaremos por

{ } E{X } E{X X }
z := E X n
r r
n
r

z = E {X } E {X } E {X X }
r r r
n n

0 | z |= E {X } E {X } E {X X } 0 pois X
r r r r
n n n X

ii) r>1 Usar a desigualdade de Minkowsky

 Convergncia em Probabilidade

Definio. Seja {X }
n n =1 uma sequncia de variveis aleatrias. Diz-se que

Xn converge para X em probabilidade se e s se

lim Pr ({w | X n ( w) X ( w) | }) = 0
n
P
Notamos por X n X i.e., para convergncia em probabillidade exigimos
que
P (Bn ) para todo n>N,.
 lim Pr (Bn ) = 0
ou seja, n

Bn so conjuntos ruins:
Bn := {w | X n ( w) X ( w) | }.

p lim X n = X
Notao: n
 r P
Proposio. X n X X n X

{
E Xn X
r
}
Prova. Pela cota de Markov, 0 Pr ( X n X ) r

r
lim E X n X { r
}= 0
Mas X n X n

lim Pr ( X n X ) = 0 P

n e logo X n X .

Claro que a inversa no verdadeira em geral. Mas, sob certas condies,

P r
X n X X n X . Vejamos:
Proposio.
X n X r
lim E

r
=0 {
lim E X n X r
} 0
Se n 1 + X n X (implica n ), ento

P r
Xn X Xn X .
Prova.
Seja X uma v.a. arbitrria e g em uma funo de Borel no-negativa. Se g
par e no-decrescente em [0,), vale a>0
E{g ( X )} g (a) E{g ( X )}
Pr{| X | a}
a.s.Supg ( x) g (a )

| X |r
Para este caso, tome g ( x ) = 1+ | X |r . Chega-se a (a.s. sup g(x)=1):
 | X |r ar 1 + a r | X |r
E r
Pr{| X | a} r E r
1+ | X | 1 + a r
a 1+ | X |

Substitua X por Xn-X; a por , logo

| X n X |r r 1 + r | X n X |r
E r
Pr{| X n X | } r E r
1+ | X n X | 1 + r
1+ | X n X |

X n X r
lim E r
=0 P

n 1 + X n X bad sets de prob. Nula ou X n X .

DISTNCIA entre variveis aleatrias

X Y
d ( X , Y ) := E uma distncia, exceto que d(X,Y)=0 X=Y p.p.
1 + X Y

Teremos um espao completo de classes equivalentesde variveis

aleatrias.

a.s. P
Proposio: X n X c.p. 1 X n X

(convergncia forte implica em convergncia fraca)

Prova.

Bk
Se h c.p.1 ento n >U
P
.
N ,

B U B P ( B ) P U B
n > N , , n n
n
n> N n
.
n > N , ,

Conclui-se ento que P ( Bn ) n > N ,

lim Pr( Bn ) = 0 P
o que significa que n X n X Q.E.D.
Convergncia em Distribuio

Definio. Seja {X }
n n =1 uma sequncia de variveis aleatrias. Diz-se que

Xn converge para X em distribuio se e s se

lim FX n ( x) = FX ( x)
n nos pontos de continuidade de FX.

d
Notamos isto por X n X .

P d
Teorema. X n X X n X .
Prova.
(X<x)= (Xn<x,X<x) ( Xnx,X<x) (Xn<x) ( Xnx,X<x)
Disjuntos
P(X<x) P(Xn<x) + P( Xnx,X<x).

Consideremos x<x:
P
P( Xnx,X<x) P(|Xn-X|x-x) 0 qdo n , pois X n X .

Assim,
FX ( x' ) FX n ( x) + Pr(| X n X | x x' )
donde
FX ( x' ) lim inf FX n ( x) , x<x.

Similarmente, mostra-se que

lim sup FX n ( x) FX ( x' ' ) , x>x.

Coletando os resultados, segue-se

FX ( x' ) lim inf FX n ( x) lim sup FX n ( x) FX ( x' ' ) para x<x<x

Portanto, se xContinua {FX}, ento fazendo xx e xx, tem-se

lim FX n ( x) = FX ( x)
n Q.E.D.
 LEIS DOS GRANDES NMEROS

Desejamos examinar a convergncia de uma soma de variveis aleatrias

quando a soma normalizada subtraindo-se o seu valor esperado e dividindo-
se o resultado pelo nmero de termos da soma.

Considere a sequncia {X }
i 1 e defina S N := X i . Queremos examinar a
i =1

convergncia da sequencia de variveis {S }

N 1 , aonde
 1
S N := [S N E{S N }] .
N

Tem-se

1N N
1 N
S := X i E{ X i } = [X i E{ X i }] .

N
N i =1 i =1 N i =1

Em particular, temos interesse nas condies exigidas que asseguram que

{S }
N 1 converge para zero de alguma maneira.

Se a sequncia de variveis aleatrias {X i }, verificando E{Xi}< para cada i,

tal que:
 {X i }
a .s .

a) S 0 ento dizemos que a sequncia dos
N obedece Lei

forte dos grandes nmeros.

{X i }
P

b) S 0 ento dizemos que a sequncia dos
N obedece Lei

fraca dos grandes nmeros.

{X i }
r

c) S 0 ento dizemos que a sequncia dos
N obedece Lei

mdia r-sima dos grandes nmeros.

Convergncias possveis para a mdia amostral.

Efeitos da normalizao.

Consider o caso em que os {X i } so v.a.s i.i.d. com segundos momentos

1
finitos. Neste caso, definindo S N :=
N
SN

1 N 1 N 2 X2
E{S N } = E{ X } = E{ X } e
i
2
SN
= 2 X i = 0
N i =1 N i =1 N
VERSES FRACAS Weak law of large numbers

Teorema. Para que a sequncia de variveis aleatrias {X i }, possivelmente

P

dependentes seja tal que S 0 , necessrio e suficiente que
N

N r

[ X i E{ X i }]

lim E i =1
=0
para algum r>0.
r
N N 2 + [ X E{ X }]
N

i i
i =1

Prova.

P
Yn Y r
lim E
r =0
Sabemos que YN Y se e somente se N 1 + Yn Y .

Ento substituindo S N Yn e 0 Y , vem

S r
lim E N
r = 0
P

S N 0
N 1 + S N

1 N r



( X i E{ X i })
N i =1


lim E =0
e o resultado segue.
r
N 1 + 1
N

( X i E{ X i })
N i =1

Gostaramos de condies estipuladas em termos das variveis Xi.

Teorema de Markov (condio de suficincia).

1 N

{X i }
lim
N 2
var
1
X i = 0

Se as variveis aleatrias so tais que N , ento

P

S 0.
N

Prova.

S r
{ }
r
S N r N r
S N 0 E r E S N
r
1+ S N 1 + S N .
 S r
N
Ento E S { }
r
N 0 (cond. Suf.?)
E

1 + S N
r

0
(cond. nec. e suf.?)

{ } 1
r
N
1 N
E S r
N = E ( X i E{ X i }) a r
E X i E{ X i }
r

N i =1 N i =1

1 N

Fazendo r=2, ... N 2

2
E X i E{ X i }
i =1

1 N

i
2
lim E X E{ X }
N 2 i=1
i
=0
N
 1 N N
lim E ( X i E{ X i }).(X j E{ X j })
N 2
i =1 j =1
=0
N , ou seja,

1 N

lim
N 2
var
1
X i = 0

N Q.E.D.
Observaes: casos particulares de interesse.

1) {X i } i.i.d.

1 N
1 N
1 2
lim
N 2
var
1
X i=
N 2 X2 = lim
i
N
X =0
N 1
N

(esta uma verso Chebyshev da Lei fraca dos grandes nmeros).

2) Caso srio

{X i } independentes com mdias finitas

1 N
1+
lim E i
N 1+ i =1
X E{ X i }
=0
P
N S 0
N

Organizando o resultado para enunciado formal:

Teorema de Chebyshev (condio suficiente).

Se {X i } uma sequncia de variveis aleatrias no-correlacionadas (ou

independentes) par-a-par, com varincias finitas X2 < e
i

1 N
lim
N2
2
Xi =0

P

N 1 , ento S 0 .
N

Nota. A demonstrao um caso particular, mas pode ser feita mais

facilmente via a desigualdade de Chebyshev.

Pafnuty Chebyshev
 CONVERGNCIA DA FREQUNCIA RELATIVA.

Teorema de Bernoulli. Seja K o nmero de ocorrncias de um evento em N

realizaes independentes de um experimento e seja p a probabilidade de
ocorrncia de A em cada realizao. Ento:

K P lim
Z N := p , i.e., Pr{| Z N p |> } = 0 >0.
N N

p lim Z N = p
Em notao simplificada: N
Teorema de Poisson. Se em uma sequncia de realizaes de um
experimento, a probabilidade de ocorrncia de um evento na i-sima
realizao pi, ento se

K lim 1 N
Z N := , >0, Pr | Z N pi |< = 1 .
N N N i =1

(este um caso mais geral do que aquele do teorema de Bernoulli, que

corresponde ao caso particular pi=p)
 Lei Forte dos Grandes Nmeros
(Strong Law of large numbers)
RESUMO.

FREQUNCIA RELATIVA.

Teorema de Borel. Seja K o nmero de vezes que um evento A ocorreu em N

realizaes independentes de um experimento de Bernoulli, sendo a
probabilidade de ocorrncia em cada realizao igual a p. Defina

1 Se A ocorreu na i - sima realizao

Xi =
0 Se A ocorreu na i - sima realizao
C

Ento
K 1 N
1 N a.s.
=
N N

i =1
X i , e

S
N :=
N
(X
i =1
i p ) 0 .
[a demonstrao usa a desigualdade de Makov com r=4]

mile Borel

Teorema de Kolmogorov. Se a seqncia de variveis aleatrias

mutuamente independentes {X i } satisfaz condio

lim
N X2
1 N i <
a. s.
N , ento S N 0 .
 RESUMO

Leis Fracas Bernoulli {X i }~B(p), independentes

Chebyshev {X i }Independentes, 2
Xi < +

Kinchine {X i } i.i.d., E(Xi)<+.

Leis Fortes Borel {X i }~B(p), independentes
Kolmogorov (1) {X i }independentes, E(Xi)<+, lim N
N

X2
N
i
<
1

Kolmogorov (2)
{X i } i.i.d. E(Xi)<+.
ARGUMENTO DO TEOREMA CENTRAL DO LIMITE

Teorema. Para um conjunto de variveis aleatrias independentes e

identicamente distribuidas (i.i.d.) com os dois primeiros momentos finitos, a
N

X
i =1
i

mdia amostral := N tende para uma distribuio gaussiana quando o

nmero de variveis cresce sem limite.

(imagine a estimativa do comportamento de grandes populaes- notas de

exames escolares, altura ou peso de indivduos, taxas bioqumicas, rudo
provindo de muitas pequenas fontes etc.) Livro=[Wilbur Davenport]
(elegante) Prova.
E ()
Y :=
Vamos considerar a v.a. normalizada () , com claramente
E(Y)=0 e 2(Y)=1.

Tomando-se E(Xi)=m<+ e 2(Xi)= 2<+, tem-se:

E( X )
i =1
i
Nm
E () = = =m (no enviezado)
N N
N

2
2
(X i )
2
() = i =1
2
= (reduzindo a incerteza pelo aumento da populao)
N N
 1 N

1 N
X i m (X i m)
N N
Y = i =1
1/2 , ou seja, Y =
i =1
/N / N 1/ 2
1 N
Xi m
Y = 1/ 2
N

i =1
.

Definimos uma nova varivel aleatria normalizada zeta

Xi m
i := E ( ) = 0 2
( i ) = 1
, com i ;

1 N

Mdia amostral normalizada

Y = 1/ 2
N
i =1
i
.
A funo caracterstica de Y

i
N

j i =11 / 2
{ }
M Y ( j ) = E e jy = E e N


M Y ( j ) = E e
N j

i
N1 / 2

ou i =1 .

Como os Xis so independentes, tambm o so os is

j N1 / 2 i
j 1/ 2 i
N
=E N e N = M ( j 1 / 2 )
N
M Y ( j ) = E e .
i =1 N

Vamos expandir a funo caracterstica M(.) em srie de Taylor:

 2
M ( j 1/ 2 ) = 1 + A
N 2N N .
(lembrando das propriedades de gerao de momentos e que E ( ) = 0 ;

2 ( ) = 1 ).

lim N
2
. A =0
fcil verificar que + N
N

(em particular, quando fixo e N)

Tomando o logaritmo de MY(j), tem-se:

 2
log M Y ( j ) = N log 1 + A
N N .

Usando o fato que

t z
log(1 + z ) = z + B ( z ) em que B( z ) = 0 t + 1 dt .

***
1 z
Veja que tomando a derivada, 1 + z = 1 + B' ( z ) 1 + z = B' ( z ) , com B(0)=0.

***
 2 2
log M Y ( j ) = + N . A
+ N .B + A
2 N 2N N .

Mas
B( z ) 1 z z
tdt = 0
z z 0 2 quando z 0 .

Lembrando que

N . A 0 quando N, ento no limite, o comportamento ditado por:
N

lim 2 lim 2
log M Y ( j ) = M ( j ) = exp
N 2 N Y 2 .
Como M Y ( j ) contnua em =0, a transformada M Y ( j ) f Y ( y ) verifica
lim 1 y2
fY ( y) = exp
N 2 2 Q.E.D. linda demonstrao .

Ela essencialmente devida a Liapunov. O termo Teorema Central do limite

foi introduzido por Plya em 1920.

VERSES DO TEOREMA CENTRAL DO LIMITE

Teorema de Lindenberg-Lvy
Teorema de Liapunov
Teorema de Berry-Esseen

Para detalhes, consultar livro do Feller.

TEOREMA CENTRAL DO LIMITE

n
S n E{S n }
Soma n
S := Xi S n * :=
i =1
e soma normalizada (S n )
Densidade, distribuio e funo caracterstica

pS * ( s) , PS * ( s ) , M S * ( j )
n n n

1 s2 / 2 s

(limite:
pS ( s ) := e
e
PS ( s ) = p( )d )
2
ESTUDO

d
*
1 condies sobre as quais S S ?
n

lim pS * ( s) = pS ( s )
2 condies sobre as quais n
n

3 quais so os erros envolvidos? (aproximaes com n grande, porm finito)

Teorema de Lindenberg-Lvy: Se os termos em {X i } so

i) identicamente distribuidos

ii) independentes

iii) tm mdia m finita e varincia 2 finita, no nula

Ento

d
*
S S , i.e., a probabilidade do evento descrito abaixo,
n

* ( X 1 + X 2 + ... + X n ) nm
S n =
n
s tende para PS (s )

Teorema de Liapunov. Se os termos em {X i } so

i) no identicamente distribuidos

ii) independentes

iii) E{Xi}=mi< e momentos centrais absolutamente finitos

{
E X i mi
2 +
}:= 2 + ( X i ) para algum >0.

iv) Condio de Liapunov

n

lim
2 + ( X i )
i =1
=0
n S2n+ para algum >0.
 d
*
S S , i.e., * ( X 1 + X 2 + ... + X n ) nm
Ento n S n =
n
s tende para PS (s )

Teorema de Lindenberg: Se os termos em {X i } so

i) no identicamente distribudas

ii) independentes

iii) mi< e 2i<

iv) se

lim | mi |> S n( mi ) 2 p X i ( )d
i =1
=0
n S2n >0.
 d
*
Ento S S .
n

Teorema do erro 1.

v
Se m3 = E ( X ) existe e M X ( j ) , para algum v1 integrvel, ento
3

pS * ( s ) existe para nv e alm disso

n

m3 1
pS * ( s ) = pS ( s ) ( s 3 3s ) pS ( s ) +
n
6 3 n n .
Teorema do erro 2.

v
Se m 3 = 0 e m 4 = E ( X ) existe e M X ( j ) , para algum v1 integrvel,
4

ento pS * ( s ) existe para nv e alm disso

n

m4 3 4 4 2 1
p S * ( s ) = pS ( s ) 4
( s 6 s + 3) p ( s ) +
24 n
S
n
n.

Teorema de Berry-Esseen.

Se E{X}=0 e E{X3}:=3 existe, ento

33 3
PS * ( s) Ps ( s ) < n,s
n
4 3 n
 VISES MODERNAS

O TEOREMA CENTRAL DO LIMITE:

Uma abordagem via Teoria da Informao

Uma abordagem atipica, porm atrativa e interessante, considera o uso de

ferramentas da Teoria de Shannon para estabelecer teste de hipteses,
teorema central do limite etc.

Considere a breve reviso dos conceitos de

ENTROPIA e ENTROPIA DIFERENCIAL
ENTROPIA

Distribuio {pk} H (p) := pk log 2 pk

k

+
Distribuio {p(x)} H ( p( x)) := p( x) log 2 p( x) dx

Desigualdade de potncias-entropicas
Sejam X e Y independentes, contnuas e de varincia finita. Ento a entropia
diferencial diferencial satisfaz

e 2 H ( X + Y ) e 2 H ( X ) + e 2 H (Y ) .
(prova p.287, R.Blahut, principles and practice of Information Theory, Addison-Wesley)
Digresso: Discriminante de Kulback

Dadas duas distribuies p0 e p1, o discriminante de Kulback definido pela

relao:
p0 k
L (p 0 ; p1 ) :=
k =1
p0 k ln
p p1k caso discreto

+ p0 ( x)
L( p0 ; p1 ) :=

p0 ( x ) ln
p1 ( x)
dx caso contnuo

O discriminante invariante a troca de coordenadas, tais como mudanas de

escala ou rotao dos eixos.
Teorema. (gaussianidade).

Se p1* tem distribuio gaussiana e p0 arbitrria, ento L(p0; p1*) atinge o

mnimo quando p0 tambm gaussiana.

Teorema. (medida de distncia para distribuies de probabilidade).

O discriminante no-negativo, ou nulo somente quando seus argumentos

so idnticos.
Prova.
1
Segue da desigualdade fundamental da teoria da Informao ln x 1 x .
 p0 k p
L(p 0 ; p1 ) := p 0 k ln p0 k 1 1k 1 p1k 0
p p1k k =1 p p0k .
k =1 k =1
k | pk 0 0

Teorema (convexidade do discriminante).

O discriminante convexo em cada dos seus argumentos, i.e., dado um

escalar [0,1] , ento:

L(p 0 + (1 )q 0 ; p1 ) L(p 0 ; p1 ) + (1 ) L(q 0 ; p1 )

L(p 0 ; p1 + (1 )q1 ; ) L(p 0 ; p1 ) + (1 ) L(p1 ; q1 ) .

Definio: o discriminante binrio definido pela relao
1
L( , ) := ln + (1 ) ln
1 . (convexo e igual a zero sse =)

Discriminante: Define uma Distncia entre duas distribuies

Dada uma sequncia de variveis aleatrias i.i.d. {X l }l=1 , Xl~(m,2), e a

varivel soma normalizada
1 n
Yn := X l
n l =1
{Yn }n =1 no so identicamente distribuidas, mas sua densidade converge
para uma gaussiana: especificamente, se Z~ N(0,2), ento

L(Yn ; Z ) 0 quando n.

Teorema central do limite (segue como corolrio).

Teorema
2
+ p( x) 1 +
p( x) ln q( x) dx 2 log e | p( x) q( x) | dx .
Prova.

p 1 p 4
Passo1 p [0,1] , q p , tem-se p ln
q
+ (1 p ) ln
1 q 2 log e
( p q) 2 .

p 1 p 4
Considere ento a def. f ( p , q ) := p ln + (1 p ) ln ( p q) 2 com
q 1 q 2 log e

f(p,q)=0 q=p.
f
A derivada q < 0 q < p.
 f ( p, q ) pq 1
Calculando: q = 4( p q ) log e 0 q < p. .
q (1 q )

Portanto, f(p,q)0 para 0 q p 1 , completando a demonstrao.

Passo2.
Seja := {x | p ( x) q ( x)}.
p () p (C ) 4
L( p; q ) p () ln + p ( ) ln
C
[ p () q () ]2

q () q (C ) 2 log e

em que p () := p( x)dx , q() := q( x)dx .

Agora notando que p() q() = p( x) q( x)dx = p( x) q( x)dx ,

C
 2
1 + 2 +
log e
p () q () = p( x) q ( x) dx , concluindo que L ( p; q ) p( x) q( x) dx

2

Q.E.D.

Teorema (LIMITE CENTRAL).

1 n
Y := X l
A varivel aleatria soma padronizada n n l =1 satisfaz
L(Yn ; Z ) 0 quando n.
Esboo da prova.

Provaremos apenas que L(Yn ; Z ) e monotona, decrescendo a um limite.

A desigualdade de entropia para duas variveis X e Y independentes
 e 2 H ( X + Y ) e 2 H ( X ) + e 2 H (Y ) (igualdade iff X=Y=Z=gaussiana).

Sejam

X X
1Y Y .
De TI, H ( aX ) = H ( X ) + ln(a ) .
Ento:
X + (1 )Y )
e2 H ( .e 2 H ( X ) + (1 ).e 2 H (Y ) .

2 + ( x) ln ( x)dx
Multiplicando por exp
, em que ~ N(0, 2
), e usando o fato que
 + +
( x ) ln ( x )dx = p ( x) ln ( x)dx quando p(x) tem a mesma varincia que

(x), a desigualdade torna-se:

X + ( 1 )Y ; Z )
e 2 L ( .e 2 L ( X ; Z ) + (1 ).e 2 L ( Y ; Z )

A cota pode ser enfraquecida via desigualdade de Jensen, resultando em

e 2 L ( X + (1 )Y ; Z )
e 2[L ( X ; Z ) + (1 ) L (Y ; Z ) ]
ou finalmente,

L( X + (1 )Y ; Z ) L( X ; Z ) + (1 ) L(Y ; Z ) ,
Com igualdade se e s se X e Y so gaussianas.
A concluso da demonstrao elaboraa: em linhas gerais
n
Yn X Ym ' Y =
n + m e chega-se a

L(Y2 r +1 ; Z ) L(Y2 r ; Z ) com igualdade se e s se Y2 r gaussiana.

Isto permite mostrar que:

L(Y2 r ; Z ) e adicionalmente, sabe-se que L(Y2 r ; Z ) 0.

Nota final.

A concluso da demonstrao requer demonstrar que a sequencia

{L(Y 2 r ; Z )}r =1 no pode se estabilizar (travar, convergir) antes do zero e

continua decrescendo indefinidamente.

 Processos Estocsticos: (processos aleatrios)

Coleo indexada de variveis aleatrias: uma verso dinmica.

T=conjunto de indices

{X t , t T }
Teoria no Sculo XX, com base no gigante A. Kolmogorov.

1
Obs: X t ( janelas ) a

(
Pr ai X ti bi )

Pr U (ai X ti bi )
i
CLASSIFICAO DE PROCESSOS

1. Processo estocstico de parmetro contnuo ||T||=2c

2. Processo estocstico de parmetro discreto ||T||< ou ||T||=0

Fixado w,
X(w,t) so chamadas de funes amostrais ou trajetrias de um
processo estocstico

Fixado t1T,
X(w,t1) uma varivel aleatria.
Varivel aleatria

w X

x
(, ,P) ( , ,P)

Teorema de Kolmogorov MAPEAMENTO

w Xt

(, ,P) ( , ,P)
A A = X t1 ( A' )

P(A):=P(A), desde que A

A idia usar ( n, ,) em lugar de ( , ,P)

uma restrio de P' a

EQUIVALENCIA DE P.E.s

Dois processos estocsticos {X t , t T } e {Yt , t T } so ditos equivalentes

se e s se Xt(w)=Yt(w) c.p.1.
TOPOLOGIA
Intervalos abertos em (topos; do Grego, lugar)
n
Intervalos de Base em aj<X(tj,w)<bj j=1,2,3,...,n.

Intervalo aberto
Unies, interseces e outras operaes finitas com intervalos abertos em
formam a lgebra . Tome como a menor -lgebra que contm todos os

intervalos abertos.
Funo amostral ou Realizao de um P.E. (trajetria)

uma generalizao do conceito de varivel aleatria (verso dinmica): a

cada instante, tem-se uma varivel aleatria diferente!

t fixo
X(w1,t)

X(w2,t)
Figura. Fixado um instante arbitrrio de tempo, o processo aleatrio torna-se uma simples
varivel aleatria.
Xt1 uma varivel aleatria,

(
logo tem sentido a distribuio FX t 1 ( x1 ) = Pr X t1 x1 )
Distribuies marginais:

(
FX t 1 ( x1 ) = Pr X t1 x1 )
FX t 2 ( x ) = Pr (X
2 t2 x )
2

...
(
FX tn ( xn ) = Pr X tn xn )
Funes distribuio finito-dimensionais: n, t1,...,tn,

(
FX t , X t 2 , ..., X tn1, X tn ( x1 , x2 ,..., xn1 , xn ) = Pr X t1 x1 , X t2 x2 ,..., X tn1 xn1 , X tn xn
1
)

Especificao de ordem m de um P.E.

Um P.E. est especificado at ordem m se todas as funes de distribuio

finito-dimensionais so conhecidas para n=1, 2, ..., m, para instantes de tempo
arbitrrios.
Especificao de um P.E.

Para todo n finito, suponha que conhecemos a funo distribuio de

probabilidades acima: o Processo Estocstico est especificado.

Condies de Kolmogorov. (sobre as distribuies finito-dimensionais)

1. Condio de simetria:
permutao j1,j2,...,jk dos ndices 1,2,..,k,
F(xj1 xj2 ... xjk; tj1 tj2 ... tjk)=F(x1,x2,...;t1,t2...tk).
2. Condio de compatibilidade m<k
F(x1,x2,..xm,+,...,+ ; t1,t2...tm,...,tk) = F(x1,x2,...xm;t1,t2...tm).

A especificao completa de um processo estocstico geral , na vasta e

quase totalidade dos casos, excessivamente complexa e frequentemente
impossvel.

Alguns processos aleatrios so mais estruturados, mais simples de

serem estudados e muito empregados para modelar situaes prticas.
PROCESSO ESTACIONRIO SENTIDO ESTRITO

Definio. Um processo aleatrio dito ser estacionrio no sentido estrito se

e somente se escolhidos quaisquer instantes finitos, as funes de distribuio
finito-dimensional so invariantes a um deslocamento na origem dos tempos.

t1 t2 t3
Figura. Estacionaridade de funes de distribuio finito-dimensionais (N=3).
Adicionando-se o mesmo incremento aos instantes fixados t1, t2, t3, recai-se sobre os
instantes identificados por (). A distribuio conjunta permanece a mesma.

Etimologia - Estacionrio (de comportamento estacionado), simplificando

sobremaneira a especificao e o tratamento do processo.
, k,
F
xt1 xt2 ... xtk(x1,x2,...,xk)= Fxt1+ xt2+ ... xtk+ (x1,x2,...,xk).

CONSEQENCIAS:
Para k=1

F
xt1 (x1)= Fxt1+ (x1), i.e., mesma distribuio mantm-se durante todo o processo.

Por exemplo, para um processo estacionrio Gaussiano

Varivel Gaussiana, Gaussiana, Gaussiana, ....(indefinidamente...)
+
Em t1: E(Xt1) = xdF X t 1 ,
+
Em t2: E(Xt2) = xdF X t 2 .
 Logo E(Xt1)= E(Xt2)= ...= E(Xt)=constante.

O processo estocstico (P.E.) estacionrio tem mdia nica, constante. De

modo geral, todos os momentos so constantes, invariantes origem dos
tempos.

Note que da anlise pela funo caracterstica uma forma alternativa

mais simples de especificar uma varivel aleatria atravs dos seus
momentos.

Ainda assim, o problema demasiadamente complicado...

 Por este motivo, usual restringir-se a anlise at a 2 ordem, como ver-
se- na sequncia. Trabalhar com momentos como comer papa quente:
atacar pelas beiradas...

PROCESSO ESTACIONRIO SENTIDO AMPLO

Definio. Um P.E. dito ser estacionrio no sentido amplo se e somente se

1. E{X(t)}= constante.

2. E{X2(t)}<+ tT

3. t1, t2T RX(t1, t2)=RX(t2-t1)=RX(). 

 A funo de autocorrelao do processo (ACF) independe
da origem dos tempos.

*Apenas a mdia e varincia permanecem constantes ao longo do tempo.

Estacionaridade: sentido estrito sentido amplo

Alm de ser mais simples de tratar, so mais gerais e com menor regularidade

que os processos estacionrios no sentido estrito. Vale tambm salientar que

tais processos possuem uma descrio espectral (no domnio frequencial).

EXEMPLOS DE Processos Aleatrios

Xt=at+b a,b~N(0,1)

Xt=2.cos(2(100+)t) ~U(-10,10)

Yn = Xn Xn-1 Xn Bernoulli

n
Yn = X k
k =1
Xn Bernoulli
Processo das retas aleatrias
Xt=at+b a,b~N(0,1) a e b independentes.

E{Xt}= mX(t)=E(a)t+E(b)=0. mdia nula.

RX(t1,t2)=E{Xt1 Xt2}=t1t2E(a2)+2E(ab)t1t2+E(b2).
RX(t1,t2)=t1t2+1 e KX(t1,t2)= t1t2+1.
Rudo discreto Processo estocstico de Bernoulli

{X n }n 1 Xn i.i.d. binria com

1 com probabilid ade p
Xn =
0 com probabilid ade (1 p)
.

Caso p=1/2. P{ X n = 0} = 1 / 2 e P{ X n = 1} = 1 / 2 .

trajetria tpica (realizao)

 Anlise dos parmetros:
Mdia E{ Xn }=1/2
Varincia var( Xn )=1/4
Correlao R(Xn,Xn+k)=0,25 k,0
Seqncia estacionria no sentido amplo.

Xt=at+b a,b~N(0,1)
Calculando a ACF, RX(t1,t2)=t1.t2+b2
No estacionrio, nem no sentido amplo nem estrito...
PASSEIO ALEATRIO (passeio causual)

Considere uma seqncia de v.a.s i.i.d. {X n }n 1 e suponha que

cada Xn possa assumir apenas valores -1 e +1 (passo para tras e
passo para frente, respectivamente), com probabilidades
P{ X n = +1} = p e P{ X n = 1} = q = 1 p .
Seja a seqncia
n
Yn = X k
k =1
caso
P{ X n = +1} = p e P{ X n = 0} = q = 1 p .
Se E{ Xn }=m e var( Xn )=v ento fcil verificar que:

E{ Yn }=n.m e var( Xn )=n.v o processo no estacionrio!

Exerccio. Demonstrar que a autocovarincia do processo dada

por:
Cov(Xn,Xn+k)=v.[Min(n,n+k)]

Notado tambm como Cov(Xn1,Xn2)=v.(n1^n2).

Processo de Wiener-Lvy (Movimento Browniano)
Botnico Robert Brow 1827

Modelo para o movimento catico exibido por uma partcula (e.g.

plem) imersa em um lquido, visto em microscpio.

Norbert Wiener (1864-1964) {filho de imigrantes russos}

Paul Pierre Lvy (1886-1971) {aluno Hadamard, orientador Mandelbrot}

O processo {X(t), t0} dito ser um processo de Wiener-Lvy se:
i) t>0, X(t)~ N(0,t)
ii) X(0):=0
iii) {X(t), t0} tem incrementos estacionrios e independentes.

Trajetria tpica
Incrementos independentes
Para qualquer escolha de instantes arbitrrios t 0 < t1 < ... < t n ,

as variveis de incremento
X (t1 ) X (t 0 ) , X (t 2 ) X (t1 ) , X (t 3 ) X (t 2 ) ,..., X (t n ) X (t n 1 ) so:

1) independentes

2) estacionrias X (t j + k ) X (t j 1+ k ) tem mesma distribuio

que X (t j ) X (t j 1 ) k
A mdia do processo
m(t)=m1.

A covarincia de processos incrementos-independentes vale

KX(t1,t2)=var{min(t1,t2)}=var{Xt1^t2}.
Prova.
Provemos inicialmente que t1t2, KX(t1,t2)= var{Xt1}.
A ACF do processo RX(t1,t2)=E{Xt1 Xt2}.
Truque: RX(t1,t2)= E{Xt1 (Xt2- Xt1)+X2t1}
(via incrementos independentes)

RX(t1,t2)=m1(m2-m1)+E{ X2t1}.

Mas KX(t1,t2)= RX(t1,t2)-m1m2 =E{ X2t1}-m21 =var{Xt1}.

Se t1=t2, o resultado imediato. Generalizando, chega-se a

KX(t1,t2)=var{Xt1^t2}. Q.E.D.
O processo definido por i) a iii) Gaussiano:

1 0 0
K 0
X (t1 ) X (t1 ) X (t 0 )
X (t ) 1 1 0
K 0
X ( t ) X (t )
2
= 1 1 1 K 0.
2 1
M M
M M O L 0 .
X (t n ) X (t n ) X (t n 1 )
1 1 1 L 1

Como {X ( t k ) X ( t )}n
k 1 k =1 so variveis aleatrias independentes e

gaussianas, o vetor que define o processo corresponde a uma

transformao linear de variveis gaussianas com distribuio n-
variada.
ESTACIONARIDADE DE PROCESSOS ALEATRIOS

O processo {Zt, -<t<+} definido por Z t := X cos 2t + Y sin 2t

sendo X e Y v.a.s binrias i.i.d. que assumem valores -1 e +2 com
probabilidades 2/3 e 1/3, respectivamente.

O processo estacionrio no sentido amplo? E no sentido estrito?

Sugesto considere E[Zt3].
SOLUO.
a) E(Zt)=E(X)cos2t+E(Y)sen2t=m.cas(2t)
Mas m=-1.(2/3)+2.(1/3)=0 E(Zt)=0.

b) RZ(t,t+)=E(Zt. Zt+)=
=E{(Xcos2t+Ysen2t).(Xcos2(t+)+Ysen2(t+)}
Apenas os termos
E(X2)cos2t.cos2(t+) e E(Y2)sen2t.sen2(t+) so no
nulos, via a independncia das variveis X e Y. Por outro
lado,
E(X2)= E(Y2)=1.(2/3)+4.(1/3)=2 de modo que

RZ(t,t+)=2[cos2t.cos2(t+)+ sen2t.sen2(t+)]
RZ()=2cos(2), estacionrio.
c) Porm, examinando-se o terceiro momento:

EZt = E ( X cos 2t + Y sin 2t )

3 3

Desenvolvendo o produto notvel e verficando que os termos

3 3 3 3
intermedirios so nulos, chega-se a EX cos 2t + EY sin 2t

Porm E(X3)=E(Y3)=-1.(2/3)+8.(1/3)=2, donde

3
EZt = 2 (
cos 3
2t + sin 3
2t ) e o momento de ordem 3 no
constante, independente do tempo. O P.E. no estacionrio no
sentido estrito, apesar de s-lo no sentido amplo...
ERGODICIDADE

Mdias no tempo para um Processo estocstico.

Considere as mdias atravs e ao longo do processo.
X(w1,t)
<X(w1,t)>
t ...

<X(w3,t)>
X(wn,t) <X(wn,t)>
...

E(X(w,t1)) E(X(w,t2)) ...

 Estacionaridade vs Ergodicidade

E(Xt1)=E(Xt2)=E(Xt3)=...=m mdia atravs do P.E. (estatstica)

<X1(t)>=<X2(t)>=<X3(t)>=...=m mdia ao longo do P.E. (temporal)

Todos os momentos e estatsticas permanecem estacionrios,

inclusive ao longo do tempo!!
Mdia e ACF

+
E ( X t ) := xt dFX

R X ( ) := E ( X t X t + )

lim 1
T
lim 1 T
x(t ) x(t + )dt
< X (t ) >:=
T 2T
T
x (t ' )dt ' X ( ) :=
T 2T
T
Teorema Ergdico de Birkoff

Em um P.E. estacionrio no sentido estrito, os limites <x(t)>

existem para quase toda funo amostral (existe quase certamente,
exceto para um conjunto de probabilidade nula).

Condies para ergodicidade: assunto no abordado. Ao invs,

apresenta-se uma abordagem simplificada sobre ergodicidade.
PROPOSIO (ERGODICIDADE)

Se x(t) uma realizao de um processo estocstico estacionrio

no sentido amplo (mX, RX()), e se
+

RX ( ) m X2 .d < + , ento:

1. E[<x(t)>] = mX,
2. l.i.m. <x(t)> = mX,
3. plim <x(t)> = mX.
Prova.
1 T
Seja AX (T ) :=
2T
T
x(t )dt , cuja mdia vale
1 1
E ( AX (T ) ) = ( )
T T

2T T E x (t ) dt = m X
2T
T
dt = m X .

Agora, examine-se a varincia:

2 ( AX (T ) ) = E (AX2 (t ) ) E 2 (AX (t ) ) , ou

1
2
T T
( AX (T ) ) = E x(t ) x(t ' )dtdt ' m X2
2 .
2T T T

Ento a varincia vale:
 1
( AX (T ) ) = 2 {R }
T T
2 2
X (t ' t ) m X dtdt '
4T T T

Com a mudana de varivel =t-t,

1
{R }
t '+T
( AX (T ) ) = 2
T
2 2
X ( ) m X ddt '
4T T t ' T

A integrao sobre a rea de um paralelograma:

 1
{R }
2T
( AX (T ) ) = 2
T
2 2
X ( ) m X dt ' d .
2T 0 T +

Mas
2

2T
1 { } 2T
R X ( ) m X d 0 R X ( ) m X d = K < +
2 2
, e assim
0
2T

lim 2 ( AX (T ) ) lim K = 0
T
T T concluindo a prova. Q.E.D.
Exemplo.
Um processo estocstico constante definido por funes
amostrais:
X(t)=a, sendo a uma varivel aleatria binria,
+ 1 com probabilidade p
a := , 0<p<1.
1 com probabilidade 1 p

Por inspeo:
E(Xt)=1.p-1.(1-p)=2p-1
<X(t)>= +1 ou -1,
Logo E(Xt) <X(t)> e o processo no ergdico. (veja a cond.)
TEOREMA DE WIENER-KINCHINE
ESPECTRO DE PROCESSOS ESTOCSTICOS

Processos estocsticos podem ser estudados no domnio da

freqncia? Qual o espectro de um P.E., se que existe algum?
Apesar de aleatrio, a distribuio de potncia pode estar definida
em cada faixa espectral.

A abordagem aqui ligeira e superficial, mas suficiente.

Funo amostral (espectro de uma delas)
x(t) X(w)
+ +
X ( w) := x(t )e jwt
dt . Se x(t ) dt = + , considere a funo

t
amostral truncada, definida por xT (t ) = x(t ). .
T

Ento
+ +T / 2
X T ( w) := xT (t )e jwt
dt = x(t )e jwt dt < .
T / 2

A densidade espectral de potncia: |XT(w)|2/T = energia/tempo.

Para definir a densidade espectral de potncia, usar a mdia sobre
todas as realizaes do P.E..

lim <| X T ( w) |>

SX(w):= T T .

2 T /2 T /2
Ora, X T ( w) = X T ( w). X T ( w) = x(t1 )e jwt1
dt1 x(t 2 )e jwt 2 dt 2
T / 2 T / 2

Ento
2 T /2 T /2
X T ( w) = x(t1 ) x(t 2 )e jw(t2 t1 ) dt1 dt 2 .
T / 2 T / 2
A densidade espectral

lim 1
T /2 T /2

jw ( t 2 t1 )
< x (t1 ) x (t 2 ) > e dt1 dt 2
/ 2 / 2
SX(w)= T
T T T
ou seja

lim 1 T /2 T /2
RX(t2-t1) e jw ( t2 t1 ) dt1dt 2
SX(w)= T T T / 2 T / 2

Com uma mudana de variveis =t2-t1; t2=t2, chega-se a

lim 1 T /2
RX() e jw (T | |)d ,
SX(w)= T T T / 2
Que no limite resulta:

lim jw | |
T /2
RX() e 1 d RX() e jw d
SX(w)= T T / 2 T =
Assim,

RX() SX(w).

Se o processo ergdico, ento RX() =a.s. RX().

Para processo estacionrios no sentido amplo, define-se o espectro
do processo por

S X ( w) := R X ( )e jw d

P.E. estacionrios no sentido amplo

P.E. que tem descrio espectral (densidade espectral de potncia)!

Relao de Wiener-Kinchine: RX() SX(w).

FOURIER para Processos estocsticos estacionrios...

MARTINGALES

{Xn} um processo estocstico, se E{| Xn |}<+, e se

E [ X n +1 | X 0 , X 1 , X 2 ,..., X n ] = X n

Xn fortuna do jogador no ensimo estgio do jogo.

Etimologia:
Martingale estratgia francesa de apostar em dobro at ganhar.
Exemplo.
Y0:=0 {Yn} i.i.d. com E{|Yn|}<+ (n) e E{Yn}=0.
Def.
X0:=0 para n=0
Xn:=Y1+Y2+Y3+...+Yn para n 1.

E [X n +1 | Y0 , Y1 , Y2 ,..., Yn ] = E [X n + Yn +1 | Y0 , Y1 , Y2 ,..., Yn ] =

= E [X n | Y0 , Y1 , Y2 ,..., Yn ] + E [Yn +1 | Y0 , Y1 , Y2 ,..., Yn ]

= [X n ] + E [Yn+1 ] = X n martingale!
Problema para lista. Doob martingale.
Y0:=0
{Yn} i.i.d. com (n) E{Yn}=0 e var{Yn}=2.
Seja
X0:=0 para n=0
2
n

Xn:= k =1
Yk n. 2
para n 1.

E{|Xn|}2n.2<+.
Mostrar que E [X n+1 | Y0 , Y1 , Y2 ,..., Yn ] = X n martingale!
PROCESSO ESTOCSTICO PADRO:
A onda telegrfica aleatria
Um exemplo bsico envolvendo a ACF o processo conhecido
como onda telegrfica, que assume valores 0 ou 1 com igual
probabilidade a cada instante e realiza transies independentes
entre os dois estados.
Usualmente formula-se a hiptese que a probabilidade de haver k
transies em um intervalo de tempo T expressa por uma
distribuio de Poisson,
( T ) k
p(k , T ) = exp(t ) .
k!

A mdia do processo dada por:

mX=0.P(X=0)+1.P(X=1)=0,5.
Sejam x1=xt e x2=xt+ duas variveis aleatrias discretas
(assumindo 0 ou 1). A ACF :
Rx(t,t+)=0.0.P(x1=0,x2=0)+0.1.P(x1=0,x2=1)+1.0.P(x1=1,x2=0)+1.1.P(x1=1,x2=1)

Rx(t,t+)=P(x1=1,x2=1).
Esta probabilidade aquela que x1=1 e que haja um nmero par de
transies de estado no intervalo (t,t+).

P(x1=1,x2=1)=P(x1=1, k par)= P(x1=1).P(k par).

Finalmente,
Rx(t,t+)=0,5. P(k par em um intervalo ).
Usando a distribuio de Poisson para avaliar as transies em um
intervalo de tempo ,
exp( | |) ( | |k )
R X ( ) =
2
k!
k =0
k par

A srie pode ser avaliada como segue:

( | | k ) 1 ( | | k ) (- | | k ) 1 | | 1 | |
k!
=
2 k!
+
k!
= e + e
k =0 k =0 k =0 2 2
k par

Ento a ACF da onda telegrfica vale:

 1
R X ( ) = [1 + exp(2 | |]
4

1 1
Limites: R X (0) = E ( X 2 ) = e R X ( ) = = m X2
2 4
TRANSFORMAES LINEARES de Processos Estocsticos

Integral definida de um P.E.

b
Se Xt um P.E., ento: Z := x(t )dt uma varivel aleatria.
a

Seja x(t) um P.E. estacionrio (sentido amplo), com mX e RX().

O que acontece ao passar atravs de uma rede linear? A sada

obviamente outro processo estocstico. Seria estacionrio? Se sim,
qual a ACF do processo de sada?
Cenrio:

1) mdia do processo de sada.

+
y(t) mY=? tem-se: y(t ) = h( ) x(t )d .

+ + +
Da E ( y(t )) = E h( ) x(t )d = E (h( ) x(t ))d = h( ) E (x(t ))d
Como E (x(t )) = E (x(t )) = m X pela estacionaridade, ento:
E ( y(t ) ) = mY = H (0).m X = constante.
2) ACF do processo
RY ( t , t + ) = E ( y ( t ) y ( t + ) ) = E {

+ +
h ( ) x ( t ) d . h ( ) x ( t + ) d

}
Assim,
+ +
RY (t , t + ) = h( )h( ).E{x(t ) x(t + )}dd .

Como o processo x estacionrio, aparece a ACF:

+ +
RY (t , t + ) = h( )h( ).R X ( + ) )dd = RY ( )

A sada tambm estacionria no sentido amplo!

+ +
Ademais: E{ y 2 (t )} = RY (0) = h( )h( ).R X ( ) )dd 0 .

 Da relao de Wiener-Kinchine,
RX() SX(w)
RY() SY(w).

+ +
De RY ( ) = h( )h( ).R X ( + )dd , usando o fato que

R X ( ) = S X ( f )e j 2f
df R X ( + ) = S X ( f )e j 2f ( + ) df ,

Chega-se expresso
+ + +
RY ( ) = S X ( f )e j 2f ( + ) h( )h( ).dfdd

Separando-se as integrais:
+
RY ( ) = S X ( f )e

j 2f
{

+
h( )e j 2f
+

}
d h( )e j 2 .d df .

+
R
(1) Y ( ) = X
S ( f ) | H ( f ) | 2
.e j 2f
df

Lembrando que tambm vale:

+
R
(2) Y ( ) = Y
S ( f ).e j 2f
df

E comparando (1) e (2) via unicidade da transformada de Fourier,

SY ( f ) = S X ( f ). | H ( f ) |2
 Preditores lineares: Filtragem tima de Wiener

Sistemas lineares pretidores timos.

Smoothing filter (suavizador ou filtro de alisamento)
Predictor filter (filtro preditor)
Variveis de projeto
Propsito do sistema (preditor, suavizador...)
Natureza das entradas (determinsticas, aleatrias ...)
Critrio de desempenho (em probabilidade, EMQ ...)
Escolhas admissveis (realizabilidade, custos ...)
SUAVIZADOR TIMO (alisamento)

MODELO y(t)=s(t)+n(t)
s(t) sinal desejado
n(t) rudo aditivo (n de rudo)
y(t) sinal corrompido
a) se s(t) conhecido, o problema inexiste
b) se n(t) conhecido, trivial obter-se s(t)
c) casos de interesse: n(t) aleatrio e desconhecido.
 Critrios de desempenho do preditor

1. Pr(St = St | y(t ' ), t ' < t )

(
2. Pr St St > )
3. E
S (
t S t
E)
ou


S t S t
2

Predio e alisamento com:

ENTRADAS ESTACIONRIAS
PASSADO INFINITO
Wiener-Kolmogorov

s(t), n(t) estacionrios

projeto de h(t) (Filtros lineares):

a sada a melhor aproximao para s(t+), >0.
WIENER. Problema de otimizao via EMQ

h funcional objetivo, dependente do projeto do filtro (resposta

ao impulso h).
+ 2

h := E s(t + ) h( ) y (t )d

| estado futuro predio (sada do filtro) |

+ + +
h = E | s (t + ) | 2 h( ) E s(t + ) y (t ) d +
2
h( )h( ) E y (t ) y (t ) dd

Como tanto s quanto n so assumidos estacionrios ACF e CCF,
+ + +
h = Rs (0) 2. h( ) Rsy ( + )d + h( )h( ) R y ( )dd

Determinado como h influencia no erro:

h deve ser projetado de forma a minimizar h

Soluo: Mtodos das perturbaes

(bravo Wiener)
Se g(t) a resposta ao impulso de um filtro arbitrrio e h(t) a
resposta ao filtro de EMQ mnimo, ento

h(t)+.g(t) representa um filtro arbitrrio (perturbaes em torno

da soluo tima h).

Se h(.) timo, ento h h+g ou seja,

:= h+g -h0.
Substituindo e desenvolvendo, chega-se a

= 2 . { +

+ +
}
h( ) g ( ) R y ( )dd g ( ) Rsy ( + )d +

+ +
+ 2 g ( ) g ( ) R y ( )dd 0 .

Sob forma =2..I1+2I2 0 (I2 positiva)

+ +
Ora, 0 e, portanto, uma condio necessria para que a
2

desigualdade seja vlida >0

{

+


+ +
h( ) g ( ) R y ( )dd g ( ) Rsy ( + )d = 0 ,

}
No caso realizvel, isto corresponde a impor
{
0
+
{ +
}}
g ( ) h( ) R y ( )d Rsy ( + ) d = 0 .
0

A inequao envolvendo o EMQ deve ser tambm verdadeira para

qualquer perturbao g(), seno h(.) no seria timo.

+
Da impe-se que 0 h( ) R y ( )d Rsy ( + ) = 0

+
Rsy ( + ) = h( ) R y ( )d 0 EQUAO DE WIENER-HOPF
0
Demonstrou-se anteriormente que a Equao de Wiener-Hopf
uma CONDIO NECESSRIA para que h(.) resulte em um EMQ
mnimo.

Ela tambm SUFICIENTE!

Suficincia da equao de Wiener-Hopf:
Seja f(t) a resposta ao impuLso de outro filtro realizvel; mostrar-
se- que h(.) fornece menor EMQ que f(.).
Escolha-se um g(.) expresso por
g(t)=f(t)-h(t).
Foi demonstrado que := h+g -h0, >0.
Ento = h+(f-h) -h0, que assumindo =1 resulta em:
f -h0 Q.E.D.

A soluo da equao integral de W-H (projeto do filtro h)

conhecida as ACF e CCF Ry e Rsy no ser detalhada aqui: vide
material de apoio. Porm
A ttulo de ensaio
+
Rsy ( + ) = h( ) R y ( )d < < .

Aplicando a transformada de Fourier (deslocamento e convoluo)

e jw S sy ( w) = H ( w) S y ( w)

Por isto
S sy ( w)
H ( w) = e jw
S y ( w)

(mera introduo sobre o projeto: h muitos detalhes ainda)

Se o sinal s e o rudo n so descorrelacionados (como de fato
muitas vezes o so), sendo um deles de mdia nula, ento

S s ( w)
H ( w) = e jw
S s ( w) + S n ( w) .

Interpretao: o melhor suavizador trata favoravelmente as faixas

espectrais de melhor relao sinal-rudo (SNR) e penaliza aquelas
em que a SNR baixa.
Processos Estocsticos Especficos

Cadeias de Markov

Probabilidade e Processos Estocsticos

(Programa de Ps-graduao)
UFPE
Definies e Notaes

Definio 1:

Um Processo de Markov {Xt} um processo estocstico que, dado

o valor Xt, os valores de Xs para s>t no so influenciados pelos
valores de Xu, u<t.

Uma Cadeia de Markov Discreta no Tempo um Processo de

Markov cujo espao de estados um conjunto finito ou contvel, e
cujo ndice temporal do conjunto T = 0,1,2,...
Em termos formais, a Propriedade de Markov :

Pr{Xn+1=j | X0=i0, X1=i1,..., Xn-1=in-1, Xn=i} = Pr{Xn+1=j | Xn=i}, (1)

para todos os pontos no tempo n e todos os estados i0,..., in-1, i, j.

Veja os modelos:

Balano de uma empresa

Declarao de imposto de renda.

Aparentemente (erradamente), uma olhada superficial e pouco

rigorosa parece indicar que cadeias de Markov so atraentes para
modelar processos de memria curta. Na verdade, valem para
qualquer processo possuindo memria (a memria traduzida
no nmero de estados da cadeia, e no na propriedade que as
define...)
Notao:
O espao de estados da Cadeia de Markov indexado por inteiros
no negativos: {0,1,2,...};
Xn est no estado i se Xn=i.

Definio 2:
A probabilidade de Xn+1 estar no estado j dado que Xn est no
estado i chamada probabilidade de transio de um passo e
denotada por Pijn,n+1. Isto :
Pijn,n+1 = Pr{Xn+1=j | Xn=i}. (2)

Esta notao enfatiza que, em geral, as probabilidades de transio

so funes no somente dos estados inicial e final, mas tambm do
tempo de transio.
Quando as probabilidades de transio em um passo so
independentes da varivel do tempo n, dizemos que a Cadeia de
Markov tem probabilidades de transio estacionrias.

Ento Pijn,n+1 = Pij independente de n e Pij a probabilidade

condicional que o valor do estado transite de i a j em uma tentativa.

Pode-se visualizar as quantidades Pij de forma matricial, num

arranjo quadrtico infinito:
P00 P01 P02 P03 L
P10 P11 P12 P13 L
P20 P21 P22 P23 L
M M M M
Pi0 Pi1 Pi2 Pi3 L
E chamamos a matriz
P = Pij

De Matriz de Markov ou Matriz de Probabilidades de Transio.

As probabilidades Pij satisfazem as condies:

Pij 0, para i, j = 0,1,2,... (3)

Pij = 1, para i = 0,1,2,... (4)
j=0

Proposio 1: Um Processo de Markov est completamente

definido quando sua matriz de probabilidades de transio e seu
estado inicial X0 (ou, mais genericamente, a distribuio de
probabilidade de X0) esto especificados.
Prova:
Seja Pr{X0=i}=pi0. suficiente mostrar como calcular as
quantidades
Pr{X0=i0, X1=i1, X2=i2,..., Xn=in}, (5)

uma vez que qualquer probabilidade envolvendo Xj1,..., Xjk, para

j1<...< jk, pode ser obtida, de acordo com a lei da probabilidade
total, somando os termos da forma (5).

Pela definio de probabilidade condicional, tem-se:

Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} =
Pr{X0=i0,X1=i1,X2=i2,...,Xn-1=in-1}.Pr{Xn=in|X0=io,X1=i1,X2=i2,...,Xn-1=in-1}.
(6)
Agora, pela definio de Processo de Markov:
Pr{Xn=in | X0=i0, X1=i1, X2=i2,..., Xn-1=in-1}= Pr{Xn=in | Xn-1=in-1} = Pin-1,in. (7)

Substituindo (7) em (6), temos:

Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} = Pr{X0=i0, X1=i1, X2=i2,..., Xn-1=in-1}. Pin-1,in.

Ento, por induo, (5) torna-se:

Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} = pi0Pi0,i1... Pin-1,in-2Pin-1,in. (8)

Observa-se, ento, que todas as probabilidades de dimenso finita podem

ser obtidas a partir das probabilidades de transio e da distribuio
inicial. O processo , portanto, definido por essas quantidades.
A propriedade de Markov expressa em (1) equivalente a:

Pr{Xn+1=j1,..., Xn+m=jm | X0=i0,..., Xn=in} =

Pr{Xn+1=j1,..., Xn+m=jm | Xn=in}, (9)

para todos os pontos no tempo n, m e todos os estados possveis i0,...,

in, j1,..., jm.

Em outras palavras, uma vez (9) estabelecido para o valor m=1,

tambm vlida para todos os m>1.
Matrizes de Probabilidades de Transio
de uma Cadeia de Markov
A anlise de uma Cadeia de Markov caracteriza-se principalmente
pelo clculo das probabilidades de transies em n passos.
Fundamentais, portanto, so as matrizes de probabilidades de
transio em n passos,
( n)
(n) P
P = ij ,

em que Pij(n) denota a probabilidade que o processo v do estado i

para o estado j em n transies.

Formalmente,
Pij(n) = Pr{Xm+n=j | Xm=i}. (10)
Consideramos este processo homogneo, ou seja, dependente
apenas da diferena [m - (m+n)], e possuindo probabilidades de
transio estacionrias.

Teorema 1: As probabilidades de transio em n passos de uma

Cadeia de Markov satisfazem:

Pij(n) = k
=0
Pik Pkj(n-1) (11)

1 , se i = j
em que definimos Pij (0) = .
0 , se i j

Pela iterao desta frmula, obtemos:

P(n) = P P ... P = Pn . (12)

144
42444
3
n vezes
Prova: O evento de ir do estado i para o estado j em n transies
pode ser realizado por caminhos mutuamente exclusivos, indo para
um estado intermedirio k (k= 0,1,...), na primeira transio, e ento
ir do estado k ao estado j nas (n-1) transies restantes. Por conta
da propriedade de Markov, a probabilidade da segunda transio
Pkj(n-1) (da primeira transio obviamente Pik). Usando a Lei da
Probabilidade Total:

Pij(n) = Pr{Xn=j | X0=i} = Pr{Xn=j, X1=k | X0=i}
k =0

= Pr{X1=k | X0=i} . Pr{Xn=j | X0=i, X1=k}
k =0

= Pik Pkj(n-1)
k =0
Se a probabilidade do processo estar inicialmente no estado j pj,
isto , a lei de distribuio de X0 Pr{X0=j)=pj, ento a
probabilidade do processo estar no estado k no tempo n :

pk = pj Pjk(n) = Pr{Xn=k} (13)
j=0

Q.E.D.

Equaes de Chapman-kolmogorov
Para o clculo das probabilidades de transio em n passos:

Para todo n,m 0 para todo estados i, j

P n+m
ij = ik Pkj
P n m

k =0
Alguns Modelos de Cadeias de Markov

Modelo de Inventrio

Uma mercadoria armazenada a fim de satisfazer uma

demanda continuada. A reposio do estoque se d ao final
de perodos n=0,1,2,... e a demanda durante um perodo n
uma varivel aleatria n cuja funo distribuio
independente do perodo de tempo:
 Pr{n=k} = ak , para k = 0,1,2,... (14)

em que ak 0 e ak = 1..
k =0

O nvel do estoque examinado ao final de cada perodo. A

poltica de reposio determinada especificando dois nmeros
crticos no negativos, s e S>s, cuja interpretao :

I) Se a quantidade do estoque no final do perodo no

maior que s, ento uma quantidade de mercadoria suficiente para
aumentar o estoque at o nvel S providenciada;

II) Se, entretanto, o estoque disponvel est em excesso de

s, ento nenhuma reposio de estoque realizada.
Seja Xn a quantidade disponvel ao final do perodo n antes da
rearmazenagem. Os estados do processo {Xn} consistem dos
possveis valores da quantidade em estoque:
S, S-1,..., 1, 0, -1, -2,...
em que um valor negativo interpretado como uma demanda no
atendida que ser satisfeita imediatamente aps o re-estoque.

O nvel do estoque em dois perodos consecutivos esto

relacionados por:
X n - n +1 , se s < X n S
Xn+1 = (15)
S - n+1 , se X n s

em que n a quantidade demandada no n-simo perodo,

determinada para seguir a lei das probabilidades (14).
Se for considerado que as sucessivas demandas 1, 2,... so
variveis aleatrias independentes, ento os valores do estoque X0,
X1, X2,... constituem-se numa Cadeia de Markov, cuja matriz de
probabilidades de transio pode ser calculada de acordo com a
relao (15):

Pij = Pr{Xn+1=j | Xn=i}

Pr{ n+1 = i - j} , se s < i S

= Pr{ = S - j} , se i s .
n +1
Para um exemplo numrico, suponha que:
Pr{n=0} = 0,5; Pr{n=1} = 0,4; Pr{n=2} = 0,1.
s= 0; S=2; Xn = 2, 1, 0, -1.

Para encontrar os elementos da matriz de probabilidades de

transio calcula-se, por exemplo:

P10= Pr{Xn+1=0 | Xn=1} = Pr{n+1=1} = 0,4;

P00= Pr{Xn+1=0 | Xn=0} = Pr{n+1=2} = 0,1.

Continuando, obtem-se a matriz de probabilidades de transio:

-1 0 1 2
P = 0 0,1 0,4 0,5 -1
0 0,1 0,4 0,5 0
0,1 0,4 0,5 0 1
0 0,1 0,4 0,5 2
Cadeia de Markov de Enfileiramento Discreto

Clientes chegam para atendimento e tomam seu lugar em uma fila.

Durante cada perodo de tempo, um nico cliente atendido,
considerando que pelo menos um cliente est presente. Se nenhum
cliente aguarda atendimento, ento durante este perodo nenhum
atendimento realizado. Num perodo de atendimento novos
clientes podem chegar. Suponha que o nmero de clientes que
chega durante o ensimo perodo uma varivel aleatria n, cuja
distribuio independente do perodo e expressa por:

Pr{k clientes chegam em um perodo de atendimento} =

Pr {n=k} = ak, para k = 0,1,...

verificando ak 0 e ak = 1.
k =0
Tambm consideramos que 1, 2,... so variveis aleatrias
independentes. O estado do sistema no incio de cada perodo
definido pelo nmero de clientes esperando na fila por
atendimento. Se o estado atual i, ento, depois de um lapso de um
perodo, o estado :
i - 1 + , se i 1
j= (18)
, se i = 0
em que o nmero de novos clientes que chegaram no perodo,
enquanto um nico cliente foi atendido.
Em termos de variveis aleatrias do processo, (18) pode ser
formalmente expressa como:
Xn+1=(Xn-1)+ + n,

Na qual Y+=max(Y,0).
A partir de (18), obtemos a matriz de probabilidades de transio:

a0 a1 a2 a3 a4 L
a0 a1 a2 a3 a4 L
0 a0 a1 a2 a3 L
P= 0 0 a0 a1 a2 L
0 0 0 a0 a1 L
M M M M M
Algumas Cadeias de Markov Especiais

Cadeia de Markov de Dois Estados

Seja P = 1- a a ; 0<a, b<1 (19)

b 1- b
a matriz de transio de uma Cadeia de Markov de dois estados.

Quando a=1-b, as linhas de P so iguais e os estados X1, X2,...

constituem variveis aleatrias independentes identicamente
distribudas, com Pr{Xn=0}=b e Pr{Xn=1}=a.

Quando a1-b, a distribuio de probabilidade de Xn varia

dependendo da sada Xn-1 no estgio anterior.
Neste caso, verificado por induo que a matriz de transio em n
passos dada por:

Pn = 1 b a + (1 - a - b) a - a
n
(20)
a+b b a (a + b) - b b

n
Observemos que 1 - a - b < 1 quando 0<a, b<1, e da 1 - a - b 0
quando n e:
b a
lim P n = a + b a + b
n b a
a+b a+b
Para um exemplo numrico, suponha que os itens produzidos por um
trabalhador estejam sendo separados em defeituosos ou no, e que, devido
qualidade da matria prima, um item est com defeito ou no depende
em parte de se ou no o item anterior estava defeituoso. Seja Xn a
qualidade do ensimo item, com Xn=0 significando bom e Xn=1
significando defeituoso. Suponha que Xn caracteriza uma Cadeia de
Markov cuja matriz de transio :

0,99 0,01
P= .
0,12 0,88
Observe que itens defeituosos tendem a aparecer em grupos na
sada deste sistema.

O que pode se estimar da probabilidade de falha na linha de

montagem?

Aps execuo longa, a probabilidade que um item produzido

a
por este sistema esteja defeituoso dado por a + b
=
0,077.
7,7%
 Modelo de canal de comunicao:
Canal de Gilbert-Elliot
Modelo comum em comunicao binria: o canal BSC

No estado good, a probabilidade de erro p

No estado bad, a probabilidade de erro p>p
Passeio Aleatrio Unidimensional

Um deslocamento aleatrio unidimensional uma Cadeia

de Markov cujo espao de estados um subconjunto finito ou
infinito a, a+1,...,b de inteiros, no qual a partcula, se est no estado
i, pode em uma nica transio permanecer em i ou mover-se para
um dos estados vizinhos i-1, i+1. Se o espao de estados tomado
como os inteiros no-negativos, a matriz de transio de um
deslocamento aleatrio tem a seguinte forma:
r0 p0 0 L 0 0 0 0 L
q1 r1 p1 L 0 0 0 0 L
P= 0 q2 r2 L 0 0 0 0 L
M M M M M M M L
0 0 0 L qi ri pi 0 L
M M M M M M M
em que pi>0, qi>0, ri0 e pi+qi+ri=1, i= 1,2,... (i1),
p0 0, r0 0, p0+r0=1.

Especificamente, se Xn=i, ento, para i1,

Pr{Xn+1=i+1 | Xn=i} = pi,

Pr{Xn+1=i-1 | Xn=i} = qi e
Pr{Xn+1=i | Xn=i} = ri,

com a modificaes bvias valendo para i=0.

 Humor de Seo Lunga

Em um dia especfico, o humor de Seo Lunga est

em um dos trs estados:  

Se hoje , estar amanh em (0.2)  (0.4) (0.4)

Se hoje , estar amanh em (0.2)  (0.5) (0.3)
Se hoje , estar amanh em (0.2)  (0.1) (0.7)

Determine a matriz de transio e o diagrama de estados

do processo. Faa uma simulao e mostre uma realizao
deste processo.
 Companhias de Seguro: bonus malus
Em companhias de seguros de automveis, o valor a pagar
pela aplice muitas vezes determinado no sistema bonus
malus.

Atribui-se a cada segurado um valor positivo i (estado inicial) e

o prmio anual funo do estado (alm de tipo de veculo,
nvel de seguro etc.).

O estado do segurado evolui ano-a-ano em funo do nmero

de vezes que o seguro foi acionado.
 Estados de menor nmero correspondem a contratos anuais
menores, e o estado decresce se o seguro no for acionado,
e aumenta se o seguro foi acionado.

Em um sistema bonus malus, seja Si(k) o prximo estado

do segurado que estava no estado i no ano anterior e fez k
usos do seguro naquele ano.

Hiptese: o # de pedidos dos segurados uma v.a. com

distribuio Poisson de parmetro .
 Normalmente h 20 ou mais estados, mas considere o exemplo simplificado
(4 estados).

ESTADO PRMIO ANUAL PRXIMO ESTADO se #pedidos

0 1 2 3

1 R$200 1 2 3 4
2 R$280 1 3 4 4
3 R$420 2 4 4 4
4 R$700 3 4 4 4
S2(0)=1
S2(k)=4, k2
 Diagrama de estados da cadeia de Markov dos
seguros de automveis
 Matriz de transio:

a0 a1 a2 1 a0 a1 a2
a0 0 a1 1 a0 a1
P=
0 a0 0 1 a0
0 0 a0 1 a0
ak=Pr(segurado usar k vezes o seguro no ano)=

k
= e
k!
k0
 O Conceito de Convergncia em
Cadeias de Markov

Matrizes de Probabilidades de Transio Regulares;

Distribuio Limite;
Classificao dos Estados;
Teorema Bsico do Limite em cadeia de Markov
Distribuio Estacionria.
 Matrizes Regulares de
Probabilidades de Transio

Suponha que uma matriz de probabilidades de transio

P=||Pij|| em um nmero finito de estados chamados de 0, 1,
..., N, tem a propriedade que quando elevada a potncia k, a
matriz Pk tem todos os seus elementos estritamente
positivos. Esta matriz (ou a correspondente Cadeia de
Markov) chamada de regular.
 O fato mais importante relacionado a Cadeias de Markov
regulares que existe uma distribuio de probabilidades
limites =(0,1,...,N) em que j>0 para todo j=0,1,...,N e
jj=1 e que esta distribuio independe do estado inicial.
Formalmente, tem-se a convergncia:
 Uma condio suficiente para determinar se uma matriz
de probabilidades de transio regular a seguinte:

1. Para cada par de estados i, j existe um caminho

k1,...,kr para o qual Pik1Pk1k2...Pkrj>0

2. Existe pelo menos um estado i para o qual Pii>0.

 Teorema 1: Seja P uma matriz de probabilidades de
transio regular nos estados 0,1,...,N.

Ento, a distribuio limite de probabilidade

=(0,1,...,N) a nica soluo no-negativa das
equaes:

N
j = k =0
k Pkj , j = 0 ,1,..., N
N

k =0
k = 1.
Prova:
Visto que a cadeia de Markov regular ento existe uma
distribuio limite j>0 para todo j=0,1,...,N e jj=1.
Escreva Pn como o produto de matrizes Pn-1P na forma:

N
Pij( n ) = Pik( n 1) Pkj , j = 0,1,..., N
k =0

Agora faamos n. Ento, tem-se:

Pij(n) j enquanto Pjk(n-1) k e a equao se torna:
j = kPkj como queramos.
 Resta-nos provar que a soluo nica.
Suponha que x0,x1,...,xN resolve, ento:

N
xj = k =0
x k Pkj , j = 0 ,1,..., N
N

k =0
xk = 1.

Temos que mostrar que xj= j . Multipliquemos a primeira

equao por Pjl e somemos para todos os js ento:
Mas, sabemos que:
N N N N

j= 0
x jP jl =
j= 0 k = 0
x k P kj P jl =
k = 0
x k P kl( 2 )

N
xl = x P
j =0
j jl ento a equao anterior nos leva a :

N
xl =
k =0
xk Pkl( 2 ) , para l = 0 ,1,..., N
Repetindo esse argumento n vezes, temos:
N
xl = x
k =0
k P (n)
kl , para l = 0 ,1,..., N

e passando ao limite em n e usando Pkl(n) l, temos que:

N
xl = x
k =0
k l , para l = 0 ,1,..., N

Mas sabemos que kxk=1, ento xl= l como queramos.

 0,5 0,7

0,4 0 1
0,05

0,05 0,25
0,1
0,5
2

0,45
 Exemplo 1
Seja a matriz de probabilidades de transio dada por:

0.4 0.5 0.1

P = 0.05 0.7 0.25 as equaes
0.05 0.5 0.45
determinantes das probabilidades limites so :
0 = 0.4 0 + 0.05 1 + 0.05 2
1 = 0.5 0 + 0.7 1 + 0.5 2
2 = 0.1 0 + 0.25 1 + 0.45 2
0 + 1 + 2 = 1
Observe que temos uma equao redundante, eliminando
uma delas chegaremos ao resultado:

5
0 =
65
5 Quais as probabilidades limites para o processo
1 = humor de Seo Lunga? A fama de mal
8
humorado justificvel?
31
2 =
104
 Matrizes Duplamente Estocsticas

Uma matriz de probabilidades de transio duplamente

estocstica se as colunas somam 1 assim como as linhas.

Se uma matriz duplamente estocstica regular ento a

nica distribuio limite a distribuio uniforme
=(1/N,...,1/N), em que N o nmero de estados da cadeia.
Prova:
Como sabemos que uma matriz regular tem uma nica
soluo, ento resta provar que a distribuio uniforme
satisfaz a:

N 1
j = k =0
k Pkj , j = 0 ,1,..., N 1
N 1

k =0
k = 1.
Mas
N 1
1

k =0 N
=1

1 N 1 1 1
= Pkj =
N k =0 N N

pois a colunas (para este tipo particular de cadeia de

Markov) somam 1.
 Aplicao em Gentica de Populaes

Considere uma populao (fechada) de indivduos com um

par de genes de interesse, classificados com tipo A ou a
(dominante, recessivo).

Propores genticas presentes:

P(AA)=p, P(aa)=q, P(Aa)=r, p+q+r=1

Quando dois indivduos acasalam, cada contribui

aleatoriamente com um gene para a descendncia.

S. ROSS (Introduction to Probability Models, AP, 2007)

 EXAME DA GENETICA NA PRXIMA GERAO

P(A)=p.P(A|AA)+q.P(A|aa)+r.P(A|Aa)=p+0+r/2
P(a) = p.P(a|AA)+q.P(a|aa) +r.P(a|Aa) =0+q+r/2

Assim,
P(AA)=P(A).P(A)=(p+r/2)2
P(aa)=(q+r/2)2
P(Aa)=P(A)P(a)+P(a)P(A)=2P(A)P(a)=2(p+r/2)(q+r/2)

Seja {Xn} o P.E. denotando o estado gentico da

descendncia na n-sima gerao. A matriz de
probabilidades de transio da cadeia :
 Montar a equao de distribuio limite.

A anlise da distribuio limite estabelece a Lei de Hardy-

Weinberg. A soluo limite (AA,aa,Aa) exatamente o
mesmo padro gentico da populao inicial. A estatstica
preservada quando h escolha genuinamente aleatria de
parceiros...
 Interpretao da Distribuio Limite

Existem duas interpretaes para essa distribuio:

1) Aps o processo est sendo executado por um longo

perodo a probabilidade de encontrarmos a cadeia em um dado
estado j j.

2) j significa a frao mdia do tempo em que a cadeia se

encontra no estado j.
 Aplicaes
Geralmente um fenmeno que no naturalmente um
processo de Markov pode ser modelado como um
incluindo parte da histria passada em cada estado.

Suponha, por exemplo, que o clima em qualquer dia

depende do clima nos dois dias anteriores.
Especificamente, suponha que se hoje e ontem o clima foi
ensolarado ento amanh o clima ser ensolarado com
probabilidade 0,8.
 Se foi ensolarado hoje e chuvoso ontem, ento amanh
ser ensolarado com probabilidade 0,6. Se foi chuvoso
hoje mas ensolarado ontem, ento amanh ser ensolarado
com probabilidade 0,4. E se os dois ltimos dias foram
chuvosos, ento amanh ser ensolarado com
probabilidade 0,1. Ento, definiremos os estados assim:

0-Ensolarado nos ltimos dois dias.

1-Ensolarado ontem, mas chuvoso hoje.
2-Chuvoso ontem, mas ensolarado hoje.
3-Chuvoso nos dois ltimos dias.
 Logo, a matriz de probabilidade de transio ser:

0 1 2 3

0.8 0.2 0 0 0
0 0 0.4 0.6
1
P=
0.6 0.4 0 0 2
3
0 0 0. 1 0.9

Resolvendo o sistema de equaes para a distribuio

limite obteremos:
 3 1 1 6
0 = , 1 = , 2 = e3 =
11 11 11 11

Ento a probabilidade de estarmos em um dia ensolarado

de: 0+2, ou seja, de 4/11.

Uma previso real de tempo envolve o uso de um nmero de

estados incrivelmente grande, envolvendo parmetros ligados

ao tempo (umidade, temperatura, velocidade dos ventos...).

 UMA APLICAO DE CADEIAS DE MARKOV:
REGISTRADORES A DESLOCAMENTO

Um caso especial de Cadeias de Markov aparece na descrio de

uma seqncia de estados de um registrador a deslocamento.

H1 registrador a deslocamento com L-estgios

(n) := estado = contedo do registrador no instante n
H2 seqncia aleatria de variveis (n) independentes i/p
 n{a1,a2,...,aM}, com
P((n)=ak)=pk k

Registrador a deslocamento com entrada aleatria

(n) = pode assumir ML valores (diferentes estados).

Notao:

i representa um estado, com i=(ai1,ai2,...,aiL)

A probabilidade de transio em um passo vale:

(
pij = P (j n ) = (a j1 , a j 2 ,..., a jL ) | i( n 1) = (ai1 , ai 2 ,..., aiL ) )

pij = p j1 i1, j 2 i 2, j 3 K iL 1, jL , sendo usado para o delta de Kronecker.

Exemplo. M=2 (binrio), L=3 (trs estgios)

Estados da cadeia:
(0 0 0) (0 0 1) (0 1 0) (0 1 1) (1 0 0) (1 0 1) (1 1 0) (1 1 1)
0 1 2 3 4 5 6 7

Diagrama de estados:
Matriz de Markov para o registador a deslocamento:
Entrada aleatria, trs retardos puros.

0 1 2 3 4 5 6 7
p 0 0 0 1 p 0 0 0
p 0 0 0 1 p 0 0 0
0 p 0 0 0 1 p 0 0
0 p 0 0 0 1 p 0 0
P=
0 0 p 0 0 0 1 p 0
0 0 p 0 0 0 1 p 0
0 0 0 p 0 0 0 1 p
0 0 0 p 0 0 0 1 p
Considere agora a matriz de transio em m passos, Pm.

Desde que o registrador possui apenas L estgios, o contedo do estado

no instante n+m (com m>L) independe do contedo em n
INDEPENDENCIA.
Conseqentemente:
PL=PL+1=... e PL tem linhas identicas.

Distribuio limite da cadeia: P=PL

No exemplo, a matriz em trs passos P3 fornece a distribuio
estacionria desta cadeia de Markov:

= [p3 p 2 (1 p ) p 2 (1 p ) p (1 p ) 2 p 2 (1 p ) p (1 p) 2 p (1 p ) 2 (1 p )3 ]
 Classificao dos Estados
Nem todas as cadeias de Markov so regulares. Vamos
considerar alguns exemplos:

1 0
P=
0 1

Como a cadeia de Markov permanece no estado inicial,

existe uma distribuio limite que depende obviamente do
estado inicial. No regular...
 A cadeia de Markov cuja matriz de transio dada por:

0 1
P=
1 0

oscila deterministicamente entre os dois estados.

Ento ela peridica e, portanto, no existe distribuio

limite pois no h convergncia de P(n) quando n.
A cadeia de Markov cuja matriz de transio dada por:

1 / 2 1 / 2
P= , ento P n
dada por :
0 1
1 n 1
n

P n = 2 1 2 e o limite quando n :

0 1
n 0 1
lim P =
n
0 1

Aqui o estado 0 transitrio, aps o processo iniciar no estado 0

existe uma probabilidade de nunca mais retornar a ele.
 Cadeias de Markov Irredutveis

Um estado j dito ser acessvel a um estado i se

Pij(n)>0 para algum n0.

Dois estados i e j so ditos comunicveis se cada

um deles for acessvel ao outro e escrevemos: ij.

Ento, se dois estados i e j no so comunicveis:

Pij(n)=0 ou Pji(n)=0 para todos n 0.
 O conceito de comunicao uma relao de
equivalncia, ou seja, satisfaz s seguintes
propriedades:

1) ii (reflexividade);
2) Se ij, ento ji (simetria) e
3) Se ij e jk ento ik (transitividade).

possvel agora particionar a totalidade dos estados da

cadeia em classes de equivalncia.

Os estados em uma mesma classe de equivalncia so

aqueles que se comunicam entre si.
 possvel comearmos em uma classe de equivalncia e

entrar em uma outra, contudo, no possvel retornar a classe

original, caso contrrio as duas classes seriam uma s.

Definimos como cadeia de Markov irredutvel aquela que tem

somente uma classe de equivalncia. Em outras palavras, uma

cadeia de Markov irredutvel se todos os seus estados se

comunicam entre si. Por exemplo, considere a seguinte matriz

probabilidades de transio:
 1/ 2 1/ 2 0 0 0
1/ 4 3/ 4 0 0 0
P1 0
P= 0 0 0 1 0 =
0 P2
0 0 1/ 2 0 1/ 2
0 0 0 1 0
 Classificando:

0,5 0,5 0
cadeia irredutvel.
P = 0,5 0,25 0,25
0 1/ 3 2/3

classes:
0,5 0,5 0 0 {1,2} {3} {4}
0,5 0,5 0 0 1 acessvel de 3
P= 3 no-acessvel de 1
0,25 0,25 0,25 0,25
4 absorvente.
0 0 0 1
Periodicidade de uma Cadeia de Markov

Definimos o perodo de um estado i (d(i)) como sendo o

mximo divisor comum de todos os inteiros n1 para o

qual Pij(n)>0. (Se Pij(n)=0 para todo n1 defina d(i)=0).

Se um estado i tem Pii>0, ento este estado tem perodo

igual a 1. Uma cadeia de Markov com perodo 1
chamada de aperidica.
 Vamos agora enunciar trs propriedades do perodo de um
estado:

1) Se ij, ento d(i)=d(j);

2) Se um estado i tem perodo d(i), ento existe

um inteiro N dependendo de i que para todos os
inteiros nN: ( nd ( i ))
Pii >0

Isto assegura que um retorno para o estado i ocorre para

todo mltiplo do perodo d(i) suficientemente grande.
3) Se Pji( m ) > 0, ento Pji( m + nd ( i )) > 0 para todo
n (um inteiro positivo) suficientemente grande.
 Estados Recorrentes e Transitrios

Definimos:

ou seja, fii(n) a probabilidade que comeando em um

estado i a primeira vez que a cadeia retorne para o estado i

ocorra apenas na ensima transio

Seja a probabilidade da cadeia iniciando em um estado i

retornar ao estado i em algum tempo fii:

N N
f ii =
n=0
f ii( n ) = lim
N

n=0
f ii( n )

Definimos um estado como recorrente se fii=1. Por outro

lado, se um estado no for recorrente ele dito ser
transitrio.
Classes {0, 1} {2, 3} {4}
0 1 2 3 4
0,5 0,5 0 0 0 0
0,5 0,5 0 0 0 1
P= 0 0 0,5 0,5 0 2
0 0 0,5 0,5 0 3
0,25 0,25 0 0 0,5 4

Estados recorrentes {0,1} {2,3}

Estados transitrios {4}
 Considere ento um estado transitrio, ento a
probabilidade do processo retornar a este estado pelo
menos k vezes, pela propriedade do processo de Markov,
(fii)k.

Seja M uma varivel aleatria que conta o nmero de vezes

que o processo retorna para o estado i. Ento M tem uma
distribuio geomtrica na qual:

Pr{ M k | X 0 = i} = ( f ii ) k , para k = 1,2,... e

f ii
E[M|X 0 = i ] = .
1 f ii
Teorema 2: Um estado i dito ser recorrente se e
somente se:

n =1
Pii( n ) =

Prova: Suponha que o estado i transitrio. Ento, por

definio, fii<1 e seja M a v.a. que conta o nmero total de
retornos ao estado i. Podemos obviamente escrever M em
termos de v.a.s indicadoras sob a forma:

M = 1{ X n = i}, onde
n =1

0 se X n i
1{ X n = i} =
1 se X n = i.
Mas como vimos E[ M | X 0 = i ] < quando i transitr io.
Logo :

> E[ M | X 0 = i ] = E[1{ X n = i | X 0 = i ] = Pii( n )
n =1 n =1

como queramos.
Corolrio 1: Se ij e se i recorrente, ento j
recorrente.

Prova:
Como ij ento existe m,n1 de modo que:

(n) (m)
P >0 e P
ij ji >0

Seja v>0. Ento, tem-se:


Pjj( m + n + v ) = Pjl( m ) Pil( v ) Pil( n ) Pji( m ) Pii( v ) Pij( n )
l =0 l =0

Somando :

jj
P ( n+ m+v )

v =0
ji ii ij
P ( m) (v) (n)
P P
v =0
= Pji Pij ii
(m) ( n)
P (v)

v =0

Como P (v)
ii diverge, temos que Pjj( v ) tambm diverge.
v =0 v =0
 O Teorema Bsico do Limite para
Cadeias de Markov

Seja i um estado recorrente e defina-se ento a v.a.

Ri=min{n1;Xn=i}. A durao mdia entre visitas ao

estado i dada por:

mi = E[ Ri | X 0 = i ] = nf ii( n )
n =1
 Enunciando de modo mais formal o teorema, tem-se:

(a) Considere uma cadeia de Markov recorrente

irredutvel no-peridica.

Seja Pii(n) a probabilidade de retornarmos ao estado i na n-

sima transio dado que o estado inicial i. Seja fii(n) a

probabilidade do primeiro retorno ao estado i na ensima

transio, em que fii(0)=0. Ento:

(n ) 1 1
lim P ii =
=
n mi

n=0
nf ii
(n )
 (b) Sobre as mesmas condies de (a):

lim Pji( n ) = lim Pii( n ) para todos os estados j.

n n

Obs.: Se estivermos trabalhando em uma classe recorrente

C, ento uma vez em C, no possvel sair de C. Este

teorema tambm vlido para a sub-matriz ||Pij||, i,jC de

qualquer classe recorrente no-peridica.

 Uma classe chamada de
1. Classe de recorrncia positiva ou classe
fortemente ergdica se mi< e

2. Classe de recorrncia nula ou classe

fracamente ergdica se mi= .

Um mtodo alternativo para determinarmos a distribuio limite i

para uma classe recorrente no peridica.
Teorema 4: Em uma classe de recorrncia positiva
no-peridica com estados j=0,1,2,...

1
lim Pjj( n ) = j = i Pij = e i = 1
n m j i =0
i =0

e esses ' s so unicamente determinad os

pelo conjunto de equaes :

(*) i 0,
i =0
i e j = i Pij para j = 0,1,...
i =0
 Qualquer conjunto (i)i=0 satisfazendo (*) chamado de

uma distribuio estacionria da cadeia de Markov.

O termo estacionrio deriva da propriedade de que uma

cadeia de Markov iniciando de acordo com uma

distribuio estacionria vai seguir esta distribuio para

todos os demais pontos do tempo.

 Formalmente, se Pr{X0=i}=i ento Pr{Xn=i}=i para todo
n=1,2,3,...
Vamos checar isso para o caso n=1: o caso geral segue por
induo.

Pr{`X 1 = i} = Pr{X 0 = k} Pr{X 1 = i | X 0 = k}
k =0

= k Pki = i
k =0

em que a ltima igualdade vlida porque uma

distribuio estacionria.
 Quando o estado inicial selecionado de acordo com a
distribuio estacionria, a distribuio conjunta de
(Xn,Xn+1) dada por:

Pr{X n = i, X n+1 = j} = Pr{X n = i} Pr{X n+1 = j | X n = i}

= i Pij .
NOTA.
Quando uma distribuio limite existe, ela sempre uma
distribuio estacionria. Mas pode existir uma
distribuio estacionria que no seja distribuio limite.
 Por exemplo seja a cadeia de Markov peridica (portanto,
sem distribuio limite) dada por:

0 1
P= mas = (1/2,1/2) uma distribuio estacionria pois :
1 0
0 1
(1 / 2,1 / 2) = (1 / 2,1 / 2).
1 0
 Em guisa de concluso
A apresentao do assunto bastante limitada e tmida,
face a sua aplicabilidade e potencial.

A quantidade de aplicaes de Cadeias de Markov

admirvel e assombrosa. Particularmente, desempenham
papel importantssimo em teoria das filas.

Quase a totalidade dos modelos de processos envolvendo

alguma memria (e no so poucos), podem usar cadeias
de Markov como ferramenta.Use-a sempre em temas
envolvendo memria finita.

N.B. Vale estudar o modelo conhecido com Cadeias de Markov

escondidas (hidden Markov chains), no considerado aqui.
Processos Estocsticos Especficos

O Processo de Poisson

Probabilidade e Processos Estocsticos

(Programa de Ps-graduao)
UFPE
Dennis S. Poisson, Sceaux, France
 Processo Aleatrio de Poisson

1 - Introduo

2 - Processo de Poisson

3 - Tempos de Chegada

4 - Tempos entre Chegadas

5 - Tempos de Chegada No-ordenados

6 - Processo de Poisson Filtrado

 Processo de Contagem
Muitos fenmenos fsicos so probabilisticamente descritos pelo
mesmo processo de formao de uma fila. Os clientes chegam
aleatoriamente e independentemente um do outro a uma taxa
normalmente constante de clientes/segundo.
N

N(0)=0
k

P1 =t
.
.
. P+ de 1 em t = 0
4
3
2
1
t 0
t
Processo Aleatrio de Contagem {Nt, 0 t<+}

a. a varivel aleatria de contagem Nt assume unicamente valores

inteiros no-negativos e

N0 0

b. o processo aleatrio de contagem {Nt, 0 t<+} tem estacionaridade

e incrementos independentes.

c. P[ N t + t N t = 1] t + 0 ( t )

d. P[ N t + t N t > 1] 0 ( t )
em que uma constante positiva e 0(t) uma funo de
t a qual vai a zero mais rapidamente que t, i..,
0(t) uma funo tal que (BigO Landau)

0( t )
lim =0 (1)
t 0 t

Um processo aleatrio o qual satisfaz as hipteses (a) a

(d) chamado um Processo de Contagem de Poisson e,
como ser mostrado, o nmero de eventos que ocorre
em um dado intervalo de tempo segue uma Distribuio
de Probabilidade de Poisson.
Das propriedades c e d obtm-se que

P[ N t + t N t = 0] = 1 P[ N t + t N t 1] =

1 ( P[ N t + t N t = 1] + P[ N t + t N t > 1]) =

1 ( t + 0( t ) + 0( t )) =

1 t 20( t ) =

P[ N t + t N t = 0] = 1 t + 0( t ) (2)
Determinar a distribuio de probabilidade da varivel
aleatria de contagem Nt: Considere o intervalo (0,t+t] e
divida-o em dois, conforme a ilustrao abaixo:

0 t t+t

Introduz-se a notao
p k ( t ) P[ N t = k ]

p j ,k (t , t + t ) P[ N t + t = k | N t = j ]
O evento condicional [Nt+t=k | Nt=j] equivalente ao evento
[Nt+t - Nt = k-j] e ento suas probabilidades so iguais:

P[ N t + t = k | N t = j ] = P[ N t + t N t = k j ]

Por hiptese, o processo de contagem tem incrementos

estacionrios e ento segue-se que

P[ N t + t N t = k j ] = P[ N t N 0 = k j ] = P[ N t = k j ]

As probabilidades de transio pj,k(t,t+t) dessa forma dependem

unicamente do intervalo de tempo t, e escreve-se

p j ,k ( t ) p j ,k (t , t + t ) = P[ N t = k j ] (3)
Considere a probabilidade de que nenhum evento ocorra no
intervalo (0,t+t]. Esta situao ocorre quando nenhum evento
ocorre no intervalo (0,t] e nem no (t,t+t].

Intervalos no sobrepostos => incrementos v.as independentes:

p 0 ( t + t ) = p 0 ( t ) p 0 ,0 ( t ) (4)

Segue-se (2) e (3) que

p0,0 ( t ) = 1 t + 0( t )
Usando este resultado em (4), subtraindo p0(t) de ambos os
lados e dividindo por t, tem-se

p0 (t + t ) p0 (t ) 0( t )
= p0 (t ) + p0 (t )
t t
Passando o limite t 0, tem-se

dp0 (t)
= p0 (t)
dt
como a equao diferencial para probabilidade de que nenhum
evento ocorra em um intervalo de durao t. Sua soluo ,

p0 (t ) = ce t
notando que
p0 ( 0) = 1 c = 1
segue-se

P[ N t = 0] = p0 (t ) = e t
Tendo obtido p0(t) vamos determinar pk(t) para k 1.

Comeando de N0=0, Nt+ t pode tornar-se igual a um inteiro k de

diversas formas: pode ser que no acontea nenhum evento no
intervalo (0,t] e k eventos no (t,t+t]; pode acontecer um evento no
intervalo (0,t] e k-1 no (t,t+t]; etc. Dessa forma, pode-se escrever

k
pk (t + t ) = p j (t ) p j ,k ( t ) (5)
j =0

pois so eventos mutuamente exclusivos.

Determinao de pk(t)

Passo A. Mostrar que p j ,k ( t ) = 0( t ) 0 j k-2,

pj ,k (t ) pj ,k (t , t + t ) = P[ Nt +t = k| Nt = j] = P[ Nt +t Nt = k j] =

P[ Nt = k j]
se 0 j k-2, ento
k j 2 k j >1
Logo,

p j ,k ( t ) = P[ N t > 1] = 0( t )
Passo B. Mostrar que

dpk (t )
+ p k ( t ) = p k 1 ( t )
dt
Como visto em (5)
k
pk (t + t ) = p j (t ) p j ,k ( t )
j =0
assim
k 2
pk (t + t ) = p j (t ) p j ,k (t) + pk 1 (t ) pk 1,k (t) + pk (t) pk ,k (t )
j =0

Como mostrado no Passo A.

p j , k ( t ) = 0( t ) 0 j k-2,
assim
k 2
pk (t + t ) = 0(t ) p j (t ) + pk 1 (t ) pk 1,k (t ) + pk (t ) pk ,k (t)
j =0

Lembrando que
p k ,k ( t ) = P [ N t = k k = 0 ] = 1 t + 0 ( t )

e que
p k 1 , k ( t ) = P [ N t = k k + 1 = 1] = t + 0 ( t )

tem-se que
k 2
pk (t + t ) = 0(t ) p j (t ) + pk 1 (t)t + pk 1 (t )0(t ) +
j =0

pk (t ) pk (t )t + pk (t )0(t )
 Subtraindo pk(t) em ambos os lados, dividindo por t e

tomando o limite,

pk (t ) 0( t ) k 2
pk (t + t ) pk (t )
t
+
t j = 0
p j (t ) + pk 1 (t ) +
lim = lim
t 0 t t 0
0( t ) pk (t ) 0( t )
pk 1 (t ) t + t pk (t ) + pk (t ) t

dpk (t )
= pk (t ) + pk 1 (t )
dt
Passo C.

Para k=1:
dp1
+ p1 = p0
dt
t
mas, como provado anteriormente po = e

assim
dp1 t dp1 t
= p1 + e e + e t p1 =
dt dt
d
dt
[ ] [ ]
p1e t = d p1e t = dt

p1 (t ) = te t
k=2
dp2
+ p2 = p1
dt
mas, como visto, p1 (t ) = te t

assim
dp2 2 t dp2 t
= p2 + te e + e t p2 = 2 t
dt dt

d
dt
[ ] [ ]
p2 e t = 2 t d p2 e t = 2 tdt

(t ) 2 t
p2 (t ) = e
2
k=3 (idntico)
dp3
+ p3 = p2
dt
( t ) 2 t
mas, como vimos p2 (t ) = e
2

assim

dp3 ( t ) 2 t dp3 t t 3 2
t
= p3 + e e + e p3 =
dt 2 dt 2
3 2 3 2

d
dt
[t
p3e = ] 2
t t
d p3e =[ 2
t
dt]
( t ) 3 t
p3 (t ) = e
3!
 Logo, por induo finita,

( t ) t
k

P[ N t = k ] = e
k!

Portanto, a varivel aleatria contnua Nt tem uma distribuio de

probabilidade de Poisson.

Pode-se mostrar que

E[Nt]=var[Nt]= t
 Exerccio
Uma medio controlada realizada para avaliar um enlace de comunicao
de servios constatou, aps duas horas de transmisso, que

9.508 pacotes foram recebidos sem erro

4.545 pacotes apresentavam um nico erro
1.250 pacotes tinham dois erros
220 deles apresentaram trs erros
22 pacotes com quatro erros
3 pacotes com cinco ou mais erros.

O nmero de erros em um pacote aleatrio e os valores representam uma

realizao de um processo estocstico discreto. Verifique se uma distribuio de
Poisson pode ser usada como modelo para o nmero de erros por pacote. Em caso
afirmativo, estime o parmetro (em erros/s). Use planilha EXCEL.

Resp. sim, 7.10-5 erros/s

 Sabe-se que o protocolo usa um cdigo CRC que tem
capacidade de corrigir at cinco erros por pacote.

Qual a probabilidade que ocorra neste ensaio pacotes

acima da capacidade de correo do protocolo? Qual a
probabilidade que, findo um dia, tenha ocorrido pacotes
acima da capacidade de correo do protocolo?

Resp. 1,45.10-5 55%

 Tempos de Chegada
Freqentemente necessrio se estudar o tempo requerido para que
um dado nmero de eventos k ocorra, assim como contar o nmero de
eventos que ocorrem em um dado intervalo de tempo t.

Chama-se ento o tempo de ocorrncia tk do k-simo evento de tempo

de chegada do k-simo. Denota-se a varivel aleatria que representa
a distribuio dos possveis valores dos tempos de chegada por Tk.
N

.
.
.

4
3 N(t)
2
1

t1 t2 tk t tk+1 t
 Determinar a relao entre a funo distribuio de probabilidade do
tempo de chegada do k-simo evento, Tk, e a varivel aleatria de
contagem Nt :

Por definio FTk (t ) = P[Tk t ]

O evento [Tk t] equivalente a [Nt > k-1], e dessa forma tm a

mesma probabilidade. Assim:
[Tk t ] = [ N t > k 1]

P[Tk t ] = P[ N t > k 1] = 1 P[ N t k 1]
Escrevendo o resultado acima em termos das correspondentes
funes distribuio de probabilidade, tem-se que
FTk = 1 FN t ( k 1) (6)
Vlido para qualquer processo de contagem, desde que N0=0.
 Vamos aplicar o resultado anterior ao caso do processo de
contagem de Poisson. Como visto
e t ( t ) j
P[ N t = j ] =
j!

quando {Nt,0 t<+ } um processo de contagem de Poisson.

Dessa forma, para k 1,

k 1
e t ( t ) j
k 1
FN t ( k 1) = P[ N t = j ] =
j =0 j =0 j!
Usando o resultado (6), segue-se ento que
k 1
( t ) j

FTk (t ) = 1 e t para t 0
j =0 j!

0 para t<0
 Tempos entre chegadas
Tendo considerado os tempos de chegada Tk de um um processo
de contagem aleatrio {Ni, 0 t<+ }, vamos agora estudar algumas
das propriedades estatsticas dos intervalos entre sucessivos
tempos de chegada.

As duraes destes intervalos Zk so referidas como intervalos entre

chegadas, em que

Z1 T1
Z k Tk Tk 1 ,para k=2,3,4,...

z1 z2 zk

0 t1 t2 tk-1 tk t
A seqncia de intervalos entre chegadas forma dessa forma um
processo aleatrio de parmetro discreto com varivel aleatria
contnua {Zk, k=1,2,3,...}.

Vamos agora determinar a funo distribuio de probabilidade do

K-simo intervalo entre chegadas, Zk, em termos da distribuio de
probabilidade da varivel aleatria de contagem Nt.
Para isto, primeiramente determina-se a probabilidade

P[ Z k > z] = 1 P[ Z k z] = 1 FZ k ( z)
Segue-se, da definio de intervalo entre chegadas, que o evento
[Zk>z] e [Tk - Tk-1>z] so equivalentes

[ Z k > z ] = [Tk Tk 1 > z ] = [ Tk > Tk 1 + z ]

 Suponha que o valor observado de Tk-1 tk-1.

O evento [TK>Tk-1+z|Tk-1=tk-1] ocorre iff o processo de contagem

no incrementar durante o intervalo (tk-1,tk-1 + z]:

[Tk > Tk 1 + z|Tk 1 = tk 1] = [ Ntk1+z Ntk1 = 0]

Desde que os eventos so equivalentes, eles tm probabilidades

iguais.Obtemos ento o resultado

P[Zk > z|Tk 1 = tk 1] = P[ Ntk1+z Ntk1 = 0]

Dessa forma, segue-se que

FZk (z|Tk 1 = tk 1] = P[ Ntk1+z Ntk1 = 0] (7)

 Se o processo de contagem estacionrio, ento segue-se que
a probabilidade no lado direito da equao anterior uma funo
unicamente de z; em particular,

P[ Ntk1+z Ntk1 = 0] = P[ Nz = 0]

pois, por hiptese, N0 = 0.

A funo distribuio condicional no lado esquerdo de (7) dessa

forma independente do valor particular de k, e finalmente

FZk (z) = 1 P[ Nz = 0] para todo k=1,2,3,...

Como este resultado independente do valor do ndice k, segue-se que

se o processo de contagem estacionrio, ento os vrios intervalos
entre chegadas tero todos a mesma distribuio de probabilidade.
Tempos de chegada no-ordenados
1 Passo:
Suponha que exatamente k eventos de um processo de
Poisson ocorrem em um intervalo de durao t. Em outras
palavras Nt=k, onde Nt uma varivel aleatria de
Poisson. Se particionarmos (0,t] em M subintervalos
adjacentes para os instantes de tempo t0, t1, t2,..., tM,
considerando:
t 'o = 0 e t ' M = t
E definindo:
m = t 'm t 'm 1 para m = 1,2,..., M
Tem-se a situao de partio representada a seguir:
 m ( m )

0 = t'o t '1 L t 'm 1 t'm t 'M = t

Pode-se escrever:
M
t = m
m =1

No h relao a priori entre os tempos em que os eventos

ocorrem (tk) e os instantes da partio tm.
2 Passo:
Nmero de eventos que ocorrem em um subintervalo:

( m ) = (t 'm 1 , t 'm ] onde m = 1,2,..., M

Segue que:
M

k
m =1
m =k

Exatamente k eventos ocorreram no intervalo (0,t].

A probabilidade condicional conjunta de km eventos
ocorrerem durante o intervalo (m), m=1,2,...,M,
considerando a hiptese de que k eventos ocorrem durante
o intervalo inteiro :

P[ N1 = k1 , N 2 = k 2 ,..., N M = k M | N t = k ] =

P[ N1 = k1 , N 2 = k 2 ,..., N M = k M , N t = k ]
=
P[ N t = k ]

P[ N1 = k1 , N 2 = k 2 ,..., N M = k M ]
= (1)
P[ N t = k ]
Incrementos estacionrios e independentes, vem:

M
P[ N1 = k1 , N 2 = k 2 ,..., N M = k M ] = P[ N m = k m ] ( 2)
m =1

O nmero de eventos Distribuio de Poisson. Assim,

podemos reescrever (2) e o denominador de (1):

e m ( m ) km e t ( t ) k
P[ N m = km ] = e P[ N t = k ] =
km! k!

Levando os resultados acima em (1):

 Obtm-se a probabilidade condicional conjunta:

e m ( m ) k m
M

m =1 km!
P[ N1 = k1 , N 2 = k 2 ,..., N M = kM | Nt = k ] =
e t (t ) k
k!
M
( m ) km
e (1 + 2 +...+ M ) k1 + k2 +...+ k M

m =1 km!
=
e t k tk
k!
k! M ( m ) km
= k
t m =1 k m !
3 Passo:
Particionamento suficientemente bom apenas um evento
ocorra em cada subintervalo. Nesse caso, cada um dos k
subintervalos ter apenas um evento ocorrendo em sua
durao, ou seja:

( m ) k m = m e k m != 1

No ocorrer nenhum evento em cada um dos M-k

subintervalos restantes:

0
( m ) km
= =1
m e k m != 0! = 1
 k! M ( m ) km
P[ N1 = k1 , N 2 = k 2 ,..., N M = kM | Nt = k ] = k
t m =1 k m !

Os k subintervalos so reindexados de modo que o

subintervalo (j) contenha o j-simo evento a ocorrer.
O tempo de ocorrncia do j-simo evento o tempo de
chegada tj, resta apenas a probabilidade condicional
conjunta de ocorrncia dos eventos [tj (j)], j = 1, 2, ..., k:

k! k
P[t1 ( 1 ), t 2 ( 2 ),..., t k ( k ) | N t = k ] = k j (3)
t j =1
4 Passo:
k eventos ocorrem durante [0,t], o mesmo resultado pode
ser obtido assumindo que os tempos de chegada tj so as
estatsticas de ordem dos tempos de evento (ou tempos de
chegada no-ordenados).

Variveis aleatrias mutuamente independentes

Uniformemente distribuda em [0,t]

possvel indexar os objetos que causam eventos

particulares pelos inteiros 1, 2, ..., k e denotar como ui o
tempo de evento que o objeto i leva para que um evento de
interesse ocorra.
Tempos de chegada no-ordenados
No garantia a priori que #i gere o i-simo evento a ocorrer
(em ordem) no garantia ui = ti.

Objetos #1 #2 L #i #k

L
Tempos
de Evento
u2 uk u1 ui t
L L L
Tempos
de Chegada
0 t1 t2 ti t j tk t
5 Passo:

Seja Uj a v.a. da distribuio dos valores dos ui empricos,

dizemos que as v.as Ti so as estatsticas de ordem das
v.as Uj . Em seguida assumimos:

Variveis aleatrias mutuamente independentes

Uniformemente distribudas em [0,t]

Estamos assumindo que dado Nt=k, os Uj so mutuamente

independentes e:
1
,0 < u i t
fU i (ui | N t = k ) = t , i = 1,2,..., k
0, caso contrrio
 Como os Uj so v.as independentes:

1
k ,0 < u i t
fU1 ,U 2 ,...,U k (u1 , u2 ,..., uk | N t = k ) = t , i = 1,2,..., k
0, caso contrrio

Existem k! diferentes conjuntos de tempos de eventos

[uj, i = 1, 2,..., k] que poderiam gerar um conjunto particular
de tempos de chegada. Da:

k!
k ,0 < t j t
fT1 ,T2 ,...,Tk (t1 , t 2 ,..., t k | N t = k ) = t , j = 1,2,..., k (4)
0, caso contrrio
Tempos de chegadas no-ordenados
Retornando aos k subintervalos (j) da eq.(3), a
probabilidade de um T1 cair em um subintervalo (1), de
durao 1 , que T2 caia num subintervalo (2), de durao
2 , e assim sucessivamente dada pela distribuio
condicional conjunta escrita em (4), ou seja:

P[T1 ( 1 ), T2 ( 2 ),..., Tk ( k ) | N t = k ] =
k! k! k
L k
dt1dt 2 L dt k = k j
( K) ( 2) ( 1) t t j =1
Esse resultado idntico ao obtido em (3), completando a
prova.
Q.E.D
 Processo de Poisson Filtrado
Definio
Suponha que um operador linear excitado aleatoriamente
por um processo de Poisson. O processo aleatrio que
descreve o fenmeno, [Xt , 0 t<+] pode ser escrito:
Nt
X t = h(t U j ) , onde
j =1

uj gera h(t- uj) em um tempo t

N descreve o n de eventos que ocorreram em(0,t]
t

U = Tempo chegada no ordenados dos eventos em(0,t].
j

Tem-se o chamado Processo de Poisson Filtrado.

Valor Esperado de Xt :

E[ X t ] = P[ N t = k ]E[ X t | N t = k ] (1)
k =0

A mdia condicional E[Xt | Nt = k] obtida tomando a mdia

da soma:
k

h(t U
j =1
j )

com relao aos tempos de chegada no-ordenados

U1, U2, ..., Uk.
 k
E[ X t | N t = k ] = E h(t U j )
j =1
k
= E[h(t U j )]
j =1

Resultados anteriores fornecem:

1
,0 < u t
fU j (u | N t = k ) = t , j = 1,2,..., k
0, caso contrrio
Ficando:
t
k k
1
E[ X t | N t = k ] = E[h(t U j )] = h(t u j ) du j
j =1 j =1 t 0

Fazendo u = t-uj :
t
k
E[ X t | N t = k ] = h(u )du ( 2)
t 0
Substituindo (2) em (1), chega-se esperana de Xt :
t t
1
E[ X t ] = h(u )du P[ N t = k ]k = h(u )du
t0 k =0 0

Q.E.D
Distribuio de Xt :

Nt

X t (v) = E[e ] = E exp iv h(t U j )
ivX t

j =1

Analogamente:

X (v) = P[ N t = k ]E[eivX | N t = k ]
t
t

k =0

em que:
k
E[e ivX t
| N t = k ] = E exp iv h(t U j )
j =1
 k ivh ( t U j )
E[eivX t | N t = k ] = E e
j =1

[ ]
k
=E e
ivh ( t U j )

j =1
k
k t
1 ivh (t u j ) 1 ivh (u ) t
= e du j = e du
j =1 t 0 t 0

Substituindo o resultado acima em:

X (v) = P[ N t = k ]E[eivX | N t = k ]
t
t

k =0
 k k

e t
( t ) k
1 ivh (u )
t
1
t

X (v ) = e du = e e
t ivh ( u )
du
t
k =0 k! t 0 k = 0 k! 0

Relembrando a expanso da funo exponencial em sries

de potncias:

t

X t (v) = e exp e
t ivh ( u )
du
0
t ivh (u )
= exp e [ ]
1 du
0
Q.E.D
Processo de Poisson Generalizado {Nt, 0 t<+}

a. a varivel aleatria de contagem Nt assume unicamente valores

inteiros no-negativos e

N0 0

b. o processo aleatrio de contagem {Nt, 0 t<+} tem estacionaridade

e incrementos independentes.

c.

d. P[ N t + t N t > 1] 0 ( t )
 Funo valor mdio do processo no homogneo de
Poisson:

Exemplo:

e (t)=(t-9) para t>9.

H tantas variantes de processos derivados do processo de

contagem de Poisson !
 Processo de Poisson Composto

Um P.E. {X(t), t0} dito ser um processo composto de

Poisson se representado por

N (t )
X (t ) := Yi
i =1

Sendo {N(t), t0} um processo de contagem de Poisson e

{Yi, i1} uma famlia de v.a.s i.i.d. independente de N(t).
 Processos Estocsticos Especficos

Teoria das Filas: introduo

Probabilidade e Processos Estocsticos

(Programa de Ps-graduao)
UFPE
 Teoria das Filas

Vrios usurios
Demanda aleatria
Servidor(es)
Tempo de atendimento aleatrio

Servido(es) ocupados FILA

Critrio FIFO (First In First Out)
 Representao de Kendall
At cinco elementos

A/B/m/K/M

A distribuio do tempo de chegada

B distribuio da durao do atendimento
m nmero de servidores
K mximo de usurios
M nmero de usurios
 exemplos
M/M/1/4/50, M/M/2//20, M/D/1/50, ...
M/M/1
M/M/m
M/M/1/K
M distribuio exponencial
D valor Determinstico
G distribuio genrica
 Representao esquemtica

NB. Ligao com o processo de nascimento e morte

 Fila M/M/1
Infinitos usurios
Chegadas ~P()
Partidas (findo atendimento) ~P()

Diagrama de estados da fila M/M/1

 Fila M/M/m
Infinitos usurios
Chegadas ~P()
Partidas (findo atendimento) ~P(i)

Diagrama de estados da fila M/M/m

Processos Estocsticos Especficos

O Processo Gaussiano

Probabilidade e Processos Estocsticos

(Programa de Ps-graduao)
UFPE
 O Processo Gaussiano

1 - Introduo

2 - Vetores Randmicos Gaussianos

3 - O Processo Aleatrio Gaussiano

4 - Formas de Onda de Faixa Estreita

5 - O Processo Aleatrio de Faixa Estreita

6 - O Processo Aleatrio Gaussiano de Faixa Estreita

 Processos Gaussianos

Efeitos das Transformaes Lineares em Vetores Randmicos

Gaussianos

Processo Randmico Gaussiano:

Definio e Propriedades Bsicas

Apresentao de um Caso Especial: Definio e Propriedades

de um Processo Randmico Gaussiano de Faixa Estreita.
 Introduo

Funo Densidade de Probabilidade Gaussiana

O comportamento de uma
Funo Densidade de Distribuio de uma
varivel aleatria caracterizado Varivel Gaussiana com Mdia m e Varincia

por sua distribuio de f x(x)

probabilidade.
Uma varivel aleatria
gaussiana somente se sua x

densidade de probabilidade fX(x)

tem a forma:
1 ( x m )2
f X (x) = exp , - < x < +
2 . 2 2
Funo Distribuio de Probabilidade Gaussiana
Por definio: Funo Distribuio de uma Varivel Gaussiana com
Mdia m e Varincia

FX (x) = P ( X x) Fx(x)

x
=

f X ( x ) dx

Embora uma distribuio de probabilidade constitua uma descrio

completa da varivel aleatria X, em geral interessante procurar um
conjunto de nmeros simples que ressaltem as caractersticas dominantes

da varivel aleatria. (Os momentos associados a X)

Funo Caracterstica Gaussiana

A funo caracterstica de uma varivel aleatria X definida como

sendo a esperana de um nmero complexo, ou seja, como a
transformada inversa de Fourier da funo densidade de
probabilidade:

+
X (v ) E [exp (ivx )] = 1
[ f X ( x)] = - f X ( x ) exp (ivx ) dx

v 2 2
X (v) = exp ivm
2
Determinao dos Momentos
EXEMPLO: Calcular o ensimo momento associado funo:
g(X) = Xn.
- Soluo atravs de fX(x):

+
E(X ) = f X ( x ) dx
n n
X

- Soluo atravs de X(x): E ( X n ) = i n X( n ) ( 0 )

Atravs da funo caracterstica, X(x), possvel determinar, de

forma bem mais simples, os momentos de qualquer varivel
aleatria.
 Vetores Randmicos Gaussianos

Densidade de Probabilidade Conjunta Gaussiana

Seja X um vetor randmico de dimenso n cujas componentes X1, X2,

..., Xn so variveis randmicas gaussianas mutuamente
independentes com mdias m1, m2, ..., mn e varincias 12, 22, ..., n2,
respectivamente, a densidade de probabilidade para o k-simo
componente dada por:

1 (x m k )2
f Xk (x) = exp 2
2 . k 2 k
Densidade de Probabilidade Conjunta Gaussiana

Visto que as componentes do vetor X foram definidas como sendo

variveis randmicas gaussianas mutuamente independentes, a
funo de probabilidade conjunta ser dada por:

f X 1 , X 2 ,..., X n (x 1 , x 2 ,..., x n ) = f X 1 ( x1 ) f X 2 ( x 2 ) ... f X n ( x n )

n
1 1 xk m k

2

= exp -
k =1 2 . k 2 k

1 1 n x m
2

=
n
n

exp

-
2


k k


(2 ) 2 k k = 1 k
k =1
Utilizando a notao matricial para a equao apresentada, x, m e
podem ser definidos como:

x1 m1 12 0 ... 0
x m
0 22 ... 0
X 2 m x E [X ] = 2
... ... ... ... ... ...
x n 2
m n 0 0 ... n

Matriz das Mdias Matriz das Covarincias

Densidade de Probabilidade Conjunta Gaussiana
Sabendo-se que
n
k = 1 2 ... n
k =1
e, 1
0 ... 0

2
1 x1 m1
0 1
... 0 x2 m2
( X mx ) ( X mx ) = [x1 m1 x2 m2 ... xn mn ]
T T 1
22
...
0 0 ... ...
xn mn
0 1
0 0 2
n
1 1 1
= ( x1 m1 ) 2 2 + ( x2 m2 ) 2 2 + ... + ( xn mn ) 2 2
1 2 n
Pode-se dizer que,
n 2
1 n x mk
k = 2
e ( X T mTx ) 1 ( X m x ) = k
k =1 k =1 k

Portanto, matricialmente, a funo densidade de probabilidade

conjunta de um vetor randmico X de dimenso n, cujas componentes
so variveis randmicas gaussianas mutuamente independentes,
dada por:

1 1
f X (x) = 1 2
exp - ( X T m Tx ) 1 ( X m x )
( 2 ) n 2
2
Funo Caracterstica Conjunta

Desde que os componentes X1, X2, ..., Xn foram assumidos serem

mutuamente independentes, a funo caracterstica conjunta dada
pelo produto das funes caractersticas individuais:

X (V ) = X1, X 2 ,..., X n (v1 , v2 ,..., vn ) = X1 (v1 ) X 2 (v2 ) ... X n (vn )

2 2
k k
n
v
= exp ivk mk

2
k =1
n n 2 2
vk k
= exp i vk mk

2
k =1 k =1
Utilizando a notao matricial para a equao apresentada, v, m e
podem ser definidos por:

v1 m1 12 0 ... 0
v m
0 22 ... 0
V 2 m x E [X ] = 2
... ... ... ... ... ...
2
vn m n 0 0 ... n

Matriz das Mdias Matriz das Covarincias

Sabendo-se que

v1
v
m Tx V = [m 1 m 2 ... m k ] 2 = m 1 v1 + m 2 v 2 + ... + m n v n
...
v n
e

12 0 ... 0 v1
0 22 ... 0 v2
V V = [v1 v2 ... vn ]
T
= v12 12 + v22 22 + ... + vn2 n2
0 0 ... ... ...
0 0 0 n2 vn
Pode-se dizer que
n n
mTx V = vk mk e V T V = vk2 k2
k =1 k =1

Portanto, matricialmente, a funo caracterstica conjunta de um vetor

randmico X de dimenso n, cujas componentes so variveis

randmicas gaussianas mutuamente independentes, dada por:

T 1 T
X (V ) = exp im x V V V
2
Um vetor randmico gaussiano X de dimenso n, cujas
componentes so variveis randmicas gaussianas
mutuamente independentes, tem como funo densidade
conjunta de probabilidade e funo caracterstica conjunta,
respectivamente:

1 1
f X (x) = 1 2
exp - ( X T m Tx ) 1 ( X m x )
( 2 ) n 2
2

1
X (V ) = exp imTx V V T V
2
Transformao Linear

Seja Y um vetor randmico de dimenso m (m n) definido como

transformao linear do vetor randmico gaussiano X:

Y 1 = g 11 X 1 + g 12 X 2 + ... + g 1n X n
Y 2 = g 21 X 1 + g 22 X 2 + ... + g 2n X n
...
Y m = g m1 X 1 + g m2 X 2 + ... + g mn X
Y = gX
n

em que gjk um nmero real arbitrrio g 11 g 12 ... g 1 n

g g 22 ... g 2 n
e g a matriz transformao: g 21

... ... ... ...
g m 1 g m 2 ... g mn
Transformao Linear - Funo Caracterstica de Y

A funo caracterstica conjunta para o vetor Y dada por:

m
Y1 ,Y2 ,...,Yn (u1 , u2 ,..., un ) = E exp i u jY j
j =1

Utilizando a notao matricial: Y (u ) = E [exp(iu T Y )]

Sendo Y = gX: Y (u ) = E [exp(iu T gX )]

Porm, X (V ) = E [exp(ixV )] Logo, Y (u ) = X ( g T u )

ou seja,

T T 1 T T
Y (u ) = exp imx g u u gg u
2

Porm, Y(u) est expressa em funo da mdia (mx) e das varincias

(x2) do vetor X.

necessrio, portanto, analisar os termos mx e ggT em funo de Y.

Sabe-se que: mY E[Y ] = E [g.X ] = g.E [X ] = gm x

Ento, mYT = mTx g T

Fazendo:

= gg T

T
g11 g12 ... g1n 12 0 0 0 g11 g12 ... g1n
g
g22 ... g2 n 0 22 0 0 g21 g22 ... g2 n
gg = 21
T
... ... ... ... ... ...
... ... ... ... ... ...
g
m2 gm 2 ... gmn 0 0 0 n2 gm 2 gm 2 ... gmn
 Porm, por definio, a matriz dada por::

11 12 ... 1 m
22 ... 2 m
21
... ... ... ...

m1 m2 ... mm

em que jk cov (Y j , Yk )

Portanto, a funo caracterstica conjunta para o vetor Y dada por:

T 1 T
Y (u ) = exp imY u u u
2
A funo caracterstica conjunta de um vetor randmico Y tem

exatamente a mesma forma da funo caracterstica conjunta do

vetor randmico X, quando Y definido como a transformao linear

de X e quando os componentes de X so variveis aleatrias

gaussianas mutuamente independentes.

T 1 T T 1 T
X (V ) = exp im x V V V Y (u ) = exp imY u u u
2 2
 A funo caracterstica conjunta para quaisquer vetores randmicos

gaussianos tm a mesma forma, sejam suas componentes variveis

randmicas gaussianas independentes ou no.

T 1 T
Y (u ) = exp imY u u u
2
Ou,

m
[ ] cov (Y j , Y k ) u j u k
m m
1
Y1 ,Y 2 ,..., Y n (u 1 , u 2 ,..., u n ) = exp i E Y j u j -
j =1 2 j =1 k =1
 Transformao Linear - Funo Densidade Prob. de Y

Foi visto que:

1 1
f X ( x) = 1 2
exp - ( X T
m Tx ) 1 ( X m x )
( 2 ) n 2 2

De forma anloga (fazendo: Y = gX):

1 1
f Y (y) = 1 2
exp - (Y T m YT ) 1 (Y m Y )
( 2 ) n 2 2
 Expandindo,

1 1 n n
f x1 , x 2 ,..., x n (x 1 , x 2 ,..., x n ) =
( 2 ) n 2

1 2
exp -
2

j =1 k =1
jk ( x j m j )( x k m k )

em que ||jk o cofator do elemento jk no determinante || da

matriz de covarincias.
 Concluses

1. Um vetor randmico gaussiano X de dimenso n, cujas

componentes so variveis randmicas gaussianas mutuamente
independentes, tem como funo densidade conjunta de probabilidade
e funo caracterstica conjunta, respectivamente (matricialmente):

1 1
f X (x) = 1 2
exp - ( X T m Tx ) 1 ( X m x )
( 2 ) n 2
2

T 1 T
X (V ) = exp im x V V V
2
2. A funo caracterstica conjunta de um vetor aleatrio Y tem
exatamente a mesma forma da funo caracterstica conjunta do
vetor randmico X, quando Y definido como a transformao
linear de X e quando os componentes de X so variveis randmicas
gaussianas mutuamente independentes.

T 1 T T 1 T
X (V ) = exp im x V V V Y (u ) = exp imY u u u
2 2
3. A funo densidade conjunta de probabilidade e a funo

caracterstica conjunta para quaisquer vetores randmicos gaussianos

tem, individualmente, a mesma forma, sejam suas componentes

variveis randmicas gaussianas independentes ou no.

1 1 T
f Y (y) = 1 2
exp - (Y m YT ) 1 (Y m Y )
( 2 ) n 2 2

T 1 T
Y (u ) = exp imY u u u
2
 Processo Aleatrio Gaussiano

Um processo aleatrio real {Yt , t T} um processo

gaussiano se para todo conjunto finito de instantes
de tempo t j T j = 1,2,..., n
as correspondentes variveis aleatrias Y t so
variveis aleatrias gaussianas conjuntas.

{Yt , t T}
As funes caractersticas do vetor aleatrio

tem a forma da matriz

T 1 T
i*mY *V *V V
y (v ) = e 2

Em que m y a matriz da mdia de Y e a

matriz da covarincia de Y.
 Processo Gaussiano
Conseqncias:

Um processo gaussiano completamente

determinado (estatisticamente) atravs da
especificao da mdia E [Yt ] e da funo
covarincia K y (t ,t ') do processo.

Alm disso qualquer processo gaussiano que estacionrio

no sentido amplo tambm estacionrio no sentido
restrito.
 Suponha que o processo aleatrio {Yt , < t < + } um
processo gaussiano estacionrio de sentido amplo.

Ento:

K y (t , t' ) = K y (t - t' )

para todo t, e para todo t

Ento segue que
n n n
E [Yt i ]
1
i vj Ky( )
t j , tk v j vk
Yt 1 , Yt 2 , ... , Ytn (v1 , v 2 , ... , v n ) = e
j=1
2 j =1 k =1

ou
n
1 n n
i m *v j K y (t j t k ) v j vk
Yt 1 , Yt 2 , ... (v1 , v 2 , ... , v n ) = e
j =1
2 j =1 k =1
 {Yt }
processo gaussiano randmico estacionrio
no sentido amplo. translao dos instantes de
tempo t1 , t 2 ,..., t n pela mesma quantidade
A funo caracterstica conjunta das novas variveis

Yti + , j = 1,2,..., n
n
1
n n
i m*v j ( )
K y t j + t k - v j vk
Yt1+ , Yt 2+ , ... , Yt + (v1 , v2 , ... , vn ) = e
j=1
2 j =1 k =1
n

n
1
n n
i

m*v j
2 ( )
K y t j t k v j vk

=e j=1 j =1 k =1

= Yt1 , Yt 2 , ... , Yt (v1 , v2 , ... , vn )

n
 Processo Gaussiano

A funo caracterstica conjunta n-dimensional (e,

portanto, a densidade de probabilidade conjunta n
dimensional) no alterada pela translao da origem dos
tempos.

Se processo gaussiano estacionrio no sentido amplo,

ento ele tambm estacionrio no sentido restrito;

Estacionaridade no sentido estacionrio amplo e no

sentido estacionrio restrito so equivalentes no caso do
processo gaussiano!
 Digresso:
Rudo branco: rudo cuja funo de densidade
espectral constante ao longo do espectro.
+

potncia infinita, pois: P = S n ( f )df =

rudo branco numa dada faixa f de freqncia.

Qualquer que seja a freqncia, o sinal visto em um

osciloscpio sempre apresentar um comportamento
senoidal
x(t ) = v(t ) cos[wot + (t )]
 A funo dada pode ser representada atravs de um
somatrio atravs de uma srie de Fourier.

x(t ) = An cos(wn t + n ) = (2S ' ( f ) ) cos(w t + )
n f n n
n =1 n =1

2
An
em que, 2S ' dado por: S'= An = 2 S '
2

Onde (2S ' ( f ) ) cos(w t + )

n f n n
chamada de xn (t ) .
 em que xc (t ) = xn (t )

fixando t tem-se uma varivel aleatria, ou seja, fazendo

t= t* tem-se:

xc (t *) = xn (t *)
n =1

uma soma de variveis aleatrias, donde conclui-se atravs

do Teorema do Limite Central que xc(t) uma varivel
aleatria gaussiana.
 Logo:
xn (t *) (2S ( f ) ) cos((w
n f n wc )t * + n )

observa-se que a freqncia wn foi deslocada de wc, a fim de

expressarmos xn (t ) em termos de seno e cosseno, ou seja,

xc (t ) = (2S ' ( f ) ) cos[(w
n f n wc )t + n ]
n =1

xs (t ) = (2S ' ( f ) ) sen[(w
n f n wc )t + n ]
n =1
 Formas de Onda de faixa-estreita

Uma funo do tempo X(t) dita ser uma forma de onda de banda
estreita se a regio sobre a qual o espectro de frequncia.

i*2* * f *t
X(f ) = x (t ) * e dt

diferente de zero est confinado em uma banda estreita f de

freqncia com

f o >> f
A forma de onda de faixa estreita vista em um osciloscpio
aparece mais ou menos como uma onda senoidal com uma
funo envoltria variando lentamente e uma funo de fase
tambm variando vagarosamente.
Pode-se escrever:

x(t ) = v(t ) * cos[ ot + (t )]

em que v(t) uma funo envoltria variando lentamente (sempre no

o
negativa), (t ) uma funo de fase variando lentamente, e f o =
2

a frequncia aparente.
 Uma representao alternativa
x(t ) = v(t ) * cos[ o t + (t )]

x(t ) = xc (t ) * cos( o t ) xs (t ) * sen ( ot )

xc (t ) v(t ) * cos (t ) e xs (t ) v(t ) * sen (t )

xc (t ) a componente do cosseno de x(t )

x s (t ) chamada a componente do seno de x(t ) .

 Envoltria e fase de uma forma de onda faixa estreita

resultando

1 xs (t )

v(t ) = (x
2
(t ) + xs2 (t )) e ( )
t = tan
xc (t )
c
Formas de Onda de faixa estreita
Decomposio:
1. Processo Aleatrio de Faixa Estreita

2. Processo Gaussiano faixa estreita

 Processo Faixa Estreita

Definio: Um sinal no tempo X(t) dito ter uma forma de onda

banda estreita se a regio em cima do espectro de freqncia (Fig 1)
no nulo e est limitado a uma faixa de freqncia estreita de
largura f centrada sobre uma freqncia, fo.

Sendo f0 >> f
Estender o estudo de banda estreita para processos
aleatrios.

Suponha, {Xt, -<t<+} um processo aleatrio banda

estreita; i..,

suponha que {Xt} estacionrio na sua faixa larga com uma

densidade espectral Sx a qual difere de zero apenas numa
estreita banda de freqncia sobre alguma dada freqncia,
chamada de f0.
Algumas vezes conveniente representar um processo faixa
estreita em termos de

1) um mdulo de processo
{Vt, -<t<+ } e

2) um processo de fase
{t, -<t<+ },

usando a relao:
Xt = Vt Cos(wot + t) com wo=2fo.
Alternativa:
em termos de seus componentes seno e cosseno
{Xct, -<t<+ },
{Xst, -<t<+ }, respectivamente.

usando a relao:
Xt = Xct Cos wot - Xst Sen wot.
2 2
V t
= X ct
+ X st

1 X st
t = tan
X ct
Mdulo, fase, componente cosseno e componente seno so

fenmenos de baixa freqncia; i.., seus espectros so todos

essencialmente zero em valor para freqncias maiores em

magnitude que alguma frao pequena fo .

 2. Processo Gaussiano de banda estreita

CASO PARTICULAR: processo gaussiano banda estreita.

processo {Xt, -<t<+}.

Componentes seno e cosseno do processo, i.e.,

{Xct, -<t<+ } e {Xct, -<t<+}, respectivamente, so

alcanveis pela transformao linear de um determinado
processo banda estreita.
Estes processos so tambm gaussianos.
Componentes aleatrias, a saber, Xct Xst.
para variveis gaussianas no-correlacionadas,

independncia!

Xct e Xst mdia zero e varincia Rx(0), a densidade de

probabilidade :

1 x2 + y2
f xct , xst ( x, y ) = exp
2 Rx (0) 2 R x ( 0)
 Densidade de probabilidade do mdulo e fase:

1 X st
t = tan
2 2
V t
= X ct
+ X st
X ct
Concluso: o mdulo e a fase das variveis so estatisticamente
independentes com densidade de probabilidade dada por:

v v2
exp , para 0 v
f vt ( v ) = R x ( 0 ) 2 R x (0 )
0 Caso Contrrio

1
, para 0 2
f t ( ) = 2
0 Caso Contrrio
 FECHO
Este curso procurou revisar e apresentar conceitos
fundamentais da Teoria de Probabilidade e de
Processos Estocsticos.

O assunto por demais extenso e no pretenso

imaginar que esta cobertura mnima
suficiente, entretanto...

O objetivo mostrar a POTNCIA e larga aplicabilidade

da ferramenta em quase todos os campos do saber.
 Votos finais

Se foi possvel proporcionar alguma mudana

na forma de encarar os processos fsicos e
descortinar um pouco sobre a influncia da
aleatoriedade no mundo, ento o objetivo principal
foi atingido.

OBRIGADO por compartilha-lo!

Que tenha alguma valia nas atividade acadmico-cientficas e

na forma de ver o mundo...
Probabilidade e Processos Estocsticos
(Programa de Ps-graduao)
UFPE