MI 625 - Processos Estocasticos

Nancy Lopes Garcia, Sala 209 - IMECC

nancy@ime.unicamp.br, www.ime.unicamp.br/nancy
Horario: 2as. e 4as. feira: 8-10hs (Sala 225)
Livro Texto: Introduction to Stochastic Processes, Paul Gerhard Hoel, Sidney C. Port, Charles J. Stone.
Livro de apoio: Stochastic Modelling of Scientic Data, Peter Guttorp.
Programa:
Cadeias de Markov a tempo discreto
Cadeias de ordem maior
Teoria de verossimilhan ca para cadeias de Markov
Processos de Poisson
Inferencia parametrica e nao parametrica para Processos de Poisson
MCMC e simulacao perfeita
1
Processos Estocasticos
Inferencia: Seja uma amostra aleatoria X
0
, X
1
, X
2
, . . . , X
n
, isto e, X
0
, X
1
, X
2
, . . . , X
n
sao i.i.d. e a sua distribui cao
de probabilidade conjunta:
P(X
0
A
0
, . . . , X
n
A
n
) =
n

i=0
P(X
i
A
i
) =
n

i=0
P(X A
i
),
onde X tem a mesma distribuicao das X
i
s.
Exemplo 1: Considere a sequencia de v.as X
i.j
onde X
i,j
= 1 se chove no i-esimo dia do j-esimo ano e X
i,j
= 0
se nao chove no i-esimo dia do j-esimo ano.
Faz sentido pensar que estas v.as sao i.i.d.?
Exemplos:
1. Ferrugem asiatica:
A ferrugem asiatica e uma doenca que esta atacando as culturas de soja causando muito prejuzo aos
produtores e demanda aplica coes de fungicida causando danos ao meio ambiente e excessivos gastos.
Um dos fatores que inuenciam para a ocorrencia da doenca e o molhamento foliar superior a oito horas.
Molhamento foliar ac umulo de agua lquida causado por precipitacao ou condensacao da umidade at-
mosferica na forma de orvalho - superior a 8 horas.
As variaveis coletadas sao:
(a) molhamento foliar (codicada como 1 se ha molhamento superior a oito horas e 0 caso contrario),
(b) velocidade do vento em m/s,
(c) umidade relativa do ar,
(d) precipita cao em mm e temperatura media em

C.
Essas variaveis foram coletados de quatro esta coes meteorologicas:
(a) Lucas do Rio Verde (MT)(dezembro de 2003 `a agosto de 2005),
(b) Rio Verde (GO)(setembro de 2004 `a novembro de 2004),
(c) Passo Fundo (RS)(agosto de 2004 `a abril de 2005) e
(d) Holambra (SP)(agosto de 2004 `a junho de 2005).
Esse dados foram enviados diariamente para o CEPAGRI - Unicamp (Centro de Pesquisas Meteorologicas
e Clim aticas Aplicadas `a Agricultura).
2
Temos informa coes de 15 em 15 minutos para esta cao de Lucas do Rio Verde e Holambra, e de 30 em
30 minutos para esta cao de Rio Verde e Passo Fundo, mas resumimos em dados diarios para uma melhor
compreensao do fenomeno.
Fonsechi (2006) analisou estes dados atraves de um Modelo Logstico Regressivo, cujas variaveis regressoras
dependem do tempo anterior, por exemplo, se choveu no tempo t 1 inuencia se havera molhamento ou
nao no tempo t. Obviamente nao podemos esperar independencia de um tempo para o outro.
2. A questao ling ustica:
Como identicar ngerprints de ritmo em textos escritos de Portugues Brasileiro (BP) e Portugues Europeu
Moderno (EP)?
Por que?
EP e BP tem
Mesmas palavras (morfologia);
Diferente ordem de palavras (sntaxe);
Diferente pron uncia (prosodia/ritmo).
O que e ritmo ling ustico?
Nao esta bem denido na literatura.
Agrupamento de slabas atonas ao redor de slabas tonicas (Pe).
Construcao do pe depende de cada lngua e interage com fronteiras de outros domnios ling usticos.
Denicoes
Palavra pros odica = palavra lexica + palavras funcionais atonas que a precedem.
O menino comeu a bala.
Acentos na fala
Acento lexico (primario), xo;
Acento adicional (secundario), depende da implementa cao da sentenca no sinal ac ustico.
Nao recuperavel de textos escritos.
A informacao contida nos textos e a posicao de:
acentos lexicais,
3
fronteiras de palavras prosodicas, e
fronteiras de sentencas.
A pergunta e como utilizar estas informacoes para detectar diferen cas no ritmo entre textos de BP e EP.
Dados
A amostra e composta de textos literarios modernos (2a. metade do Sec. XX) de autores brasileiros (35 textos)
e autores europeus (31 textos).
A amostra codicada pode ser vista em http://www.ime.usp.br/~tycho/prosody/vlmc/data.
O modelo probabilstico
Codica cao de slabas:
incio de palavra prosodica;
tonica ou atona.
0 Slaba atona, nao incio de palavra prosodica;
1 Slaba tonica, nao incio de palavra prosodica;
2 Slaba atona, incio de palavra prosodica;
3 Slaba tonica, incio de palavra prosodica; e
4 Fronteira de senten ca.
Exemplo: O menino ja comeu o doce
Sentence O me ni no j a co meu o do ce
Acento 0 0 1 0 1 0 1 0 1 0
Palavra 1 0 0 0 1 1 0 1 0 0
Codica c ao 4 2 0 1 0 3 2 1 2 1 0
A codicac ao e feita de maneira automatica usando um software escrito em Perl (C).
Limitacoes Ling usticas
Palavras prosodicas sao nitas. Limitadas por digamos 15 slabas.
Toda palavra prosodica deve conter uma,e somente uma, slaba tonica.
Uma slaba tonica pode ser seguida por, no maximo, 3 slabas atonas dentro da mesma palavra prosodica.
Toda sentenca deve iniciar com uma palavra prosodica.
4
3 0 3 0 3 0 3 0 2 1 0 2 0 0 1 0 2 0 0 0 1 0 3 0 4
3 0 2 1 2 1 0 2 1 0 2 1 0 3 3 0 3 0 3 0 0 2 0 1 0 4
3 0 2 1 2 1 0 2 1 0 2 1 0 2 1 0 2 1 0 4
2 0 0 1 0 2 0 0 1 2 1 0 2 0 0 1 0 2 0 1 0 2 0 1 0 2 1 2 1 3 0 2 0 0 1 0 4
3 0 2 0 0 1 0 4
2 1 3 0 3 0 2 1 3 0 2 0 0 1 0 2 1 2 0 1 2 1 0 3 0 2 0 0 1 0 2 1 2 0 1
0 0 2 1 0 2 1 4
Tortura e Gloria Clarice Lispector
Ela era gorda, baixa, sardenta e de cabelos excessivamente crespos. Veio a ter um busto enorme, enquanto nos
todas ainda eramos achatadas. Como se nao bastasse, enchia os bolsos da blusa, com balas. Mas possua o que
qualquer crianca devoradora de historias gostaria de ter: um pai dono de livraria. Pouco aproveitada. E nos
menos ainda: ate para aniversario, em vez de algum livrinho, ela nos entregava em maos um cartao-postal da
loja do pai.
Processos Estoc asticos
Um processo estocastico e uma cole cao de v.as
{X

, T}
onde T e um conjunto de ndices que pode ser discreto contnuo. Em geral, T = N ou [0, ).
Neste caso, sempre e possvel escrever a distribuicao conjunta de um n umero nito destas v.a.s
P(X
0
A
0
, . . . , X
n
A
n
) =
P(X
0
A
0
)
n

i=1
P(X
i
A
i
|X
0
A
0
, . . . , X
i1
A
i1
).
A teoria de Processos Estocasticos estuda diversas especica coes para as probabilidades condicionais acima e obtem
resultados similares aos classicos:
Lei dos Grandes N umeros (Teorema Erg odico);
Teorema Central do Limite;
Lei Assintotica;
Estimacao de maxima verossimilhanca;
Testes de hipoteses;
5
Estimacao nao parametrica.
Exemplos:
1. Seja X
t
o n umero de terremotos com magnitude maior que 5 que ocorrem na regiao de Sao Francisco no perodo
de (0, t], onde 0 e o incio do registro, por exemplo, 0:00hs do dia 01/01/1950. Neste caso temos um processo
a tempo contnuo com espa co de estados discreto.
2. Seja (X
k
, Y
k
) o n umero de nascimento e mortes, respectivamente, ocorridos no dia k em uma colonia de vetores
trnsmissores de doenca de Chagas. Neste caso temos um processo a tempo discreto com espaco de estados
discreto.
3. Seja X
y,t
a espessura da camada de ozonio na locacao y no tempo t. Aqui temos T = R
2
[0, ). Neste caso
temos um processo a tempo contnuo com espaco de estados contnuo.
4. X
t
e a intensidade de um sinal a uma distancia t da origem. Neste caso temos um processo a tempo contnuo
com espaco de estados contnuo. alem disso, tempo e a distancia.
5. Clientes chegam a uma la de supermercado de acordo com um processo de Poisson. Os clientes sao atendidos
por um caixa que atende cada cliente de acordo a uma distribuicao exponencial de parametro 1. Seja X
t
o
n umero de clientes na la.
6. Temos duas caixas com um total de d bolas numeradas de 1 a d. Em cada experimento selecionamos uma bola
ao acaso e a trocamos de caixa. Seja X
t
o n umero de bolas na caixa 1 no instante t. Neste caso temos um
processo a tempo discreto com espaco de estados discreto.
Por que usar modelos estocasticos?
Distinguir entre diferentes hipoteses.
Por exemplo, quando uma placa de E. coli e infestada com o bactericida T1, a maioria das celulas e destruda.
Uma poucas, entretanto, sobrevivem. Alem disso, todas as descendentes destas sobreviventes sao resistentes ao T1.
Por que? Duas hipoteses:
1. Adapta cao. N umero de sobreviventes e Poisson. (Media igual `a variancia).
2. Mutacao. Media menor que a variancia.
Ajuda a entender o fenomeno estudado No caso dos textos de PB e PE as conclusoes encontradas puderam ser
interpretadas em termos ling usticos como a formacao do pe.
Mais simples do que modelos determinsticos Imagine o fenomeno do lancamento de uma moeda.
6
Por simplicidade vamos ignorar a resistencia do ar e as irregularidades da superfcie onde ela pousa.
As leis do movimento da moeda sao elementares (Keller, 1986). Seja y(t) a altura do centro de gravidade da
moeda no tempo t e (t) o angulo entre a normal da superfcie e a normal da face cara.
As equacoes diferenciais que regem o movimento da moeda sao:
y

(t) = g,

(t) = 0
onde g e a acelera cao da gravidade. Assumindo que a moeda e lan cada de uma altura inicial a com a face cara
para baixo, lancada com velocidade vertical u e velocidade angular .
Condicoes iniciais:
y(0) = a, y

(0) = u, (0) = 0,

(0) = .
Solucao nal:
y(t) = a + ut gt
2
/2, (t) = t.
Permite calcular a variabilidade dos estimadores
Pode ser uma extensao de modelos determinsticos.
Fonte: Wikipedia, the free encyclopedia (http://en.wikipedia.org/wiki)
Scientic applications
Markovian systems appear extensively in physics, particularly statistical mechanics, whenever probabilities are used
to represent unknown or unmodelled details of the system, if it can be assumed that the dynamics are time-invariant,
and that no relevant history need be considered which is not already included in the state description.
Claude Shannons famous 1948 paper
A mathematical theory of communication,
At a single step created the eld of information theory,
opens by introducing the concept of entropy through Markov modeling of the English language.
Such idealised models can capture many of the statistical regularities of systems.
Even without describing the full structure of the system perfectly, such signal models can make possible very
eective data compression through entropy coding techniques such as arithmetic coding.
They also allow eective state estimation and pattern recognition.
7
The worlds mobile telephone systems depend on the Viterbi algorithm for error-correction, while Hidden Markov
models (where the Markov transition probabilities are initially unknown and must also be estimated from the
data) are extensively used in speech recognition and also in bioinformatics, for instance for coding region/gene
prediction.
The PageRank of a webpage as used by Google is dened by a Markov chain. It is the probability to be at page i
in the stationary distribution on the following Markov chain on all (known) webpages. If N is the number of known
webpages, and a page i has k
i
links then it has transition probability (1 q)/k
i
+q/N for all pages that are linked to
and q/N for all pages that are not linked to. The parameter q is taken to be about 0.15.
Markov chain methods have also become very important for generating sequences of random numbers to accurately
reect very complicated desired probability distributions - a process called Markov chain Monte Carlo or MCMC for
short. In recent years this has revolutionised the practicability of Bayesian inference methods.
Markov chains also have many applications in biological modelling, particularly population processes, which are
useful in modelling processes that are (at least) analogous to biological populations. The Leslie matrix is one such
example, though some of its entries are not probabilities (they may be greater than 1).
A recent application of Markov chains is in geostatistics. That is, Markov chains are used in two to three dimensional
stochastic simulations of discrete variables conditional on observed data. Such an application is called Markov chain
geostatistics, similar with kriging geostatistics. The Markov chain geostatistics method is still in development.
Markov chains can be used to model many games of chance. The childrens games Chutes and Ladders and Candy
Land, for example, are represented exactly by Markov chains. At each turn, the player starts in a given state (on a
given square) and from there has xed odds of moving to certain other states (squares).
Cadeias de Markov
Espaco de estados discreto e tempo discreto
X
0
, X
1
, . . . v.a.s discretas com valores possveis S enumeravel.
Propriedade de Markov
P(X
n
= x|X
0
= x
0
, X
1
= x
1
, . . . , X
n1
= x
n1
) = P(X
n
= x|X
n1
= x
n1
)
para todo n 1 e todos os valores de x, x
0
, x
1
, . . . , x
n1
S.
Exemplo 1: Sejam Y
0
, Y
1
, . . . v.a.s discretas i.i.d.. Dena
S
n
= Y
0
+ . . . + Y
n
Neste caso,
P(S
n
= x|S
0
= x
0
, S
1
= x
1
, . . . , S
n1
= x
n1
)
8
= P(S
n1
+ Y
n
= x|S
0
= x
0
, S
1
= x
1
, . . . , S
n1
= x
n1
)
= P(x
n1
+ Y
n
= x|S
0
= x
0
, S
1
= x
1
, . . . , S
n1
= x
n1
)
= P(x
n1
+ Y
n
= x) = P(S
n
= x|S
n1
= x
n1
).
Denicoes equivalentes
P(X
n
= x|X
n0
= x
0
, X
n1
= x
1
, . . . , X
n
k
= x
k
) = P(X
n
= x|X
n
k
= x
k
)
para todo n 1 e n
0
< n
1
< . . . < n
k
n 1.
P(X
n+m
= x|X
0
= x
0
, X
1
= x
1
, . . . , X
n
= x
n
) = P(X
n
= x|X
n
= x
n
)
para todo n 1 e todos os valores de x, x
0
, x
1
, . . . , x
n1
S. Prova:
P(X
n+m
= x|X
0
= x
0
, X
1
= x
1
, . . . , X
n
= x
n
)
=

y1
. . .

ym
P(X
n+m
= x, X
n+m1
= y
m
, . . . , X
n+1
= y
1
|
X
0
= x
0
, X
1
= x
1
, . . . , X
n
= x
n
)
=

y1
. . .

ym
P(X
n+m
= x|X
n+m1
= y
m
, . . . , X
n+1
= y
1
, X
0
= x
0
,
X
1
= x
1
, . . . , X
n
= x
n
)
P(X
n+m1
= y
m
|X
n+m2
= y
m1
, . . . , X
n+1
= y
1
,
X
0
= x
0
, X
1
= x
1
, . . . , X
n
= x
n
) . . .
=

y1
. . .

ym
P(X
n+m
= x|X
n+m1
= y
m
)
P(X
n+m1
= y
m
|X
n+m2
= y
m1
) . . .
P(X
n+1
= y
1
|X
n
= x
n
)
=

y1
. . .

ym
P(X
n+m
= x, X
n+m1
= y
m
,
X
n+m2
= y
m1
. . . X
n+1
= y
1
|X
n
= x
n
)
= P(X
n+m
= x|X
n
= x
n
)
Cadeia de Markov homogenea
P(X
n
= j|X
n1
= i) = P(X
1
= j|X
0
= i) := p
ij
para todo n 1 e todos os valores de i, j S.
Matriz de transicao
P = (p
ij
)
9
A matriz de transicao e uma matriz estocastica, i.e.,
p
ij
0, ,

j
p
ij
= 1.
Matriz de transicao em n-passos
P
n
= (p
ij
(n))
onde
p
ij
(n) = P(X
n
= j|X
0
= i)
Note que P
1
= P, mais ainda
p
ij
(2) = P(X
2
= j|X
0
= i)
=

kS
P(X
2
= j, X
1
= k|X
0
= i)
=

kS
P(X
2
= j|X
1
= k)P(X
1
= k|X
0
= i)
=

kS
p
kj
p
ik
.
Portanto, P
2
= P
2
.
Equacoes de Chapman-Kolmogorov
p
ij
(n + m) =

k
p
kj
(n)p
ik
(m)
Consequentemente, P
n+m
= P
n
P
m
e P
n
= P
n
.
Prova:
p
ij
(n + m) = P(X
n+m
= j|X
0
= i)
=

kS
P(X
n+m
= j, X
m
= k|X
0
= i)
=

kS
P(X
n+m
= j|X
m
= k)P(X
m
= k|X
0
= i)
=

kS
p
kj
(n)p
ik
(m).
Proposicao: (i) Uma matriz estocastica tem ao menos um auto-valor igual a 1.
(ii) Se P e estocastica, entao P
n
e estocastica.
Prova: A denicao de uma matriz estocastica pode ser reescrita como:
P1
T
= 1
T
.
Portanto,
(I P)1
T
= 0.
10
O auto-valor 1 corresponde ao auto-vetor `a direita 1.
Observe que (ii) segue facilmente desta expressao pois
P
k
1
T
= P
k
1
T
= P
k1
1
T
= . . . = 1
T
.
Distribuicoes marginais Dena

(n)
i
= P(X
n
= i).
e

(n)
= (
(n)
i
, i S).
Note que

(1)
i
= P(X
1
= i) =

k
P(X
1
= i, X
0
= k)
=

k
P(X
1
= i|X
0
= k)P(X
0
= k)
=

k
p
ki

(0)
k

(2)
i
= P(X
2
= i) =

j
P(X
2
= i, X
1
= j)
=

j
P(X
2
= i|X
1
= j)P(X
1
= j)
=

j
p
ji

(1)
j
=

j
p
ji

k
p
kj

(0)
k
Em geral,

(n+m)
=
(m)
P
n
e
(n)
=
(0)
P
n
Exemplo: Snoqualmie Falls S = {0, 1} Matriz de transi cao
P =
_
_
p
00
p
01
p
10
p
11
_
_
Amostra: 36 anos (19481983) 30 pares de dias em Janeiro.
X
1,1
, . . . , X
1,31
X
2,1
, . . . , X
2,31
. . .
X
36,1
, . . . , X
36,31
11
Observe que podemos considerar que os vetores (X
j,1
, . . . , X
j,31
), j = 1, . . . , 36 sao independentes.
Sera que os elementos do vetor (X
j,1
, . . . , X
j,31
) nao sao independentes?
Observando os dados temos que neste conjunto de dados foram observados 325 sem chuva e 791 dias chuvosos
dando uma estimativa de p
0
= 0.291 e p
1
= 0.709.
Hoje
0 1
0 186 (91) 123 (223) 309
Ontem
1 128 (223) 643 (543) 771
314 766 1080
Os valores entre parenteses sao os valores esperados sob a hipotese de independencia. X
2
= 202, 89 e
2
1;1%
= 6, 63.
Funcao de verossimilhanca
L(P, x) = P(X
0
= x
0
)
n1

i=0
P(X
i+1
= x
i+1
|X
i
= x
i
)
= P(X
0
= x
0
)
n1

i=0
p
xi,xi+1
= P(X
0
= x
0
)

k,lS
p
n
k,l
k,l
onde n
k,l
= n umero de vezes em que X
i
= k, X
i+1
= l.
No exemplo de Snoqualmie Falls,
L(P, x) =
_
_
3

j=1
6P(X
0,j
= x
0,j
)
_
_
p
186
00
p
123
01
p
128
10
p
643
11
.
Assuma que os x
0,j
sao xos e P(X
0,j
= x
0,j
) = 1, se nao, podemos usar as 36 amostras para estimar esta proba-
bilidade.
Neste caso, usando o fato que p
00
+ p
01
= 1 e p
10
+ p
11
= 1, derivando a fun cao de verossimilhan ca em funcao de
p
1,0
e p
1,1
temos os estimadores:

P
1,0
= N
1,0
/(N
0,0
+ N
1,0
)
e

P
1,1
= N
1,1
/(N
0,1
+ N
1,1
)
As estimativas de MV sao dadas por:
p
1,0
= 123/309 = 0, 398 p
1,1
= 643/771 = 0, 834
12
1. Processos de ramicacao
Modelos para evolu cao de uma popula cao:
(a) Em geral, difceis matematicamente.
(b) Simplica coes interessantes e matematicamente trataveis.
O estudo de processos de ramica cao se originou de um puzzle matematico colocado por Sir Francis
Galton, o primo de Charles Darwin, no the Educational Times de 1 April 1873.
Processos de ramicacao podem ser vistos como a representacao matematica da evolucao de uma populacao
onde os mecanismos de reproducao e morte estao sujeitas a leis aletorias simples.
O problema proposto por Galton: Uma grande nacao, das quais somente nos interessam os adultos
homens, N indivduos, e cada um tendo um sobrenome distinto, colonizam um distrito. A lei de tal
popula cao e que, em cada geracao, P
0
porcento de adultos homens tem nenhum lho homem, P
1
tem
somente um lho homem, P
2
tem 2 lhos homens, ate P
5
que tem 5 lhos homens.
Ache (1) Qual a propor cao de sobrenomes que se extinguirao apos r geracoes; e (2) em quais casos havera
o mesmo sobrenome para m pessoas.
A solucao proposta por Rev. Henry William Watson em seu artigo de 1874 conjuntamente com
Galton, onde a teoria dos processos de ramicacao foram desenvolvidas e estes processos caram conhecidos
como processos de Galton-Watson.
Aplicacoes:
Propagacao de especies e genes
Reacao nucleares
Fenomeno de cascata eletronica
Modelos epidemicos
Processo de ramicacao Bienayme-Galton-Watson
O processo de ramicacao Bienayme-Galton-Watson pode ser visto como um modelo estocastico de evolu cao de
popula coes de partculas ou indivduos.
Incia no tempo 0 com Z(0) partculas.
Cada uma delas se divide independentemente em um n umero aleatorio de lhos que constituem a primeira
geracao.
13
Cada partcula da primeira gera cao se divide independentemente em um n umero aleatorio de lhos (todos
com a mesma lei) que constituem a segunda geracao , e assim por diante.
O n umero de lhos produzidos por cada partcula sao v.a.s i.i.d., independentemente da histria do processo
e de todas as outras partculas presentes.
Um processo de Galton-Watson {X
n
; n = 0, 1, 2, . . .} e uma cadeia de Markov com espa co de estados {0, 1, . . .}
tais que:
Sejam
1,1
,
1,2
, . . .,
2,1
,
2,2
, . . ., . . . v.as i.i.d. com fun cao de probabilidade f(k) = P(
i,j
= k);
X
0
= N para N xo ou aleatorio;
X
1
=
1,1
+
1,2
+ . . . +
1,N
X
2
=
2,1
+
2,2
+ . . . +
2,X1
X
n
=
n,1
+
n,2
+ . . . +
n,Xn1
Neste caso,
P(0, 0) = 1, , P(x, y) = P(
1,1
+
1,2
+ . . . +
1,x
= y).
Em particular, P(1, y) = f(y).
Seja m = E(
1,1
) a media de lhos por indivduo ou taxa de infec cao.
Vamos estudar que:
Caso subcrtico (m < 1): Extincao do processo, tempo de extincao com esperanca nita;
Caso crtico (m = 1): Extincao do processo, tempo de extincao com esperanca innita;
Caso supercrtico (m > 1): Probabilidade de extin cao menor que um.
O problema de estimacao de m aparece quando se lida com poltica de vacinacao e prevencao de epidemias e
pandemias.
Problema basico: Bom estimador para m.
Metodos: EMV, Mnimos quadrados, razao, metodo dos momentos, Bayes, etc.
2. Urna de Ehrenfest
Modelo para troca de calor ou gases entre dois corpos isolados.
Temos duas caixas com um total de d bolas numeradas de 1 a d.
Inicialmente algumas destas bolas estao na caixa 1 e o restante na caixa 2.
14
Em cada experimento selecionamos uma bola ao acaso (i.e, selecionamos ao acaso um n umero entre 1 e d)
e a trocamos de caixa.
Repita o procedimento sequencialmente. Seja X
n
o n umero de bolas na caixa 1 no instante n.
X
n
e uma cadeia de Markov com espaco de estados
{0, 1, . . . , d} e matriz de transicao
P(x, y) =
_

_
(x/d), y = x 1,
1 (x/d), y = x + 1,
0, caso contrario
Denicao: Um estado a de uma cadeia de Markov e dito ser absorvente se P(a, y) = 0, para y = a.
3. Runa do jogador
Um jogador come ca com um capital inicial de d reais e faz uma sequencia de apostas de R$ 1,00.
Assuma que ele tem probabilidade p de ganhar e probabilidade 1 q de perder a cada aposta independen-
temente das apostas anteriores.
Se seu capital chegar a zero ele se arruinara e seu capital continuara zero para sempre.
Esta e uma CM com espa co de estados {0, 1, . . .} onde 0 e um estado absorvente e para x 1
P(x, y) =
_

_
1 p, y = x 1,
p, y = x + 1,
0, caso contrario
4. Cadeias de nascimento e morte
Considere uma CM com espaco de estados S = {0, 1, . . .} ou S = {0, 1, . . . , d}.
Estando no estado x no proximo passo somente podera estar em x, x + 1 ou x 1.
Considere que a matriez de transi cao seja:
P(x, y) =
_

_
q
x
, y = x 1,
p
x
, y = x + 1,
r
x
, y = x,
0, caso contrario
onde para cada x, p
x
, q
x
, r
x
0, p
x
+ q
x
+ r
x
= 1.
15
Classicacao de estados:
Seja A um subconjunto do espa co de estados S. O tempo de chegada a A e denido como:
T
A
=
_
_
_
min{n > 0; X
n
A}, se X
n
atinge A,
, caso contrario
Notacao:
A = {a} usamos a nota cao: T
a
.
Denotaremos por P
x
() as probabilidades dos diversos eventos quando o estado inicial da cadeia for x. Assim,
P
x
(X
1
= a, X
2
= b) = P(X
1
= a, X
2
= b|X
0
= x).
Uma identidade importante:
P
n
(x, y) =

n
m=1
P
x
(T
y
= m)P
nm
(y, y), n 1
Prova: Note que os eventos {T
y
= m, X
n
= y} para m = 1, 2, . . . , n sao disjuntos e {X
n
= y} =
n
m=1
{T
y
= m, X
n
=
y}. Portanto,
P(X
n
= y|X
0
= x)
=
n

m=1
P
x
(T
y
= m, X
n
= y)
=
n

m=1
P
x
(T
y
= m)P(X
n
= y|X
0
= x, T
m
= y)
=
n

m=1
P
x
(T
y
= m)P(X
n
= y|X
0
= x, X
1
= y, . . . , X
m1
= y, X
m
= y)
=
n

m=1
P
x
(T
y
= m)P(X
n
= y|X
m
= y).
Exerccio: Mostre que se a e um estado absorvente entao P
n
(x, a) = P
x
(T
a
n).
Se a e um estado absorvente entao
P
nm
(a, a) = 1, para1 m n.
e
P
n
(x, a) =
n

m=1
P
x
(T
a
= m)P
nm
(a, a)
=
n

m=1
P
x
(T
a
= m) = P
x
(T
a
n).
Observe que
P
x
(T
y
= 1) = P
x
(X
1
= y) = P(x, y)
16
e que
P
x
(T
y
= 2) =

z=y
P
x
(X
1
= z, X
2
= y) =

z=y
P(x, z)P(z, y).
Em geral,
P
x
(T
y
= n + 1) =

z=y
P(x, z)P
z
(T
y
= n), n 1
Estados recorrentes e transientes

xy
= P
x
(T
y
< ) = probabilidade que uma CM come cando em x consiga atingir o estado y em tempo nito.

yy
= probabilidade que uma CM come cando em y alguma vez retorne a y.
Um estado y e dito ser:
1. recorrente se
yy
= 1;
2. transiente se
yy
< 1.
Se y e um estado absorvente, entao P
y
(T
1
= y) = 1 e
yy
= 1 e y e recorrente.
Para cada estado y S dena a v.a.
N(y) =

n=1
1
y
(X
n
)
o n umero de vezes que a CM visita o estado y.
Note que:
P
x
(N(y) 1) = P
x
(T
y
< ) =
xy
.

E facil ver que a propriedade de Markov diz que: a probabilidade da cadeia come cando em x visitar pela primeira
vez y apos m passos e retornar a y n passos depois e
P
x
(T
y
= m)P
y
(T
y
= n).
Portanto,
P
x
(N(y) 2) =

m=1

n=1
P
x
(T
y
= m)P
y
(T
y
= n)
=
_

m=1
P
x
(T
y
= m)
__

n=1
P
y
(T
y
= n)
_
=
xy

yy
.
Similarmente,
P
x
(N(y) m) =
xy

m1
yy
, m 1.
17
Usando o fato que P
x
(N(y) = m) = P
x
(N(y) m) P
x
(N(y) m + 1).
P
x
(N(y) = m) =
xy

m1
yy
(1
yy
), m 1.
e
P
x
(N(y) = 0) = (1
xy
).
Observe que
E
x
(N(y)) = E
x
_

n=1
1
y
(X
n
)
_
=

n=1
E
x
(1
y
(X
n
))
=

n=1
P
n
(x, y).
Dena
G(x, y) = E
x
(N(y)) =

n=1
P
n
(x, y).
O seguinte teorema descreve a diferenca fundamental entre estados transientes e estados recorrentes:
Teorema: (i) Seja y um estado transiente. Entao:
P
x
(N(y) < ) = 1
e
G(x, y) =

xy
1
yy
.
(ii) Seja y um estado recorrente. Entao:
P
y
(N(y) = ) = 1 e G(y, y) = 1.
Mais ainda,
P
x
(N(y) = ) = P
x
(T
y
< ) =
xy
.
Se
xy
= 0 entao G(x, y) = 0 enquanto que
xy
> 0 implica que G(x, y) = .
Prova:
Seja y um estado transiente. Como

n=1
P
n
(x, y) = G(x, y) < lim
n
P
n
(x, y) = 0.
Uma CM e dita ser transiente se todos os seus estados sao transientes e recorrente se todos os seus estados sao
recorrentes.
18

E facil ver que toda CM nita precisa ter pelo menos um estado recorrente, i.e. nao pode ter todos os seus estados
transientes:
0 =

yS
lim
n
P
n
(x, y)
CM nita = lim
n

yS
P
n
(x, y)
= lim
n
P
x
(X
n
S)
= 1.
Decomposicao do espa co de estados:
Sejam x e y S
x y, se
xy
> 0.
x y se, e somente se, P
n
(x, y) > 0 para algum n.
x y e y z entao x z.
Teorema: Seja x um estado recorrente e suponha que x y. Entao y e recorrente e
xy
=
yx
= 1.
Prova: ver livro
Denicao: Um conjunto nao vazio C S e dito ser fechado se nenhum estado de dentro de C leva a um estado
fora de C, i.e., se

xy
= 0, x C, y C.
Equivalentemente, C e fechado se, e somente se,
P
n
(x, y) = 0, x C, y C, para todo n 1.
Se C e um conjunto fechado entao uma CM come cando em C cara em C com probabilidade 1.
Se A e um estado absorvente, entao {a} e fechado.
Denicao: Um conjunto fechado e dito ser irredutvel se x y para todos x, y C.
Segue do Teorema anterior que se C e uma classe fechada e irredutvel, entao ou todo estado de C e recorrente,
ou todo estado de C e recorrente.
19
Seja C uma classe fechada irredutvel de estados recorrentes. entao
xy
= 1, P
x
(N(y) = ) = 1 e G(x, y) =
para todas as escolhas de x, y C.
Uma cadeia de Markov irredutvel e uma cadeia cujo espa co de estados S e fechado e irredutvel. Segue que tais
cadeias ou sao transientes ou sao recorrentes.
Teorema: Seja C um conjunto nito irredutvel e fechada de estados. Entao todos os estados em C sao recorrentes.
Prova:
1. Ja vimos que se S e nito, contem pelo menos um estado recorrente.
2. O mesmo argumento mostra que qualquer conjunto nito fechado contem pelo menos um estado recorrente.
3. Como C e um conjunto nito e irredutvel de estados, ou todos estados em C sao transientes, ou todos estados
em C sao recorrentes.
4. Portanto, todos estados em C sao recorrentes.
Considere uma CM com um n umero nito de estados.
Se a CM e irredutvel, deve ser recorrente.
Se a CM nao e irredutvel vericamos quais sao as classes irredutveis e quais estados sao recorrentes e transientes.
Exemplo: S = {0, 1, 2, 3, 4, 5}
_

_
1 0 0 0 0 0
1
4
1
2
1
4
0 0 0
0
1
5
2
5
1
5
0
1
5
0 0 0
1
6
1
3
1
2
0 0 0
1
2
0
1
2
0 0 0
1
4
0
3
4
_

_
Note que a matriz abaixo traz os valores + e 0 de acordo com x y, i.e,
xy
> 0.
_

_
+ 0 0 0 0 0
+ + + + + +
+ + + + + +
0 0 0 + + +
0 0 0 + + +
0 0 0 + + +
_

_
20
Obviamente, se P(x, y) > 0 entao
xy
> 0, mas a recproca nao e verdadeira pois P(2, 0) = 0 e
20
> 0 pois
P
2
(2, 0) = P(2, 1)P(1, 0) =
1
5
1
4
=
1
20
> 0.
0 e um estado absorvente, portanto e recorrente.
Tambem vemos pela matriz acima que {3, 4, 5} e uma classe nita, fechada e irredutvel portanto todos os seus
estados sao recorrentes.
2 0 e 1 0 mas 0 2 e 0 1, sendo assim 1 e 2 tem que ser estados transientes.
Sejam:
S
T
o conjunto de estados transientes;
S
R
o conjunto de estados recorrentes.
Neste exemplo, S
T
= {1, 2} e S
R
= {0} {3, 4, 5}.
Sempre e possvel decompor S
R
numa uniao disjunta (nita ou enumeravel) de classes irredutveis.
Probabilidades de absorcao:
Seja C uma das classes fechadas irredutveis de estados recorrentes e dena:

C
(x) := P
x
(T
C
< )
a probabilidade de que a CM come cando em x eventualmente atinja C ( e permane ca em C para sempre). Claramente,

C
(x) = 1, se x C
C
(x) = 0, se x e recorrente, mas x C
Como calcular
C
(x) se x for transiente?
Se temos somente um n umero nito de estados transientes, em particular se S e nito, pode-se encontrar

C
(x), x S
T
atraves de um sistema linear de equacoes.
Observe que se x S
T
, uma cadeia somente pode ser absorvido em C se, (i) for absorvindo em C no instante 1;
ou (ii) continuar em S
T
no instante 1 e ser absorvido em C em um tempo futuro.
O evento (i) tem probabilidade

yC
P(x, y) e o evento (ii) tem probabilidade

yS
T
P(x, y)
C
(y).

C
(x) =

yC
P(x, y) +

yS
T
P(x, y)
C
(y), x S
T
.
21
A equacao acima pode ser resolvida se S
T
e nito. No caso de S
T
nao e claro como resolver o sistema, nem mesmo
garantir que o sistema tenha solu cao unica.
Exemplo: Encontre
10
=
{0}
(1) e
20
=
{0}
(2). Montando o sistema de equcoes temos,

10
= 1/4 + (1/2)
10
+ (1/4)
20

20
= (1/5)
10
+ (2/5)
20
A solucao e:

10
= (3/5) e
20
= (1/5).
Exerccio: Mostre que
{3,4,5}
(1) = (2/5) e
{3,4,5}
(2) = (4/5).
Note que uma vez que uma CM comecando em um estado transiente x entra em uma classe fechada, irredutvel
de estados recorrentes, visita todos os estados de C com probabilidade 1. Assim,

xy
=
C
(x), para todo y C.
Portanto,

13
=
14
=
15
= 2/5,

23
=
24
=
25
= 4/5.
Martingais: Considere uma CM com S = {0, 1, . . . , d} e matriz de transicao tal que
d

y=0
yP(x, y) = x, x = 0, . . . , d.
Note que, pela propriedade de Markov
E[X
n+1
|X
0
= x
0
, . . . , X
n
= x] =
=
d

y=0
yP[X
n+1
= y|X
0
= x
0
, . . . , X
n
= x]
= yP(x, y) = x
Portanto,
E[X
n+1
|X
0
, . . . , X
n
] = X
n
i.e., o valor esperado de X
n+1
dado todos os valores passados e presentes do processo e igual ao valor do presente X
n
.
Obs.:
Martingais nao precisam ser CM.
Martingais sao muito utilizados em Teoria dos Jogos.
22
Note que 0 e um estado absorvente pois
d

y=0
yP(0, y) = 0 P(0, y) = 0, para todos y = 0.
Note que d e um estado absorvente pois
d

y=0
yP(d, y) = d P(0, y) = 0, para todos y = d.
Mais ainda,
E
x
(X
n
) =
d

y=0
yP
x
(X
n
= y)
=
d

y=0
yP
n
(x, y)
=
d1

y=1
yP
n
(x, y) + dP
n
(x, d)
=
d1

y=1
yP
n
(x, y) + dP
x
(T
d
n).
Como estados 1, 2, . . . , d 1 sao transientes (Exerccio) temos P
n
(x, y) 0 quando n para y = 1, 2, . . . , d 1 e
portanto
lim
n
E
x
(X
n
) = dP
x
(T
d
< ) = d
xd
.
Por outro lado, como E(X
0
) = E(X
1
) = . . . = E(X
n
) para todo n 1 (2a. lista de exerccios) e E
x
(X
n
) = x. Temos,
lim
n
E
x
(X
n
) = x.
Portanto,
d
xd
= x
xd
=
x
d
, x = 0, 1, . . . , d
e como
x0
+
xd
= 1 temos

x0
= 1
x
d
, x = 0, 1, . . . , d.
Observe que a cadeia da runa do jodador com p = 1/2 satisfaz a hipotese de martingal.
Cadeias de nascimento e morte
CM irredutvel: ou todos os estados recorrentes, ou todos estados transientes.
CM irredutvel nita: todos os estados recorrentes.
23
O que fazer no caso S innito?
Considere uma CM com espa co de estados S = {0, 1, . . .} ou S = {0, 1, . . . , d}.
Estando no estado x no proximo passo somente podera estar em x, x + 1 ou x 1.
Considere que a matriez de transi cao seja:
P(x, y) =
_

_
q
x
, y = x 1,
p
x
, y = x + 1,
r
x
, y = x,
0, caso contrario
onde para cada x, p
x
, q
x
, r
x
0, p
x
+ q
x
+ r
x
= 1. Note que q
0
= 0 e p
d
= 0 se d < .
Assuma que p
x
, q
x
> 0 para 0 < x < d.
Para a < b S, seja
u(x) = P
x
(T
a
< T
b
), a < x < b
e
u(a) = 1, u(b) = 0.
Portanto, e facil ver que
u(y) = q
y
u(y 1) + r
y
u(y) + p
y
u(y + 1), a < y < b.
Como r
y
= 1 p
y
q
y
temos
u(y + 1) u(y) =
q
y
p
y
(u(y) u(y 1)), a < y < b.
Dena
0
= 1 e

y
=
q1qy
p1py
, 0 < y < d.
Portanto,
u(y + 1) u(y) =

y

y1
(u(y) u(y 1)), a < y < b,
donde segue
u(y + 1) u(y) =

a+1

a
. . .

y

y1
(u(a + 1) u(a))
=

y

a
(u(a + 1) u(a)).
Consequentemente,
u(y + 1) u(y) =

y

a
(u(a + 1) u(a)), a y < b.
24
Note que como u(a) = 1 e u(b) = 0
b1

y=a
u(y + 1) u(y) =
b1

y=a

a
(u(a + 1) u(a))
Portanto,
u(a) u(a + 1)

a
=
1

b1
y=a

y
.
Temos
u(y + 1) u(y) =

y

b1
y=a

y
a y < b.
Somando os termos acima,
b1

y=x
u(y + 1) u(y) =
b1

y=x

b1
y=a

y
Temos,
u(x) =

b1
y=x

y

b1
y=a

y
, a < x < b.
Portanto, da deni cao de u(x) temos
P
x
(T
a
< T
b
) =
P
b1
y=x
y
P
b1
y=a
y
, a < x < b. P
x
(T
b
< T
a
) =
P
x1
y=a
y
P
b1
y=a
y
, a < x < b.
Exemplo: Um jogador na roleta faz uma sequencia de apostas de $1.00. Ele tem probabilidades 9/19 e 10/19 de
ganhar e perder respectivamente. O jogador decide que ele para de jogar se ele lucra $25.00 ou se ele perde $10.00.
(a) Ache a probabilidade dele parar de jogar ganhando.
(b) Ache sua perda esperada.
Seja X
n
o capital do jogador no tempo n com X
0
= 10. Portanto, X
n
e uma cadeia de nascimento e morte com
S = {0, 1, . . . , 35} com taxas p
x
= 9/19, 0 < x < 35 e q
x
= 10/19, 0 < x < 35. Os estados 0 e 35 sao aobsorventes.
Aplicar a formula para a = 0, x = 10, b = 35. Portanto,

y
= (10/9)
y
, quad 0 y 34,
e
P
10
(T
35
< T
0
) =

9
y=0
(10/9)
y

34
y=0
(10/9)
y
=
(10/9)
10
1
(10/9)
35
1
= 0.047.
Assim, a perda esperada e:
10 35 (0.047) = 8.36.
Quando uma cadeia de nascimento e morte e recorrente e quando e transiente?
Seja S = {0, 1, . . .} com p
x
> 0, x 0 e q
x
> 0, x 1. Neste caso, a cadeia e irredutvel. Note que,
P
1
(T
0
< T
n
) = 1
1

n1
y=0

y
, n > 1.
25
Considere uma cadeia comecando no estado 1. Neste caso,
P
1
(1 T
2
< T
3
< . . .) = 1, P
1
(T
n
n) = 1.
Portanto, {T
0
< T
n
} forma uma sequencia decrescente de eventos e
lim
n
P
1
{T
0
< T
n
} = P
1
(T
0
< T
n
, para algum n) = P
1
(T
0
< ).
Neste caso,
P
1
(T
0
< ) = 1
1

y=0

y
.
A cadeia de nascimento e morte e recorrente se, e somente se,

y=0

y
= .
1. () Se a cadeia e recorrente, entao, P
1
(T
0
< ) = 1 e

y=0

y
= .
2. () Observe que P(0, y) = 0, para y 2 e portanto,
P
0
(T
0
< ) = P(0, 0) + P(0, 1)P
1
(T
0
< ).
Assim, se

y=0

y
= temos
P
1
(T
0
< ) 1 P
0
(T
0
< ) = P(0, 0) + P(0, 1) = 1.
Assim, 0 e estado recorrente e como a cadeia e irredutvel, todos os estados sao recorrentes.
Em resumo, uma cadeia de nascimento e morte irredutvel e recorrente positiva se, e somente se,

x=1
q1qx
p1px
= .
Exemplo: A cadeia com as transicoes abaixo e transiente.
p
x
=
x + 2
2(x + 1)
q
x
=
x
2(x + 1)
, x 0, i.e,
q
x
p
x
=
x
x + 2

y
=
1 2 x
3 4 (x + 2)
=
2
(x + 1)(x + 2)
= 2
_
1
x + 1

1
x + 2
_
.
Assim,

x=1

x
= 2

x=1
_
1
x + 1

1
x + 2
_
= 2 (1/2 1/3 + 1/3 1/4 + 1/4 1/5 + ) = 1.
26
1 Processos de ramicacao
Inicia no tempo 0 com Z(0) partculas.
Cada uma delas se divide independentemente em um n umero aleatorio de lhos que constituem a primeira
geracao.
Cada partcula da primeira geracao se divide independentemente em um n umero aleatorio de lhos (todos com
a mesma lei) que constituem a segunda gera cao , e assim por diante.
O n umero de lhos produzidos por cada partcula sao v.a.s i.i.d., independentemente da historia do processo e
de todas as outras partculas presentes.
Um processo de Galton-Watson {X
n
; n = 0, 1, 2, . . .} e uma cadeia de Markov com espaco de estados {0, 1, . . .} tais
que:
Sejam
1,1
,
1,2
, . . .,
2,1
,
2,2
, . . ., . . . v.as i.i.d. com fun cao de probabilidade f(k) = P(
i,j
= k);
X
0
= N para N xo ou aleatorio;
X
1
=
1,1
+
1,2
+ . . . +
1,N
X
2
=
2,1
+
2,2
+ . . . +
2,X1
X
n
=
n,1
+
n,2
+ . . . +
n,Xn1
Neste caso,
P(0, 0) = 1, , P(x, y) = P(
1,1
+
1,2
+ . . . +
1,x
= y).
Em particular, P(1, y) = f(y).
Seja a probabilidade de extincao da cadeia, isto e, a probabilidade de que os descendentes de uma certa
partcula eventualmente estejam extintos.
=
10
= P
1
(T
0
< ).
Suponha que X
0
= x. Como os n umeros de descendentes de cada uma destas partculas sao independentes,
temos

x0
= P
x
(T
0
< ) =
x
.
Se f(1) = 1 a cadeia e degenerada pois todo estado e absorvente. Assumimos portanto que
f(1) < 1.
O estado 0 e absorvente. Exerccio: Todos os outros estados sao transientes.
27
Portanto, um processo de ramica cao ou e absorvido em 0 ou cresce para +.
P
x
( lim
n
X
n
= +) = 1
x
, x = 1, 2, . . .
Vamos usar a formula: () = onde e a funcao geradora de probabilidade de f, denida por
(t) = f(0) +

y=1
f(y)t
y
, 0 t 1.
Observe que:
=
10
= P(1, 0) +

P(1, y)
y0
= P(1, 0) +

P(1, y)
y
= f(0) +

f(y)
y
= ().
Seja o n umero esperado de lhos de cada partcula.
Assuma que 1, entao a equacao (t) = t nao tem razes em [0, 1) (sob a hipotese que f(1) < 1 e portanto
= 1. Assim a extincao e certa se 1 e f(1) < 1.
Suponha que > 1. Assim, a equacao (t) = t tem uma raz
0
em [0, 1) e portanto, =
0
.
Exemplo: Suponha que temos uma popula cao onde todos os casais tem exatamente 3 lhos, os quais indepen-
dentemente tem chance 1/2 de serem meninos e 1/2 de serem meninas. Suponha que X
n
= n umero de homens na
n-esima ger cao seja bem representado por um processo de ramicacao. Ache a probabilidade de que a descendencia
de um homem em particular seja extinta.
A densidade f do n umero de lhos homens e:
f(k) =
_
_
3
k
_
_
(1/2)
3
, k = 0, 1, 2, 3.
Isto e,
f(0) = f(3) =
1
8
, f(1) = f(2) =
3
8
.
Portanto, = 3/2. Como > 1, a probabilidade de extincao e a raiz, no intervalo [0, 1) da equa cao:
1
8
+
3
8
t +
3
8
t
2
+
1
8
t
3
= t.
Ou equivalentemente,
t
3
+ 3t
2
5t + 1 = 0 (t 1)(t
2
+ 4t 1) = 0.
A qual tem 3 razes, 1,

5 2,

5 2. Consequentemente, =

5 2.
28
Seja X
n
uma cadeia com dois estados 0 e 1, tais que P(0, 1) = p e P(1, 0) = q. Denote
0
= P(X
0
= 0) e

1
= 1
0
= P(X
0
= 1). Calcule P(X
n
= 0). Ache lim
n
P(X
n
= 0).
Suponha que

0
=
q
p + q

1
=
p
p + q
.
Mostre que

1
x=0

x
P(x, y) = (y), y = 0, 1.
2 Distribuicao estacionaria:
Seja X
n
, n 0 uma CM com espa co de estados S e matriz de transicao P. Se (x), x S sao tais que:
1. (x) 0, x S;
2.

xS
(x) = 1;
3.

xS
(x)P(x, y) = (y), y S.
Entao e chamada distribuicao estacion aria.
Suponha que temos
lim
n
P
n
(x, y) = (y), y S.
Entao, teremos uma distribuicao limite.
Neste captulo queremos determinar quando temos distribuicao estacionaria, quando temos dis-
tribuicao limite e quando elas sao iguais.
Propriedades de distribuicoes estacionarias
Seja uma distribuicao estacionaria para P. Entao:

xS
(x)P
2
(x, y) =

xS
(x)

z
P(x, z)P(z, y)
=

z
_

x
(x)P(x, z)
_
P(z, y)
=

z
(z)P(z, y) = (y).
Portanto, por indu cao, usando a formula
P
n+1
(x, y) =

z
P
n
(x, z)P(z, y),
temos
29

xS
(x)P
n
(x, y) = (y), y S.
Se
0
= temos que
P(X
n
= y) = (y), y S
e a distribui cao de X
n
e independente de n.
Suponha reciprocamente que
n
nao dependa de n, entao a distribuicao de X
0
e X
1
sao identicas e
0
(y) =

1
(y) =

x

0
(x)P(x, y). Consequentemente,
0
e distribuicao estacionaria.
A distribui cao de X
n
e independente de n se, e somente se,
0
e estacionaria.
Suponha que e distribuicao estacionaria e
lim
n
P
n
(x, y) = (y), y S.
entao P(X
n
= y) =

x

0
(x)P
n
(x, y), y S.
Tirando o limite nos dois lados da equacao e passando o limite dentro do somatorio, temos
lim
n
P
n
(x, y) =

0
(x)(y), y S.
Como

x

0
(x) = 1 temos
lim
n
P
n
(x, y) = (y), y S.
Temos que se e uma distribuicao estacionaria e
lim
n
P
n
(x, y) = (y), y S
, a distribuicao
n
se aproxima de independemtemente da distribui cao inicial.
Portanto, e a unica distribui cao estacionaria, senao usaramos a outra distribui cao para
0
e teramos =
0
.
Suponha que observamos nosso sistema por um tempo longo, digamos n
0
passos e seja
Y
n
= X
n0+n
,
As v.a.s Y
n
formam uma CM com a mesma matriz de transi cao P. Se N
0
for sucientemente grande, podemos
supor que a distribui cao marginal de Y
n
e a mesma da distribuicao estacionaria .
Exemplos:
1. P =
_
_
1 p p
q 1 q
_
_
Se p + q > 0 temos
(0) =
q
p + q
(1) =
p
p + q
.
30
Exemplo: Cadeias de nascimento e morte
Considere uma cadeia de nascimento e morte com S = {0, 1, . . .}. Vamos assumir que a cadeia e irredutvel i.e.,
p
x
> 0, 0 x <
q
x
> 0, 0 < x < .
O sistema de equacoes

x
(x)P(x, y) = (y)
sera:
r
0
(0) + q
1
(1) = (0)
p
y1
(y 1) + r
y
(y) + q
y+1
(y + 1) = (y), y 1.
Como p
x
+ r
x
+ q + x = 1, temos
(1 p
0
)(0) + q
1
(1) = (0)
p
y1
(y 1) + (1 p
y
q
y
)(y) + q
y+1
(y + 1) = (y), y 1.
Portanto,
q
y+1
(y + 1) p
y
(y) = q
y
(y) p
y1
(y 1), y 1
e consequentemente, por inducao
q
y+1
(y + 1) p
y
(y) = 0, y 0.
Neste caso, obtemos
(y + 1) =
py
qy+1
(y).
Usando novamente inducao e facil ver que:
(x) =
p
0
p
1
p
x1
q
1
q
2
q
x
(0).
Finalmente, se chamamos

0
= 1, ,
x
=
p
0
p
1
p
x1
q
1
q
2
q
x
, x 1,
temos
(x) =
x
(0), x 0.
Temos que vericar se as solu coes de (1) satisfazem

x
(x) = 1.
Caso 1:

x

x
< .
1 =

x
(x) =
_

x
_
(0)
Portanto,
31
(0) =
1
P
x
x
, (x) =
x
P
x
x
x 1.
Caso 2:

x

x
= .

x
(x) =
_

x
_
(0) =
_
_
_
0, se (0) = 0
, se (0) > 0
Portanto, nao existe distribuicao estacionaria.
Todas as deducoes anteriores valem para o caso de cadeias de nascimento e morte nitas, i.e. d < .
Urna de Ehrenfest Considere o caso em que d = 3. Neste caso temos
P =
_

_
0 1 0 0
1/3 0 2/3 0
0 2/3 0 1/3
0 0 1 0
_

_
Esta e uma cadeia de nascimento e morte irredutvel com

0
= 1,
1
= 3,
2
= 3,
3
= 1.
Portanto, a unica distribuicao estacionaria e dada por:
(0) = 1/8, (1) = 3/8, (2) = 3/8, (3) = 1/8.
Note que neste caso, P
n
(x, y) = 0 para valores mpares de n. Assim,
P
n
(x, x) (x).
Urna de Ehrenfest modicada: Suponha que temos o mesmo esquema da urna de Ehrenfest, mas a cada troca
jogamos independentemente uma moeda e se esta sair cara decidimos nao mudar a bola de urna. Assim, a matriz de
transi cao e:
P =
_

_
1/2 1/ 0 0
1/6 1/2 2/6 0
0 2/ 1/2 1/6
0 0 1/2 1/2
_

_
Entretanto,
0
= 1,
1
= 3,
2
= 3,
3
= 1.
Portanto, a unica distribuicao estacionaria e dada por:
(0) = 1/8, (1) = 3/8, (2) = 3/8, (3) = 1/8.
Neste caso, veremos mais tarde,
P
n
(x, y) (y), para todo y, quando n .
32