Cadei A Markov 4

Cadeias de Markov
Andrei Andreyevich Markov

(*1856, Ryazan, Russia; 1922, So Petersburgo, Russia).
Modelagem e Simulao - Cadeias de Markov
1. Introduo
Nestas notas de aula sero tratados modelos de probabilidade para processos que
evoluem no tempo de maneira probabilstica. Tais processos so denominados Processos
Estocsticos.
1.2. Processos Estocsticos
Um Processo Estocstico definido como uma coleo de variveis aleatrias (X(t))

indexadas por um parmetro t pertencente a um conjunto T. Freqentemente T tomado
para ser o conjunto dos inteiros no-negativos (porm, outros conjuntos so perfeitamente
possveis) e X(t) representa uma caracterstica mensurvel de interesse no tempo t.
Exemplificando, X(t) pode representar o nvel de estoque de um produto no fim da semana
t.
Processos Estocsticos so de interesse para descrever o procedimento de um
sistema operando sobre algum perodo de tempo, com isso, em termos formais, a varivel
aleatria X(t) representa o estado do sistema no parmetro (geralmente tempo) t.
Portanto, pode-se afirmar que X(t) definido em um espao denominado Espao de
Estados.
Os Processos Estocsticos podem ser classificados como:
a) Em relao ao Estado
Estado Discreto (cadeia): X(t) definido sobre um conjunto enumervel ou finito.
Estado Contnuo (seqncia): X(t) caso contrrio.
b) Em relao ao Tempo (Parmetro)

Tempo Discreto: t finito ou enumervel.
Tempo Contnuo: t caso contrrio.
Exemplos:
1. Nmero de usurios em uma fila de banco em um determinado instante: Estado
Discreto e Tempo Contnuo.
2. ndice pluviomtrico dirio: Estado Contnuo e Tempo Discreto.
3. Nmero de dias chuvosos: Estado Discreto e Tempo Discreto.
Existem vrios "tipos" de Processos Estocsticos, porm, nestas notas de aula ser
apenas abordado um tipo de Processo Estocstico denominado Processo Markoviano.
2. Processos Markovianos
Um Processo Estocstico dito ser um Processo Markoviano se:
PX(t k 1 ) x k 1 X(t k ) x k , X(t k 1 ) x k 1 ,...,X(t 1 ) x 1 , X(t 0 ) x 0 PX(t k 1 ) x k 1 X(t k ) x k (1)
Notas de Aula - Fernando Nogueira

2
para t 0 t1 ...t k t k 1 0,1,... e toda seqncia k 0 , k1 ,..., k t 1 , k t , k t 1
A expresso (1) pode ser "traduzida" por: a probabilidade condicional de qualquer

evento futuro, dado qualquer evento passado e o estado presente X(tk) = xk, independente
do evento passado e depende somente do estado presente.
Em termos mais resumidos: um Processo Estocstico dito ser um Processo
Markoviano se o estado futuro depende apenas do estado presente e no dos estados
passados.
Este tipo de Processo Estocstico tambm denominado memoryless process
(processo sem memria), uma vez que o passado "esquecido" (desprezado).
As probabilidades condicionais PX(t k 1 ) x k 1 X(t k ) x k so denominadas
Probabilidades de Transio e representam, portanto, a probabilidade do estado X(t k1 )
ser x k 1 no instante tk+1 dado que o estado X(t k ) x k no instante tk.
A tabela abaixo mostra uma srie temporal 1 dos valores observados de um estoque
(C=cheio, V=vazio) em funo do tempo, em um perodo finito (10 observaes):
Para esta srie temporal, a estimativa das Probabilidades de Transio pode ser
obtida pela contagem do nmero de ocorrncias de transies entre dois instantes de tempo
subseqentes (vide matriz de transio de passo 1 no item 2.1).
Tempo 1 2 3 4 5 6 7 8 9 10
Estado C C V C V C C C V V
Por exemplo, a transio do estado V para o estado V (de passo 1) ocorre nesta srie
somente uma vez (entre os tempos 9 e 10). J a transio do estado V para o estado C (de
passo 1) ocorre duas vezes nesta srie histrica (entre os tempos 3 e 4 e 5 e 6). Fazendo a
contagem para todas as transies possveis fica:
para C para V
de C 3 3
de V 2 1
Para estimar as Probabilidades de Transio a partir das frequncias de ocorrncia

das transies dispostas na tabela acima, utiliza-se as frequncias relativas, que por sua vez,
so obtidas pela diviso das frequncias (em uma mesma linha) pela somatria dessas
mesmas frequncias ao longo das linhas. A soma ao longo da primeira linha nesta tabela
igual a 6 e na segunda linha igual a 3. Com isso, a estimativa para as probabilidades de
transio para esta srie histrica :
para C para V para C para V

de C 3/6 3/6 = de C 1/2 1/2
de V 2/3 1/3 de V 2/3 1/3
1
Uma srie temporal (ou srie histrica) uma realizao de um processo estocstico.
3
O fato da somatria das Probabilidades de Transio ao longo de uma linha resultar

na unidade porque estando o processo em um estado em um instante de tempo,
necessariamente este estar tambm em um estado (igual ou diferente do estado no instante
anterior), no prximo instante de tempo.
Cabe ainda ressaltar que a partir de sries histricas finitas, somente possvel
estimar as probabilidades de transio, uma vez que uma srie histrica apenas uma
realizao parcial de um processo estocstico.
Para Probabilidades de Transio de passo maiores que um o raciocnio anlogo, porm,
realizando a contagem do nmero de ocorrncias de transies no entre instantes de
tempos subseqentes, mas sim, instantes de tempos com intervalos maiores que um (vide
matriz de transio de passo n no item 2.1).
Sem demais definies, segue-se o exemplo seguinte:
Exemplo A
O estado no ano de 1993 do uso da terra em uma cidade de 50 quilmetros
quadrados de rea :
Tabela 1 - Estado do uso da terra em 1993.

I uso residencial 30%
II uso comercial 20%
III uso industrial 50%
Os valores da tabela 1 podem ser dispostos em um vetor x, denominado Vetor de

Estados:
x I II III (2)
As probabilidades de cada Estado (probabilidade no-condicional) podem tambm

ser dispostos em um vetor , denominado Vetor de Probabilidade de Estado (para
distingui-las das probabilidades de transio):
0.30 0.20 0.50 (3)
Assumindo que as probabilidades de transio para intervalos de 5 anos so dadas

pela seguinte tabela:
Tabela 2 - Probabilidades de Transio
para I para II para III
de I 0.8 0.1 0.1
de II 0.1 0.7 0.2
de III 0 0.1 0.9
As probabilidades condicionais na tabela 2, em termos informais, podem ser

entendidas como:

4
de I para I a probabilidade do estado ser I aps 5 anos, dado que o

estado atual (presente) I 0.8, ou PX(t 5) I X(t ) I 0.8 . Para t =1993,
fica PX(1998) I X(1993) I 0.8 .
de I para II a probabilidade do estado ser II aps 5 anos, dado que o
estado atual (presente) I 0.1, ou PX t 5 II X t I 0.1 . Para t =1993, fica
PX(1998) II X(1993) I 0.1 .
de I para III a probabilidade do estado ser III aps 5 anos, dado que o
estado atual (presente) I 0.1, ou PX(t 5) III X(t) I 0.1 . Para t =1993,
fica PX(1998) III X(1993) I 0.1 .
de II para I a probabilidade do estado ser I aps 5 anos, dado que o
estado atual (presente) II 0.1, ou PX(t 5) I X(t) II 0.1 . Para t =1993,
fica PX(1998) I X(1993) II 0.1 .
de II para II a probabilidade do estado ser II aps 5 anos, dado que o
estado atual (presente) II 0.7, ou PX(t 5) II X(t ) II 0.7 . Para t =1993,
fica PX(1998) II X(1993) II 0.7 .
o raciocnio anlogo para as demais.
Os valores da tabela 2 podem ser ento dispostos em uma matriz P, denominada
Matriz de Transio:
0.8 0.1 0.1 (4)

P 0.1 0.7 0.2
0.0 0.1 0.9
Assim, a partir de P e o vetor de probabilidade de estado para 1993, denominado

, pode-se calcular o vetor de probabilidade de estado para 1998, denominado :
0.8 0.1 0.1 (5)

1 P 30 20 50 0.1 0.7 0.2 26 22 52
0
0.0 0.1 0.9
2.1 Cadeias de Markov
Um Processo Markoviano dito ser uma Cadeia de Markov quando as variveis

aleatrias X(t) esto definidas em um espao de estados discreto E. O exemplo dado acima
ento uma Cadeia de Markov porque o espao de estados discreto.
Quando o tempo discreto, a Cadeia de Markov dita ser uma Cadeia de Markov
em Tempo Discreto. Neste caso, tem-se:
PX(k 1) x k 1 X(k) x k , X(k 1) x k 1 ,...,X(1) x 1 , X(0) x 0 PX(k 1) x k 1 X(k) x k (6)

seqncia 0,1,..., k 1, k, k 1

5
As Probabilidades de Transio PX(k 1) x k 1 X(k) x k representam, portanto, a

probabilidade do estado X(k 1) ser x k 1 no tempo k + 1 dado que o estado X(k) x k no
tempo k.
Se para cada xk+1 e xk, tem-se:
PX(k 1) x k 1 X(k) x k PX(1) x 1 X(0) x 0 (7)

seqncia 1,2,..., k 1, k, k 1
ento, as Probabilidades de Transio so ditas Estacionrias. Assim, tendo-se

Probabilidades de Transio Estacionrias implica que as Probabilidades de Transio no
mudam em relao ao tempo. Ainda, de acordo com a expresso (7), as Probabilidades de
Transio so denominadas Probabilidades de Transio de Passo 1.
A existncia de Probabilidades de Transio Estacionrias de Passo 1 implica que
para cada xk+n e xk e n (n = 0, 1, 2,...), tem-se:
PX(k n) x k n X(k) x k PX(n) x n X(0) x 0 (8)

seqncia 1,2,..., k 1, k, k 1
Estas probabilidades condicionais so chamadas Probabilidades de Transio de

Passo n.
Para simplificao da notao, adotando xk+1 ou xk+n de j e xk de i, pode-se definir:
p ij PX(k 1) j X(k) i (9)
p ij( n ) PX(k n) j X(k) i (10)
Porque p ij( n ) so probabilidades condicionais, estas precisam ser no negativas e

desde que o processo precisa realizar uma transio em algum estado, estas precisam
satisfazer as seguintes propriedades:
p ij( n ) 0 i, j; n 0,1,2,... (11)
M (12)
p
j0
(n)
ij 1 i; n 0,1,2,...
Uma maneira conveniente de mostrar todas as Probabilidades de Transio de Passo

n :

6
Estado 0 1 ... M
0 p 00 p (01n ) . . . p (0nM)
( n )
1 (n ) (n ) . . .
p 10 p 11 p 1( M
n)
. . . ... .
M p M 0 p Mn1) . . . p (MM
( n ) ( n)
ou, equivalentemente, por uma matriz P(n):
p 00
n
p 01n
... p 0nM (13)
n
p11n
... p1nM
P n 10
p
... ... ... ...
n
p M 0 p Mn1 ... p MM
n

A matriz P(n) denominada Matriz de Transio de Passo n. Quando n = 1, a

matriz denominada apenas Matriz de Transio, como exemplificado na expresso (4).
As Cadeias de Markov, consideradas nestas notas de aula possuem as seguintes
propriedades:
1. Um nmero finito de estados.

2. Probabilidades de Transio Estacionrias.
Ainda ser assumido como conhecido o vetor de probabilidade de estado inicial (0)
(vetor composto por P{X0 = i} para todo i).
Exemplo B
Uma loja de cmeras fotogrficas armazena um modelo de cmera que pode ser
comprada semanalmente do fornecedor. D1, D2, . . ., representa a demanda para esta cmera
(o nmero de unidades que deveriam ser vendidas se o estoque no esgotado) durante a
semana 1, semana 2, . . ., respectivamente. assumido que Di so variveis aleatrias
independentes e identicamente distribudas (i.i.d) tendo uma distribuio de Poisson com
mdia igual a 1. Dado X0 representar o nmero de cmeras inicialmente, X1 o nmero de
cmeras no fim da semana 1, X2 o nmero de cmeras no fim da semana 2 e assim por
diante. Assume-se que X0 = 3. No sbado a noite a loja faz o pedido de cmeras para o
fornecedor, o qual realizar a entrega apenas na prxima segunda-feira. A loja utiliza a
seguinte poltica de compra: se no h cmeras no estoque, a loja compra 3 cmeras.
Entretanto, se h alguma cmera no estoque, nenhuma cmera comprada. Vendas so
perdidas quando a demanda excede o estoque. Assim, X t para t = 0, 1, 2, . . . um
Processo Estocstico. Os Estados possveis do processo so os inteiros 0, 1, 2, 3,
representando o nmero de cmeras no fim da semana t, ou seja, o espao de estados, para

Duas variveis aleatrias so independentes se PA B P A B .PB PA .PB .
Duas variveis aleatrias so identicamente distribudas se possuem a mesma distribuio de probabilidade.
7
este exemplo E 0 1 2 3. As variveis aleatrias Xt so dependentes e podem ser

avaliadas iterativamente pela expresso:
max3 D t 1 ,0 se X t 0 (14)
X t 1 para t = 0, 1, 2, . . .
maxX t D t 1 ,0 se X t 1
A expresso (14) o processo estocstico (o qual foi modelado a partir do

enunciado). Ainda faz-se necessrio definir a matriz de transio P, porm, primeiramente,
a ttulo de reviso segue:
Distribuio de Poisson
Simon Denis Poisson (*1781 Pithiviers, Frana; 1840, Sceaux, Frana).
A distribuio de Poisson uma distribuio discreta empregada em situaes

probabilsticas onde a rea de oportunidade de ocorrncia de um evento grande, mas a
oportunidade de ocorrncia em um intervalo particular (ou em um ponto) muito pequena.
Exemplo:
Nmero de defeitos ao longo de um fio de uma linha de transmisso de energia.
Erros de datilografia em um livro.
Acidentes industriais.
Chegadas em modelos de fila de espera.
Matematicamente:
A probabilidade de exatamente r ocorrncias de um evento :
Pr
r e (15)
r!

8
onde:
a mdia da distribuio
A varincia de P(r) tambm.
Exemplo:
O nmero mdio de defeitos em laminas de vidro 5. A probabilidade que a lamina
tenha 6 defeitos :
P6
56 e 5 0.146
(16)
6!
Retomando o exemplo do estoque da loja de cmeras, dado que o estado corrente

Xt= i, o processo s depende de Dt+1 (veja expresso (14)). Uma vez que Xt+1
independente do passado, este processo um processo Markoviano. Considerando ainda
que o espao de estado discreto, este processo Markoviano uma Cadeia de Markov.
Uma vez que Dt+1 tem distribuio de Poisson com mdia = 1 pode-se calcular:
1n e 1 (17)
PD t 1 n , para n = 0, 1,...
n!
Atribuindo valores para n, onde n representa o nmero de cmeras necessrias para

repor o estoque na prxima semana, fica:
PD t 1 0 e 1 0.368 (18)
PD t 1 1 e 1 0.368 (19)
e 1 (20)
PD t 1 2 0.184
2
PD t 1 3 1 PD t 1 2 1 0.368 0.368 0.184 0.08 (21)
De posse das probabilidades de Dt+1 para os valores de n e do processo estocstico

(expresso 14), as probabilidades de transio pij (elementos da matriz de transio) podem
ser definidas:
p00
X t 0 e X t 1 0 0 max(3 D t1 ,0)
PD t 1 3 0.080 (22)
p01
X t 0 e X t 1 1 1 max(3 D t1 ,0)

9
PD t 1 2 0.184 (23)
p10
X t 1 e X t 1 0 0 max(1 D t1 ,0)
PD t 1 1 1 PD t 1 0 0.632 (24)
p12
X t 1 e X t 1 2 2 max(1 D t1 ,0)
PD t 1 1 0 (25)
Para as demais pij, o raciocnio anlogo.
A matriz de transio P ento fica:
0.080 0.184 0.368 0.368 (26)

0.632 0.368 0 0
P
0.264 0.368 0.368 0

0.080 0.184 0.368 0.368
Uma maneira alternativa para representar as probabilidades de transio utilizar

uma representao denominada Diagrama de Transio de Estado. Neste os sentidos das
flechas indicam a probabilidade de transio de um estado i para um estado j. Para a matriz
de transio P dada pela expresso (26) o diagrama fica:

10
Fig. 1 - Diagrama de Transio de Estado.
2.2 Equaes de Chapman - Kolmogorov
Sidney Chapman (*1888, Eccles, Inglaterra; 1970, Andrey Nikolaevich Kolmogorov (*1903, Tambov,
Boulder, Estados Unidos). Russia; 1987, Moscow, Russia).

11
A matriz de transio P a matriz de transio de probabilidades de estado para um

passo no tempo, ou seja, de t para t+1. Pode se dizer, de maneira simplista, que as equaes
de Chapman-Kolmogorov fornecem um mtodo para computar a matriz de transio para n
passos no tempo, ou seja, de t para t+1, de t para t+2, ..., de t para t+n.
Seja p ij( n ) a probabilidade de transio do estado i para o estado j de passo n, pode-se
escrever que:
M (27)
p ijn p ikm p nkjm
k 0
i 0,1,..., M
j 0,1,..., M
e qualquer m = 1, 2, ..., n-1
e qualquer n = m+1, m+2, ....
Em notao matricial, a expresso (27) fica:
P ( n ) P m .P n m (28)
onde:
P(n) a matriz de transio de passo n.
A partir de (28) pode-se concluir, portanto, que:
P (n ) P n (29)
A expresso (29) afirma que a matriz de transio de passo n igual matriz de

transio de passo 1 elevada a n-sima potncia.
Cabe ressaltar neste momento que a expresso (29) s vlida para Cadeias de
Markov cujas probabilidades de transio de estados so constantes em relao ao
tempo (Probabilidades de Transio Estacionrias). A este tipo de Cadeia de Markov,
denomina-se Cadeia de Markov Homognea e a matriz de transio P ento uma matriz
homognea.
Retomando o exemplo do estoque da loja de cmeras, a matriz de transio de passo
2 (n = 2), :
0.080 0.184 0.368 0.368 0.080 0.184 0.368 0.368 0.249 0.286 0.300 0.165 (30)
0.632 0.368 0 0 0.632 0.368 0 0 0.283 0.252 0.233 0.233
P 2 P 2 .
0.264 0.368 0.368 0 0.264 0.368 0.368 0 0.351 0.319 0.233 0.097

0.080 0.184 0.368 0.368 0.080 0.184 0.368 0.368 0.249 0.286 0.300 0.165
O vetor probabilidade de estado para o exemplo da cmera no tempo 0 :

12
(0) 0 0 0 1 (31)
uma vez que X0 = 3.
Para o tempo 1, pode ser calculado como:
0.080 0.184 0.368 0.368 (32)

0.632 0.368 0 0
(1) (0) .P 0 0 0 1. 0.080 0.184 0.368 0.368
0.264 0.368 0.368 0

0.080 0.184 0.368 0.368
Para o tempo 2, pode ser calculado como:
0.249 0.286 0.300 0.165 (33)

0.283 0.252 0.233 0.233
( 2) (0) .P 2 0 0 0 1. 0.249 0.286 0.300 0.165
0.351 0.319 0.233 0.097

0.249 0.286 0.300 0.165
2.3 Classificao de Estados em Cadeias de Markov
2.3.1 Estados Alcanveis e Comunicantes
Um estado j dito ser alcanvel (accessible) a partir de um estado i se p ijn 0 para

algum n 0 . Isto implica que possvel o sistema entrar no estado j eventualmente quando
este comea no estado i.
Exemplo 1: os estados da matriz de transio P(2) na expresso (30).
Exemplo 2: Um jogador tem um $1,00 e a cada vez que joga ganha $1,00 com
probabilidade p>0 ou perde $1,00 com probabilidade 1-p. O jogo termina quando o jogador
acumula $3,00 ou $0,00. Este jogo uma Cadeia de Markov cujos estados representam a
quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espao de estados
E 0 1 2 3 e a matriz de transio P dada por:
Estado 0 1 2 3
0 1 0 0 0 (34)
1 1 p 0 p 0
P
2 0 1 p 0 p

3 0 0 0 1
Nesta Cadeia de Markov, o estado 2, por exemplo, no alcanvel a partir do

estado 3. Isto pode ser observado a partir do contexto, uma vez que se o jogador alcanar o

13
estado 3, este nunca deixar este estado, o que implica que p 32 n 0 para todo n 0 .
Entretanto, o estado 3 alcanvel a partir do estado 2, uma vez que p 23

1
0.
Um estado j dito comunicante com o estado i se o estado j alcanvel a partir do

estado i e o estado i alcanvel a partir do estado j.
Exemplo 3: os estados da matriz de transio P(2) na expresso (30).

Exemplo 4: estados 2 e 3 do exemplo 2 no so comunicantes.
A seguinte regra pode ser definida a partir das Equaes de Chapman-Kolmogorov:

"Se um estado i comunicante com um estado k e o estado k comunicante com um estado
j, ento o estado i comunicante com o estado j".
Se dois estados se comunicam entre si, diz-se que eles pertencem mesma classe.
Se todos os estados so comunicantes, portanto todos os estados pertencem a uma
nica classe, a Cadeia de Markov dita ser Irredutvel.
Exemplo 5: A Cadeia de Markov do exemplo do estoque da loja de cmeras.
2.3.2 Estados Recorrentes e Transientes
Um estado dito ser Transiente (Temporrio, Efmero, Transitrio) se, entrando

neste estado, o processo pode nunca retornar novamente para este estado. Portanto, o estado
i transiente se e somente se existe um estado j j i que alcanvel a partir do estado i
mas no vice-versa, isto , o estado i no alcanvel a partir do estado j. Assim, se o
estado i transiente e o processo visita este estado, h uma probabilidade positiva que o
processo ir mover-se para o estado j e assim nunca ir retornar para o estado i.
Conseqentemente, um estado transiente ser visitado somente um nmero finito de vezes.
Um estado dito ser Recorrente se entrando neste estado, o processo
definitivamente ir retornar para este estado. Portanto, um estado recorrente, se e somente
se, no transiente. Uma vez que o estado recorrente ser "revisitado" aps cada visita (no
necessariamente no prximo passo do processo), este ser visitado infinitamente para o
processo em tempo infinito.
Um estado dito ser Absorvente se entrando neste estado, o processo nunca ir
deixar este estado. Portanto, um estado i absorvente se e somente se pii = 1. Com isso,
pode-se afirmar que um estado absorvente um caso especial de um estado recorrente.
Em uma Cadeia de Markov, um conjunto C de estados dito ser um Conjunto
Fechado se o processo ao entrar em um desses estados de C, este ir permanecer nos
estados de C indefinidamente, ou seja, C um conjunto tal que nenhum estado fora de C
alcanvel a partir de qualquer estado de C. Com isso, pode-se afirmar que C um conjunto
formado por estados recorrentes.
Em uma Cadeia de Markov, um conjunto Cm de estados dito ser um Conjunto
Fechado Mnimo se este conjunto no possui sub-conjuntos fechados.

14
Exemplo 6: Suponha que a Cadeia de Markov possui a seguinte matriz de transio P:
Estado 0 1 2 3 4
0 1 3 0 0 0
4 4
1 1 1 0 0 0 (35)
P 2 2 2
0 0 1 0 0
3 0 0 1 2 0
3 3
4 1 0 0 0 0
O estado 3 transiente porque se o processo est no estado 3, h uma probabilidade

positiva que ele nunca ir retornar para este estado. O estado 4 tambm um estado
transiente porque se o processo comea neste estado, imediatamente o processo o deixa e
nunca mais ir retornar para este estado.
Os estados 0 e 1 so recorrentes. Atravs de P percebe que se o processo comear a
partir de um desses dois estados, este nunca deixar estes dois estados. Alm disto, sempre
quando o processo move-se a partir de um destes estados para o outro, este ir retornar para
o estado original eventualmente.
O estado 2 um estado absorvente, pois, uma vez que o processo entra no estado 2,
este nunca mais o deixar.
Os estados 0, 1 e 2 formam um conjunto fechado C, uma vez que se o processo
entrar em um destes estados, nunca os deixar.
Os estados 0 e 1 formam um conjunto fechado mnimo, bem como o estado 2.
2.3.3 Propriedades de Periodicidade
Um estado i peridico com perodo t se um retorno a este estado possvel

somente em t, 2t, 3t,... passos para t>1 e t o maior inteiro com esta propriedade (mximo
divisor comum). Isto implica que p iin 0 sempre quando n no divisvel por t.
Exemplo 7: o estado 1 do exemplo 2. Comeando no estado 1, possvel para o processo
entrar no estado 1 somente nos tempos 2, 4, 6,..., de tal forma que o estado 1 possui perodo
n n 0 para n
t = 2. Isto pode ser verificado calculando p11 para todo n e observar que p11
impar.
Exemplo 8: os estados da seguinte Matriz de Transio:
Estado 0 1 2 3
0 0 0 1 1
2 2
1 0 0 1 1 (36)
P 1 2 2
2 2 1 0 0
2
3 1 1
0 0
2 2

15
Exemplo de Cadeia de Markov com estados periodicos

3
2.5
2
estado
1.5
0.5
0
0 10 20 30 40 50 60 70 80 90 100
tempo (passo)
Figura 2 - Cadeia de Markov com estados peridicos.
Se h dois nmeros consecutivos s e s + 1 tal que o processo pode estar no estado i

nos tempos s e s + 1, o estado dito ter perodo 1 e chamado estado Aperidico.
Como a recorrncia uma classe de propriedade, a periodicidade tambm uma
classe de propriedade. Assim, se um estado i em uma classe tem perodo t, todos os estados
nesta classe tm perodo t.
Exemplo 9: o estado 2 do exemplo 2 possui perodo t = 2 porque est na mesma classe que
o estado 1, o qual, por sua vez, tem perodo t = 2.
Em uma Cadeia de Markov de estado finito, estados recorrentes que so aperidicos

so chamados de estados Ergdicos. Uma Cadeia de Markov dita ser Ergdica se todos
os estados so estados ergdicos.

16
Resumo
Tabela 3 - Resumo de classificaes de Estados e Cadeias.

Conjunto Nenhum estado, a no ser algum pertencente ao conjunto, pode ser
Fechado alcanado de qualquer estado pertencente ao conjunto.
Estado Uma vez que se entra neste estado, nunca mais o deixa.
Absorvente
Estado Uma vez que se entra neste estado, um eventual retorno assegurado.
Recorrente
Estado O estado que pode somente ser alcanado nos passos m, 2m, 3m, . . ., onde
Peridico m um inteiro > 1.
Estado Um eventual retorno ao estado no est assegurado.
Transiente
Estado Uma vez que se entrou neste estado, um retorno ao estado assegurado
Ergdico dentro de um nmero finito de passos, porm o estado no peridico e
pode voltar antes de qualquer passo n.
Cadeia Cada estado pode ser alcanado a partir de qualquer outro estado (todos os
Irredutvel estados so comunicantes).
Cadeia A Cadeia contm um ou mais conjuntos fechados e o processo poder
Absorvente eventualmente ser absorvido em um dos conjuntos fechados.
Cadeia Todos os estados so recorrentes e aperidicos.
Ergdica
2.4 Propriedades de Longo Perodo em Cadeias de Markov
2.4.1 Probabilidades de Estados Estveis (Steady-State)2
A matriz de transio P(n) do exemplo do estoque da loja de cmeras para:
n=1
0.080 0.184 0.368 0.368
0.632 0.368 0 0 (37)
P 1
0.264 0.368 0.368 0

0.080 0.184 0.368 0.368
n=2
0.249 0.286 0.300 0.165
0.283 0.252 0.233 0.233 (38)
P 2
0.351 0.319 0.233 0.097

0.249 0.286 0.300 0.165
n=4
2
Embora o termo Probabilidades de Estados Estveis seja mundialmente utilizado, este inexato, uma vez
que Estveis no so os Estados, mas sim os valores de Probabilidades.
17
0.289 0.286 0.261 0.164

0.282 0.285 0.268 0.166 (39)
P 4
0.284 0.283 0.263 0.171

0.289 0.286 0.261 0.164
n=8
0.286 0.285 0.264 0.166
0.286 0.285 0.264 0.166 (40)
P 8
0.286 0.285 0.264 0.166

0.286 0.285 0.264 0.166
Como se pode perceber, todas as linhas da matriz P(8) so aproximadamente iguais

(no caso, so iguais apenas devido ao truncamento na 30 casa decimal), e sero
absolutamente iguais para n . Se todas as linhas da matriz de transio so iguais, o
processo torna-se independente da distribuio de probabilidade inicial, a qual
representada pelo vetor de probabilidade de estado .
No caso do estoque da loja de cmeras, isto implica que a longo perodo, o estado
do estoque independente do estado inicial X0 = 3.
A figura abaixo mostra o vetor de probabilidade de estado em funo do tempo para
= [1 0 0 0] (X0 = 0), = [0 1 0 0] (X0 = 1), = [0 0 1 0] (X0 = 2), = [0 0 0 1]

(X0 = 3). Nota-se que independente do estado inicial do estoque da loja de cmeras, a
distribuio de probabilidade dos estados praticamente a mesma nos grficos abaixo.
Probabilidades de Estados para V0 = 1 0 0 0 Probabilidades de Estados para V0 = 0 1 0 0

1 1
estado 0 estado 0
0.9 estado 1 0.9 estado 1
estado 2 estado 2
0.7 0.7
probabilidade do estado
0.6 0.6
0.5 0.5
0.4 0.4
0.3 0.3
0.2 0.2
0.1 0.1
0 0
0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7
tempo (passo) tempo (passo)

18
Probabilidades de Estados para V0 = 0 0 1 0 Probabilidades de Estados para V0 = 0 0 0 1

1 1
estado 0 estado 0
estado 2 estado 2
0.7 0.7
0.6 0.6
0.5 0.5
0.4 0.4
0.3 0.3
0.2 0.2
0.1 0.1
0 0
0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7
tempo (passo) tempo (passo)
Fig. 3 - Vetor de Probabilidade (n) para o passo n dado (0).
A matriz de transio ir estabilizar os valores de seus elementos a longo perodo se

a Cadeia de Markov Ergdica e Irredutvel, que por sua vez, implica na existncia de
lim p ijn independente de i. Alm disto:
n
lim p ijn j 0 (41)

n
onde os j satisfazem unicamente as seguintes equaes de estados estveis:
M (42)
j i p ij para j 0,1,2,..., M
i 0
M (43)
j0
j 1 para j 0,1,2,..., M
Os j so chamados de Probabilidades de Estados-Estveis da Cadeia de Markov

e podem ser denominados tambm como Probabilidades de Estados Estacionrios (no
confundir com probabilidades de transio estacionrias), Probabilidades de Estados em
Fase de Regime, Distribuio Estacionria, Probabilidades de Equilbrio, Valores
Limites ou Probabilidades de Estado Fixo.
Nota-se que as expresses (42) e (43) formam um sistema com M + 2 equaes em
M + 1 incgnitas. Com isso, no mnimo uma equao precisa ser redundante e pode,
portanto, ser excluda do sistema. No entanto, a equao da expresso (43) a nica que
no pode ser excluda devido ao seu carter de normalizao no sistema.
A existncia de lim p ijn garantida se a Cadeia Ergdica e Irredutvel, no entanto, este limite pode tambm
n
existir para Cadeias No Irredutveis e/ou No Ergdicas (ver Tabela 4).
19
Retomando o exemplo do estoque da loja de cmeras, o sistema fica:
0 0 p 00 1 p10 2 p 20 3 p 30
p p p p
1 0 01 1 11 2 21 3 31
2 p
0 02 p
1 12 p
2 22 3 p 32
(44)
p p p p
3 0 03 1 13 2 23 3 33
1 0 1 2 3
Igualando a zero as quatro primeiras equaes do sistema da expresso (44), fica:
0 0 p 00 1 1 p10 2 p 20 3 p 30
0 p p 1 p p
0 01 1 11 2 21 3 31
0 0 p 02 1 p12 2 p 22 1 3 p 32 (45)
0 p p p p 1
0 03 1 13 2 23 3 33
1 0 1 2 3
Substituindo valores, fica:
0 0 0.080 1 1 0.632 2 0.264 3 0.080

0 0.184 0.368 1 0.368 0.184
0 1 2 3
0 0 0.368 2 0.368 1 3 0.368 (46)

0 0 0.368 3 0.368 1

1 0 1 2 3
Excluindo uma equao qualquer (sem ser a ltima) e resolvendo o sistema, a

soluo :
0 1 2 3 0.286 0.285 0.263 0.166 (47)
A partir de (47), pode-se afirmar que a matriz de transio P para o passo n

:
0 1 2 3 0.286 0.285 0.263 0.166

1 2 3 0.286 0.285 0.263 0.166 (48)
P () 0
0 1 2 3 0.286 0.285 0.263 0.166

0 1 2 3 0.286 0.285 0.263 0.166
Em particular, se i e j so estados recorrentes pertencentes a diferentes classes,

ento:
p ijn 0, n (49)
Similarmente, se j um estado transiente, ento:

20
lim p ijn 0, i (50)

n
Observao Importante1: os valores na expresso (48) foram obtidos atravs das Equaes
de Estados Estveis, no entanto, o mtodo de se elevar a matriz de transio P a n-sima
potncia para se determinar P(n) sempre vlido, apesar de no haver necessidade que todas
as linhas de P(n) sejam idnticas mesmo para n . O seguinte exemplo deixa claro esta
ressalva.
Exemplo: Uma Cadeia de Markov possui a seguinte matriz de transio P(1):
1 0 0
P (1)
0 1 0 (51)
0.3 0.2 0.5
Qual o valor de lim P ( n ) ? Elevando P a potncias mais altas, tem-se:

n
1 0 0
P ( 2) 0 1 0 (52)
0.45 0.30 0.25
1 0 0
P (3) 0 1 0 (53)
0.525 0.350 0.125
1 0 0
P ( 4)
0 1 0 (54)
0.5625 0.3750 0.0625
:
:
1 0 0
P ( ) 0 1 0 (55)
0.6 0.4 0
Escrevendo o seguinte sistema:
0 0 2 0.3
0.2 (56)
1 1 2
2 2 .5
0
1 0 1 2
A soluo de (56) resulta em:

21
+1 = 1 e 2 = 0 (57)
e conseqentemente no existe uma soluo determinada para 0 e1. Como se pode notar,
as linhas de P no so iguais e, por isso, os valores de 0 e1 no so determinados
unicamente. Este fato ocorreu devido a esta Cadeia de Markov no ser Irredutvel (no
entanto, existem cadeias no Irredutveis e que o sistema de equaes de Estados Estveis
possui soluo nica (ver tabela 4, caso 2)).
Observao Importante2: Se P uma matriz de transio em que:
M (58)
p j1
ij 1 i 1,2,..., M
M (59)
p i 1
ij 1 j 1,2,..., M
esta matriz dita ser uma matriz Duplamente Estocstica e neste caso, para P irredutvel,
tem-se:
1 (60)
lim p ijn i, j 1,2,..., M
n M
Consideraes matemticas:
A equao vetorial em (42), pode ser dada em notao reduzida por:
P (61)
sendo:
um vetor linha; e
P uma matriz quadrada.
Equivalentemente, a expresso (61) pode ser escrita por:
P t t t (62)
0.5 0.5 0
P 0.5 0.5 0 duplamente estocstica, mas lim p ijn
1
i, j 1,2,3 porque P no
n 3
0 0 1
Irredutvel. Assim, pode-se concluir que se P duplamente estocstica, o lim pijn existe somente se P
n
irredutvel.
22
sendo:
t o operador transposto.
A expresso (62) pode ser entendida como um problema de auto-valor, que implica
em Pt ter um auto-valor igual a 1.
O problema de auto-valor fica ento:
P t

I t 0; (63)
A resoluo de (63) ir fornecer um auto-vetor t associado a um auto-valor igual a

1 que corresponde para o vetor de Probabilidades de Estados Estveis. Uma vez que P
uma matriz homognea, o auto-vetor t poder ter infinitas solues, porm tais solues
diferem entre si apenas por um fator de escala. Faz-se necessrio ento normalizar os
valores do vetor t para sua soma ser igual a 1.
O exemplo abaixo resolve o problema de auto-valor para a matriz de transio P do
exemplo do estoque da loja de cmeras:
0.080 0.632 0.264 0.080 1 0 0 0 0 0 (64)

0.184 0.368 0.368

0.184 0 1 0 0 1 0
0.368 .
0 1 0 2 0
.
0 0.368 0.368 0

0.368 0 0 1 3 0
0 0 0.368 0
A soluo :
1 0 0 0 (65)
0 0.092 0.2434i 0 0
AutoValor
0 0 0.092 0.2434i 0

0 0 0 0
0.5606 0.4523 0.3989i 0.4523 0.3989i 0.7071 (66)

0.5590 0.3015 0.3015 0
AutoVetor
0.5165 0.1508 0.3989i 0.1508 0.3989i 0

0.3264 0.6030 0.6030 0.7071
O auto-vetor associado ao auto-valor = 1 :
Ax x A Ix 0
sendo:
um auto-valor;
x um auto-vetor associado ao auto-valor e
I a matriz identidade.

23
0.5606 (67)
0.5590

t
0.5165

0.3264
Que por sua vez, normalizado para a soma dos seus elementos ser igual a 1 :
0.5606 0.2856 (68)

1 0.5590 0.2848
t
1.9625 0.5165 0.2631

0.3264 0.1663
Os valores em (68) correspondem para os mesmos valores encontrados em (40) e

(47).
Considerando a Matriz de Transio da Cadeia de Markov No Irredutvel e No
Ergdica dada em (51), o problema de auto-valor fica:
1 0 0.3 1 0 0 0 0 (69)

0 1 0.2 .0 1 1 . 1 0
0 0 0.5 0 0 1 2 0

A soluo :
1 0 0 (70)
AutoValor 0 1 0
0 0 0.5
1 0 0.4867 (71)
AutoVetor 0 1 0.3244
0 0 0.8111
Neste caso, existe 2 auto-valores iguais a 1, devido a existncia de dois conjuntos

fechados mnimos (2 estados absorventes), e no apenas um auto-valor igual a 1. Neste
caso, o vetor t no pode ser unicamente determinado (como em (55) e (57)).
2.5 Custo Mdio Esperado por Unidade de Tempo
Na seo anterior, abordou-se o caso em que os estados so ergdicos (recorrentes e

aperidicos). Se a condio de aperiodicidade relaxada, ento o limite lim p ijn pode no
n
existir.
24
Exemplo: a seguinte matriz de transio P
Estado 0 1
0 0 1 (72)
P 1 0
1
Se o processo comea no estado 0 no tempo 0, o processo retornar ao estado 0 nos

tempos 2, 4, 6,... e entrar no estado 1 nos tempos 1, 3, 5,... Portanto, lim p iin no existe.
n
No entanto, o seguinte limite sempre ir existir para uma Cadeia de Markov Irredutvel
(estado finito):
1 n (73)
lim p ijk j , i
k 1
n n

A expresso 73 (no confundir a expresso 73 com lim p iin ) de suma importncia

n
para calcular o Custo Mdio a Longo Perodo por Unidade de Tempo associado
Cadeia de Markov.
Supondo que um custo seja determinado apenas em funo do estado da Cadeia de
Markov, ou seja, C(Xt) a funo de custo. Nota-se que esta funo uma varivel
aleatria que assume os valores C(0), C(1),..., C(M), onde E = [0, 1,..., M] o espao de
estados do processo e que C() , portanto, independente de t. O custo mdio esperado para
os n primeiros perodos dado por:
1 n (74)
C E CX t
n t 1
Atravs de (73), pode-se demonstrar que o Custo Mdio por Unidade de Tempo
associado Cadeia de Markov dado por:
1 n M (75)
lim E CX t j C j
n n t 1 j0
Exemplo: a funo de custo para o exemplo do estoque da loja de cmeras dada por:
0 se X t 0
2 se X t 1 (76)

CX t
8 se X t 2
18 se X t 3
Aplicando os valores de (76) em (75), fica:

25
1 n (77)
lim E CX t 0.2860 0.2852 0.2638 0.16618 5.662
n n t 1
O valor da expresso (77) o custo mdio esperado do estoque por semana. Outro
resultado interessante obtido para a seguinte funo de custo:
1 se X t j (78)
CX t
0 se X t j
Aplicando os valores de (78) em (75), o resultado so os prprios j. Com isso, os

valores de j podem ser interpretados como a frao do tempo em que o processo est no
estado j.
A tabela abaixo mostra uma srie temporal dos valores observados de um estoque
(C=cheio, V=vazio) em funo do tempo, em um perodo finito (10 observaes):
Tempo 1 2 3 4 5 6 7 8 9 10
Estado C C V C V C C C V V
Nesta srie ocorreram 6 vezes o estado C (cheio) e 4 vezes o estado V. Desta forma,
6 4
a frequncia relativa de ocorrncias do estado C e do estado V . Se houvesse
10 10
infinitas sries (infinitas realizaes do processo estocstico) ou mesmo que em uma nica
srie houvesse infinitas amostras no tempo (uma nica realizao do processo estocstico),
os valores de frequncia relativas definidas acima seriam equivalentes aos valores de
probabilidades j (frao do tempo em que o processo est no estado j).
A tabela 4 mostra um resumo das condies para obter em funo da

classificao da cadeia.

26
Tabela 4 - Condies para em funo da classificao da cadeia.

Ergdica No ergdica
todos os estados so recorrentes e existe ao menos um estado existe ao menos um estado
aperidicos transiente peridico
Irredutvel independe de 0 a existncia de ao menos um independe de 0
estado transiente implica em
p ijn
todos os estados so
comunicantes lim p ijn j , i haver estados que no so
lim
n
n
Exemplo: comunicantes. Portanto, no Exemplo:
0.080 0.184 0.368 0.368 existe cadeia irredutvel 0 1
P
0.632 0 1 0
P
0.368 0 com um ou mais estados
0.264 0.368 0.368 0 transientes. 0.5 0.5 ,mas

0.080 0.184 0.368 0.368
lim p ijn
n
0.286 0.285 0.263 0.166
No depende de 0 Caso 1: depende de 0

Irredutvel lim p ijn mas j , i depende de 0 lim pijn
lim p ijn mas j , i
ao menos um estado n n
no comunicante com Exemplo: n Exemplo:

ao menos algum outro 0.5 0.5 0 0 Exemplo: 0 1 0 0 0
0.5 0.5 0 0 0
estado 0.5 0.5 0 0 0 1 0 0
P 0
0 0 0.5 0.5 0.5 0.5 0
0 0 P 1 0 0 0 0
0 0 0.5 0.5
P 0.2 0.2 0.2 0.2 0.2 0 0 0 0 1
Cadeia ergdica, mas 0 0 0 1 0
0 0 0 0.5 0.5
estados 0 e 1 no so 0 0 0 0.5 0.5 Estados 0, 1 e 2 possuem
comunicantes com estados Estado 2 transiente e no perodo T=3 e estados 3 e 4
2 e 3. comunicante com estados possuem perodo T=2.
0,1, 3 e 4. Estados 0, 1 e 2 no so
comunicantes com estados 3
Caso2: e 4.
independe de 0
lim p ijn j , i
n
Exemplo:
1 0 0 0
0.5 0 0.5 0
P
0 0.5 0 0.5

0.5 0 0.5 0
Estado 0 no comunicante
com demais e estados 1, 2 e
3 so transientes.
2.6 Custo Mdio Esperado por Unidade de Tempo para Funes de Custo Complexas
Na seo anterior, tratou-se apenas com funes de custo dependentes do estado em

que o sistema se encontra no tempo t. Para funes de custo que dependem no s do
estado do sistema, mas tambm de outra varivel aleatria, faz necessrio fazer algumas
ressalvas. Considerando que:
1) X t uma Cadeia de Markov Irredutvel (estado-finito).

2) Existe uma seqncia de variveis aleatrias D t , independentes e identicamente
distribudas (i.i.d) associada X t .
27
3) Para cada m 0,1,2,...fixo ocorrido um custo C(Xt,Dt+m) no tempo t, para t = 0,1,

2, . . .
4) A seqncia X0, X1,. . ., Xt precisa ser independente de Dt+m.
Se as quatro condies dadas acima so satisfeitas, ento:
1 n M (79)
lim E CX t , D t m K j. j
n n t 1 j0
onde:
K j EC j, D t m (80)
K(j) o valor esperado condicional calculado de acordo com a distribuio de

probabilidade das variveis aleatrias Dt, dado o estado j. Alm disto:
1 n M (81)
lim CX t , D t m K j. j
n n t 1 j0
para essencialmente todos os caminhos do processo.
2.7 Tempos de Primeira Passagem
O Tempo de Primeira Passagem pode ser entendido como o tempo demandado para
o processo atingir o estado j a partir do estado i. Quando j = i, o Tempo de Primeira
Passagem simplesmente o nmero de passos (transies) para o processo retornar ao
estado inicial i. Neste caso, denomina-se Tempo de Recorrncia para o estado i.
Retomando o exemplo do estoque da loja de cmeras, o estado do estoque para as
seis primeiras semanas :
X0 = 3 X1 = 2 X2 = 1 X3 = 0 X4 = 3 X5 = 1
Neste caso, o Tempo de Primeira Passagem a partir do estado 3 para o estado 1 2

semanas, o Tempo de Primeira Passagem a partir do estado 3 para o estado 0 3 semanas e
o Tempo de Recorrncia para o estado 3 4 semanas.
Em geral, o Tempo de Primeira Passagem uma varivel aleatria cuja distribuio
de probabilidade associada depende das probabilidades de transio do processo.
Denominando f ijn a probabilidade do Tempo de Primeira Passagem a partir do
estado i para o estado j ser n, pode-se escrever que:
f ij1 p ij1 p ij (82)
(83)
f ij2 p ik f kj1
k j

28
:
:
(84)
f ijn p ik f kjn 1
k j
Assim, o Tempo de Primeira Passagem a partir do estado i para o estado j em n

passos pode ser computado recursivamente.
Exemplo: Probabilidade do Tempo de Primeira Passagem para o estoque da loja de cmeras

a partir do estado 3 (estoque cheio) para o estado 0 (estoque vazio) ser n:
1
f 30 p 30 0.080 (85)
2
f 30 p 31f 101 p 32 f 20
1 1
p 33f 30 0.1840.632 0.3680.264 0.3680.080 0.243 (86)
:
:
Para dado i e j, tem-se que:
(87)
f 1
n 1
ij
n

Se f ijn 1 implica que processo inicialmente no estado i, pode nunca alcanar o
n 1

estado j. Quando f 1,
n 1
ij
n
f ijn pode ser considerado como a distribuio de
probabilidade para a varivel aleatria Tempo de Primeira Passagem.

O Tempo de Primeira Passagem Esperado ij pode ser definido por:

n (88)
se f ij 1
n 1
ij
nf ijn se n
f ij 1
n 1 n 1

Sempre quando f 1,
n 1
ij
n
ij unicamente satisfaz a equao:
ij 1 p ik kj (89)
k j
Exemplo: Tempo de Primeira Passagem Esperado para o estoque da loja de cmeras a partir
do estado 3 (estoque cheio) para o estado 0 (estoque vazio):

29
30 1 p 3110 p 32 20 p 33 30 (90)
20 1 p 2110 p 22 20 p 23 30
10 1 p1110 p12 20 p13 30
Substituindo valores, fica:
30 1 0.18410 0.368 20 0.368 30 (91)

20 1 0.36810 0.368 20
10 1 0.36810
Resolvendo (91), fica:
10 1.58 semanas (92)

20 2.51 semanas
30 3.50 semanas
Assim, o tempo esperado para o estoque ficar vazio, a partir de estar cheio de 3.50
semanas.
Quando i = j, jj o Tempo de Recorrncia Esperado para o estado j. De posse
das probabilidades de estado estveis j, o Tempo Esperado de Recorrncia pode ser
calculado como:
1 (93)
jj para j 0,1,..., M
j
Exemplo: Tempo de Recorrncia Esperado para o estoque da loja de cmeras.
1 (94)
00 3.50 semanas
0
1 (95)
11 3.51 semanas
1
1 (96)
22 3.80 semanas
2
1 (97)
33 6.02 semanas
3
Os estados em uma Cadeia de Markov podem ser classificados, de maneira anloga a

classificao na seo 2.3, em funo do Tempo de Primeira Passagem, como:

Um estado Transiente se f jjn 1 , que implica que jj .
n 0

30

Um estado Recorrente se f jjn 1 .
n 0
Um estado recorrente Nulo se jj e No-Nulo ou Positivo se jj .

Um estado Ergdico se no-nulo e aperidico.
Consideraes matemticas:
Uma analogia interessante que pode ser feita com a expresso (93) :
1 (98)
T
f
onde:
T perodo;
f freqncia.
A interpretao da expresso (93) como a expresso (98) possvel porque jj o

perodo (tempo) esperado de recorrncia. Com isso pode-se concluir que as probabilidades
de estados estveis j podem ser entendidas tambm como freqncias dadas em
ciclos/unidade de tempo.
A unidade de tempo no caso de Cadeia de Markov em tempo discreto passo,
assim a freqncia esperada de recorrncia dos estados dada em ciclos/passo.
Uma vez que o menor perodo de recorrncia para um estado 1 (devido a
considerao de tempo discreto), a maior freqncia possvel 1 ciclo/passo.
Exemplo: uma Cadeia de Markov originou o seguinte vetor de distribuio de

probabilidades a longo perodo:
0 1 2 3 0.5 0.3 0.2 0.0 (99)
0 possui uma freqncia esperada de recorrncia igual a 0.5 ciclo/passo e

conseqentemente, um perodo esperado de recorrncia 00 2 passos.
conseqentemente, um perodo esperado de recorrncia 11 3.3333... passos.
conseqentemente, um perodo esperado de recorrncia 22 5 passos.
conseqentemente, um perodo esperado de recorrncia 33 passos.
Observao: a unidade Hertz (Hz) corresponde a ciclos/segundo, sendo adequado seu uso
apenas quando um passo na Cadeia de Markov corresponde a um segundo.
31
2.8 Estados Absorventes
Como j visto na seo 2.3.2, um estado k dito ser absorvente se a probabilidade

de transio pkk = 1. Desta maneira, uma vez que o processo visita o estado k, este ir
permanecer neste estado indefinidamente. Se k um estado absorvente e o processo inicia
no estado i, a probabilidade de sempre ir para o estado k denominada de probabilidade
de absoro para o estado k dado que o sistema iniciou no estado i, denotada por fik.
Quando h dois ou mais estados absorventes em uma Cadeia de Markov, bvio
que o processo ser absorvido para um destes estados e, portanto, desejvel encontrar
estas probabilidades de absoro.
Seja k um estado absorvente, ento o conjunto de probabilidades de absoro fik
satisfaz o seguinte sistema de equaes:
M (100)
f ik p ijf jk para i 0,1,..., M
j0
sujeito as condies:
f kk 1 (101)
f ik 0 se i um estado recorrente e i k
Exemplo: Considere a seguinte matriz de transio P:
Estado 0 1 2 3 4
0 1 0 0 0 0
2 1 0
1 3 0
3
0 (102)
P 2 0 2 0 1 0
3 3
3 0 0 2 0 1
3 3
4 0 0 0 0 1
A matriz de transio acima P um exemplo de matriz de transio de uma Cadeia

de Markov especfica denominada Random Walk (caminhada aleatria). Este processo
estocstico possui a propriedade que o processo estando no estado i, na prxima transio o
processo estar em um dos dois estados imediatamente adjacentes ao estado i (com exceo
dos estados 0 e 4, obviamente).
Dada a matriz P acima, verifica-se facilmente que existem dois estados absorventes:
0 e 4. Os demais estados so todos transientes. Pode-se determinar, por exemplo, qual a
probabilidade de absoro para o estado 0 a partir do estado 2, denominada f20? Para isto,
atravs da expresso (100), pode-se escrever que:
f 20 p 20f 00 p 21f10 p 22f 20 p 23f 30 p 24f 40 (103)

32
Atravs da expresso (101) verifica-se que f00 = 1 e f40 = 0, uma vez que o estado 4
um estado absorvente, que por sua vez um caso especfico de estado recorrente. Devido
a estas verificaes a expresso (103) degenera-se em:
f 20 p 20 p 21f10 p 22f 20 p 23f 30 (104)
Nota-se em (104) que se tem uma equao e trs incgnitas (f10, f20, f30). Porm,
pode-se escrever o seguinte sistema:
f 10 p10f 00 p11f 10 p12f 20 p13f 30 p14f 40 (105)
f 20 p 20f 00 p 21f 10 p 22f 20 p 23f 30 p 24 f 40

f p f p f p f p f p f
30 30 00 31 10 32 20 33 30 34 40
Atribuindo valores para f00 = 1 e f40 = 0, como em (104), o sistema fica:
f 10 p10 p11f 10 p12f 20 p13f 30 (106)
f 20 p 20 p 21f 10 p 22f 20 p 23f 30

f p p f p f p f
30 30 31 10 32 20 33 30
Tem-se ento um sistema com trs equaes e trs incgnitas. Resolvendo este
4
sistema, obtm-se o valor de f 20 , ou seja, a probabilidade do processo estagnar no
5
estado 0 a partir do estado 2. Conseqentemente, a probabilidade do processo estagnar no
1
estado 4 a partir do estado 2 f 24 . Tais probabilidades tambm podem ser verificadas
5
elevando a matriz P a valores de potncia grandes (com um alto custo computacional).
Para este exemplo, calculou-se P10000 e verificou-se, por induo que P :
Estado 0 1 2 3 4
0 1 0 0 0 0
14 1
1 15 0 0 0
15 (107)
P 2 4 0 0 0 1
5 5
3 8 0 0 0 7
4 15 15
0 0 0 0 1
Os valores nesta matriz indicam as probabilidades de absoro para os estados 0 e 4.
2.9 Cadeias de Markov em Tempo Contnuo
Este item no ser abordado nestas notas de aula.
FONTE: Hiller & Lieberman, CAP. 16

33
Exerccios - Cadeias de Markov

qualquer erro, favor enviar e-mail para fernando.nogueira@ufjf.edu.br
1) A Distribuio de Poisson dada abaixo representa um processo estocstico?
Pt r
t r e t
r!
2) Explique as equaes de Chapman-Kolmogorov. Qual a sua importncia?

3) Explique porque f ijn pode ser <1 ? Qual a classificao do estado i se f iin 1 ?
n 0 n 0
4) Seja P uma matriz de transio dada por:
0.3 0.2 0.5

P 0.1 0.8 0.1
0.6 0 0.4
Qual P ?
5) A matriz de transio abaixo pertence a uma Cadeia de Markov que representa o

processo de um cliente que comprou uma das 4 marcas possveis de cerveja (0, 1, 2, 3) no
instante n e ir comprar cada uma das marcas no instante n + 1 sob a condio que
realmente em cada etapa de transio ele ir comprar o produto.
0.8033 0 0.1844 0.0123

0.1412 0.7547 0 0.1041
P
0 0.2535 0.7397 0.0068

0.2080 0.1232 0 0.6688
a) O que significa P3116 ? Qual o seu valor?

b) Quais as Probabilidades de Estado-Estvel da Cadeia de Markov dada? Quais
interpretaes so possveis sobre tais probabilidades?
6) Seja P uma matriz de transio dada por:
0.5 0.5 0

P 0 0.5 0.5
0.75 0.25 0
5 ,
Calcule f 20 02 e 12

34
7) Classifique os estados das Cadeias de Markov abaixo, de acordo com as suas respectivas
Matrizes de Transio.
a)
Estado 0 1 2
0 0 1 1
2 2
P 1 12 0 1
1 2
2 2 1 0
2
b)
Estado 0 1 2 3 4 5
0 0 1 1 0 0 0
2 2
1 0 0 0 1 1 1
3 3 3
2 1 1 1
P 0 0 0
3 3 3
3 1 0 0 0 0 0

4 1 0 0 0 0 0
5 1 0 0
0 0 0
c)
Estado 0 1 2
0 0 1 0
P 1 0 0 1

2 1 0 0
8) O setor de vendas de Whisky de uma loja vendeu 600.000 caixas no trimestre passado.
Existem no mercado as firmas X, Y, Z e Outras que venderam respectivamente 240.000,
180.000, 120.000 e 60.000 caixas. A empresa Z resolve lanar uma nova marca de Whisky
com um preo aproximadamente igual ao dos concorrentes acompanhada de uma forte
divulgao que ir custar L milhes de $ e que ir produzir a seguinte matriz de transio
para um perodo de 3 meses.
Estado X Y Z Outras
X 0.7 0.1 0.1 0.1
Y 0.1 0.8 0.05 0.05
P
Z 0.02 0.03 0.9 0.05

Outras 0.2 0.2 0.2 0.4
Se o aumento de 1% na participao no mercado representa um lucro lquido de k

milhes de $ por perodo, qual deve ser o valor de k em funo de L para justificar esse
lanamento e divulgao se essa matriz de transio vale para um ano? Faa a anlise
apenas para esses 4 perodos trimestrais.
9) Uma mquina de uma linha de produo pode assumir os seguintes estados:

35
Estado Condio
0 operao normal (mxima produo)
1 operao com baixa perda de produo
2 operao com alta perda de produo
3 inoperante
Atravs de dados histricos, a matriz de transio (ms a ms) para esta maquina :
Estado 0 1 2 3
0 0 7 1 1
8 16 16
1 0 3 1 1
P 4 8 8
2 1 1
0 0 2 2
3 0 0 1
0
De acordo com o estado da mquina, algumas decises podem ser tomadas com
respectivos custos: Substituir a mquina por uma outra nova demanda 1 semana para ser
realizada esta operao e a produo perdida neste perodo a um custo de $2.000,00 e o
custo da mquina nova $4.000,00. Quando a mquina opera no estado 1, h um custo de
$1.000,00 e quando a mquina opera no estado 2, h um custo de $3.000,00, ambos devido
produo de itens defeituosos. Realizar manuteno na mquina no vivel quando esta
se encontra no estado 3. A manuteno no melhora em nada a capacidade de operao da
mquina quando esta se encontra nos estados 0 e 1. A manuteno da mquina faz com que
esta retorne ao estado 1, quando esta est operando no estado 2 a um custo de $2.000,00 e a
produo perdida por 1 semana. No permitido manter a mquina no estado 3.
Qual a poltica tima de manuteno desta mquina? Utilize o mtodo de
enumerao exaustiva.
Obs: a resoluo deste exerccio exige os conceitos tratados em Processos Markovianos de
Deciso (no consta nestas notas de aula).
10) Formule o exerccio 9 como um problema de Programao Linear
Respostas
1) Sim, porque Pt(r) representa uma coleo de variveis aleatrias indexadas por um
parmetro t, dentre outros.

36
2) De acordo com o texto.

3) Se existe a probabilidade do estado i nunca alcanar o estado j, ento f ijn 1 . Neste
n 0
caso, f ijn no pode ser tido como a distribuio de probabilidade para a varivel aleatria

Tempo de Primeira Passagem. Se f iin 1 o estado i transiente.
n 0
4) Uma vez que P uma matriz duplamente estocstica, ento:

37
1 1 1
3 3 3
P 1 1 1
3 3 3
1 3 1
3
1
3
5.a) P3116 0.3057 a probabilidade de um consumidor sendo comprador da marca 3 ser
comprador da marca 1 aps 16 passos.

5.b) 0.3398 0.3058 0.2407 0.1137
j a probabilidade de encontrar o processo no estado j a longo perodo.
Pode tambm ser interpretada como a frao do tempo em que o processo permanece no
estado j.
5 0.03515625
6) f 20
02 1 p 00 02 p 0112 1 0.5 02 0.512 4

02 02
12 1 p10 02 p1112 12 1 0.512 12 2
7.a) Todos estados Ergdicos

7.b) Todos os estados so recorrentes, peridicos (perodo m = 3) e no-nulos.
7.c) Todos os estados so comunicantes e a cadeia irredutvel. Processo peridico com
perodo m = 3.
8)
240000 60000
0 0.4 0.3 0.2 0.1
180000 120000
600000 600000 600000 600000
1 0 P 0.334 0.306 0.255 0.105

2 1 P 0.2905 0.3069 0.2992 0.1034
3 2 P 0.2607 0.3042 0.3344 0.1007
4 3 P 0.2397 0.2996 0.3624 0.0983
A quantidade vendida da marca Z em cada trimestre foi:

Trimestre 1 => 0.255 * 600.000 = 153.000
Trimestre 2 => 0.2992 * 600.000 = 179.520
Trimestre 3 => 0.3344 * 600.000 = 200.640
Trimestre 4 => 0.3624 * 600.000 = 217.440
Total nos 4 trimestres:

153.000 + 179.520 + 200.640 + 217.440 = 750.600
Se no tivesse tido o incremento, o total da marca Z vendida seria:

Trimestre 1 => 0.2 * 600.000 = 120.000
Trimestre 2 => 0.2 * 600.000 = 120.000
Trimestre 3 => 0.2 * 600.000 = 120.000
38
Trimestre 4 => 0.2 * 600.000 = 120.000
Total nos 4 trimestres:

120.000 + 120.000 + 120.000 + 120.000 = 480.000
Incremento:
750.600 480.000 = 270.600 caixas
Cada 1% de 600.000 representa k milhes, ou seja, cada 6.000 caixas (1% de 600.000)
representa k milhes.
Assim, 270.600/6.000 = 45.1k milhes.
Outra maneira de responder :
O aumento de vendas de Whisky da marca Z para estes 4 trimestres :

Z 1 0.255 0.2 0.055 5.5%
Z 2 0.2992 0.2 0.0992 9.92%
Z 3 0.3344 0.2 0.1344 13.44%
Z 4 0.3624 0.2 0.1624 16.24%
0.055 0.0992 0.1344 0.1624 0.4510
Se 1% resulta em lucro por trimestre de k milhes de $, ento tem-se para o ano

todo um acrscimo no lucro de 45.1k milhes de $.
Concluso
Se 45.1k - L > 0 o lanamento deve ser feito.

Se 45.1k - L < 0 o lanamento no deve ser feito.
Se 45.1k = L indiferena
9)
Deciso Ao Estado Custo Esperado Custo Custo de Custo

s devido Produo manuteno perda da total por
de itens com produo semana
defeito
1 No fazer 0 0,00 0,00 0,00 0,00
nada 1 1.000,00 0,00 0,00 1.000,00
2 3.000,00 0,00 0,00 3.000,00
2 Manuteno 2 0,00 2.000,00 2.000,00 4.000,00
3 Substituir 1 0,00 4.000,00 2.000,00 6.000,00
2 0,00 4.000,00 2.000,00 6.000,00
3 0,00 4.000,00 2.000,00 6.000,00

39
Poltica Descrio Verbal d0(R) d1(R) d2(R) d3(R)

Ra substituir no estado 3 1 1 1 3
Rb substituir no estado 3, manuteno no estado 2 1 1 2 3
Rc substituir no estado 2 e 3 1 1 3 3
Rd substituir no estado 1, 2 e 3 1 3 3 3
Ra
Estado 0 1 2 3
0 0 7 1 1
8 16 16
1 0 3 1 1
P 4 8 8
2 1 1
0 0 2 2
3 1 0 0
0
Rb
Estado 0 1 2 3
0 0 7 1 1
8 16 16
1 0 3 1 1
P 4 8 8
2 0 1 0 0

3 1 0 0 0
Rc
Estado 0 1 2 3
0 0 7 1 1
8 16 16
1 0 3 1 1
P 4 8 8
2
1 0 0 0
3 1 0 0 0
Rd
Estado 0 1 2 3
0 0 7 1 1
8 16 16
1 1 0 0 0
P
2 1 0 0 0

3 1 0 0 0
Deciso Cjk (em milhares de $)

Estado 1 2 3
0 0 - -
1 1 - 6
2 3 4 6
3 - - 6

40
Poltica Probabilidades de Estado-Estvel E[C] (em milhares de $)

0 , 1 , 2 , 3
Ra 2 7 2 2 1
20 71 23 26 25 $1.923,00
, , ,
13 13 13 13 3 13
Rb 2 5 2 2 1
20 151 24 26 35 $1.667,00
, , ,
21 7 21 21 21 21
Rc 2 7 1 1 1
20 71 16 16 19 $1.727,00
, , ,
11 11 11 11 11 11
Rd 1 7 1 1 1
160 146 16 16 96 $3.000,00
, , ,
2 16 32 32 32 32
Com isso, a poltica tima Rb que : substituir no estado 3, manuteno no estado 2.
10)
Minimize Z 1.000 y11 6.000 y13 3.000 y 21 4.000 y 22 6.000 y 23 6.000 y 33
Sujeito a :
y 01 y 11 y13 y 21 y 22 y 23 y 33 1

y 01 y13 y 23 y 33 0
7 3
y 11 y 13 y 01 y 11 y 22 0
8 4

1 1 1
y 21 y 22 y 23 16 y 01 8 y 11 2 y 21 0

1 1 1
y 33 y 01 y11 y 21 0
16 8 2
y ik 0

41

Cadei A Markov 4

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Cadei A Markov 4

Hochgeladen von

Copyright:

Verfügbare Formate

Cadeias de Markov

Andrei Andreyevich Markov

1.2. Processos Estocsticos

Um Processo Estocstico definido como uma coleo de variveis aleatrias (X(t))

b) Em relao ao Tempo (Parmetro)

PX(t k 1 ) x k 1 X(t k ) x k , X(t k 1 ) x k 1 ,...,X(t 1 ) x 1 , X(t 0 ) x 0 PX(t k 1 ) x k 1 X(t k ) x k (1)

Notas de Aula - Fernando Nogueira

para t 0 t1 ...t k t k 1 0,1,... e toda seqncia k 0 , k1 ,..., k t 1 , k t , k t 1

A expresso (1) pode ser "traduzida" por: a probabilidade condicional de qualquer

Para estimar as Probabilidades de Transio a partir das frequncias de ocorrncia

para C para V para C para V

O fato da somatria das Probabilidades de Transio ao longo de uma linha resultar

Tabela 1 - Estado do uso da terra em 1993.

Os valores da tabela 1 podem ser dispostos em um vetor x, denominado Vetor de

As probabilidades de cada Estado (probabilidade no-condicional) podem tambm

0.30 0.20 0.50 (3)

Assumindo que as probabilidades de transio para intervalos de 5 anos so dadas

As probabilidades condicionais na tabela 2, em termos informais, podem ser

Notas de Aula - Fernando Nogueira

de I para I a probabilidade do estado ser I aps 5 anos, dado que o

0.8 0.1 0.1 (4)

Assim, a partir de P e o vetor de probabilidade de estado para 1993, denominado

0.8 0.1 0.1 (5)

0.0 0.1 0.9

2.1 Cadeias de Markov

Um Processo Markoviano dito ser uma Cadeia de Markov quando as variveis

PX(k 1) x k 1 X(k) x k , X(k 1) x k 1 ,...,X(1) x 1 , X(0) x 0 PX(k 1) x k 1 X(k) x k (6)

Notas de Aula - Fernando Nogueira

As Probabilidades de Transio PX(k 1) x k 1 X(k) x k representam, portanto, a

PX(k 1) x k 1 X(k) x k PX(1) x 1 X(0) x 0 (7)

ento, as Probabilidades de Transio so ditas Estacionrias. Assim, tendo-se

PX(k n) x k n X(k) x k PX(n) x n X(0) x 0 (8)

Estas probabilidades condicionais so chamadas Probabilidades de Transio de

p ij PX(k 1) j X(k) i (9)

p ij( n ) PX(k n) j X(k) i (10)

Porque p ij( n ) so probabilidades condicionais, estas precisam ser no negativas e

p ij( n ) 0 i, j; n 0,1,2,... (11)

Uma maneira conveniente de mostrar todas as Probabilidades de Transio de Passo

Notas de Aula - Fernando Nogueira

ou, equivalentemente, por uma matriz P(n):

A matriz P(n) denominada Matriz de Transio de Passo n. Quando n = 1, a

1. Um nmero finito de estados.

este exemplo E 0 1 2 3. As variveis aleatrias Xt so dependentes e podem ser

A expresso (14) o processo estocstico (o qual foi modelado a partir do

Simon Denis Poisson (*1781 Pithiviers, Frana; 1840, Sceaux, Frana).

A distribuio de Poisson uma distribuio discreta empregada em situaes

Notas de Aula - Fernando Nogueira

Retomando o exemplo do estoque da loja de cmeras, dado que o estado corrente

Atribuindo valores para n, onde n representa o nmero de cmeras necessrias para

PD t 1 3 1 PD t 1 2 1 0.368 0.368 0.184 0.08 (21)

De posse das probabilidades de Dt+1 para os valores de n e do processo estocstico

Notas de Aula - Fernando Nogueira

Para as demais pij, o raciocnio anlogo.

A matriz de transio P ento fica:

0.080 0.184 0.368 0.368 (26)

Uma maneira alternativa para representar as probabilidades de transio utilizar

Notas de Aula - Fernando Nogueira

Fig. 1 - Diagrama de Transio de Estado.

2.2 Equaes de Chapman - Kolmogorov

Notas de Aula - Fernando Nogueira

A matriz de transio P a matriz de transio de probabilidades de estado para um

Em notao matricial, a expresso (27) fica:

A expresso (29) afirma que a matriz de transio de passo n igual matriz de