UNIVERSIDADE FEDERAL DO PIAU

I
CENTRO DE CI

ENCIAS DA NATUREZA
CHEFIA DO CURSO ESTAT

ISTICA
Relatorio - 3
a
Avaliacao de Processos
Estocasticos
Processo de Puro Salto
Wyara Moura
Professor: Fernando Ferraz do Nascimento
Teresina, PI
2012
Sumario
1 Introducao 3
2 Objetivo 4
3 Fundamentacao Te orica 4
3.1 Probabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.2 Variaveis Aleat orias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.3 Denic oes de Processos Estocasticos . . . . . . . . . . . . . . . . . . . . . . 10
3.4 Cadeias de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.5 Equac oes de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . 15
3.6 Distribuic ao Exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.7 Notac ao de Teoria de Filas . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
4 Processos de Markov de Puro Salto 17
4.1 Denic ao e Propriedades . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
4.2 Processo de Nascimento e Morte . . . . . . . . . . . . . . . . . . . . . . . . 23
4.3 Processo de Nascimento e Morte em Dois Estados . . . . . . . . . . . . . . 27
4.4 Aplicac oes Praticas do Metodo . . . . . . . . . . . . . . . . . . . . . . . . 29
4.5 Exemplos e Exerccios Resolvidos . . . . . . . . . . . . . . . . . . . . . . . 31
4.5.1 Gerador Innitesimal . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.5.2 Sistema de las de servidor unico M/M/1 . . . . . . . . . . . . . . 31
4.5.3 Processo de Nascimento e Morte . . . . . . . . . . . . . . . . . . . . 33
5 Conclusao 35
Referencias 36
2
1 Introducao
No estudo da probabildade, sao analisados experiencias aleatorias em que seus ob-
jetos e resultados n ao sao totalmente previsveis mesmo com um conjunto de condicoes
conhecidas. Assim, fen omenos aleat orios que evoluem no tempo ou que dependem de
um determinado par ametro real, tem como objetivo construir modelos matem aticos em
que n ao so o resultado da experiencia seja imprevisvel mais tambem possam variar as
condic oes da realizacao, gerando possveis altera coes nos eventuais valores para os resul-
tados da experiencia e para a sua distribuicao, modelos esses denidos como processos
estocasticos. Desta maneira, processo estocastico de uma forma informal e um modelo
matem atico utilizado para o estudo de fen omenos aleat orios, que podem evoluir com um
par ametro e tem como resultados possveis funcoes chamadas de trajet orias.
Historicamente, atribui-se a Galton 1822 1911 o primeiro estudo de um processo
estocastico a proposito da sobrevivencia dos nomes de famlias em Inglaterra. Muitos
outros autores est ao tambem ligados `a Teoria dos Processos Estoc asticos como Einstein,
Erlang,Kolmogorov, Markov, sem deixar de mencionar Doob, as obras de Blanc-Lapierre,
e dos trabalhos de Fisher, Feller, Wiener e Levy.
Um tipo especial de processo estoc astico e o processo de Markov, possuindo a pro-
priedade de que as probabilidades associadas com o processo num dado instante do futuro
dependem somente do estado presente, sendo ent ao, independentes dos eventos passados.
Assim, processos markovianos s ao caracterizados pelo que se nomea como falta de memo-
ria.
Os processos markovianos s ao modelados convencionalmente pelos modelos de Markov,
que s ao sistemas de transic oes de estados, onde os estados s ao representados em termos de
seus vetores probabilsticos, quem podem variar no espaco temporal (discreto e contnuo),
e as transi coes entre estados s ao probabilsticas e dependem apenas do estado corrente.
Em modelos de Markov de tempo discreto, o sistema e vericado em intervalos de tem-
pos discretos, bem denidos. Levando em considera cao modelos de previs ao metereol ogica
em que o tempo e observado uma vez por dia, uma outra classe de modelos de Markov
em que os sistemas s ao vistos continuamente a todo instante de tempo, s ao conhecidos
como os modelos de Markov de tempo contnuo.
Neste relatorio daremos enfase aos processos de markov em tempo continuo, conhecido
tambem como Processo de Markov de Salto Puro, analisando alguns exemplos desses
processos que sao os de nascimento e morte, e Processos de nascimento e morte em dois
estados, mostrando suas propriedades, exemplos, aplicacoes pr aticas desse processo alem
de alguns exerccios resolvidos. A m de aprofundar conhecimentos na area de Processos
Estocasticos, sobre o t opico Processo de Markov de Puro Salto.
3
2 Objetivo
A realiza cao deste relat orio tem como objetivo avaliar e aprofundar conhecimentos na
materia de Processos Estoc asticos, sobre o t opico Processo de Markov de Puro Salto, em
que neste ser a trabalhado as principais propriedades deste topicos, exemplos, aplicac oes
pr aticas deste processo e alguns exerccios resolvidos. Alem disso, ser ao analisados al-
guns exemplos destes processo, tambem conhecido como processo de markov em tempo
contnuo, que s ao os de nascimento e morte e processo de nascimento e morte em dois
estados.
3 Fundamentacao Te orica
3.1 Probabilidade
Considerando um experimento aleat orio com espaco amostral S. Consideremos n
repetic oes independentes de e seja A S.
Denicao 3.1.1: Dene-se a probabilidade frequentista do evento A como
P(A) = lim
n
n
A
n
.
Nessa denic ao, n
A
e o n umero de vezes em que o evento A ocorre.
Podemos facilmente vericar que:
(A1) P(A) 0,
(A2) P(S) = 1
(A3) Se A e B s ao dois eventos disjuntos, ent ao P(A

B) = P(A) + P(B)
(A1), (A2) e (A3) sao conhecidos como axiomas de probabilidade. Neste caso P e
aditiva.
Quando substituimos (A3) por
(A3) P(

i=1
A
i
) =

i=1
P(A
i
), se A
1
, A
2
, ... e tal que A
i

A
j
= para i = j,
diremos que P e - aditiva.
Assim, adotamos a denic ao axiom atica de probabilidade. Isto e, ao falar de uma
probabilidade P, assumimos que P e uma func ao que a cada evento E S, associa sua
probabilidade P(A) satisfazendo (A1), (A2) e (A3) ou (A3).
4
A partir dos axiomas sobre uma probabilidade aditiva, pode-se provar que:
P1. Para A e B dois eventos quaisquer P(A B) = P(A) + P(B) P(A B),
P2. P(A
c
= 1 P(A), onde A
c
e o evento complementar de A,
P3. Se A B, ent ao P(A) P(B),
P4. P(A) 1,
P5. Se A
1
, A
2
, ..., A
n
s ao eventos disjuntos, entao P(

n
i=1
A
i
) =

n
i=1
P(A
i
)
Denicao 3.1.2: Dizemos que a sequencia de eventos A
1
, A
2
, ..., decresce monotona-
mente para o vazio se para cada n, A
n+1
A
n
e

n=1
= . Adotaremos a notac ao A
n
.
Continuidade no vazio: Se A
n
, entao P(A
n
) .
Naturalmente essa propriedade pode ser estabelecida em forma mais geral. Dizemos
que a sequencia de eventos A
1
, A
2
, ...: descresce monotonamente para A se para cada
u, A
n+1
A
n
e

n=1
A
n
= A. A notac ao A
n
A ser a adotada. Se A
n
A, entao
P(A
n
) P(A). Diremos que a sequencia A
1
, A
2
, ... cresce monotonamente para o evento
A se cada n, A
n
A
n+1
e

n=1
A
n
= A. Se A
n
A, ent ao P(A
n
) P(A).
Um conceito muito importante em Teoria de Probabilidade e o de Probabilidade Condi-
cional. Seja o evento A tal que P(A) > 0. Para um outro evento B, dene-se a probabili-
dade condicional de B dado que o evento A ocorreu, como raz ao
P(A

B)
P(A)
. Denota-se essa
probabilidade por P(B | A). Isto e,
P(B | A) =
P(A B)
P(A)
O leitor pode vericar que P(B | A) satisfaz os tres axiomas de probabilidade, mas
agora com o espaco amostral restrito a A. Ou seja:
(A1C): P(B | A) 0,
(A2C): P(A | A) = 1,
(A3C): Se B e C s ao dois eventos disjuntos, entao P((BC) | A) = P(B | A) +P(C |
A).
Diremos que os eventos E
1
, E
2
, ..., E
k
formam uma partic ao do espaco amostral S se:
5
(i) E
i
E
j
= para i = j,
(ii)

k
i=1
= S.
Teorema da Probabilidade Total. Consideremos a particao E
1
, E
2
, ..., E
k
do espaco
amostral S e um evento F quaisquer. Entao
P(F) =
k

i=1
P(E
i
)P(F | E
i
).
Tendo como prova: O evento F pode ser representado por uma uniao de eventos dis-
juntos pois
F = F (

k
i=1
E
i
) =

k
i=1
(F E
i
).
A segunda igualdade e verdadeira pela propriedade distributiva da intersecao com re-
speito ` a uniao.
Desde que E
i
E
j
= , teremos que (F E
i
) (F E
j
) = para i = j. Entao, pela
propriedade P5 temos que P(F) =

k
i=1
P(E
i
F). Aplicando a regra do produto a cada
termo da soma temos que P(F) =

k
i=1
P(E
i
)P(F | E
i
).
Como consequencia imediata do resultado anterior temos o Teorema de Bayes que
estabelece que se E
1
, E
2
, ..., E
k
e uma partic ao do espaco amostral S, ent ao para j =
1, ..., k,
P(E
j
| F) =
P(E
j
)P(F | E
j
)

k
i=1
P(E
i
)P(F | E
i
)
3.2 Variaveis Aleat orias
Formalizando, diremos que uma variavel aleat oria real, X, e uma func ao que associa
um n umero real a cada resultado de um experimento aleatorio. Assumiremos sempre que
X e uma variavel aleat oria real. Desde que uma variavel aleat oria X e uma func ao, o con-
junto de todos os possveis valores que ela pode assumir sera chamado de contradomnio
de X e ser a representado por R
x
.
Uma vari avel aleat oria pode ser discreta ou contnua. Diremos que e discreta se as-
sume um n umero nito ou innito enumer avel de valores. Caso contrario, diremos que X
e uma vari avel aleatoria continua.
Se X e uma variavel aleat oria discreta denimos a funcao de probabilidade como a
func ao que a cada valor de X associa a sua correspondente probabilidade. Isto e, p
j
=
6
P(X = x
j
).
A partir da func ao de probabilidade de uma vari avel aleatoria discreta, denimos a
func ao de distribuic ao, que associa a cada valor real, x, a probabilidade da vari avel X se
menor ou igual que x. Formalmente a func ao de distribuic ao F avaliada em x, e denida
por
F(x) = P(X x)
A partir da denic ao temos que se a vari avel aleat oria discreta assume os valores x
1
,
x
2
, ..., x
k
, a fun cao de distribuicao est a denida por
F(x) = P(X x) =

j:x
j
x
p
j
Observe que se x < y, o evento {a : a x} {a : a y}, ent ao F(x) F(y).
Isto e, a funcao de distribuic ao e nao crescente.
A func ao de distribuic ao tem sido denida a partir da func ao de probabilidade. Pode-
mos tambem fazer o caminho inverso, isto e, denir a func ao de probabilidade a partir da
func ao de distribuic ao. De fato, se x
1
< x
2
< ... < x
k
s ao valores que X pode assumir,
temos que p(x
j
) = F(X
j
) F(X
j1
).
A esperanca de uma vari avel aleatoria discreta e denida por
E(X) =
k

j=1
x
j
P(X = x
j
).
Denotamos por
x
a esperan ca de X e quando nao houver lugar a confusao, denotare-
mos apenas por . Se Y e uma fun cao de X, isto e, se Y = g(X), a esperanca de Y pode
ser calculada como
E(X) =
k

j=1
g(x
j
)P(X = x
j
).
Um caso particular e quando g(X) = (X
X
)
2
. Temos neste caso,
E(Y ) = E(X
X
)
2
=
k

j=1
(x
j

X
)
2
P(X = x
j
),
e essa sera chamada Variancia de X e sera denotada por
2
X
. O leitor pode provar que

2
X
= E(X
2
) - (E(X))
2
. Pode provar tambem, como um outro caso particular, fazendo
7
g(X) = aX + b, que E(aX + b) = aE(X) + b.
Um outro caso particular e quando g(X) = X
n
, E(g(X)) = E(X
n
) =

k
j=1
x
n
k
P(X =
x
k
) e chamado o momento de ordem n de X.
Quando X e uma variavel aleat oria continua, existe uma funcao f, nao negativa tal
que

f(x)dx = 1. Tal func ao e chamada func ao de densidade de probabilidade de X.

Se A , denimos P(A) =

A
f(x)dx.
Se A = [a, b], pela denic ao de P temos que P(A) = P(a X b) =

b
a
f(x)dx.
Observe que P(X = a) = P(a X b) =

b
a
f(x)dx = 0. Isto e, se X e variavel aleat ora
contnua, a probabilidade de que ela assuma um valor especco e zero para quaisquer
valor real. Como consequencia disso temos que se X e contnua, entao
P(a < X b) = P(a X b) = P(a X < b) = P(a < X < b)
Se X e variavel aleat oria contnua, a func ao de distribuic ao e denida por F(x) =
P(X x) =

f(t)dt. Feita esssa deni cao, temos que, pelo Teorema Fundamental do
C alculo que f(x) = F

(x) se F e deriv avel em x.

Em forma an aloga ao caso discreto, denimos a esperanca de X como
E(X) =

xf(x)dx.
E se Y = g(X), E(Y ) =

g(x)f(x)dx.
Consideremos agora duas variaveis aleat orias, X e Y e consideremos o vetor (X, Y ).
Chamaremos a (X, Y ) um vetor aleat orio. Consideramos primeiro o caso em que tanto
X quanto Y s ao discretas. A funcao que a cada ponto (x
i
, y
i
) do contradomnio do vetor
(X, Y ) asssocia sua probabilidade ser a chamada func ao de probabilidade conjunta do vetor
(X, Y ), isto e
p(x
i
, y
i
) = P(X = x
i
, Y = y
i
)
A partir da funcao de probabilidade conjunta, podemos encontrar as funcoes de prob-
abilidade de X e Y. Cada uma delas e chamada func ao de probabilidade marginal de X e
de Y respectivamente.
A obtencao de cada uma dessas funcoes e uma aplica cao do Teorema da Probabili-
dade Total. Observamos que o vetor (X, Y ) transforma um espaco amostral S no espaco
amostral R
X
xR
Y
(Produto cartesiano de R
X
e R
Y
). Nesse novo espaco podemos denir
uma partic ao fazendo E
i
= {(x
i
, y
i
) : y
i
R
Y
}. Claramente E
i
E
k
= se i = k e
8

i:x
i
R
X
E
i
= R
X
XR
Y
.
Ent ao para A = {Y = y
i
}, temos que
P(A) = P(Y = y
i
) =

P(A E
i
) =

i:x
i
R
X
P(X = x
i
, Y = y
i
).
Em forma an aloga podemos obter a funcao de probabilidade marginal de Y.
Dado que X = x
i
, dene-se a func ao de probabilidade condicional de Y como
P(Y = y
i
| X = x
i
) =
P(X = x
i
, Y = y
i
)
P(X = x
i
)
.
Quando para todo i e para j, tem-se que
P(Y = y
i
| X = x
i
) = P(Y = y
i
),
dizemos que X e Y s ao independentes. Equivalentemente, diremos que X e Y s ao
independentes se para todo i e para todo j, P(X = x
i
, Y = y
i
) = P(X = x
i
)P(Y = y
i
).
Em forma analoga, dene-se a funcao de probabilidade condicional de X dado que
Y = y
i
.
Os momentos condicionais de Y dado que X = x
j
s ao simplesmente os momentos da
func ao de probabilidade condicional, isto e, por exemplo, a esperan ca condicional de Y
dado que X = x
i
, e denida por
E(Y | X = x
j
) =

j:y
j
R
Y
y
j
P(Y = y
j
| X = x
i
).
Se W = g(Y ), dene-se a esperanca condicional de W dado que X = x
i
como
E(W | X = x
i
) = E(g(Y ) | X = x
i
) =

j:y
j
R
Y
y
j
g(y
i
)P(Y = y
j
| X = x
i
).
Em particular, E(Y
2
| X = x
i
) =

j:y
j
R
Y
y
2
j
P(Y = y
j
| X = x
i
).
Dene-se a variancia condicional de Y dado que X = x
i
por
V ar(Y | X = x
i
) = E(Y
2
| X = x
i
) (E(Y | X = x
i
))
2
,
Quando os dois componentes do vetor (X,Y) s ao continuos, existe uma func ao n ao
negativa f tal que para A
2
, tem-se que P((X, Y ) A =

A
f(x, y)dxdy. Tal
func ao f e chamada func ao de densidade conjunta do vetor (X,Y) e satisfaz a condic ao

f(x, y)dxdy = 1.
9
N ao provaremos aqui, mas pode-se obter as fun coes de densidade marginais tanto de
X quanto de Y a partir da func ao de densidade conjunta de (X,Y), a saber:
f
X
(x) =

f(x, y)dy.
f
Y
(y) =

f(x, y)dx.
Denem-se tambem as func oes de densidade condicionais de X e de Y.
f(x | y) =
f(x, y)
f(y)
,
f(y | x) =
f(x, y)
f(x)
.
Diremos que X e Y s ao independentes se
f(x | y) = f(x),
para todo x e todo y. Equivalentemente se para todo x e todo y, f(x, y) = f
X
(x)f
Y
(y),
diremos que X e Y s ao independentes.
3.3 Denic oes de Processos Estocasticos
Para denir um processo estoc astico, iremos comeca com um exemplo que ser a bem
util para entendimento do assunto. O exemplo fala de uma pessoa que vamor chamar de
Jo ao. Jo ao recebe um cavalo de presente, mas ele nao entende nada sobre cavalos. Depois
de um tempo queria cortar a cauda do cavalo. Ele perguntou para um entendido sobre a
altura `a qual deveria cortar a cauda. O entendido disse para ele que corte `a altura que ele
achar conveniente pois seja qual for a altura, tera alguem que ache muito curta a cauda
e ter a alguem que ache muito comprida. E acrescentou: Mesmo voce, depois de cortar,
pode mudar de ideia no dia seguinte.
Esse exemplo permite visualizar que a altura da cauda depende da pessoa que esta
opinando (w) e tambem do instante de tempo em que a pessoa est a opinando. Quer dizer,
se X representa o comprimento da cauda do cavalo, X e uma func ao de w e n, sendo w a
pessoa que emite a opiniao e n o dia em que tal pessoa emite a opini ao.
Podemos, entao, denir X = {X(w, n) : w , n I} como um Processo estocastico.
Para w xo, X(w) = {X(w, n) : n I} ser a uma realizac ao do processo.
10
Denicao (3.3.1): Denimos formalmente um processo estocastico X = {X
t
: t I}
como uma famlia de variaveis aleat orias. I ser a chamado espaco de par ametros. Em
nossa disciplina assumiremos I = [0, ) ou I = {0, 1, 2, ...}. No primeiro caso diremos
que o processo e com parametro de tempo contnuo e no segundo, com parametro de
tempo discreto.
Sabemos que uma variavel aleatoria real e uma func ao que a cada ponto w de um espaco
amostral associa um n umero real. Assumimos que no processo X, todas as vari aveis est ao
denidas sobre um mesmo espaco amostral. O contradomnio todas as var aveis aleatorias
ser a chamado espa co de estados do processo e denotaremos por E. Se E e discreto, di-
remos que o processo estocastico e discreto, se E e continuo, diremos que o processo e
continuo.
Levando em considerac ao que o processo e uma familia de vari aveis aleatorias, pode-
mos falar das distribuic oes delas. Para quaisquer conjunto nito {t
1
, t
2
, ..., t
k
} I, a
distribuic ao do vetor {X
t
1
, X
t
2
, ..., X
t
k
} e chamada a distribuicao nito dimensional do
processo. Em particular, para um valor de t xo, a distribuic ao de X
t
ser a a distribui cao
unidimensional de X
t
. A totalidade das distribui coes nito-dimensionais de um processo
determinam, sobre condic oes gerais, a distribuic ao do processo. Esse resultado dado pelo
Teorema de Kolmogorov, que nao ser a abordado neste relatorio.
O conte udo de Processo estocasticos que sera explando aqui, ser ao os processos Marko-
vianos. Diremos que um processo estoc astico possui a propriedade de Markov se, dado o
valor de X
t
, as distribui coes de X
s
para s > t, n ao depende dos valores de X
u
para u < t.
Quer dizer que o comportamento do processo no futuro n ao depende do passado quando
o estado presente e conhecido.
Denicao (3.3.2): Formalmente, diremos que um processo estoc astico possui a pro-
priedade de Markov se para 0 < t
1
< t
2
< ... < t
n
< t,
P(X
t
A | X
t
1
= x
1
, X
t
2
= x
2
, ..., X
tn
= x
n
) = P(X
t
A | X
tn
= x
n
).
A funcao
P(x, s, t, A) = P(X
t
A | X
s
= x) t > s,
e chamada func ao de probabilidade de transic ao e e basica para o estudo dos processos
de Markov.
A distribuic ao de X
0
e chamada distribui cao inicial do processo. Se a distribuic ao
inicial e a func ao de probabilidade de transic ao sao conhecidas, todas as distribuic oes
nito dimensionais podem ser calculadas, como ser a mostrado abaixo: (Para simplica,
11
assumimos que o processo e discreto com espaco de estados nito E = {0, 1, 2, ..., M})
a) Distribuic ao unidimensionais:
P(X
t
= j) =
M

1=0
P(X
0
= i, X
t
= j)
=
M

1=0
P(X
0
= i)P(X
t
= j | X
0
= i) =
M

1=0
P(X
0
= i)P(i, 0, t, j)
b) Distribuic oes nito dimensionais:
P(X
t
1
= i
1
, X
t
2
= i
2
, ..., X
t
k
= i
k
)
=
M

i=0
P(X
0
= i, X
t
1
= i
1
, X
t
2
= i
2
, ..., X
t
k
= i
k
)
=
M

i=0
P(X
0
= i)P(X
t
1
= i
1
| X
0
= i)P(X
t
2
= i
2
| X
t
1
= i
1
)...P(X
t
k
= i
k
| X
t
k1
= i
k1
)
=
M

i=0
P(i, 0, t
1
, i
1
)P(i
1
, t
1
, t
2
, i
2
)...P(i
t
k1
, t
k1
, t
k
, i
k
).
3.4 Cadeias de Markov
Denicao (3.4.1): Diremos que o processo X = {X
n
: n = 0, 1, ...} e uma cadeia de
Markov, se para todo n,
P(X
n+1
= j | X
0
= i
0
, X
1
= i
1
, ..., X
n
= i) = P(X
n+1
= j | X
n
= i).
De maneira informal, podemos ver que a relac ao anterior estabelece que a distribuic ao
condicional de X
n+1
dada a historia do processo depende apenas do estado presente do
processo. P(X
n+1
= j | X
n
= i) dene a probabilidade de transic ao, em um passo, do
estado i para o estado j no instante de tempo n. Em geral essa probabilidade depende de
i, j e n. Quando essa probabilidade n ao depender de n, diremos que a cadeia e homogenea
no tempo ou que possui probabilidades de transicao estacion arias. Neste caso, denimos
P
ij
= P(X
n+1
= j | X
n
= i) n = 0, 1, 2, ...
As probabilidade de transicao podem ser arranjadas em uma matriz quadrada de
ordem M + 1 e ser a chamada Matriz de probabilidades de transic ao e denotada por P.
Isto e
12
P =

P
00
P
00
. . . P
0M
P
10
P
11
. . . P
1M
. . . . . .
. . . . . .
. . . . . .
P
M0
P
M1
. . . P
MM

Observemos que para cada i, {P

ij
, j = 0, 1, ..., M} dene uma fun cao de probabilidade.
Isto e, para cada i, tempos que
P
ij
0 paraj = 0, 1, ..., M
e
M

j=0
P
ij
= 1.
Uma matriz P cujas entradas satisfazem essas duas condic oes e chamada Matriz Es-
tocastica.
Distribuic oes Unidimensionais. A distribuic ao de X
0
e chamada distribuic ao ini-
cial da cadeia e ser a denotada por u

0
= (u
00
, u
01
, ...u
0M
), vetor de dimens ao M + 1. Por
abuso de notac ao, representaremos dessa forma um vetor linha. Se u

0
e P s ao conhecidas,
podemos encontrar a distribuic ao de X
n
para n = 1,2, ...
Calculemos, por exemplo, a distribuic ao de probabilidade de X
1
. Essa distribuic ao de
probabilidade ser a representada por u

1
= (u
10
, u
11
, ...u
1M
)
P(X
1
= j) =
M

i=0
P(X
0
= i, X
1
= j)
=
M

i=0
P(X
0
= i)P(X
1
= j | X
0
= i)
=
M

i=0
u
0i
P
ij
.
Observe que P(X
1
= j) e o produto escalar de u

0
pela coluna correspondente ao es-
tado j da matriz de probabilidade de transic ao P. Entao u

1
= u

0
P. Isto e, o vetor que
representa a func ao de probabilidade de X
1
e obtido como o produto matricial do vetor
u

0
pela matriz P.
13
Em forma an aloga podemos encontrar a distribuic ao de X
2
. De fato,
P(X
2
= j) =
M

i=0
P(X
1
= i, X
2
= j)
=
M

i=0
P(X
1
= i)P(X
2
= j | X
1
= i)
=
M

i=0
u
1i
P
ij
.
Ou seja u

2
= u

1
P = (u

0
P)P = u

0
P
2
.
Podemos perceber que se o vetor u

k
representando a func ao de probabilidade de X
k
for conhecido, o vetor u

k+1
pode ser obtido como o produto matricial do vetor u

k
pela
matriz P. Isto e, u

k+1
= u

k
. Iterativamente obtem-se u

k+1
= u

k
P = u

k1
P
2
= ... =
u

0
P
k+1
. Ou seja, a distribuic ao de probabilidade de X
k+1
pode ser obtida tambem como
o produto matricial do vetor representando a distribuic ao inicial da cadeia pela matriz
P
k+1
. Veremos mais para frente que P
k+1
e a matriz de probabilidades de transic ao de
ordem k + 1.
Quer dizer que se conhecemos a distribuic ao inicial e a matriz de probabilidade de
transic ao, todas as distribuic oes unidimensionais podem ser calculadas.
Distribuicoes Multivariadas. Falemos agora das distribuic oes nito-dimensionais.
Para isso, precisamos calcular as probabilidades de transi cao de ordem superior. Temos
denido P
ij
como a probabilidade de transic ao do estado i para o estado j em um passo.
Denamos P
(2)
ij
como a probabilidade de transic ao do estado i para o estado j em dois
passos. Isto e
P
(2)
ij
= P(X
n+2
= j | X
n
= i)
Essa probabilidade condicional pode ser calculada como a funcao de probabilidade
marginal de uma func ao de probabilidade condicional conjunta, ou seja
14
P
(2)
ij
= P(X
n+2
= j | X
n
= i)
=
M

i=0
P(X
n+1
= k, X
n+2
= j | X
n
= i)
=
M

i=0
P(X
n+1
= k | X
n
= i)P(X
n+2
= j | X
n+1
= k)
=
M

i=0
P
ik
P
kj
.
Esse resultado estabelece que a probabilidade de transic ao, de segunda ordem, do es-
tado i para o estado j e calculada somando as probabilidades de todas as trajet orias que
v ao do estado i para um estado intermedi ario k em um passo e do estado k para o estado
j em mais um passo.
O leitor pode observar que P
(2)
ij
e o produto escalar da linha correspondente ao estado
i pela coluna correspondente ao estado j da matriz P. Isto e, se denirmos P
(2)
como a
matriz de probabilidade de transic ao em dois passos ou matriz de transic ao de segunda
ordem, temos que P
(2)
= PP = P
2
.
3.5 Equacoes de Chapman-Kolmogorov
Essas equa coes s ao de muita utilidade no estudo de processos de Markov. Elas estab-
elecem que a probabilidade de transic ao de ordem n+m de um estado i para um estado j
pode ser calculada somando todos os produtos das probabilidades de transic ao do estado
i para um estado intermedi ario k em m passos pelas correspondentes probabilidade de
transic ao do estado k para o estado j em n passos.
Equac oes de Chapman-Kolmogorov para processos a tempo contnuo. Para todo t, s
0, i, j E vale
P
i,j
(t + s) =

kE
P
i,j
(t)P
k,j
(s).
Demonstrac ao. Decompondo o espaco amostral da forma
=

kE
{X
t
= k}
15
P
(t+s)
ij
= P(X
t+s
= j | X
0
= i)
=

kE
P(X
t+s
= j | X
t
= k, X
0
= i)P(X
t
= k | X
0
= i)
=

kE
P(X
s
= j | X
0
= k)P(X
t
= k | X
0
= i)
=

kE
P
k,j
(s)P
k,j
(t).
e o resultado desejado ca provado.
Na prova acima condicionamos em relacao a eventos que xam o estado do processo
no instante t.
3.6 Distribuicao Exponencial
Usada como base na teoria de Processos de Markov de Salto Puro.
Seja X uma vari avel aleat oria com distribuic ao Exponencial, com paremetro ( 0),
isto e, X Exp().
Funao densidade de probabilidade:
f
x
(x) =

e
x
, x 0
0, x < 0
Funcao de Distribuic ao Acumulada:
F
x
(x) =

P(X x) = 0, x < 0
1 e
x
, x 0
Media de X: E(X) =
1

.
Variancia de X: V ar(X) =
1

2
.
A distribuic ao Exponencial nao tem mem oria (Propriedade Markoviana).
P(X > t + s | X > s) = P(X > t), s, t 0
Podemos pensar na Propriedade de Falta de Mem oria implicando num componente
cuja durac ao T Exp() est a sendo estudada funcione sempre como novo, ou seja, seu
potencial para falha e constante. Assim, a distribuicao exponencial presta-se ` a mode-
lagem do perodo de vida util de um componente, mas n ao se perodos de desgaste ou
aperfeicoamento.
16
3.7 Notacao de Teoria de Filas
Um sistema de las com apenas uma la, consiste de uma la de tamanho nito ou
innito e de um ou mais servidores identicos. Um servidor atende apenas um cliente por
vez, logo pode estar ocioso ou ocupado. Se todos os servidores est ao ocupados quando
da chegada de um cliente, este sera colocado em um buer (assumindo que h a espa co) e
espera para ser atendido.
A seguinte notac ao, conhecida como notac ao de Kendall, e muito utilizada para de-
screver sistemas de las:
A/B/m/K
onde A indica a distribuic ao da chegada de cliente, B denota a distribuic ao do tempo
de servico, m indica o n umero de servidores (m 1) e K indica o tamanho m aximo da
la (capacidade).
Por exemplo, M/M/1/3 indica que o tempo entre chegadas e o tempo de servico s ao
regidos por distribuic oes exponenciais, h a apenas 1 servidor e a capacidade da la e de 3
clientes.
4 Processos de Markov de Puro Salto
4.1 Denicao e Propriedades
Considere um sistema de partida no estado x
0
no tempo 0. Supomos que os sistema
permanece no estado x
0
ate algum tempo positivo
1
momento em que o sistema salta
para um novo estado x
1
= x
0
. Temos a possibilidade de que o sistema se matenha per-
manentemente no estado x
0
, caso em que denimos
1
= . Se
1
e nito, ao atingir x
1
o
sistema permanece l a ate algum tempo
2
>
1
quando salta para o estado x
2
= x
1
. Se o
sistema nunca deixa x
1
, vamos denir
2
= . Este procedimento e repetido indenida-
mente. Se algum
m
= , vamos denir
n
= para n > m.
Seja X(t) denotamos o sistema de estados num momento, denido por
X(t) =

x
0
, 0 t <
1
,
x
1
,
1
t <
2
,
x
2
,
2
t <
3
,
.
.
.
(4.1)
O processo denido por (4.1) e chamado um processo de salto. A primeira vista pode
parecer que (4.1) dene X(t) para todo t 0. Mas este n ao e necessariamente o caso.
17
Considere, por exemplo, uma bola quicando no ch ao. Seja, o estado do sistema ser o
n umero de saltos que ela fez. Fazemos sicamente razo avel a suposic ao de que o tempo e
os segundos entre o enesimo salto e o (n+1)th salto e 2
n
. Ent ao x
n
= n e

n
= 1 +
1
2
+ ... +
1
2
n1
= 2
1
2
n1
Vemos que t
n
< 2 e t
n
2 como n .
Assim (4.1) dene X(t) apenas para 0 t < 2. Ate o tempo t=2 a bola ter a feito um
n umero innito de saltos. Neste caso, seria X(t) = para t 2.
Em geral, se
lim
n

n
< , (4.2)
dizemos que o processo X(t) explode. Se o processo de X(t) n ao explode, isto e, se
lim
n

n
= , (4.3)
ent ao (4.1) dene X(t) para todos os t 0.
Iremos agora especicar uma estrutura de probabilidade para tal processo de salto.
Supomos que todos os estados s ao de um dos dois tipos, absorvente ou n ao-absorvente.
Assim que o processo chega a um estado absorvente, ele permanece l a permanente-
mente. Em cada estado x n ao-absorvente, la est a associada uma func ao de distribuic ao
F
x
(t), < t < , que desaparece para t 0, e probabilidade de transic ao Q
xy
, y L,
que sao n ao negativos tal que Q
xx
= 0 e

y
Q
xy
= 1. (4.4)
O processo a partir de x permanece l a por um perodo de tempo aleatorio
1
tem
func ao de distribuicao F
x
e depois salta para o estado X(
1
) = y com probabilidade Q
xy
,
y L. Assumimos que
1
e X(
1
) sao escolhidos independentes um dos outros, isto e, que
P
x
(
1
t, X(
1
) = y) = F
x
(t)Q
xy
.
Usaremos a notac ao P
x
() e E
X
() para denotar probabilidades de eventos e expectativas
de vari aveis aleatorias denidas em termos de um processo inicialmente no estado x.
Sempre e por mais que o processo vai para um estado y, ele age como um processo de saltos
comecando inicialmente em y. Por exemplo, se x e y s ao dois estados nao-absorventes,
P
x
(
1
s, X(
1
) = y,
2

1
t, X(
2
) = z) = F
x
(s)Q
xy
F
y
(t)Q
yz
.
18
F ormulas semelhantes valem para os eventos denidos em termos de tres ou mais
saltos. Se x e um estado absorvente, montamos Q
xy
=
xy
, onde

xy
=

1, y = x,
0, y = x.
Equac ao (4.4) agora vale para todo x L.
Dizemos que o processo de salto e puro ou n ao-explosivo se (4.3) mantem com proba-
bilidade um, independentes do ponto de partida. Caso contr ario, dizemos que o processo
e explosivo. Se o estado L e nito, o processo de salto e necessariamente n ao-explosivo.

E facil de construir exemplos que tem um espaco de estado innito que s ao explosivos.
Tais processos, contudo, nao s ao susceptveis de ocorrer em aplicac oes pr aticas. De qual-
quer maneira, para manter simples os assuntos, assumimos que o nosso processo e nao-
explosivo. O conjunto de probabilidade zero onde (4.3) falha em segurar, pode ser igno-
rado. Vamos a partir de (4.1) que X(t) e entao denido para todo t 0.
Seja P
xy
(t) a probabilidade de que um processo inicial no estado x estar a no estado y
no tempo t. Ent ao
P
xy
(t) = P
x
(X(t) = y)
e

y
P
xy
(t) = 1.
Em especial, P
xy
(0) =
xy
. N os tambem podemos escolher o estado x inicial de acordo
com uma distribuicao inicial
0
(x), x L, onde
0
(x) 0 e

0
(x) = 1.
Neste caso,
P(X(t) = y) =

0
(x)P
xy
(t).
A func ao de transi cao P
xy
(t) n ao pode ser usado diretamente para obter tais proba-
bilidades como
P(X(t
1
) = x
1
, ..., X(t
n
) = x
n
)
a menos que o processo de salto satisfaz a propriedade de Markov, que estabelece que
para 0 s
1
... s
n
s t e x
1
, ..., x
n
, x, y L,
19
P(X(t) = y | X(s
1
) = x
1
, ..., X(s
n
) = x
n
, X(s) = x) = P
xy
(t s).
Por um processo de Markov de Salto Puro, queremos dizer um processo de salto puro
que satisfaz a propriedade de Markov. Pode demonstrar-se, que um processo de salto
puro e markoviano se e s o se todos os estados x nao-absorventes sao tais que
P
x
(
1
> t + s |
1
> s) = P
x
(
1
> t), s, t 0,
isto e, de tal modo que
1 F
x
(t + s)
1 F
x
(s)
= 1 F
x
(t), s, t 0. (4.5)
Agora, uma func ao de distribui cao F
x
satisfaz (4.5) se e somente se for uma func ao
de distribui cao exponencial. Conclui-se que um processo de salto puro e markoviano se e
somente se F
x
e uma distribuic ao exponencial para todos os estados x n ao-absorventes.
Seja X(t), 0 t < , ser um processo de Markov de salto puro. Se x e um estado
n ao-absorvente, ent ao F
x
, tem uma densidade exponencial f
x
. Seja q
x
denota o parametro
desta densidade. Depois q
x
= 1/E
x
(
1
) > 0 e
f
x
(t) =

q
x
e
qxt
, t 0,
0, t < 0.
Observe que
P
x
(
1
t) =

t
q
x
e
qxs
ds = e
qxt
, t 0.
Se x e um estado absorvente, vamos denir q
x
= 0.
Segue-se a partir da propriedade de Markov que para 0 t
1
... t
n
e x
1
, ..., x
n
em
L.
P(X(t
1
) = x
1
, ..., X(t
n
) = x
n
)
= P(X(t
1
) = x
1
)P
x
1
x
2
(t
2
t
1
) P
x
n1
xn
(t
n
t
n1
).
(4.6)
Em particular, para s 0 e t 0
P
x
(X(t) = z, X(t + s) = y) = P
xz
(t)P
zy
(s).
Desde,
P
xy
(t + s) =

z
P
x
(X(t) = z, X(t + s) = y),
Conclumos que
20
P
xy
(t + s) =

z
P
xz
(t)P
zy
(s), s 0 e t 0. (4.7)
A equac ao (4.7) e conhecida como a equa cao Chapman-Kolmogorov.
A funcao de transic ao P
xy
(t) satisfaz a equac ao integral
P
xy
(t) =
xy
e
qxs
+

t
0
q
x
e
qxs

z=x
Q
xz
P
zy
(t s)

ds, t 0. (4.8)
que vamos agora vericar. Se x e um estado absorvente, (4.8) reduz ao fato obvio de
que
P
xy
(t) =
xy
, t 0
Supondo x n ao e um estado absorvente. Em seguida, por um processo a partir de x, o
evento {
1
t, X(
1
) = z e X(t) = y} ocorre se, e apenas se o primeiro salto ocorre em
algum momento s t e leva o processo para z, e o processo vai de z para y no restante
t s unidades de tempo. Assim,
P
x
(
1
t, X(
1
) = z e X(t) = y) =

t
0
q
x
e
qxs
Q
xz
P
zy
(t s)ds,
Ent ao,
P
x
(
1
t, X(t) = y) =

z=y
P
x
(
1
t, X(
1
) = z e X(t) = y)
=

t
0
q
x
e
qxs

z=x
Q
xz
P
zy
(t s)

ds,
Igualmente
P
x
(
1
> t, X(t) = y) =
xy
P
x
(
1
> t)
=
xy
e
qxt
Consequentemente,
P
xy
(t) = P
x
(X(t) = y)
= P
x
(
1
> t e X(t) = y) + P
x
(
1
t e X(t) = y)
=
xy
e
qxt
+

t
0
q
x
e
qxs

z=x
Q
xz
P
zy
(t s)

ds,
21
como armado. Substituindos s por t s na integral em (4.8), podemos reescrever
(4.8) como
P
xy
(t) =
xy
e
qxt
+ q
x
e
qxt

t
0
e
qxs

z=x
Q
xz
P
zy
(s)

ds, t 0. (4.9)
Segue-se de (4.9) que P
xy
(t) e contnuo em t para t 0. Portanto, o integrando em
(4.9) e uma func ao contnua, assim podemos diferenciar o lado direito. Obtemos
P

xy
(t) = q
x
P
xy
(t) + q
x

z=x
Q
xz
P
zy
(t), t 0. (4.10)
Em particular,
P

xy
(0) = q
x
P
xy
(0) + q
x

z=x
Q
xz
P
zy
(0)
= q
x

xy
+ q
x

z=x
Q
xz

zy
= q
x

xy
+ q
x
Q
xy
Congurando
q
xy
= P

xy
(0), x, y L. (4.11)
Depois
q
xy
=

q
x
, y = x,
q
x
Q
xy
, y = x.
(4.12)
Segue-se a partir de (4.12) que

y=x
q
xy
= q
x
= q
xx
. (4.13)
As quantidades q
xy
, x L e y L, s ao chamados de par ametros innitesimal do
processo. Estes parametros determinam q
x
e Q
xy
, e assim pela sua construc ao determina
uma cadeia unica de Markov de processo de puro salto. Podemos reescrever (4.10) em
termos de par ametros innitesimal como
P

xy
(t) =

z
q
xz
P
zy
(t), t 0. (4.14)
Esta equac ao e conhecida como equac oes retrospectivas.
22
Se L e nito, podemos diferenciar a equac ao Chapman-Kolmogorov com relac ao a s,
obtendo
P

xy
(t + s) =

z
P
xz
(t)P

zy
(s), s 0 e t 0. (4.15)
Em particular,
P

xy
(t) =

z
P
xz
(t)P

zy
(0), t 0,
ou equivalentemente,
P

xy
(t) =

z
P
xz
(t)q
zy
, t 0, (4.16)
A f ormula (4.16) e conhecida como equac oes prospectivas. Pode-se mostra que (4.15)
e (4.16) mantem mesmo se L e innito, mas as provas n ao sao f aceis e sera omitida.
4.2 Processo de Nascimento e Morte
Seja L = {0, 1, ..., d} ou L = {0, 1, 2, ...}. Por um processo de nascimento e morte
em L queremos dizer, um processo de Markov de Salto Puro em L tendo os parametros
innitesimal q
xy
tais que
q
xy
= 0, | y x |> 1.
Assim, um processo de nascimento e morte comeca em x podendo ir em um unico
salto apenas para os estados x-1 ou x+1.
Os par ametros
x
= q
x,x+1
, x L, e
x
= q
x,x1
, x L, chamamos respectivamente
de taxa de nascimento e taxa de morte do processo. Os par ametros q
x
e Q
xy
do processo
pode ser simplesmente expressado em termos de taxas de nascimento e morte. Por (4.13)
q
xx
= q
x
= q
x,x+1
+ q
x,x1
,
de modo que,
q
xx
= (
x
+
x
) e q
x
=
x
+
x
, (4.17)
Assim x e um estado absorvente se e somente se,
x
=
x
= 0. Se x e um estado
n ao-absorvente, seguida pela (4.12)
Q
xy
=

x
x+x
, y = x 1,
x
x+x
, y = x + 1,
0, caso contr ario.
(4.18)
23
Um processo de nascimento e morte e chamado de processo de nascimento puro se

x
= 0, x L, e processo de morte puro se
x
= 0, x L. Um processo de nascimento
puro pode-se mover apenas para a direita e o processo de morte pura pode-se mover ape-
nas para a esquerda.
Dado n umeros nao-negativos
x
= 0, x L e
x
= 0, x L e natural que se pergunte
se ha um processo de nascimento e morte correspondentes a estes par ametros.

E claro,

0
= 0 e um requerimento necess ario,
d
= 0 se L e nito. O unico problema adicional
e que as explos oes devem ser excludas se L e innita. N ao e difcil para se obter uma
condic ao necess aria e suciente para que o processo seja n ao-explosivo. Uma condic ao
simples suciente para o processo ser nao-explosivo e que para alguns n umero positivos
A e B

x
= A + Bx, x 0.
Esta condic ao detem em todos os exemplos que serao considerados.
Para encontrar as taxas de nascimento e morte de um processo especco, vamos
usar algumas propriedades padrao de variaveis aleat orias independentes distribuidas ex-
ponencialmente. Seja
1
, ...,
n
sendo vari aveis aleatorias independentes de distribui cao
exponencial com os respectivos paremetros
1
, ...,
n
. Depois , min (
1
, ...,
n
) tem uma
distribuic ao exponecial com par ametro
1
+
2
+ ... +
n
e
P(
k
= min(
1
, ...,
n
)) =

k

1
+
2
+ ... +
n
, k = 1, ..., n. (4.19)
Alem disso, com probabilidade um, as vari aveis aleatorias
1
, ...,
n
assumem n valores
distintos.
Para vericar estes resultados observa-se em primeiro lugar que
P(min(
1
, ...,
n
) > t) = P(
1
> t, ...,
n
> t)
= P(
1
> t)...P(
n
> t)
= e

1
t
...e
nt
= e
(
1
+...+n)t
,
e portanto que min(
1
, ...,
n
) tem distribui cao exponencial indicada.
Congurando

k
= min(
j
: j = k).
Ent ao n
k
tem uma distribui cao exponencial com par ametros
24

k
=

j=k

j
,
e
k
e
k
s ao independentes. Assim,
P(
k
= min(
1
, ...,
n
)) = P(
k

k
)
=

k
e

k
x

k
e

k
y
dy

dx
=

k
e

k
x
e

k
x
dx
=

k

k
+
k
=

k

1
+
2
+ ... +
n
.
A m de demonstrar que as vari aveis aleat orias
1
, ...,
n
assumem n valores distintos,
com probabilidade um, e suciente par mostrar que P(
i
=
j
) = 1 para i = j. Mas uma
vez que
i
e
j
tem uma densidade conjunta f, segue-se que
P(
i
=
j
) =

((x,y):x=y)
f(x, y)dxdy = 0,
como desejado.
Processo de Ramicacao. Considere um conjunto de partculas que age de forma
independente, dando origem a sucessivas gera coes de partculas. Supondo que cada par-
ticula, a partir do momento que aparece, espera um comprimento de tempo aleat orio, que
tem como parametro q e se divide em duas partculas identicas, com probabilidade p e
desaparece com probabilidade 1 p. Seja x(t), 0 t < , denotam o n umero de partic-
ulas presentes no tempo t. Este processo de ramicac ao e um processo de nascimento e
morte. Iremos encontrar agora, as taxas de nascimento e morte.
Considere um processo de ramicac ao de partida com x partculas. Seja
1
, ...,
k
ser
as vezes necessarias ate que essas partculas se separem ou desaparecam. Ent ao
1
, ...,
k
cada um tem uma distribuic ao exponencial com parametro q, e por isso
1
= min(
1
, ...,
k
)
tem uma distribuic ao exponencial com par ametros q
x
= xq. Seja qual for a partculas que
age primeiro tem probabilidade p de se dividir em duas partculas e probabilidade 1 p
de desaparecer. Assim para x 1
Q
x,x+1
= p Q
x,x1
= 1 p.
Estado 0 e um estado absorvente. Desde
x
= q
x
Q
x,x+1
e
x
= q
x
Q
x,x1
, conclumos
que

x
= xqp e
x
= xq(1 p), x 0.
25
No exemplo da ramicac ao que n ao chegou a provar que o processo e um processo
de nascimento e morte, ou seja, que comeca do zerodepois de fazer um salto. Esta
propriedade intuitivamente razo avel depende basicamente do fato de que uma vari avel
aleat oria exponencialmente distribuda satisfaz a f ormula.
P( > t + s | > s) = P( > t), s, t 0,
mas uma prova rigorosa e complicada.
Por (4.17) e a denicao de
x
e
x
, as equac oes retrospectivas e prospectivas, para um
processo de nascimento e morte podem ser escritos respectivamente como
P

xy
(t) =
x
P
x1,y
(t) (
x
+
x
)P
xy
(t) +
x
P
x+1,y
(t), t 0. (4.20)
e
P

xy
(t) =
y1
P
x,y1
(t) (
y
+
y
)P
xy
(t) +
y+1
P
x,y+1
(t), t 0. (4.21)
Em (4.21) vamos denir
y1
= 0, e se L = {0, ..., d} para d < , vamos denir
d+1
= 0.
Vamos resolver as equac oes retrospectivas e prospectivas, para um processo de nasci-
mento e morte em alguns casos especiais. Para fazer isso, usaremos o resultado de que
se
f

(t) = f(t) + g(t), t 0. (4.22)

depois
f(t) = f(0)e
t
+

t
0
e
(ts)
g(s)ds, t 0. (4.23)
A prova deste resultado padr ao e muito f acil. Multiplicamos (4.22) atraves de e
t
e
reescrevemos a equac ao resultante como
d
dt
(e
t
f(t)) = e
t
g(t)
integrando de 0 a t, descobrimos que
e
t
f(t) f(0) =

t
0
e
x
g(s)ds.
e portanto, que (4.23) detem.
26
4.3 Processo de Nascimento e Morte em Dois Estados
Considere um processo de nascimento e morte que tenha espa co de estados L = {0, 1},
e suponhamos que 0 e 1 sao os dois estados n ao-absorventes.
Desde
0
=
1
= 0, o processo e determinado pelos par ametros
0
e
1
. Pela simplici-
dade da notac ao vamos denir =
0
e =
1
. Podemos interpretar tal processo como
o processo, pensando no estado 1 como o sistema (por exemplo, telefone ou m aquina) a
funcionar e o estado 0 como o sistema a car ocioso. Supomos que a partir de um estado
inativo, o sistema permanece inativo por um periodo de tempo aleatorio que e distribuido
exponencialmente com o parametro , e que a partir de um estado de funcionamento do
sistema continua a operar por um perodo de tempo aleatorio que e distribuido exponen-
cialmente com o par ametro .
Vamos encontrar a funcao de transic ao do processo de resoluc ao das equacoes retro-
spectivas.
Fixando y = 0 em (4.20), vemos que
P

00
(t) = P
00
(t) + P
10
(t), t 0, (4.24)
e
P

10
(t) = P
00
(t) P
10
(t), t 0. (4.25)
Subtraindo a segunda equa cao pela primeira,
d
dt
(R
00
(t) P
10
(t)) = ( + )(P
00
(t) P
10
(t)).
Aplicac ao (4.23),
P
00
(t) P
10
(t) = (P
00
(0) P
10
(0))e
(+)t
= e
(+)t
.
(4.26)
Aqui nos usamos as formulas P
00
(0) = 1 e P
10
(0) = 0. Agora segue-se a partir de
(4.24) que
P

00
(t) = (P
00
(t) P
10
(t))
= e
()t
,
Assim
27
P
00
(t) = P
00
(0) +

t
0
P

00
(s)ds
= 1

t
0
e
(+)s
ds
=

+
(1 e
(+)t
),
ou equivalentemente,
P
00
(t) =

+
+

+
e
(+)t
, t 0. (4.27)
Agora, por (4.26), P
10
(t) = P
00
(t) - e
(+)t
, e portanto
P
10
(t) =

+


+
e
(+)t
, t 0. (4.28)
Pelas denic oes y = 1 na equa coes retrospectivas, ou subtraindo P
00
(t) e P
10
(t) a
partir de um, conclumos que
P
01
(t) =

+


+
e
(+)t
, t 0. (4.29)
e
P
11
(t) =

+


+
e
(+)t
, t 0. (4.30)
De (4.27)-(4.30) vemos que
lim
t
P
xy
(t) = (y), (4.31)
onde
(0) =

+
e (1) =

+
. (4.32)
Se
0
e a distribuic ao inicial do processo, em seguida, por (4.27) e (4.28)
P(X(t) = 0) =
0
(0)P
00
(t) + (1
0
(0))P
10
(t)
=

+
+

0
(0)

+

e
(+)t
, t 0
Similarmente,
28
P(X(t) = 1) =

+
+

0
(1)

+

e
(+)t
, t 0 (4.33)
Assim P(X(t) = 0) e P(X(t) = 1) s ao independentes de t se e somente se
0
e a
distribuic ao dada pela (4.32)
4.4 Aplicacoes Praticas do Metodo
Processo de Nascimento e Morte ou Processo de Markov de Salto Puro e uma repre-
sentac ao atraves de estados e transic oes entre esses estados de um sistema com uma la
simples (Figura 4.1). O nascimento representa a chegada de mais um cliente na la, en-
quanto a morte representa um cliente que foi atendido.

E importante frisar que o tamanho
desta la pode ser tanto innito quanto nito.
Figura 4.1: Processo de nascimento e morte.
Como observado na Figura 4.1 representa a taxa que ocorrem nascimentos em um
dado estado (taxa de nascimento) e representa a taxa que ocorrem mortes em um dado
estado (taxa de morte). Em outras palavras, podemos dizer que e a taxa de chegada
de clientes e e a taxa de servico dos mesmos. Logo, o tempo de chegada entre cliente e,
em media,
1

e o tempo de servico de cada cliente e, em media,

1

.
Alem disso, pode-se observar a raz ao =

(intensidade de trafego) mostra que:

se > 1, ha mais chegadas do que sadas de clientes. O n umero de clientes no
sistema e ilimitado, o sistema e inst avel;
se < 1, h a mais sadas do que chegas de clientes. Existe uma solu cao estacion aria
para o sistema;
se = 1, signica que chega, em media, o mesmo n umero de clientes que saem
do sistema. Qualquer n umero de clientes no sistema e equiprov avel, o sistema e
inst avel.
29
Ser ao mostrados um exemplo de como resolver um sistema caracterizado por processos
de nascimento e morte em um sistema de las. Tal exemplo e quando o sistema possui
capacidade ininita e um servidor (M/M/1/), tambem chamdo independente de carga.
Portanto, o sistema de Filas tenta atraves de analises estatsticas detalhadas encon-
trar um ponto de equilbrio que satisfaca o cliente e seja vi avel economicamente para o
provedor do servico de uma empresa.
Solucao para M/M/1/
A gura 4.2 mostra um processo de nascimento e morte M/M/1/
Figura 4.2: Processo de nascimento e morte M/M/1/.
Intuic ao: a probabilidade de estar no estado i depende da probabilidade de estar no
estado i 1 e das taxas de sadas de i 1 para i e de retorno de i para i 1. Como
o somatorio de todas probabilidades tem que ser 1, a probabilidade do primeiro estado
(estado 0) e determinada sabendo-se a soma de todas outras probabilidades.
Desta maneira, para i > 0 temos que a probabilidade de se encontrar no estado i (P
i
)
e:
P
i
= P
i1
(

)
Ou, de outra maneira:
P
i
= P
0
(

)
i
Agora falta encontrar P
0
. Sabe-se que:

i0
P
i
= 1
Ou seja:

i0

i
P
0
= 1
30
Assim tem-se que a probabilidade de se encontrar no estado i = 0 (P
0
) e:
P
0
=
1

i0

i
Por uma sucessao de manipulacao tem-se:
P
0
=
1

i0

i
= 1 = 1

Conhecida como taxa de desocupacao do sistema, P

0
, isto e, a probabilidade de n ao
haver clientes no sistema.
4.5 Exemplos e Exerccios Resolvidos
4.5.1 Gerador Innitesimal
A matriz A = (q
ij
)
i,jE
e chamada de gerador innitesimal da cadeia {X
t
}
t0
.
Considere a cadeia de Markov com espaco de estados E = {a, b, c}, matriz de transicao
Q =

0 1 0
0, 4 0 0, 6
0 1 0

e taxas q
a
= 2, q
b
= 5 e q
c
= 3. Calcule o gerador innitesimal deste processo.
Soluc ao:
Como as taxas sao todas nao nulas, os estados sao est aveis. Os elementos da diagonal
de A sao os opostos das taxas. As entradas restantes sao obtidas multiplicando as taxas
pelas probabilidades de transic ao. Temos entao que q
ab
= q
a
Q
ab
= 2 1 = 2 e q
ac
= q
a
Q
ac
= 2 0 = 0. Procedendo de forma similar com as outras linhas, obtemos
A =

2 2 0
2 5 3
0 3 3

4.5.2 Sistema de las de servidor unico M/M/1

Considere um sistema de las na qual os clientes s ao servidos um de cada vez pela
ordem de chegada. O tempo entre chegadas de clientes e exponencialmente distribudo
com taxa , e o tempo requerido para atender um cliente e exponencialmente distribudo
com taxa . Encontre a fmp para o n umero de clientes no sistema quando este est a em
regime permanente.
31
Soluc ao:
As taxas de transic ao de estados s ao as seguintes. Os clientes chegam a uma taxa ,
ent ao
q
i,i+1
= i = 0, 1, 2, ...
Quando o sistema n ao est a vazio, os clientes saem a uma taxa . Ent ao
q
i,i1
= i = 0, 1, 2, ...
O diagrama de taxa de transicao e mostrado na Figura 4.1.
Figura 4.3: Diagrama de transic ao de estados para o sistema M/M/1.
As equacoes de balanco global s ao
p
0
= p
1
.j = 0 (4.34)
( + )p
j
= p
j1
+ p
j+1
, j = 1, 2, ... (4.35)
Podemos escrever a equa cao 4.35 como segue:
p
j
p
j+1
= p
j1
p
j
, j = 1, 2, ...
O que implica que
p
j1
p
j
= constante, j = 1, 2, ... (4.36)
A equac ao 4.36 com j = 1, juntamente com a a equacao 4.34, implica que
constante = p
0
p
1
= 0
A equac ao 4.36 torna-se
p
j1
= p
j
ou equivalentenente,
32
p
j
= p
j1
, j = 1, 2, ...
e por induc ao
p
j
=
j
p
0
, j = 1, 2, ...
onde = /. Obtemos p
0
notando que a soma das probabilidades precisa ser igual
a um:
1 =

j=0
p
j
= (1 + +
2
+ ...)p
0
=
1
1
p
0
onde a serie converge se e somente se < 1. Ent ao
p
j
= (1 )
j
, j = 1, 2, ...
A condicao para a existencia de uma soluc ao de regime permanente tem uma explica cao
simples. A condicao < 1 e equivalente a
<
isto e, a taxa na qual os clientes chegam precisa ser menor que a taxa na qual o sistema
possa atende-los. Caso contr ario, a la cresce sem limite `a medida que o tempo passa.
4.5.3 Processo de Nascimento e Morte
Um processo de nascimento e morte e uma cadeia de Markov para a qual ocorrem
transic oes apenas entre estados adjacentes, como mostrado na gura 4.2. O sitema de
la mostrada no exemplo de la M/M/1 e um exemplo de um processo de nascimento e
morte. Ser a repetido o mesmo exerccio para um processo de nascimento e morte geral.
Figura 4.4: Diagrama de taxa de transic ao para um processo de nascimento e morte geral.
Soluc ao:
As equacoes de balanco global para um processo de nascimento e morte geral s ao
33

0
p
0

1
p
1
, j = 0

j
p
j

j+1
p
j+1
=
j1
p
j1

j
p
j
, j = 1, 2, ...
Como no exemplo da la M/M/1, segue que
p
j
= r
j
p
j1
, j = 1, 2, ...
e
p
j
= r
j
r
j1
r
1
p
0
, j = 1, 2, ...
onde r
j
= (
j1
)/
j
. Se denirmos
R
j
= r
j
r
j1
r
1
, e R
0
= 1,
ent ao encontramos p
0
1 =

j=0
R
j

p
0
.
Se a serie da Equa cao acima converge, ent ao a fmp estacionaria e dada por
p
j
=
R
j

j=0
R
i
Se a serie nao converge, ent ao uma fmp estacionaria nao existe, e p
j
= 0 para todo j.
34
5 Conclusao
Neste relat orio, foi analisado o processo de Markov de puro salto, foram tomados
primeiramente como fundamentac ao te orica, os conceitos de probabilidade, vari aveis aleatorias,
denic oes de processos estoc asticos, cadeias de markov para tempo discreto e contnuo,
equac oes de Chapman-Kolmogorov, distribuic ao exponencial e nota cao de teoria de las, a
partir desta fundamenta cao, foi possvel compreender o processo de Markov de puro salto.
Foram denidos as propriedades principais do processo, observando que ele dar saltos
unit arios, permanecendo em cada estado por um tempo posistivo n, obdecendo sempre
uma func ao de probabilidade de transic ao P
xy
(t) = P
x
(X(t) = y), mostrando que o pro-
cesso sai de x chegando em y num tempo t, observou-se tambem que um processo markov
para tempo contnuo so e puro quando satisfaz as propriedades de Markov, e nao explode
o processo, ou seja, o limite quando n tende ao innito, espa co inito, o tempo
n
e igual
a , os casos de maior aplicac oes na pratica, sao os caso em que o espa co de estado e nito.
O processo de Nascimento e Morte, e uma deriva cao do processo de Markov de salto
puro, esse processo tambem tem salto unit arios, variando suas taxas entre, quando
ocorre um salto para o estado posterior (x,x+1), este e chamado de taxa de nascimento,
e quando ocorre um salto para o estado anterior (x,x-1), e denominado taxa de morte.
Sendo considerado, de processo de nascimento puro quando ele move-se apenas para a
direita, e de morte pura, quando ele move-se apenas para a esquerda.
Uma aplicac ao basica desse processo de Nascimento e Morte, ou processo de Markov
para Salto Puro, e o sistema de las. Ou seja, o nascimento representa a chegado do cliente
na la, enquanto a morte representa um cliente que foi atendido. Existem v arios tipos
especcos de las, cada um resolvido de manerias diferentes, requerendo conhecimento
de v arios conceitos especcos. Entao, o sistema de las tem como objetivo encontrar
atraves de an alises estatsticas detalhadas um ponto de equilbrio que satisfa ca o cliente
e seja vi avel economicamente para o provedor do servico em uma determinada empresa.
35
Referencias
[1] BUSSAB, W. O. & MORETTIN, P. Estatstica Basica. Probabilidades, Vari aveis
Aleat orias Contnuas. 5.ed. Atual, p.162-194, 2002.
[2] P. G. Hoel, S. C. Port & C.J. Stone, Introduction to Stochastic Processes , Houghton
Miin, , p.84-94, Boston ,1972.
[3] ALVES, M. B. C alculo das Probabilidade II. UERJ, p.32, 2006.
[4] Wikipedia. Estatstica. Disponvel em:
<http://pt.wikipedia.org/wiki/Estat%C3%ADstica#Estat.C3.ADstica computacion>.
Acesso: 04 junho. 2012
[5] SOUSA SILVA, N. Processos de Difus ao. Uma aplicacao nos Seguros. 2010. Disserta cao
(Mestrado em Matematica Aplicada ` a Engenharia) - Departamento de Matem atica,
Universidade de Aveiro, Cabo Verde, 2010.
[6] ATUNCAR, G. S. Conceitos B asicos de Processos Estocasticos. UFMG, p.4-26, 2009.
[7] HINOJOSA, A. Uma Introducao aos Processos Estoc asticos com Aplicac oes. UFMG,
p.104.
[8] CHANIN, R. et al. Avalia cao Quantitativa de Sistemas. PUC-RS, p.6-13, 2005.
36