Beruflich Dokumente
Kultur Dokumente
Cadenas de Markov
UNI-NORTE
CARRERAS ING. DE SISTEMAS E
INDUSTRIAL
I semestre 2008
Maestro
Ing. Julio Rito Vargas Avils.
Sumario
Procesos estocsticos
Concepto de cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificacin de estados
Cadenas absorbentes
Distribucin estacionaria
Procesos
estocsticos
Procesos estocsticos
Un sistema informtico complejo se
caracteriza por demandas de carcter
aleatorio y por ser dinmico
Necesitamos una herramienta que modele
procesos aleatorios en el tiempo, y para ello
usaremos los procesos estocsticos
Un proceso estocstico es una familia de
variables aleatorias parametrizadas por el
tiempo
Procesos estocsticos
Un proceso estocstico es una familia de
variables aleatorias definida sobre un
espacio de probabilidad. Es decir:
X t : , t T
X t X , t
Procesos estocsticos
Tendremos que X es una funcin de dos
argumentos. Fijado =0, obtenemos
una funcin determinista (no aleatoria):
X , 0 : T
t X t , 0
Procesos estocsticos
X t0 , :
X t0 ,
Procesos estocsticos
El espacio de estados S de un proceso
estocstico es el conjunto de todos los
posibles valores que puede tomar dicho
proceso:
S X t | t T
Ejemplo de proceso
estocstico
Lanzamos una moneda al aire 6 veces. El
jugador gana 1 cada vez que sale cara (C),
y pierde 1 cada vez que sale cruz (F).
Xi = estado de cuentas del jugador despus
de la i-sima jugada
La familia de variables aleatorias {X1, X2,,
X6} constituye un proceso estocstico
Ejemplo de proceso
estocstico
={CCCCCC,CCCCCF,}
card() = 26 = 64
P()=1/64
T={1, 2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X1()={1, 1}
X2()={2, 0, 2}
X3()={3,-1 1, 3}
Ejemplo de proceso
estocstico
Si fijo , por ejemplo 0=CCFFFC, obtengo
una secuencia de valores completamente
determinista:
X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0,
X5(0)= 1, X6(0)=0
Puedo dibujar con estos valores la trayectoria
del proceso:
Ejemplo de proceso
estocstico
3
2
Valor del proceso
-1
-2
1 2 3 4 5 6
Instante de tiempo, t
Ejemplo de proceso
estocstico
Si fijo t, por ejemplo t0=3, obtengo una de las
variables aleatorias del proceso:
X3 :
X 3
PX 3 ( ) 3 PCCC
1 1 1 1
2 2 2 8
PX 3 ( ) 3 PFFF
1 1 1 1
2 2 2 8
Clasificacin de los procesos
estocsticos
S discreto S continuo
Sucesin de
variables
T discreto Cadena
aleatorias
continuas
qij
i j
Ejemplo: lnea telefnica
Sea una lnea telefnica de estados
ocupado=1 y desocupado=0. Si en el
instante t est desocupada, en el instante t+1
estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: lnea telefnica
0,9 0,1
Q
0,3 0,7
0,1
0,9 0 1 0,7
0,3
Ejemplo: buffer de E/S
Supongamos que un buffer de E/S tiene espacio
para M paquetes. En cualquier instante de tiempo
podemos insertar un paquete en el buffer con
probabilidad o bien el buffer puede vaciarse con
probabilidad . Si ambos casos se dan en el mismo
instante, primero se inserta y luego se vaca.
Sea Xt=n de paquetes en el buffer en el instante t.
Suponiendo que las inserciones y vaciados son
independientes entre s e independientes de la
historia pasada, { Xt } es una CM, donde S={0, 1, 2,
, M}
Ejemplo: buffer de E/S
1(1) 1+ 1+ 1+
(1) (1) (1)
0 1 2 3
(1) 1
M
Ejemplo: Lanzamiento de un
dado
Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde 1 , y cada
vez que sale 5 6 se gana 1 . El juego
acaba cuando se tienen 0 100 .
Sea Xt=estado de cuentas en el instante t.
Tenemos que { Xt } es una CM
S={0, 1, 2, , 100}
Ejemplo: Lanzamiento de un
dado
1
2/3 2/3 2/3 2/3 2/3 2/3
0 1 2 3 4 5
1/3 1/3 1/3 1/3
1
2/3 2/3 2/3 1/3
97 98 99 100
1/3
1/3 1/3 1/3
Ejemplo: organismos
unicelulares
Se tiene una poblacin de organismos
unicelulares que evoluciona as: cada
organismo se duplica con probabilidad 1p o
muere con probabilidad p. Sea Xn el n de
organismos en el instante n. La CM { Xn }
tendr S = { 0, 1, 2, 3, } = N
Si hay i organismos en el instante n, en el
instante n+1 tendremos k organismos que se
dupliquen e ik que mueran, con lo que
habr 2k organismos.
Ejemplo: organismos
unicelulares
Mediante la distribucin binomial podemos
hallar las probabilidades de transicin qi,2k
(el resto de probabilidades son nulas):
i
k 0,1,2,..., i, qi , 2 k 1 p p
k i k
k
Ecuaciones de
Chapman-Kolmogorov
Ecuaciones de Chapman-
Kolmogorov
Teorema: Las probabilidades de
transicin en n pasos vienen dadas por
la matriz p(n):
X t n j
i, j S , P p (n)
M
pik( m ) pkj( n m )
X t i ij
k 0
P
X t n 1 j P X t n k X t n1 j
X t i kS
X t i
X t n k P X t n 1 j
P H .I .
kS
X t i X t n k
X t n 1 j
qikn P q n q q n1
kS
X t n k
kS
ik kj ij
Ecuaciones de Chapman-
Kolmogorov
Por este teorema sabemos que la
probabilidad de transitar de i hasta j en n
pasos es el elemento (i,j) de Qn. Para evitar
computaciones de potencias elevadas de
matrices, se intenta averiguar el
comportamiento del sistema en el lmite
cuando n, llamado tambin
comportamiento a largo plazo
A continuacin estudiaremos esta cuestin
Clasificacin
de estados
Clasificacin de estados
Probabilidad de alcanzar un estado:
X n j para algn n 0
i, j S , ij P
X 0 i
Diremos que un estado jS es alcanzable
desde el estado iS sii ij0. Esto significa que
existe una sucesin de arcos (camino) en el
DTE que van desde i hasta j.
Un estado jS es absorbente sii qjj=1. En el
DTE,
1
j
Subconjuntos cerrados
Sea CS, con C. Diremos que C es
cerrado sii iC jC, j no es alcanzable
desde i, o lo que es lo mismo, ij=0. En
particular, si C={i}, entonces i es absorbente.
S siempre es cerrado.
Un subconjunto cerrado CS se dice que es
irreducible sii no contiene ningn subconjunto
propio cerrado
Estados recurrentes y
transitorios
Si S es irreducible, se dice que la CM es
irreducible. En el DTE, esto ocurre sii dados
i,j cualesquiera, j es alcanzable desde i
Diremos que un estado jS es recurrente sii
jj=1. En otro caso diremos que j es
transitorio. Se demuestra que una CM slo
puede pasar por un estado transitorio como
mximo una cantidad finita de veces. En
cambio, si visitamos un estado recurrente,
entonces lo visitaremos infinitas veces.
Estados recurrentes y
transitorios
Proposicin: Sea CS cerrado, irreducible y finito.
Entonces iC, i es recurrente
Ejemplos: La CM de la lnea telefnica es
irreducible. Como adems es finita, todos los
estados sern recurrentes. Lo mismo ocurre con el
ejemplo del buffer
Ejemplo: En el lanzamiento del dado, tenemos los
subconjuntos cerrados {0}, {100}, con lo que la CM
no es irreducible. Los estados 0 y 100 son
absorbentes, y el resto son transitorios
Estados recurrentes y
transitorios
Proposicin: Sea iS recurrente, y sea jS un
estado alcanzable desde i. Entonces j es recurrente.
Demostracin: Por reduccin al absurdo,
supongamos que j es transitorio. En tal caso, existe
un camino A que sale de j y nunca ms vuelve. Por
ser j alcanzable desde i, existe un camino B que va
desde i hasta j. Concatenando el camino B con el A,
obtengo el camino BA que sale de i y nunca ms
vuelve. Entonces i es transitorio, lo cual es absurdo
porque contradice una hiptesis.
Cadenas recurrentes y
transitorias
Proposicin: Sea X una CM irreducible.
Entonces, o bien todos sus estados son
recurrentes (y decimos que X es
recurrente), o bien todos sus estados
son transitorios (y decimos que X es
transitoria).
Ejemplo: Estado de cuentas con un to
rico (fortunes with the rich uncle).
Probabilidad p de ganar 1 y 1p de
perder 1 . Cuando me arruino, mi to
me presta dinero para la prxima tirada:
Cadenas recurrentes y
transitorias
1p 1p 1p 1p 1p
0 1 2 3
p p p p
1p 1p 1p
n n+1
p p p
Cadenas recurrentes y
transitorias
Esta cadena es irreducible e infinita. Se
demuestra que es transitoria sii p>0,5 y
recurrente en otro caso (p0,5)
La cadena es transitoria cuando la tendencia
global es ir ganando dinero. Esto implica
que una vez visitado un estado, al final
dejaremos de visitarlo porque tendremos
ms dinero.
Periodicidad
Sea jS tal que jj>0. Sea
k mcd {n N {0} | q jjn 0}
Si k>1, entonces diremos que j es peridico
de periodo k. El estado j ser peridico de
periodo k>1 sii existen caminos que llevan
desde j hasta j pero todos tienen longitud
mk, con m>0
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:
i j l m
Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
2 5
1 3 4 6
Periodicidad
Proposicin: Sea X una CM irreducible.
Entonces, o bien todos los estados son
peridicos de periodo k (y decimos que X es
peridica de periodo k), o bien ningn estado
es peridico (y decimos que X es aperidica)
En toda CM peridica de periodo k, existe
una particin de S, ={A1, A2, , Ak}, de
tal manera que todas las transiciones van
desde Ai hasta A(i mod k)+1
Periodicidad
Ejemplo de CM peridica de periodo k=3:
A1 A2
i j
m k
l
A3
Cadenas ergdicas
Sea X una CM finita. Diremos que X es ergdica
sii es irreducible, recurrente y aperidica
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:
12 0 1 0 0
2
0 1
4 0 3
4 0
Q0 0 1 0 2
3 3
14 1
2 0 1
4 0
1 1
3 0 1
3 0 3
Ejemplos
1 Dibujar el DTE:
1/4 1/3
1/2
b 1/2 c
1/2 3/4 a 1/3 2/3
1/4 1/3
d
e
1/4
1/3
Ejemplos
2 Hallar los conjuntos cerrados
Tomado un estado i, construimos un conjunto
cerrado Ci con todos los alcanzables desde l en
una o ms etapas (el propio i tambin se pone):
Ca={a, c, e}=Cc=Ce
Cb={b, d, a, c, e}=Cd=S
La CM no ser irreducible, ya que Ca es un
subconjunto propio cerrado de S
Ejemplos
3 Clasificar los estados
Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno
4 Reorganizar Q. Dada una CM finita, siempre
podemos agrupar los estados recurrentes por un lado y
los transitorios por otro, y hacer:
Movimientos entre
0
Q
recurrentes
Paso de transitorios Movimientos entre
a recurren tes transitorios
Ejemplos
En nuestro caso, la nueva ordenacin de S es
S={a, c, e, b, d}, con lo que obtenemos:
12 1 0 0 0
2
0 1
3
2
3 0 0
Q 13 1 1 0 0
3 3
0 0 0 1
4
3
4
1 1
4 0 0 1
2 4
a f 1
0,4
1 0,4 0,7 1 g
0,8 1 e b
c 0,2
d
0,2
2 Hallar los conjuntos cerrados
Ca={a, c, e}=Cc=Ce
Cf={f, d}=Cd
Cg={g}
S
3 Clasificar los estados
Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g
Ejemplos
4 Reorganizar Q. Cuando hay varios conjuntos
cerrados e irreducibles de estados recurrentes
(por ejemplo, n conjuntos), ponemos juntos los
estados del mismo conjunto:
P1 0 0 ... 0 0
0 P2 0 ... 0 0
0 0 P3 ... 0 0
Q
... ... ... ... ... ...
0 0 0 ... Pn 0
Z Z
1 Z2 Z3 Zn
Ejemplos
En nuestro caso, reordenamos S={a, c, e, d, f, g,
b} y obtenemos:
0 1 0 0 0 0 0
0,8 0 0,2 0 0 0 0
0 1 0 0 0 0 0
Q 0 0 0 0 1 0 0
0 0 0 0,7 0,3 0 0
0 0 0 0 0 1 0
0 0 0,4 0 0,4 0 0,2
Ejemplos
5 Clasificar la cadena. No es irreducible, con lo
cual no ser peridica, ni aperidica, ni recurrente,
ni transitoria ni ergdica.
Ejemplo: Nmero de xitos al repetir
indefinidamente una prueba de Bernouilli
(probabilidad p de xito). No es CM irreducible,
porque por ejemplo C1={1, 2, 3, } es cerrado.
Todos los estados son transitorios.
p p p p
0 1 2 3
1p 1p 1p 1p
Ejemplos
Ejemplo: Recorrido aleatorio. Es una CM
irreducible y peridica de periodo 2. Se
demuestra que si pq, todos los estados son
recurrentes, y que si p>q, todos son
transitorios.
q q q q
0 1 2 3
1 p p p
Ejemplos
La siguiente CM es irreducible, recurrente y
peridica de periodo 3. No es ergdica.
j k
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica.
i k
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica
i k
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica
i j
k
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica
i k
Ejemplos
La siguiente CM no es irreducible, y por tanto no es
de ninguno de los dems tipos. 1 y 4 son
recurrentes; 2 y 3 son transitorios.
1 2
4 3
Ejemplos
La siguiente CM no es irreducible, y por tanto no es
de ninguno de los dems tipos. Todos los estados
son recurrentes y ninguno es peridico.
1 1
2 2
Ejemplos
La siguiente CM es irreducible, recurrente y
peridica de periodo 3. No es ergdica.
1 2
3 4
Ejemplos
La siguiente CM no es irreducible, y por tanto no
es de ninguno de los dems tipos. Ningn
estado es peridico. 4 es transitorio, y el resto
recurrentes. 1 es absorbente.
1 2
4 3
Ejemplos
La siguiente CM no es irreducible, y por tanto
no es de ninguno de los dems tipos. Ningn
estado es peridico. 4 y 5 son transitorios, y el
resto recurrentes. 3 es absorbente.
1 2
5 4
Ejemplos
La siguiente CM es no es irreducible, y por tanto
tampoco de ninguno de los dems tipos. 4 es
absorbente, y el resto son transitorios.
1 2
4 3
Ejemplos
La siguiente CM no es irreducible y por tanto no es de
ninguno de los dems tipos. 1,3 y 5 son recurrentes de
periodo 3. 2 y 6 son recurrentes, pero no peridicos. 4
es transitorio.
1 2
6 3
5 4
Cadenas absorbentes
Concepto de cadena
absorbente
Sea X una CM cuyos estados son todos
transitorios o absorbentes. En tal caso
diremos que X es absorbente.
Si X es finita y absorbente, reordenamos S
poniendo primero los estados transitorios y
obtenemos:
Q' R
Q
0 I
Resultados sobre cadenas
absorbentes
Proposicin: El nmero medio de etapas
que se estar en el estado transitorio jS
antes de la absorcin, suponiendo que
empezamos en el estado transitorio iS,
viene dado por el elemento (i,j) de (IQ)1
Nota: La etapa inicial tambin se cuenta, es
decir, en la diagonal de (IQ)1 todos los
elementos son siempre mayores o iguales
que 1
Resultados sobre cadenas
absorbentes
Proposicin: La probabilidad de ser
absorbido por un estado absorbente jS,
suponiendo que empezamos en el estado
transitorio iS, viene dada por el elemento
(i,j) de la matriz (IQ)1 R, que se denomina
matriz fundamental de la CM
Ejemplo de CM absorbente
En un juego participan dos jugadores, A y B.
En cada turno, se lanza una moneda al aire.
Si sale cara, A le da 1 a B. Si sale cruz, B
le da 1 a A. Al principio, A tiene 3 y B
tiene 2 . El juego contina hasta que alguno
de los dos se arruine. Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar
el juego.
Ejemplo de CM absorbente
Tendremos una CM con un estado por cada
posible estado de cuentas de A: S={1, 2, 3, 4,
5, 0}. Descomponemos Q:
0 0,5 0 0
0 0,5 0 0 0 0,5 0,5 0 0,5 0
Q'
0,5 0 0,5 0 0 0 0,5 0 0,5
0
0 0,5 0 0,5 0 0 0 0,5 0
0
Q
0 0 0,5 0 0,5 0
0 0 0,5
0 0 0 1 0
0 0 0
0 0 0 0 1 R
0 0
0,5 0
Ejemplo de CM absorbente
Realizamos los clculos necesarios:
1
1 0,5 0 0 1,6 1,2 0,8 0,4
0,5 1 0,5 0 1,2 2,4 1,6 0,8
I Q'1
0 0,5 1 0,5 0,8 1,6 2,4 1,2
0 0,4 1,6
0 0 ,5 1 0,8 1,2
0,2 0,8
I Q'1 R
0,4 0,6
0,6 0,4
0,8 0,2
Ejemplo de CM absorbente
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el
2 estado absorbente. Como empezamos en el 3er estado
transitorio (A empieza con 3 ), debemos consultar la 3
fila, 2 columna de (IQ)1R, que nos da una probabilidad
de 0,4 de que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su
probabilidad ser 10,4=0,6. Tambin podramos haber
consultado la 3 fila, 1 columna de (IQ)1R.
Ejemplo de CM absorbente
Nmero medio de tiradas que tarda en acabar el
juego
Sumamos los nmeros medios de etapas que se estar en
cualquier estado transitorio antes de la absorcin,
suponiendo que empezamos en el 3er estado transitorio.
Dichos nmeros medios son los que forman la 3 fila de la
matriz (IQ)1. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
Nota: si observamos la 1 columna de (IQ)1R,
vemos que los valores van creciendo. Esto se debe
a que, cuanto ms dinero tenga al principio A, ms
probabilidad tiene de ganar el juego.
Distribucin
estacionaria
Concepto de distribucin
estacionaria
Teorema: Sea X una CM irreducible, aperidica
y recurrente. Entonces,
j S , p j lm qijn
n
p
jS
j 1
Existencia de la distribucin
estacionaria
Teorema: Sea X finita y ergdica. Entonces la
distribucin estacionaria existe y viene dada por
la solucin de las siguientes ecuaciones:
j S , p j pi qij
iS
p
jS
j 1
p q
iS
j ji pi qij
iS
0,9 0 1 0,7
0,3
3 2
Ejemplos
2 y 3 Planteamos las ecuaciones:
p1 0,3 0,6 0 p1
p2 0,5 0 0,4 p2
p 0,2 0,4 0,6 p
3 3
p1 p2 p3 1
Nodo i i 1,2,..., M 1 : 1 pi 1 pi 1 pi
Nodo M : 1 pM 1 pM
Ejemplos
4 Podemos despejar pi en la ecuacin de cada
nodo i, y as observamos que los pi forman una
progresin geomtrica, cuya razn llamaremos :
1
i 1,2,..., M 1, pi pi 1 pi 1
1
i 0,1,..., M 1, pi i p0
Ejemplos
Usando la suma de los M1 primeros trminos
de una sucesin geomtrica y la ecuacin
normalizadora, llegamos a la solucin:
p0
1
i 1,..., M 1, pi i p0
1 M 1
pM p0
Ejemplo #1
0.8 0.2
(C , N) 100 900 (350,650) El primer mes comprarn 350 y no
0.3 0.7 comprarn 650
0 si da t es seco
Xt
1 si da t es lluvioso
El proceso estocstico X t X 1 , X 2 , X 3 ,... proporciona
una representacin matemtica de la forma como evoluciona
el clima Centerville a travs del tiempo.
Matrices de transicin de estados en n pasos del clima:
La probabilidad del estado del clima dos, tres, cuatro, cinco das a futuro se
puede conocer a partir de las matrices de transicin de dos, tres, cuatro y cinco
pasos que se calculan bajo las ecuaciones de Chapman Kolmogorov. Partiendo
de la matriz de transicin de un paso.
0.8 0.2
P (1)
0.6 0.4
PPL:
Funcin objetivo Max B
Sujeto a:
0.15B 0.08M -0.13S=0
-0.1B + 0.15M 0.17S=0
-0.05B 0.07M + 0.3S=0
B>0
M>0
S>0
Combined Report for MARKOV
4,000 no fumadores
3,500 fuman 1 paquete, o menos, diario
2,500 fuman ms de un paquete diario.
A B C
A 0.70 0.20 0.10
B 0.20 0.75 0.05
C 0.10 0.10 0.80
A B C
A 0.346 0.385 0.269
P(21)=
B 0.346 0.385 0.269