Escuela de Ingeniera Industrial

Universidad del Valle

Cadenas de Markov

AGRADECIMIENTOS AL PROFESOR JUAN JOSE BRAVO, MsC

 ANDREI ANDREYEVICH MARKOV
Andrei Andreyevich Markov naci el 14 de junio de
1856 en Ryazan, Rusia y muri el 20 de julio de 1922
en Petrogrado, ahora San Petersburgo. Andrei A.

Markov fue un destacado Matemtico Graduado de la

Universidad de San Petersburgo en 1878. Despus de
1900 Markov realiz grandes avances en la teora de la
probabilidad, probando incluso el importante Teorema
Central del Limite.

Estudi sucesiones de variables mutuamente dependientes, con la esperanza de

establecer las leyes lmite de probabilidad en su forma ms general. Sin embargo
Markov es particularmente recordado por sus estudios de las Cadenas de Markov
(teora que desarroll a sus 51 aos), sucesiones de variables aleatorias en las
cuales la siguiente variable est determinada por la actual variable pero es
independiente de las anteriores. Con esto surge una nueva rama de la teora de
Probabilidades y comienza la teora de los procesos estocsticos.
 CADENAS DE MARKOV

Proceso estocstico de tiempo discreto con espacio de estados

finito
No se conoce el estado futuro de la variable pero se dispone de
cierta informacin probabilstica respecto a su evolucin

Estados e instantes de tiempo

{Xt} Caracterstica de inters que evoluciona en el tiempo de

manera probabilstica

Si Xt=i, se dice que el proceso estocstico est en el estado i en el

tiempo t

Sea Pij la probabilidad de estar en el estado j en el momento t+1,

dado que en el momento t se encuentra en el estado i
 INSTANTES DE TIEMPO

Momentos en los que es probable que se den cambios de estado

de la variable aleatoria

Momentos en los que nos interesa inspeccionar el estado de la

variable aleatoria

Sincrnicos o asincrnicos

La distribucin de probabilidad asociada difiere para cada intervalo

de tiempo definido para la variable
 CMO DEFINIR INSTANTES Y ESTADOS?

Conocimiento del sistema

Experiencia

Estudios

Grado de conocimiento del sistema

Estadsticas

Condiciones particulares e intrnsecas del sistema

Funcionalidad y requerimiento de los resultados

Caractersticas particulares de estudio

 LA MEMORIA TEMPORAL DE LA CADENA DE MARKOV

Pensemos en la secuencia de Estados para la Variable

Aleatoria Xt cambiante con respecto al tiempo.

Xt+1=j , Xt=i, Xt-1=m, Xt-2=k,..,X0=p

Estado Estado
Estados Pasados
Futuro Actual

El estado futuro de la variable en el tiempo t+1, est condicionado

nicamente por el recuerdo que se tiene de lo ocurrido en el
tiempo t.
 LA MEMORIA TEMPORAL DE LA CADENA DE MARKOV

La probabilidad condicional P(Xt+1=j / Xt=i) existe

Propiedad Procesos Markovianos

Pij Xt 1 j / X0 k0 , X1 k1 , ..., Xt 1 kt 1 , Xt i

Pij Xt 1 j / Xt i
QUE UTILIDAD TIENE LAS CADENAS DE MARKOV ?

El anlisis de Markov, permite

encontrar la probabilidad de que un
Se busca una sistema se encuentre en un estado en
herramienta particular en un momento dado.
telescpica Con esta informacin se puede
que permita predecir y entender el comportamiento
aproximarnos del sistema a travs del tiempo.
objetivamente al
futuro.

Cadenas de Procesos de planeacin

Markov de largo plazo
 PROBABILIDADES DE TRANSICIN

A la probabilidad condicional
Xt+1=j , Xt=i P(Xt+1=j/Xt=i) se le llama
Probabilidad de Transicin
Estado Estado del estado i al estado j y se
Futuro Actual simboliza con pij.
Observe que al evaluar pij se analiza la transicin de un estado
a otro en perodos de tiempos consecutivos, es decir, se
estudian los instantes de tiempo t y t+1.
Por tanto, a pij suele en algunas
(1) ocasiones escribirse con uno, (1),
pij p ij
arriba indicando que entre un estado y
otro hay un solo periodo de tiempo
( un paso)
 CADENAS DE MARKOV HOMOGNEAS

Si la probabilidad P(Xt+1=j / Xt=i) pij es igual para cualquier t

Es decir..
P(X1=j / X0=i) == P(X5=j / X4=i) == P(Xt+1=j / Xt=i)

P Xt 1 j / Xt i P X1 j / X0 i t
En este caso se dice que la probabilidad de transicin del
estado i al j es estacionaria.
Las probabilidades de
Supuesto transicin no cambian con el
tiempo
ACIONES DEL SUPUESTO DE LAS PROBABILIDADES ESTACION

(1) (n)
Si pij , es decir pij es estacionaria, entonces, pij
tambin es estacionaria no cambia con el tiempo.

(n)
pij Probabilidad P(Xt+n=j / Xt=i) y se le conoce como
probabilidad de transicin de n pasos.

En el curso se tomar como vlido el supuesto de las

probabilidades de transicin estacionarias.
MATRIZ DE PROBABILIDADES DE TRANSICIN DE UN PASO

P00 P01 P02 P03 P04

Matriz de Probabilidades de
P10 P11 P12 P13 P14
Transicin de un paso de una
Cadena de Markov de 5 Pij P20 P21 P22 P23 P24
estados. P30 P31 P32 P33 P34
P40 P41 P42 P43 P44

Recordando un poco la definicin de espacio muestral.....veamos la

FILA 2 de la matriz anterior:

P(Xt 0 / Xt 1) P(Xt 1 / Xt 1) P(Xt 2 / Xt 1) P(Xt 3 / Xt 1) P(Xt 4 / Xt 1) 1

Cada fila de Pij corresponde a un espacio muestral

P10 + P11 + P12 + P13 + P14 = 1

 EN RESUMEN

Las probabilidades de transicin definen la matriz P = [pij]

que satisface

(n)
1) pij 0 i, j, n

M
2) ( n)
pij 1 i, n
j o
 MATRICIALMENTE

n n
p00 ... p 0M
n
P
ij : : :
n n
pM 0 ... pMM
 EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO

Despus de muchos estudios sobre el clima, se ha visto que si un

da est soleado, en el 70% de los casos el da siguiente continua
soleado y en el 30% se pone nublado.
Adems, si un da est nublado, la probabilidad de que est
soleado el da siguiente es 0,6 y la probabilidad de que se ponga
nublado es 0,4.
Si hoy est nublado, cul es la probabilidad de que maana
contine nublado?
EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (2)

Estados:
Soleado y Nublado
Periodo de transicin entre estados: Un da
P(X1 = nublado/ X0 = nublado)= 0.4
P(X1 = nublado/ X0 = soleado)= 0.3
P(X1 = soleado/ X0 = nublado)= 0.6
P(X1 = soleado/ X0 = soleado)= 0.7

Estados Soleado Nublado

Pt t 1 = Soleado 0,7 0,3

Nublado 0,6 0,4

EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (3)

Ley Inicial del Sistema: Hoy est nublado (condicin inicial) y

por tanto la ley inicial es:

(0) P( X 0 soleado) 0
soleado

nublado(0) P( X 0 nublado) 1

(0) (0),
soleado (0)
nublado 0,1

La pregunta entonces es, dada la ley inicial en t = 0, hallar las

Leyes de Probabilidad un da despus, es decir, en t = 1.

Para lograr esto debemos recordar el Teorema de Probabilidad

Total, que lo aplicaramos de la siguiente forma:
EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (4)

P(X1 nublado) P( X1 nublado/ X 0 nublado)xP( X 0 nublado)

P( X1 nublado/ X 0 soleado)xP( X 0 soleado)

Por lo tanto:

P(X1 nublado) ( 0.4 )x(1) ( 0.3 )x( 0 ) 0.4

Se puede notar que maana hay ms probabilidad de que est el
da soleado.
Si calcula en este caso P (X1 = soleado) se dar cuenta que es
igual al 0.6, y por lo tanto la Ley de Probabilidades el da de
maana dada la condicin inicial de nublado ser :
(1) (1),
soleado (1)
nublado 0.6, 0.4
EJEMPLO DE MATRIZ DE TRANSICIN DE UN PASO (5)

CONCLUSIN

0.7 0.3
soleado( 0 ), nublado( 0 ) * ( 1 ),
soleado (1)
nublado
0.6 0.4
Estado Inicial del Sistema Matriz de Probabilidad del Estado final
Transicin del sistema
En general, se tiene que para cualquier cadena de Markov`

(1) ( 0 )xP10

( t 1) ( t )Ptt 1

(n) ( 0)xP10P12 .. Pnn 1 ( 0 )Pn

 Departamento de Ciencias de la Ingeniera y Produccin
Pontificia Universidad Javeriana

Ejercicios de construccin de
matrices de transicin
 Juego de apuestas

En el tiempo 0 tengo $ 2 y en los tiempos 1,2,3,... participo en un juego

en el que apuesto $1. Gano el juego (y gano $1) con probabilidad p y lo
pierdo (perdiendo lo apostado) con probabilidad 1-p.

Mi meta es aumentar mi capital hasta $4 y tan pronto lo logre me salgo

del juego. Tambin salgo cuando me arruine (capital $0).
 El Profesor

Un profesor de Modelos Estocsticos tiene tres preguntas claves en sus

exmenes y una de ellas sale en cada examen que l realiza. Los
estudiantes conocen muy bien sus extraos hbitos: l nunca utiliza la
misma pregunta en dos exmenes consecutivos. Si utiliz la pregunta
No. 1 en el ltimo examen, arroja una moneda al aire y si sale cara usa
la pregunta No. 2. Si haba usado la pregunta No. 2, arroja dos monedas
al aire y si salen dos caras, utiliza la pregunta No. 3 y, finalmente, si
haba usado la pregunta No. 3, arroja tres monedas al aire y si salen
tres caras, usa la pregunta No. 1.

Elabore la matriz de transicin de un paso para el problema descrito

anteriormente.
 Costurera

Una costurera trabaja exclusivamente en una fase del proceso de

produccin de un diseo especial de prendas de vestir. Esta fase
requiere exactamente 30 minutos para terminar una prenda. Cada 30
minutos llega un mensajero a la mesa de la costurera para recoger todas
aquellas prendas que estn terminadas y para entregar las nuevas
prendas que deben ser cosidas.

El nmero de nuevas prendas que lleva el mensajero es aleatorio: 30%

del tiempo el mensajero llega sin prendas; 50% del tiempo el mensajero
trae una sola prenda para dejar y el 20% restante del tiempo el
mensajero trae dos prendas para la costurera. Sin embargo, el
mensajero tiene instrucciones de nunca dejar ms de tres prendas (si es
que las llevase) juntas no terminadas a la costurera y simplemente
llevarlas a otra costurera que s tenga capacidad.
 Grupo Musical

Un estudiante que vio el curso de modelos estocsticos ha decidido dedicarse a

la msica, y junto a unos amigos form el grupo Jorge y los Markovianos.
Actualmente se limitan a tocar los fines de semana en algunos bares de la
capital, siendo una de tantas bandas desconocidas que existen en el pas.

Cada mes existe una probabilidad q que un empresario de algn sello musical
nacional los escuche y decida apoyarlos para grabar y realizar giras para cantar
de Arica a Punta Arenas. Si tal cosa ocurre pasaran a ser una banda conocida a
nivel nacional. Una banda que es conocida a nivel nacional corre el riesgo de
perder el apoyo del sello nacional que la patrocina, con lo cual volvera a ser una
banda desconocida. Cada mes, la probabilidad que esto ocurra es r.

Por otro lado, una banda conocida a nivel nacional puede llegar a llamar la
atencin del representante de un sello musical internacional, el cual podra
decidir patrocinarlos. De ser as la banda pasara a ser conocida a nivel
internacional. Cada mes existe una probabilidad s que esto ocurra (s +r < 1).
 Grupo Musical

Una banda que es conocida internacionalmente nunca dejar de serlo. Sin

embargo podemos distinguir dos categoras entre ellas: las que estn de moda y
las que no. Una banda internacionalmente conocida que est de moda en un mes
dado seguir estando de moda al mes siguiente con probabilidad t. Una banda
conocida a nivel internacional que no est de moda en un mes dado pasar a
estar de moda al mes siguiente con probabilidad u. El primer mes que una banda
se hace conocida a nivel internacional nunca est de moda.

Una banda slo percibe utilidades (equivalentes a K[$]) en los meses que es
conocida internacionalmente y est de moda (parte de esas utilidades
corresponden a una satisfaccin de su ego).

Construya una cadena de Markov que represente la trayectoria de la banda de

Jorge y que permita predecir si en un mes dado percibirn utilidades o no
 INTERPRETACIN MATRIZ DE PROBABILIDADES
DE TRANSICIN

Considere el ejemplo del valor de una accin. Al final de un da dado se

registra el precio. Si la accin subi, la probabilidad de que suba maana es
0.7. Si la accin baj, la probabilidad de que suba maana es slo 0.5. Esta
es una cadena de markov con los siguientes estados:
Estado 0: el precio de la accin sube
Estado 1: el precio de la accin baja 0.7 0.3
P
La matriz de transicin est dada por 0.5 0.5

Ahora interprete esta matriz de transicin

Estado 0: la accin aument hoy y ayer. 0.9 0 0.1 0

Estado 1: la accin aument hoy y ayer baj. 0.6 0 0.4 0
Estado 2: la accin baj hoy y ayer aument P
0 0.5 0 0.5
Estado 3: la accin baj hoy y ayer
0 0.3 0 0.7
Ejemplo:
Considere el estado del tiempo donde el llover
maana depende si llovi o no ayer y hoy

Estado 0 Llovi ayer y hoy

Estado 1 No Llovi ayer y llovi hoy

Estado 2 Llovi ayer y No llovi hoy

Estado 3 No llovi ni ayer ni hoy

 La matriz de transicin de un paso es la siguiente:
0 - LL 0,7 0 0,3 0
1- NL 0,5 0 0,5 0
P= 2 - LN 0 0,4 0 0,6
3 - NN 0 0,2 0 0,8
Ayer y
Hoy 0 - LL 1 - NL 2 - LN 3 - NN

Hoy y Maana

0,5 0,5
1
0,4
0,7 0 0,2 2
0,3
0,6
3

0,8
Suponga que le preguntan, cul es la probabilidad
de que llueva pasado maana dado que llovi ayer
y hoy?

0,7 0 0,3 0 0,7 0 0,3 0

2 0,5 0 0,5 0 0,5 0 0,5 0
P= X
0 0,4 0 0,6 0 0,4 0 0,6
0 0,2 0 0,8 0 0,2 0 0,8

0,49 0,12 0,21 0,18 LL

0,35 0,20 0,15 0,30 NL Ayer

2
P= 0,20 0,12 0,20 0,48
y
LN Hoy

0,10 0,16 0,10 0,64 NN

LL NL LN NN
Hoy y Maana
 P(llueva pasado maana/ llovi ayer y hoy)=

P(llueva maana y pasado maana / llovi ayer y hoy) +

P(no llueva maana y llueva pasado maana / llovi ayer y hoy)

0.49 + 0.12 = 0.61

 EJEMPLO DE USOS DE LAS CADENAS DE MARKOV
Una tienda de cmaras tiene en almacn un modelo especial de cmara que
se puede ordenar cada semana. Sean D1, D2,...las demandas de esta
cmara durante la primera, segunda,. semana respectivamente.

Se supone que las Di son variables aleatorias independientes e idnticamente

distribuidas que tienen una distribucin de probabilidad conocida.

Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso,

X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el
nmero de cmaras que se tienen al final de la semana dos, etc.

Suponga que X0 = 3
El sbado en la noche la tienda hace un pedido que le entregan el lunes en el
momento de abrir la tienda.
La tienda usa la siguiente poltica (s, S) para ordenar: si el nmero de cmaras
en inventario al final de la semana es cero s = 0 (no hay cmaras en la
tienda), ordenar hasta S = 3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido).
EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (2)

Se supone que las ventas se pierden cuando la demanda

excede el inventario. Entonces, {Xt} para t = 0, 1, es un
proceso estocstico de la forma que se acaba de describir. Los
estados posibles del proceso son enteros 0, 1, 2, 3 que
representan el nmero posible de cmaras en inventario al final
de la semana.
Las Variables aleatorias Xt, son dependientes y se pueden
evaluar en forma iterativa por medio de la expresin:

Max (3 - Dt 1 ), 0 si X t 1
Xt 1
Max ( X t - Dt 1 ), 0 si X t 1
EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (3)

Suponiendo que cada Dt, tiene una distribucin Poisson con = 1,

Donde Dt son las demandas de cmaras en la semana t

Para obtener P00 es necesario evaluar: P{Xt = 0 / Xt-1 = 0}

Max (3 - Dt 1 ), 0 si X t 1
Xt 1
Max ( X t - Dt 1 ), 0 si X t 1
EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (4)

Si Xt-1=0 Xt={Max(3-Dt+1), 0}

P00 P Dt 3 1 P Dt 0
1 - P Dt 2 P Dt 1 P Dt 0
k
e
Dado que la demandase consideraPoisson
k!
Demanda Probabilidad
2 (1)2e(-1)/2!= 0,18394
1 (1)1e(-1)/1!= 0,18394
0 (1)0e-(1)/0!= 0.367879
EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (5)

P10 =:P{Xt = 0 / Xt-1 = 1}

Si Xt-1=1 Xt={Max(1- Dt), 0}

P10 P Dt 1 1 P Dt 0
1 - 0,367879
0,632
EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (5)

P21 =:P{Xt = 1 / Xt-1 = 2}

Si Xt-1=2 Xt={Max(2-Dt), 0}

P21 P D 1 0.368
EJEMPLO DE USOS DE LAS CADENAS DE MARKOV (7)

De forma similar se obtienen las dems

probabilidades
 ECUACIONES DE CHAPMAN - KOLMOGOROV
M
(n)
pij pik ( m ) pkj( n m)
i 0,1,...,M j 0,1,...,M
k o

m 1,2,...,n -1 n m 1, m 2,...
Ir del estado i al estado j en n pasos, implica que el proceso podra estar en
el estado k despus de exactamente m pasos (m < n).
Pik(m): Probabilidad de ir del estado i al estado k en m pasos
Pkj (n-m): Probabilidad de ir del estado k al estado j en (n-m) pasos
M M
(n)
Si m 1 pij ( n)
pik pkj (n 1) Si m n -1 pij pik (n 1)
pkj
k o k o

M
Si n 2 pij (2) pik pkj P (2) P * P P 2
k o

(n) (n-1) (n-1) n

P PP P P P
 MATRIZ DE PROBABILIDADES DE TRANSICIN DE
N PASOS

P00 P01 P02 P03 P04 P00 P01 P02 P03 P04
P10 P11 P12 P13 P14 P10 P11 P12 P13 P14
( 2)
Pij Pij Pij P20
P30
P21
P31
P22
P32
P23
P33
P24
P34
X P20
P30
P21
P31
P22
P32
P23
P33
P24
P34
P40 P41 P42 P43 P44 P40 P41 P42 P43 P44

Y generalizando a n pasos
( n) ( n) ( n) ( n) ( n) Esta probabilidad suele
P00 P01 P02 P03 P04 ser til cuando el sistema
se encuentra en estado i y
( n) ( n) ( n) ( n) ( n)

P10 P11 P12 P13 P14

se desea la probabilidad
Pij (n) Pij Pij Pij ...... P P20
ij
( n) ( n)

P21
( n)

P22
( n)

P23 P24
( n)

de que el sistema se
( n) ( n) ( n) ( n) ( n)

n - veces P30 P31 P32 P33 P34 encuentre en el estado j

( n) ( n) ( n) ( n) ( n)
despus de n perodos de
Segn la Ecuacin de P40 P41 P42 P43 P44 tiempo.
Chapman-Kolmogorov
ECUACIONES DE CHAPMAN - KOLMOGOROV
 ECUACIONES DE CHAPMAN - KOLMOGOROV

Cuando n no es muy grande la matriz de

transicin de n pasos se puede calcular
fcilmente, pero si n es muy grande los clculos
resultan tediosos y los errores de redondeo
pueden causar inexactitudes
 La Matriz de Transicin de 2 Pasos para el Caso del
Almacn de Cmaras

Cul es la probabilidad
0.249 0.286 0.300 0.165 que teniendo ahora una
0.283 0.252 0.233 0.233 cmara haya
P2 exactamente cero
0.351 0.319 0.233 0.097
cmaras en inventario en
0.249 0.286 0.300 0.165 dos semanas?

Cul es la probabilidad que teniendo ahora una cmara haya

exactamente tres cmaras en inventario en dos semanas?
 La Matriz de transicin de 4 pasos

0.249 0.286 0.300 0.165 0.249 0.286 0.300 0.165

0.283 0.252 0.233 0.233 0.283 0.252 0.233 0.233
P4=
0.351 0.319 0.233 0.097 * 0.351 0.319 0.233 0.097
0.249 0.286 0.300 0.165 0.249 0.286 0.300 0.165

0.289 0.286 0.261 0.164

0.281 0.285 0.267 0.166
P4= Por favor construir P8
0.284 0.283 0.263 0.171
0.289 0.286 0.261 0.164
Qu tiene de particular?

Se dice que estas son las probabilidades del estado

estable
 PROBABILIDADES INCONDICIONALES
Probabilidades del estado estable

n P00(n) (n)
... P0M
(n) (0)P . ... .
(0) 0 (0) 1(0) .... M (0) pij( n ) . ... .
. ... .
(n) (n)
PM0 ... PMM
Si se desea la probabilidad incondicional P{Xn=j} es necesario que se
especifique la distribucin de probabilidad del estado inicial, o sea
P{X0=i} para i desde 1 hasta M, entonces:

P{ X n j } P{ X 0 0 }P0nj P{ X 0 1}P1nj ... P{ X 0 M }PMjn

Si en el ejemplo anterior, se supuso que el inventario inicial era tres
cmaras, la probabilidad incondicional de que haya tres cmaras
en inventario despus de dos semanas es P{X2=3} = (1)p33(2)=0,165
 LA EVOLUCIN DE UN PROCESO ESTOCASTICO

Cmo simular la evolucin de un proceso estocstico

caracterizado por la siguiente matriz de probabilidades de
transicin?
0.080 0.184 0.368 0.368
0.632 0.368 0.000 0.000
P=
0.264 0.368 0.368 0.000
0.080 0.184 0.368 0.368

Recordando que cada fila corresponde a un Espacio Muestral definido.

Se debe analizar (
simular) fila por fila 1 fda (funcin de
de la matriz, segn 0.632 distribucin
la informacin 0.264 acumulada) para
requerida acerca 0.080 la Fila 1 y Fila 4
del proceso
Resultados posibles
 LA EVOLUCIN DE UN PROCESO ESTOCASTICO

Comportamiento simulado de los inventarios en cada una de las

siguientes 100 semanas

Para simular la Semana 1, X1, se inicia

Xo =3 simulando la Fila 4, dado que se observar la
transicin desde el estado 3.
Pasos a seguir:
1
0.632 a) Genere un aleatorio entre 0 y 1 en Excel
fda
0.264 b) Tomo la decisin con este criterio:
Fila 4
0.080
Si ALEATORIO() 0.08 X1=0
Simular lo que Si 0.08 < ALEATORIO() 0.264 X1=1
sucedera en las
Si 0.264 < ALEATORIO() 0.632 X1=2
dems semanas
Si 0.632 < ALEATORIO() 1 X1=3
 LA MATRIZ P(n) Y LOS RBOLES DE DECISIN

A B C
MATRIZ DE A 0.2 0.5 0.3
TRANSICIN P=
DE UN PASO B 0.7 0.2 0.1
C 0.3 0.6 0.1

0.2 0.5 0.3 0.2 0.5 0.3 0.48 0.38 0.14

P(2)= P. P = 0.7 0.2 0.1 x 0.7 0.2 0.1 = 0.31 0.45 0.24
0.3 0.6 0.1 0.3 0.6 0.1 0.51 0.33 0.16
LA MATRIZ P(n) Y LOS RBOLES DE DECISIN

0.2 A

0.2 0.5 B
A
0.3 C

0.7 A
0.5
0.2
B B
A 0.1 C

0.3 A
t=0 0.3
0.6
C B

0.1 C
t=1
t=2

Transicin de t = 0 a t = 1 Transicin de t = 1 a t = 2
LA MATRIZ P(n) Y LOS RBOLES DE DECISIN

Si se simbolizan los elementos de la matriz P(2) como:

A B C
( 2) ( 2) ( 2)
A p AA
p AB
p AC

P(2) = ( 2) ( 2) ( 2)
B p BA
p BB
p BC

( 2) ( 2) ( 2)
C pCA
p CB
p CC

PAA(2)= (0.2) (0.2) + (0.5) (0.7) + (0.3) (0.3) = 0.48

PAB(2)= (0.2) (0.5) + (0.5) (0.2) + (0.3) (0.6) = 0.38
PAC(2)= (0.2) (0.3) + (0.5) (0.1) + (0.3) (0.1) = 0.14
 TIEMPOS DE PRIMERA PASADA

Con frecuencia es conveniente poder hacer

afirmaciones en trminos de probabilidades sobre el
nmero de transiciones que hace el proceso al ir de
un estado i a un estado j por primera vez.

Este lapso se llama tiempo de primera pasada al ir del

estado i al estado j
 TIEMPOS DE PRIMERA PASADA

Cuando j=1, este tiempo de primera pasada es

justo el nmero de transiciones hasta que el
proceso regresa al estado inicial i

Ejemplo

En el ejemplo del almacn de cmaras xi

representa el nmero de cmaras al iniciar la
semana t {xt} para t=1, 2, , n es un proceso
estocstico
El nmero posible de cmaras en inventario al
final de la semana t son:

Estados posibles del sistema [ 0 1 2 3 ]

Suponga que ocurri lo siguiente:

X0=3, X1=2, X2=1, X3=0, X4=3, X5=1,

En este caso,
el tiempo de primera pasada para ir del estado 3
al estado 1 es dos semanas
Y el tiempo de recurrencia del estado 3 es cuatro
semanas
El tiempo de primera pasada para ir del estado 3
al estado 0 es de tres semanas
 TIEMPOS DE PRIMERA PASADA

0.48 0.38 0.14

(2)
0.31 0.45 0.24
P =
0.51 0.33 0.16
Detalle el segundo elemento de la primera
columna de la matriz P(2), 0.31, y el rbol
de decisin del cual resulta. Note que,
segn el rbol
(2)
pBA
( 0.7 )( 0.2 ) ( 0.2 )( 0.7 ) ( 0.1 )( 0.3 ) 0.31
Ahora, si se desea encontrar la probabilidad de pasar por primera vez del estado B
al estado A, despus de 2 perodos de tiempo, sta probabilidad viene dada por:
(2)
f BA
( 0.2 )( 0.7 ) ( 0.1 )( 0.3 ) 0.17
(2)
f BA
(2)
pBA 1
f BA p(AA
1)
0,31 0,14 0,17
 PROBABILIDADES DE PRIMERA PASADA
0.2
0.5
A fij(n) denota la probabilidad de
0.7
A 0.3
B
C
que el tiempo de primera pasada
0.7
A del estado i al estado j sea n
0.2
B
0.2
B 0.1
B (1) (1)

t=0
0.3
C
A
pij
f ij
p ij
0.6
0.1 B
C 0.1
C
p
(2)
f
(2)
f
(1)
* p
t=1 ij ij ij jj
t=2

(n) (n) (1) ( n 1) (2) (n 2) ( n 1)

p ij
f ij
f ij
* p ji
f ij
* p ji
... f ij
* p ji
 PROBABILIDADES DE PRIMERA PASADA

(1) (1)
f ij
p
ij
p ij
(2) (2) (1)
f ij
p
ij
f ij
* p ji

(n) (n) (1) ( n 1) (2) (n 2) ( n 1)

f ij
p
ij
f ij
* p ji
f ji
* p ji
... f ij
* p ji
 PROBABILIDADES DE PRIMERA PASADA
Para i y j fijos las fij son nmeros no negativos
tales que
(n)
f ij 1
n 1
(n) Un proceso que al iniciar en
Si
f ij 1 i puede no llegar nunca al
n 1 estado j
Las fij(n) para n=1, 2,
pueden considerarse como
(n) una distribucin de
Si f ij 1 probabilidad para la variable
n 1
aleatoria, el tiempo de
primera pasada
 TIEMPOS DE PRIMERA PASADA

Mientras que puede ser difcil calcular fij(n) para toda

n, es relativamente sencillo obtener el tiempo
esperado de primera pasada del estado i al estado j

(n)
si nfij 1
n 1

ij

(n) (n)
nfij si nfij 1
n 1 n 1
 TIEMPOS DE PRIMERA PASADA

Valor esperado del tiempo de

primera pasada del estado i al
estado j

si nfij (n) 1 ij 1 pik kj

n 1
k j
 TIEMPOS DE PRIMERA PASADA

Ejemplo
Para calcular el tiempo
0.080 0.184 0.368 0.368 esperado hasta que ya no se
0.632 0.368 0.000 0.000 tengan cmaras en el almacn
P=
0.264 0.368 0.368 0.000 podemos usar las anteriores
0.080 0.184 0.368 0.368
ecuaciones

ij 1 pik kj
k j

30 1 p31 10 p32 20 p33 30

20 1 p21 10 p22 20 p23 30
10 1 p11 10 p12 20 p13 30
 TIEMPOS DE PRIMERA PASADA

La solucin simultanea a este sistema es:

El tiempo esperado para que el almacn se quede sin

cmaras es 1.58, 2.51 y 3.50 semanas, dado que el proceso
inicia con 1, 2 o 3 cmara respectivamente
 DIAGRAMA DE TRANSICIN DE ESTADOS

El diagrama de transicin de estados (DTE) de una

Cadena de Markov es un grafo dirigido cuyos nodos son
los estados de la Cadena y cuyos arcos se etiquetan con la
probabilidad de transicin entre los estados que unen. Si
dicha probabilidad es nula, no se pone arco.

qij
i j
 EJEMPLO: LNEA TELEFNICA

Sea una lnea telefnica de estados ocupado=1 y

desocupado=0. Si en el instante t est ocupada, en el
instante t+1 estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el instante t est
desocupada, en el t+1 estar ocupada con probabilidad 0,1
y desocupada con probabilidad 0,9.

0,9 0,1
Q
0,3 0,7 0,1

0,9 0 1 0,7

0,3
 GRAFOS

Clasificacin de Estados
CLASIFICACIN DE ESTADOS DE UNA CADENA DE MARKOV

EJEMPLO: Suponga que un jugador tiene $1 y que cada jugada paga $1

con probabilidad p>0 pierde $1 con probabilidad 1-p. El juego termina
cuando el jugador acumula $3 bien cuando quiebra. Este juego es una
cadena de Markov en la que los estados posibles son la fortuna del
jugador, es decir, $0, $1, $2 y $3.

0 1 2 3
0 1 0 0 0
1 1-p 0 p 0
P=
2 0 1-p 0 p
3 0 0 0 1

Un estado j es accesible desde un estado i si Pij(n)>0

para alguna n.
Estados
accesibles Ej: el estado 2 no es accesible desde el 3, mientras
que el estado 3 si es accesible desde el 2.
 Si el estado i es accesible desde el estado j, y el
Estados que estado j es accesible desde el estado i, entonces se
dice que los estados j e i se comunican.
se
comunican Ej: en el ejemplo del jugador observe que el estado 2
es accesible desde el estado 1, y el estado 1 es
accesible desde el estado 2, por lo tanto los estados 1
y 2 se comunican.
2. Si el estado i se comunica con el estado j,
el estado j se comunica con el estado 1

3. Si el estado i se comunica con el estado j y

el estado j se comunica con el estado k,
entonces el estado i se comunica con el
estado k
 Si varios estados se comunican entre s se dice que ellos
forman una Clase. Por lo tanto, en el espacio de estados
Definicin de una Cadena de Markov pueden haber varias clases.
de Clase Ej: En el ejemplo del jugador existen 3 clases:
Clase 1: Estados 1 y 2, Clase 2: Estado 3 y Clase 3:
Estado 0.

Una clase es recurrente si no es posible saltar a otra

Clases clase a partir de ella. Ej: En el ejemplo del jugador, las
clases 2 y 3 son recurrentes. En general, en las clases
recurrentes estados recurrentes, la probabilidad de que el
proceso habiendo salido de un estado i regrese en
cualquier tiempo a ese mismo estado es 1. Las clases
2 y 3 anteriores son tipos especiales de clases
recurrentes y se les llama generalmente clases
recurrentes absorbentes.
 Una clase es transitoria si a partir de ella es
Clases posible saltar a otra clase. Ej: En el ejemplo
Transitorias del jugador, la clase 1 es transitoria.

Una cadena de markov es irreducible si

Cadena de todos los estados se comunican, formando as
Markov una nica clase, siendo por tanto sta una
Irreducible clase recurrente.

Se demuestra que una Cadena Markov slo puede pasar por un estado
transitorio como mximo una cantidad finita de veces. En cambio, si visitamos
un estado recurrente, entonces lo visitaremos infinitas veces.

Las clases recurrentes estn formadas por estados recurrentes

Las clases transitorias estn formadas por estados transitorios
Cerrada: Si desde un estado interior no
se puede alcanzar ningn estado exterior
a la Clase. Un estado absorbente es una
clase cerrada con un nico estado

Irreducible: Clase cerrada tal que ninguna

subclase propia es cerrada. En otros trminos, la
nica clase cerrada es la de todos los estados

Dos estados pertenecen a un mismo conjunto si se

comunican
Dos clases deben ser disjuntas, pues si existe algn
elemento comn, los estados de una clase se puedan
comunicar con los de la otra y as resultan de la misma clase
 El concepto de comunicacin divide el espacio
de estados en clase ajenas, es decir, que 2
clases son idnticas o disjuntas

Ningn estado puede pertenecer a dos clases distintas

De dos estados que se comunican entres si se

dicen que pertenecen a la misma clase

i n j Slo hay una

i j k j n k clase (por
i n k
transitividad)
 Definicin
Una matriz de una clase se dice irreducible

0 1 2 1/4
1/2
1
0 12 12 0
1/2
1/2 Slo
0 1/4 hay una
P 1 1 2 14 14 2/3
clase
2 0 1 2 2
3 3 1/3

0 1 2 3 1/2 1/2

1 1 0 1
0 2 2 0 0 Hay
1 1 1 1/2
P 2 2 0 0 1/4 1/4 tres
2 1 1 1 1 1/4 1/4 clases
4 4 4 4
3 0 0 0 1 2 3
1
 Definicin

Sea para un estado i, fii la probabilidad de que el

proceso regrese al estado i dado que comienza
en el estado i

El estado i se llama recurrente s fii = 1

El estado i se llama transitorio s fii < 1

Un caso especial de un estado recurrente es un

estado absorbente s una vez que se entra en l
no se puede abandonar
 0 1 2 3 4
0 1 3
4 4 0 0 0
1 1 1
Ejemplo 2 2 0 0 0
P 2 0 0 1 0 0
3 0 0 1 2 0
3 3
4 1 0 0 0 0

1/2 1/2 1
1 2

1/4 0 3/4 1/3

3
1
4 2/3
El estado 2 es un estado absorbente (por lo
tanto un estado recurrente), porque una vez que
el proceso entra al estado 2 nunca regresar

Los estados 3 y 4 son transitorios porque una

vez que el proceso se encuentra en el estado 3,
existe una probabilidad positiva de que nunca
regresar

Los estados 0 y 1 son recurrentes. Se puede

demostrar que f00=1 y f11 = 1. Esto no es sencillo
y puede mostrar de la siguiente manera
Observe que la matriz de n pasos es de esta
forma, en donde los asteriscos (*) representan
nmeros positivos

0 1 2 3 4
0 * * 0 0 0
1 * * 0 0 0
P 2 0 0 1 0 0
3 0 0 * * 0
4 1 0 0 0 0
Es intuitivamente evidente que el estar en el
estado 0 o 1 se regresar a estos mismos
Hacer en Excel
Una clase es recurrente si no se
puede salir de ella.

Una clase es transitoria si se puede

salir de ella y no hay forma de
regresar
 Definicin
El periodo de un estado i se define como el
entero t (t > 1) si Piin = 0 para todos los valores
de n distintos de t, 2t, 3t, /// y t es el entero ms
grande con esa propiedad

El estado i slo puede ser visitado

en pasos mltiples de t
 Ejemplo

0 1 2 1 1 Slo hay
0 0 12 12 1/2
una clase
0 recurrente
P 1 1 0 0 1/2 con
1 2 perodo 2
2 1 0 0

Realizacin: 0 1 0 2 0 2 0 1 0 2 0
Siempre se pasa en un nmero mltiplo de 2
 0 1 2 0 1 2
0 1 0 0 0 0 12 12
P 2
1 0 12 12 P3 1 1 0 0
2 0 1 1 2 1 0 0
2 2
0 1 2
El proceso
0 1 0 0
tiene perodo 2
P4 1 0 12 12 P2n+1 = P
2 0 1 1 P2n = P2
2 2
 PERIODICIDAD DE LAS CLASES RECURRENTES

Para una clase recurrente se puede obtener el

perodo (p) como el mximo comn divisor (MCD) de
las longitudes de los ciclos que pueden encontrarse
en esa clase. Partiendo de la observacin de un
grafo, un ciclo es una ruta que sale de un estado y
regresa a l mismo.

Vamos a digerir un poco este concepto con

ejemplos...
PERIODICIDAD DE LAS CLASES RECURRENTES

Para determinar el periodo

de esta y de cualquier clase
recurrente pueden obviares
los valores de las
probabilidades a los arcos y
nicamente observar los
ciclos existentes. Las
longitudes de dichos ciclos
son

Ciclos de longitud 2 (3 4 3 o 5 4 5
Ciclos de longitud 3 (3 4 5 3)
MCD (2, 3) = 1, ] el periodo es 1
 PERIODICIDAD DE LAS CLASES RECURRENTES

A B
En este caso pueden
observarse las siguientes
longitudes de ciclo
D C

Ciclos de longitud 2 B C B
Ciclos de longitud 4(B C D A B)
Ciclos de longitud 6(A B C D C B A)
MCD (2, 4, 6)= 2 ] Periodo p=2
PERIODICIDAD DE LAS CLASES RECURRENTES

En este caso por existir un

ciclo de longitud 1 (B B),
A B el mximo comn divisor
ser de cualquier forma
tambin igual a 1, y por
D
tanto se dice que esta clase
C
recurrente tiene periodo
p=1
EJEMPLO DE UNA CADENA PERIDICA DE PERIODO K=3

A1 A2

A3
 CADENAS ERGDICAS

a b c d e Clasificacin de estados
a 12 0 1
2 0 0 Recurrentes a, c, e
b 0 14 0 3 4 0 Transitorios b, d
Q c 0 0 13 0 2 3 Peridicos ninguno
d 14 12 0 14 0 Absorbentes ninguno
e 13 0 13 0 13
1/4 1/3

1/2
b 1/2 c
1/2 3/4 a 1/3 2/3
1/4 1/3
d
e
1/3
1/4
 QUE TIPO DE CADENA ES?

1.
2.
Irreducible, aperidica,
recurrente y ergdica.

Irreducible, recurrente y
peridica de periodo 3.
No es ergdica.

3.
Irreducible, aperidica,
recurrente y ergdica
 QUE TIPO DE CADENA ES?

4.

1 2

5.

4 3

No es irreducible, y por tanto no es de ninguno de los

dems tipos. 1 y 4 son recurrentes; 2 y 3 son
transitorios

Irreducible, recurrente y peridica de periodo 3. No es ergdica

 PERIODICIDAD DE LAS CLASES RECURRENTES

Clase recurrente aperidica: aquella que tenga

perodo p = 1.
Clase recurrente peridica: aquella que tenga perodo
p > 1.
Cuando una cadena de markov finita homognea posee una
nica clase la cual es recurrente aperidica, se dice que la
cadena es ergdica totalmente aleatoria.
Una cadena de markov finita homognea es
semiergdica si tiene varias clases, entre las cuales
pueden haber una o ms clases transitorias pero tan
solo una clase recurrente aperiodica.
 PERIODICIDAD DE LAS CLASES RECURRENTES

Si hay varias clases recurrentes, todas ellas aperiodicas,

se tiene una cadena de markov semiregular.
Si hay una varias clases recurrentes, todas ellas
peridicas, se tiene una cadena de markov policclica.
Si hay varias clases recurrentes, algunas peridicas y
otras aperiodicas, se tiene una cadena de markov mixta.
 ESTADOS ABSORBENTES Y PROBABILIDADES
DE ABSORCIN

El estado k es absorbente si pkk=1

fik: Probabilidad de llegar al estado k dado que en algn momento se

encontraba en el estado i
Considera todas las probabilidades de la
M
primera transicin
f ik pij f jk i
Considera la probabilidad condicional de j 0
absorcin al estado k

Sujeta a las condiciones:

f kk 1
f ik 0, si el estadoi es recurrentei k
 ESTADOS ABSORBENTES Y PROBABILIDADES
DE ABSORCIN
Si se inicia en el estado 2, la probabilidad de perder todo, es decir pasar
al estado 0 viene dada por
2 2 1 1 2 1
f 00 1 f 20
3 3 3
f 20
3 3
f 20
3
(0)

2 1
f10
3
f 00
3
f 20 f 20 1 / 5
2 1
f 20 f10 f 30 0 1 2 3 4
3 3
0 1 0 0 0 0

f 30
2
f 20
1
f 40
1 2/3 0 1/3 0 0
3 3 2 0 2/3 0 1/3 0
3 0 0 2/3 0 1/3
f 40 0
4 0 0 0 0 1
 ESTADOS ABSORBENTES Y PROBABILIDADES
DE ABSORCIN
Si se inicia en el estado 2, la probabilidad de ganar todo, es decir pasar
al estado 4 viene dada por

f 04 0
2 1 1 2 1
2 1 f 24 f 24 f 24
f14 f04 f 24 3 3 3 3 3
3 3
2 1
f 24
3
f14
3
f 34 f24 1 / 5
2 1
f 34 f 24 f 44
3 3

f 44 1
 PROBABILIDADES DE ESTADO ESTABLE

Es de inters ahora conocer la probabilidad de hallar el sistema en un estado

determinado cuando lleva evolucionando el proceso un tiempo
indefinidamente largo. A tales probabilidades se les denomina probabilidad
de estado estable.

El estudio de las probabilidades de estado estable se entiende por tanto como

el estudio del comportamiento a largo plazo de las Cadenas de Markov.

A las probabilidades estacionarias 0 1 2 3

se les simboliza como j

0.080 0.184 0.368 0.368 0.286 0.285 0.264 0.166

(8)
0.632 0.368 0.000 0.000 0.286 0.285 0.264 0.166
P= P* = P =
0.264 0.368 0.368 0.000 0.286 0.285 0.264 0.166
0.080 0.184 0.368 0.368 0.286 0.285 0.264 0.166
 CONCEPTO DE ERGODICIDAD DE BOLTZMAN

Ejemplo de ergodicidad comentado por Caldentey y Mondschein de la

Universidad de Chile.

Supongamos que disponemos de dos estanques A y B unidos por una

tubera, la que contiene una llave de paso originalmente cerrada.
un equilibrio se alcanza

el estado final que ha alcanzado el sistema es independiente de las condiciones iniciales

El estanque A contiene oxigeno a una presin Pa y el B helio a una

presin Pb. Si la vlvula se abre las molculas de oxigeno
evolucionan hacia el estanque B, mientras que las de helio lo hacen
hacia el estanque A.
 CLCULO DE PROBABILIDADES ESTACIONARIAS

Forma 1 de Calculo Multiplicando por si misma a la Matriz inicial

Forma 2 de Calculo
de Probabilidades de Transicin, hasta que
la matriz resultante despus de muchas
transiciones se estabilice en unos valores de
probabilidad definidos.
Empleando el simple concepto de Probabilidad
Total

P(A) = P(A) P(A/A)+P(B) P(A/B) + P(C) P(A/C) + P(D) P(A/D) +

0 = 0 poo + 1 p1o + 2 p2o + 3 p3o M

1 = 0 po1 + 1 p11 + 2 p21 + 3 p31 j i pij j
i 0
2 = 0 po2 + 1 p12 + 2 p22 + 3 p32
M
3 = 0 po3 + 1 p13 + 2 p23 + 3 p33
i 1
0 + 1 + 2 + 3 =1 i 0
CLCULO DE PROBABILIDADES ESTACIONARIAS

0.080 0.184 0.368 0.368

0.632 0.368 0.000 0.000
P=
0.264 0.368 0.368 0.000
0.080 0.184 0.368 0.368

0 = 0.286 1 = 0.285

2 = 0.264 3 = 0.166
 CLCULO DE PROBABILIDADES ESTACIONARIAS

Con las probabilidades estacionarias ya calculadas,

puede calcularse el tiempo de la primera recurrencia
de un estado, es decir, el tiempo de que un estado i
vuelva a ese mismo estado por primera vez. A estos
tiempos suelen denominarse tiempos de primera
pasada y se simbolizan por jj.

1
jj
j
El caso de la movilidad de clases sociales. Suponga
que en la sociedad slo existen los estratos
econmicos Alto, Medio y Bajo

A continuacin se muestra
la matriz de transicin de Estado 0 Clase Alta
un paso, es decir la
Estado 1 Clase Media
probabilidad de pasar en
una generacin de una Estado 2 Clase Baja
clase social a otra
 Hijos
A M B
A 0.45 0.48 0.07
P M 0.05 0.7 0.25
B 0.01 0.5 0.49

Por ejemplo, el 1% de las personas que tuvieron padres

de clase Baja logran ser personas de clase Alta
Recordar que = P

0.45 0.48 0.07

* 0.05 0.7 0.25
0.01 0.5 0.49

Las ecuaciones del estado estable

A P
A AA M PMA P
B BA

M A PAM M PMM P
B BM

B A PAB M PMB B PBB

A M B 1