IO2 - 2018

CADENAS DE MARKOV
 IO2 - 2018

Objetivo
Definir lo qué es un proceso estocástico e
introducir los conceptos de cadena de Markov
y matriz de transición y sus aplicaciones.
 IO2 - 2018
Conceptos básicos
Espacio muestral:
Es el conjunto de posibles valores o resultados de un experimento

Probabilidad:
Es la posibilidad de ocurrencia de un evento

Evento:
Subconjunto del espacio muestral

Función de distribución:
Función que asigna a cada evento una probabilidad

Variable aleatoria:
Una función que asigna valores reales a los resultados de un experimento.
Antonio Hoyos
 IO2 - 2018
¿Qué es un proceso estocástico?

Es un proceso que se desarrolla de manera

aleatoria en el tiempo.
Definición formal
Proceso estocástico: es una familia de variables aleatorias { ( ) , ∈ } en donde
t toma valores del conjunto T.
 Descripción de un proceso estocástico

{ ( ), ∈ }

• Para describir un proceso estocástico basta conocer la

distribución de probabilidad conjunta de dichas variables.

• Para cada t el sistema se encuentra en uno de un número

finito de estados mutuamente excluyentes; 0, 1, 2, … , M

• Si T es finito se trata de un proceso discreto !

• Si T es un subconjunto de los reales se trata de un proceso

continuo !
 Cadenas de Markov

Una cadena de Markov es un proceso estocástico que

cumple con la propiedad de perdida de memoria.

Los estados futuros del proceso dependen únicamente

del presente, por lo mismo son independientes del
pasado.
Cadenas de Markov

Definición formal de un proceso Markoviano:

Considere el proceso ( +1, , −1,…, 1, 0)

Si = → el proceso se encuentra en el estado i en el tiempo o
etapa n.

Un proceso cumple con la propiedad markoviana si:

( +1 = / = , −1 = −1,…, 1 = 1, 0 = 0) = ( +1 = / = )
 Cadenas de Markov
Probabilidad de transición
• La probabilidad ( +1 = / = ) se denomina probabilidad de
transición.

Probabilidades estacionarias
• Si ( +1 = / = ) = ( = / −1 = ) = ⋯ = ( 1 = / 0 = ) se dice que
la probabilidad es estacionaria y se denota como Probabilidad de
transición en n pasos

• ( + = / = )= ( = / 0= )= ( ) para toda t: 0,1,2… Se cumple:

0≤ ( )≤1 ,, = 0,1,2, …
Probabilidades de Transición

Los números pij se denominan probabilidades de transición

y definen la probabilidad de que el proceso estando
actualmente en el estado i pase al estado j en su próxima
transición, independientemente de la etapa n en que se
encuentre el proceso.
Cadenas de Markov

Matriz de transición de una etapa:

Matriz cuadrada formada por las probabilidades de
transición.

Resume todas las probabilidades de transición para las los M

estados posibles del sistema.
EJEMPLO CLIMA:

EN UNA CIUDAD “X” EL CLIMA PUEDE CAMBIAR DE UN DIA PARA OTRO,

CONSIDERE SÓLO DOS ESTADOS DEL TIEMPO: CLIMA SECO O HÚMEDO. LA
PROBABILIDAD DE TENER UN CLIMA SECO AL DÍA SIGUIENTE ES DE 0.8 SI EL
DÍA ACTUAL ES SECO; PERO SI EL CLIMA ES HUMEDO LA PROBABILIDAD DE
TENER UN CLIMA SECO ES DE 0.6.

SUPONGA QUE DICHOS VALORES NO CAMBIAN EN EL TIEMPO,

DETERMINAR:

1)MATRIZ DE TRANSICIÓN
2)DIAGRAMA DE TRANSICIÓN
Ley de Chapman-Kolmogórov
La ley de Chapman-Kolomogórov se basa en la ecuación del mismo
nombre, a la que llegaron de forma independiente el matemático
británico Sydney Chapman y el matemático ruso Andréi Kolmogórov.
Enunciada de una forma sencilla dice: "la probabilidad de que dos
hechos debidos al azar (y que cumplen unas condiciones
determinadas), pasen conjuntamente... es "pequeñísima".
Ecuaciones de Chapman-Kolmogorov
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular las
probabilidades de transición de “n” pasos.

y cualquier m=1,2,…,n-1 y n=m+1,m+2,…

Estas ecuaciones señalan que al ir del estado “i” al estado “j” en “n” pasos, el proceso
estará en algún estado “k” después de exactamente m (menor que n) pasos.
Ecuaciones de Chapman-Kolmogorov
Estas expresiones permiten que las probabilidades de transición de n
pasos se puedan obtener a partir de las probabilidades de un paso de
manera recursiva.
Ecuaciones de Chapman-Kolmogorov
Notemos que estos elementos se obtienen al multiplicar la matriz de
transición de un paso por sí mismo, esto es,
El clima en Coquimbo puede cambiar con rapidez de un día a otro. Sin
embargo, las posibilidades de tener clima seco (sin lluvia) mañana es de
alguna forma mayor si hoy está seco, es decir, no llueve. En particular, la
probabilidad de que mañana esté seco es de 0.8 si hoy está seco, pero es
de sólo 0.6 si hoy llueve.

Si el día de hoy está seco, ¿cuál es la probabilidad de que dos días

después esté seco también
Para el caso del clima, se usará las fórmulas anteriores para calcular las diferentes
matrices de transición de n pasos a partir de la matriz P (de un paso)
Así, si el clima está en el estado 0 (seco) en un día particular, la
probabilidad de estar en el estado 0 dos días después es de 0.76

De manera similar, si el clima está en el estado 1 ahora, la probabilidad

de estar en el estado 0 dos días después es de 0.72
Cadenas de Markov

Representación gráfica de un proceso de Markov

Un proceso de Markov puede representarse gráficamente

si se conocen los M estados posibles del sistema y las
probabilidades de transición asociadas a ellos.
Ejemplo: problema del clima

Considere el clima de la ciudad de La Serena durante el mes de Junio, los días son
lluviosos y soleados. Si el día es soleado la probabilidad de que el siguiente sea un día
soleado es de 0.4, si el día es lluvioso la probabilidad de que el siguiente sea lluvioso es de
0.7.
1. ¿Se trata de una cadena de Markov?
2. Si lo es ¿cuál es la matriz de transición?
3. Si lo es ¿represente gráficamente la cadena de Markov?

Sea Xn el estado del clima en el día n. Este es una cadena de Markov pues el clima actual
depende del anterior. = ( , )
Gráficamente, una CMTD con espacio de estados finito se puede
representar mediante un diagrama de transición, es decir, mediante un
grafo dirigido finito, donde cada nodo representa un estado de la
cadena, los arcos representan las posibles transiciones entre estados y
sobre los arcos se indican las probabilidades de transición entre los
estados representados por los nodos unidos por cada arco.
Ejemplo (Sistema de comunicaciones) Consideremos un sistema de comunicaciones que
transmite dígitos 0 y1. Cada dígito debe pasar por varias fases, en cada una de las cuales
hay una probabilidad p de que el dígito que entra coincida con el que sale. Las fases son
independientes entre sí.
Ejemplo (Seguridad de un sistema) Se sabe que un sistema fallará o no dependiendo de si
ha fallado o no el día anterior. La probabilidad de que falle un día sabiendo que ha
fallado el día anterior es de 0.7, pero si no ha fallado el día anterior es de 0.2.

Consideremos de nuevo el ejemplo anterior de un sistema en el que ahora suponemos que el

estado en el que se encuentra el sistema un día depende de lo que ha ocurrido los dos días
anteriores. Concretamente, supongamos que si falló ayer y falla hoy, fallará mañana con
probabilidad 0.8; si está fallando hoy pero no ayer, entonces fallará mañana con
probabilidad 0.6; si falló ayer pero no hoy, entonces fallará mañana con probabilidad 0.4; si
no ha fallado ni hoy ni ayer, entonces fallará mañana con probabilidad 0.1.

Estados: 0 (falló ayer y hoy),

1 (falló ayer pero no hoy),
2 (no falló ayer pero sí hoy),
3 (no falló ni ayer ni hoy).
Problema del jardinero
Cada año, durante la temporada de siembra de Marzo a Septiembre, un jardinero realiza una
prueba química para verificar la condición de la tierra. Según el resultado de la prueba, la
productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3)
mala. A lo largo de los años, el jardinero ha observado que la condición de la tierra del año anterior
afecta la productividad del año actual y que la situación se describe mediante la siguiente cadena
de Markov: Las probabilidades de transición muestran que la condición de la tierra puede o
deteriorarse o permanecer como está pero nunca mejorar. Por ejemplo, si la condición de la tierra es
buena en este año (estado 1) hay 20% de que no cambie el año siguiente, 50% de probabilidad de
que sea regular (estado 2), y 30% de probabilidad de que se deteriorará a una condición mala
(estado 3). El jardinero modifica las probabilidades de transición P utilizando un fertilizante orgánico.
El uso de fertilizante puede
conducir a mejorar las
condiciones del suelo.
PROBABILIDADES DE TRANSICIÓN ABSOLUTAS Y DE n PASOS
Dada la matriz de transición P de una cadena de Markov y el vector de
probabilidades iniciales.

Las probabilidades absolutas después de n (>0)

transiciones se calculan como sigue:

La matriz Pn se conoce como la

matriz de transición de n pasos.

Chapman-Kolmogorov.
Problema del jardinero con fertilizante (Taha 9na edición)

La condición inicial de la tierra es buena, es decir a(0)=(1,0,0). Determine las

probabilidades absolutas de los tres estados del sistema después de 1,8 y 16
temporadas de siembra.
Problema del jardinero con fertilizante (Taha 9na edición)
Por lo tanto, las probabilidades absolutas requeridas se calculan como:

Las filas de P8 y el vector de probabilidades absolutas a(8) son casi idénticos. El resultado es más
evidente para P16. Ello demuestra que, a medida que la cantidad de transiciones aumenta, las
probabilidades absolutas se vuelven independientes del a(0) inicial. Las probabilidades resultantes
se conocen como probabilidades de estado estable.
CLASIFICACIÓN DE LOS ESTADOS EN UNA CADENA DE MARKOV

Los estados de una cadena de Markov se clasifican con base en la

probabilidad de transición pij de P.

1. Un estado j es absorbente si es imposible abandonarlo, pii=1.

A
2. Un estado j es transitorio si puede llegar a otro estado pero no puede
regresar desde otro estado. La probabilidad de regresar al estado alguna
vez es menor que 1.

b
3. Un estado j es recurrente si la probabilidad de ser revisitado desde otros
estados es 1. Esto puede suceder si, y sólo si, el estado no es transitorio.

1/3

1/2
1/2 b
a 1/3 2/3

1/3
c

1/3
Un estado es periódico con período d si sólo se puede regresar a él
después de d, 2d, ..., nd pasos.

Ejemplo: En la siguiente CM todos los estados

son periódicos de periodo k=2:
…

…
• Ejemplo: En la siguiente CM todos los estados son
periódicos de periodo k=3:
Los estados 1 y 2 son transitorios porque no se puede volver a entrar a ellos una vez que el
sistema se queda “atrapado” en los estados 3 y 4. Un conjunto cerrado lo constituyen los
estados 3 y 4, que en cierta forma desempeñan el papel de un estado absorbente. Por
definición, todos los estados de un conjunto cerrado deben comunicarse, lo cual significa
que es posible ir de cualquier estado a cualquier otro estado del conjunto en una o más
transiciones.
Se dice que una cadena de Markov es ergódica si todos los
estados son recurrentes y aperiódica(no periódica). En este caso
las probabilidades absolutas después de n transiciones,

siempre convergen de forma única a una distribución limitante

(estado estable) que es independiente de las probabilidades iniciales
a(0) .
Considere la cadena de Markov del jardinero sin fertilizante:

Los estados 1 y 2 son transitorios porque llegan al estado 3 pero nunca se

puede regresar a ellos. El estado 3 es absorbente porque p33=1

Por ejemplo, considere

El resultado muestra que, a la larga, la probabilidad de volver a entrar al

estado 1 o 2 es cero, y que la probabilidad de quedarse “atrapado” en
el estado absorbente 3 es segura.
PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS DE RETORNO MEDIOS DE
CADENAS ERGÓDICAS.
Para determinar la distribución de probabilidad de estado estable del
problema del jardinero con fertilizante, tenemos
La solución es ̟1=0.1017, ̟2=0.5254 y ̟3=0.3729; es decir que a la larga la
condición de la tierra será buena 10% del tiempo, regular 52% del tiempo,
y mala 37% del tiempo.

Los tiempos medios del primer retorno se calculan como

Esto quiere decir que, en promedio, se requerirán aproximadamente 10 temporadas de

siembra para que la tierra regrese a un buen estado, 2 temporadas para que regrese al
estado regular y 3 temporadas para que regrese a un estado malo. Estos resultados
apuntan hacia un panorama menos promisorio para la condición de la tierra con el uso
propuesto de fertilizantes. Un programa más agresivo debe mejorar el panorama. Por
ejemplo, considere la siguiente matriz de transición en la que las probabilidades de
trasladarse a un buen estado son más altas que en la matriz previa:
En este caso, ̟1=0.31, ̟2=0.58, y ̟3=0.11, lo cual da µ11=3.2,
µ22=1.7 y µ33=8.9, un cambio reversible del sombrío
panorama dado anteriormente.
TIEMPO DEL PRIMER PASO

En el punto anterior, utilizamos las probabilidades de estado estable para

calcular µjj, el tiempo medio del primer retorno para el estado j.

Ahora nos interesa el tiempo medio del primer paso µij, definido como el
número esperado de transiciones para llegar por primera vez al estado j
desde el estado i.

Una forma más simple de determinar el tiempo medio del primer paso
de todos los estados en una matriz de n transiciones, P, es utilizar la
siguiente fórmula basada en una matriz:
TIEMPO DEL PRIMER PASO

(TAHA 9ED)
(TAHA 9ED)
ANÁLISIS DE LOS ESTADOS ABSORBENTES
En estos tipos de cadenas, nos interesa determinar la probabilidad de
llegar a la absorción y el número esperado de transiciones para llegar a
ella.
En el problema del jardinero, sin fertilizante la matriz de transición se da
como:

Los estados 1 y 2 (condiciones de tierra buena y regular) son transitorios, y

el estado 3 (condición de tierra mala) es absorbente, porque una vez que
llega a ese estado el sistema permanecerá allí por tiempo indefinido.
ANÁLISIS DE LOS ESTADOS ABSORBENTES

El análisis de las cadenas de Markov con estados absorbentes puede

realizarse de forma conveniente con matrices. En primer lugar, la
Cadena de Markov se particiona como sigue:

La disposición requiere que todos los estados absorbentes ocupen la

esquina suroeste de la nueva matriz.
ANÁLISIS DE LOS ESTADOS ABSORBENTES

La matriz P puede reacomodarse y particionarse como:

ANÁLISIS DE LOS ESTADOS ABSORBENTES

En este caso, tenemos

Dada la definición de A y N y el vector columna unitario 1 (de todos los

elementos 1), se puede demostrar que:
PROBABILIDADES DE ABSORCIÓN DE UN ESTADO

Si se tiene uno o mas estados absorbentes en una cadena de Markov y es

evidentes que el proceso será absorbido en uno de estos estados, es
deseable encontrar estas probabilidades de absorción. Dichas
probabilidades pueden obtenerse con solo resolver un sistema de
ecuaciones lineales que considera todas las posibilidades para la primera
transición y después, dada la primera transición, considera la probabilidad
condicional de absorción al estado j. en particular, si el estado j es un estado
absorbente, entonces el conjunto de probabilidades de absorción
fij satisface el sistema de ecuaciones
CADENAS DE MARKOV EN TIEMPO CONTINUO

En ciertos casos ( como en algunos modelos de líneas de espera) en los que se requiere un
parámetro (llamado t´) de tiempo continuo, debido a que la evolución de un proceso se
esta observando de manera continua a través del tiempo. Un proceso estocástico de
tiempo continuo {X(t´);t´≥ 0} es una cadena de Markov de tiempo continuo si tiene la
propiedad markoviana se estudiaran las cadenas de Markov de tiempo continuo con las
siguientes propiedades.

1. Un numero finito de estados

2. 2. Probabilidades de transición estacionarias
CADENAS DE MARKOV EN TIEMPO CONTINUO

Cuando un proceso entra en el estado i , la cantidad de tiempo que pasa

en ese estado antes de moverse a un estado diferente, es una variable
aleatoria T donde i= 0, 1, …M.

La distribución exponencial posee la propiedad de que la distribución de

probabilidad de tiempo que falta para que el proceso haga una transición
fuera de un estado dado siempre es la misma, independientemente de
cuanto tiempo haya pasado el proceso en ese estado.

Tiene solo un parámetro, llámese q, donde la media es 1/q y la función de

distribución acumulada es

P{ ≤ }=− − para t≥ 0
CADENAS DE MARKOV EN TIEMPO CONTINUO

Este resultado anteriores lleva a una forma equivalente de definir un

cadena de Markov de tiempo continuo.

1. La variable aleatoria tiene una distribución exponencial con media

1/q.

2. Cuando sale de un estado i, el proceso se mueve a otro estado j, como

probabilidades , en donde satisface las condiciones

=0 para toda i,
Σm =0 = 1 para toda i,

3. El siguiente estado que se visita después del estado i es independiente

del tiempo que paso en estado i.
CADENAS DE MARKOV EN TIEMPO CONTINUO

Las intensidades de transición son.

i= 0, 1, …M

i≠j

donde ( ) es la función de probabilidad de transición de tiempo continuo

CADENAS DE MARKOV EN TIEMPO CONTINUO
Probabilidades de estado estable

Para cualesquier estado i y j y números no negativos t y s (0 ≤ s ≤ 0),

se dice que un par de estados i y j se comunican si existe tiempos 1 2

tales que ( 1)>0 y ( 2)>0. se dice que todos los estados que se
comunican forman una clase. Si todos los estados cadena forman una sola
clase, es decir, si la cadena de Markov es irreducible, entonces
CADENAS DE MARKOV EN TIEMPO CONTINUO
Probabilidades de estado estable

Siempre existe y es independiente del estado inicial de la cadena de

Markov, para j= 0, 1, …M. estas propiedades limitantes se conocen como
las probabilidades de estado estable de la cadena de Markov.

Las satisfacen las ecuaciones

Las siguientes ecuaciones de estado estable proporcionan un sistema de

ecuaciones útiles para obtener la probabilidad del estado estable.
CADENAS DE MARKOV EN TIEMPO CONTINUO

Un taller tiene dos maquinas idénticas que operan continuamente excepto

cuando se descomponen. Como lo hacen con bastante frecuencia, la
tarea con mas alta prioridad para las personas de mantenimiento que
trabajan tiempo completo, es repararla cuando lo necesiten. El tiempo
requerido para reparara una maquina tiene distribución exponencial como
media de medio día. Una vez que se termina la reparación, el tiempo que
transcurre hasta la siguiente descompostura tiene distribución exponencial
con media de 1 día. Estas distribuciones son independientes Defina la
variable aleatoria X(t´) como X(t´)= numero de maquinas descompuestas
en el tiempo t´.
CADENAS DE MARKOV EN TIEMPO CONTINUO
Tasas de transición total hacia afuera de cada estado.

Sustituyendo todas las tasas en la ecuaciones de estado estable dadas se

obtiene.
CADENAS DE MARKOV EN TIEMPO CONTINUO

Cualquiera de las ecuaciones de balance se puede eliminar como

redundante, y la solución simultanea de las ecuaciones restantes da la
distribución del estado estable como