CADENAS

DE MARKOV
Introducción

Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución y
el comportamiento a corto y a largo plazo de determinados sistemas. Este modelo era
entendida como un tipo especial de procesos estocásticos de tiempo discreto o finito, la
característica principal es que los estados futuros son independientes de los últimos estados
y las probabilidades no son las mismas de acuerdo a la distribución.
Proceso estocástico

- Supongamos que observamos una característica de un sistema en puntos de tiempo

discreto (X0,...,Xn).
- Sea Xt el valor de la característica del sistema en el tiempo t. En la mayoría de las
situaciones, Xt no es conocido con certeza antes del tiempo t y puede ser considerado
como una variable aleatoria.
- Un Proceso Estocástico de Tiempo Discreto es simplemente una descripción de la
relación entre las variables aleatorias X0, X1, X2 … Xn
Modelo de Markov

s
Modelo de Markov

s
Modelo de Markov

s
Modelo de Markov Planteamiento

s
Modelo de Markov Planteamiento

s
Matriz de transición
La notación utilizada en la matriz es una forma conveniente de resumir las probabilidades de
transición en un paso:

La matriz P define una cadena de Markov. Tiene la propiedad de que todas sus probabilidades
de transición pij son estacionarias e independientes a lo largo del tiempo.Aunque una cadena
de Markov puede incluir un número infinito de estados, la presentación en este capítulo se
limita a sólo cadenas finitas, ya que es el único que se necesita en el texto.
Matriz de transición
s
Ejemplo del Jardinero
Cada año, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una
prueba química para verificar la condición de la tierra. Según el resultado de la prueba, la
productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y
(3) mala. A lo largo de los años, el jardinero ha observado que la condición de la tierra del año
anterior afecta la productividad del año actual y que la situación se describe mediante la
siguiente cadena de Markov:
Ejemplo del Jardinero

Las probabilidades de transición muestran que la condición de la tierra puede o deteriorarse o

permanecer como está pero nunca mejorar. Por ejemplo, si la condición de la tierra es buena
en este año (estado 1) hay 20% de que no cambie el año siguiente, 50% de probabilidad de
que sea regular (estado 2), y 30% de probabilidad de que se deteriorara a una condición mala
(estado 3).
Ejemplo del Jardinero
El jardinero modifica las probabilidades de transición P utilizando un fertilizante orgánico. En
este caso, la matriz de transición se vuelve:
Aplicación

El campo de aplicación de las cadenas de Markov es amplio, es utilizada en el proceso

industrial de fabricación de tejas, en los negocios para analizar los patrones de compra de los
deudores, para planear las necesidades de personal, para analizar el reemplazo de equipo,
entre otros
Definición de la Cadena de Markov

Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el
tiempo t =1, 2… . La familia de variables aleatorias {Xi} forma un proceso estocástico con una
cantidad finita o infinita de estados.
Mantenimiento de una máquina

La condición de una máquina en el momento del mantenimiento preventivo mensual es mala,

regular o buena. Para el mes t, el proceso estocástico en esta situación se representa como
sigue:

La variable aleatoria Xt es finita porque representa tres estados: malo (0), regular (1) y bueno
(2).
Proceso de Markov

Un proceso estocástico es un proceso de Markov si un estado futuro depende sólo del estado
inmediatamente anterior. Esto significa que dados los tiempos cronológicos la
familia de variables aleatorias es un proceso de Markov si
Proceso de Markov

En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las

probabilidades en un punto específico del tiempo t = 0,1,2,… se definen como

- Tanto i como j tienen como valor final a n porque ambos son índices que conforman
una matriz cuadrática de transición.
Proceso de Markov

Esto se conoce como probabilidad de transición en un paso al ir del estado i en el instante t 2

1 al estado j en el instante t. Por definición, tenemos: