UNIDAD 4

CADENAS DE MARKOV
INVESTIGACION DE OPERACIONES II
 4.1 INTRODUCCIN A LAS CADENAS
DE MARKOV
LascadenasdeMarkovtienenlapropiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionar
en el futuro dependen slo del estado actual en que se encuentra el
proceso y,portantoson independientes delos eventosocurridos en el
pasado. Muchos procesos se ajustan a esta descripcin por lo que las
cadenas
deMarkovconstituyenunaclasedemodelosprobabilsticosde
Gran importancia.
 UnacadenadeMarkovesunaseriedeeventos,enlacualla probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de
este tipo tienen memoria.
"Recuerdan" el ltimo
eventoyestocondicionalasposibilidadesdeloseventosfuturos.Esta dependencia
del evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda alaire o un dado.
 4.2. PROBABILIDAD DE TRANSICIN ESTACIONARIA DE
N PASOS

Suponga que estudiamos una cadena de markov con matriz. P de probabilidad

de transicin conocida. Como todas las cadenas con las que trataremos son
estacionarias, no nos importara identificar nuestras cadenas de markov como
estacionarias. Una pregunta de inters es: si una cadena de markov est en el
estado i en el tiempo m, Cul es la probabilidad que n periodos despus de la
cadena de markov este en el estado j? como se trata de una cadena de
markov estacionaria, esta probabilidad ser independiente de m y, por tanto,
podemos escribir :

Donde Se llama probabilidad en la etapa n de una transicin de estado i al

estado j.
Es claro que pn(1)=pn para determinar pn(2) ntese que si el sistema se encuentra
hoy en el estado i. entonces para que el estado termine en el estado j dentro de 2
periodos, debemos pasar del estado i al estado k y despus pasar del estado k al
estado i este modo de razonar nos permite escribir
(Probabilidad de transicin de i a k)
(Probabilidad de transicin de k a j)

De acuerdo con la definicin de p. la matriz de transicin de replanteamos la ltima

ecuacin en la siguiente forma:
 4.3 ESTADO ESTABLE
Para
n grande, tiende a una matriz con renglones idnticos. Esto significa que
despus de un largo tiempo, la cadena de markov se estabiliza, e
(independientemente del estado inicial i) hay una probabilidad j de que se est
en el estado j .
1 , 2 n
El vector se llama distribucin de estado estable o distribucin
de equilibrio, para la cadena de markov. Para una cadena determinada con
matriz de transicin P, cmo se puede hallar la distribucin de probabilidad de
estado estable? A partir del teorema 1, se observa que para n grande y toda i,
 4.4 CASOS ESPECIALES ( CADENAS
ABSORBENTES, CADENAS CCLICAS)
ESTADOS
ABSORBENTES
Es un estado a partir de la cual existe cero probabilidad de hacer una transicin fuera de
ese estado, que contiene al menos un estado que es posible llegar a un nmero de
etapas comenzando en cualquier estado no absorbente.
En una cadena de Markov un conjunto C de estados se denomina absorbentes si el
sistema, pertenece indefinidamente. Un ejemplo especial de un conjunto cerrado es un
estado particular que tenga una probabilidad de transicin . En este caso se denomina
estado absorbente.
Este tipo de cadenas son cadenas cclicas. En este caso particular, nos encontramos
ante una cadena de periodo p=2.

Obsrvese que la primera columna es siempre cero, por lo que el estado 1 no

aparecer en las probabilidades a largo plazo; quiere ello decir que la cadena
considerada no es ergdica, aunque es claro que pueden existir cadenas cclicas
ergdicas, como veremos en ejemplos posteriores.

Tambin debemos preguntarnos qu ocurre con las probabilidades estacionarias en

las cadena cclicas, ya que si las sucesivas potencias de P no tienden hacia unos
valores determinados. Ms adelante, cuando estudiemos el clculo sistemtico de P*,
daremos una respuesta a esta pregunta.
 4.5 USO DE SOFTWARE

MATLAP
H2M
OCTAVE
HiddenMarkov
Matrix Algebra Tool