INSTITUTO TECNOLOGICO SUPERIOR

DE ALVARADO

INGENIERA INDUSTRIAL

MATERIA:
INV. DE OPERACIONES II

SEMESTRE-GRUPO:
5 SEMESTRE A

PRODUCTO ACADMICO:
INVESTIGACION

TEMA:
CADENAS DE MARKOV

UNIDAD 5

PRESENTA:
YAZARETH ACOSTA HERNNDEZ (156Z0031)

DOCENTE:
ING. MIGUEL JIMENEZ DOMINGEZ

29 DE NOVIEMBRE DEL 2017

H Y G. ALVARADO, VER. AGOSTO-DICIEMBRE 2017

 INTRODUCCIN
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de
este tipo tienen memoria. " Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue
a las cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones
de compra de los deudores morosos, para planear las necesidades de personal y
para analizar el reemplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo
el mtodo en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo ms importante
an, es que permite encontrar el promedio a la larga o las probabilidades de estado
estable para cada estado. Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo.
La tarea ms difcil es reconocer cundo puede aplicarse. La caracterstica ms
importante que hay que buscar en la memoria de un evento a otro.
 OBJETIVO
Conocer los modelos estocsticos bsicos, y ser capaz de aplicarlos para resolver problemas
especficos y formular interpretaciones probabilsticas.
 4.1 INTRODUCCIN Y TIPOS DE CADENA DE MARKOV
En la teora de la probabilidad, se conoce como cadena de Mrkov a un tipo especial
de proceso estocstico discreto en el que la probabilidad de que ocurra un evento
depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo
tienen memoria. El ltimo evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Mrkov de
las series de eventos independientes, como tirar una moneda al aire o un dado.
En matemticas, se define como un proceso estocstico discreto que cumple con la
propiedad de Mrkov, es decir, si se conoce la historia del sistema hasta su instante
actual, su estado presente resume toda la informacin relevante para describir en
probabilidad su estado futuro.
Una cadena de Mrkov es una secuencia X1, X2, X3,... de variables aleatorias. El
rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del
proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en
estados pasados es una funcin de Xn por s sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la

propiedad de Mrkov.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones
de compra de los deudores morosos, para planear las necesidades de personal y
para analizar el reemplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo
el mtodo en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo ms importante
an, es que permite encontrar el promedio a la larga o las probabilidades de estado
estable para cada estado. Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo.
Una cadena de Markov es una sucesin de ensayos similares u observaciones en
la cual cada ensayo tiene el mismo nmero finito de resultados posibles y en donde
la probabilidad de cada resultado para un ensayo dado depende slo del resultado
del ensayo inmediatamente precedente y no de cualquier resultado previ
 TIPOS DE CADENAS DE MARKOV
CADENAS ERRTICAS
Una cadena de Mrkov se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre s):
Desde cualquier estado de E se puede acceder a cualquier otro.
Todos los estados se comunican entre s.
C(x)=E para algn xE.
C(x)=E para todo xE.
El nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son
ejemplos de cadenas de Mrkov irreducibles.
CADENAS POSITIVO-RECURRENTES
Una cadena de Mrkov se dice positivo-recurrente si todos sus estados son positivo-
recurrentes. Si la cadena es adems irreducible es posible demostrar que existe un
nico vector de probabilidad invariante y est dado por:

CADENAS REGULARES
Una cadena de Mrkov se dice regular (tambin primitiva o ergdica) si existe
alguna potencia positiva de la matriz de transicin cuyas entradas sean todas
estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la
cadena se tiene que:

Donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En
el caso de cadenas regulares, ste vector invariante es nico.
CADENAS ABSORBENTES
Una cadena de Mrkov con espacio de estados finito se dice absorbente si se
cumplen las dos condiciones siguientes:
1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algn estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su
complemento como D, tenemos los siguientes resultados:
Su matriz de transicin siempre se puede llevar a una de la forma

Donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz

identidad, 0 es la matriz nula y R alguna submatriz.
esto es, no importa en donde se encuentre la cadena,
eventualmente terminar en un estado absorbente.

Cadenas de Mrkov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. Con i indexado en
el conjunto de nmeros naturales, se consideran las variables
aleatorias Xt con t que vara en un intervalo continuo del conjunto de nmeros
reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en
tiempo continuo la propiedad de Mrkov se expresa de la siguiente manera:

Para una cadena de Mrkov continua con un nmero finito de estados puede
definirse una matriz estocstica dada por:

La cadena se denomina homognea s . Para una cadena de Mrkov

en tiempo continuo homognea y con un nmero finito de estados puede definirse
el llamado generador infinitesimal como:

Y puede demostrarse que la matriz estocstica viene dada por:

 4.6 PROBABILIDADES DE TRANSICIONES ESTACIONARIAS N PASOS
Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas
probabilidades de transicin de n pasos:

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el

proceso estar en algn estado k despus de exactamente m (menor que n) pasos. As,

Es solo la probabilidad condicional de que, si se comienza en el estado i, el proceso vaya

al estado k despus de m pasos y despus al estado j en n- m pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se

pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva.
Para n=2, estas expresiones se vuelven:

Note que las son los elementos de la matriz P(2) , pero tambin debe de

observarse que estos elementos, se obtienen multiplicando la matriz de transicin

de un paso por s misma; esto es, P = P * P = P2 .
(2)

En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n

pasos se puede obtener de la expresin: P(n) = P * P.... P = Pn = PPn-1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando
la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de
n, la matriz de transicin de n pasos se puede calcular en la forma que se acaba de describir,
pero cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de
redondeo pueden causar inexactitudes.

EJEMPLOS:
1. Una tienda de cmaras tiene en almacn un modelo especial de cmara que
se puede ordenar cada semana. Sean D1, D2,... las demandas de esta
cmara durante la primera, segunda,..., semana, respectivamente. Se
supone que las Di son variables aleatorias independientes e idnticamente
distribuidas que tienen una distribucin de probabilidad conocida. Sea X 0 el
nmero de cmaras que se tiene en el momento de iniciar el proceso, X 1 el
nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de
cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en
la noche la tienda hace un pedido que le entregan el lunes en el momento de
abrir la tienda. La tienda hace un pedido que le entregan el lunes en el
momento de abrir la tienda. La tienda usa la siguiente poltica ( s, S) 1 para
ordenar : si el nmero de cmaras en inventario al final de la semana es
menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra
manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando
la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de
cmaras en inventario al final de la semana.

As, dado que tiene una cmara al final de una semana, la probabilidad de que no
haya cmaras en inventario dos semanas despus es 0.283; es
decir, De igual manera, dado que se tienen dos cmaras al final de una
semana, la probabilidad de que haya tres cmaras en el almacn dos semanas

despus es 0.097; esto es, La matriz de transicin de cuatro pasos

tambin se puede obtener de la siguiente manera:

P(4) = P4 = P(2) * P(2)

As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad
de que no haya cmaras en inventario 4 semanas ms tarde; es

decir, De igual manera, dado que quedan dos cmaras en el almacn

final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras

en el almacn 4 semanas despus; esto es,

2. En una cierta regin el tiempo atmosfrico sigue la siguiente secuencia: Un

da se denomina soleado (S) si el sol luce ms de la mitad del da, y se
denomina nublado (N), si lo hace menos. Por experiencia, se sabe que si hay
un da nublado, es igual de probable que el da siguiente sea tambin
nublado. Si el da es soleado hay una probabilidad de 2/3 de que sea tambin
soleado.

a) Construye la matriz de transicin T de este proceso.

b) Si hoy est nublado, cul es la probabilidad de que dentro de tres das
est tambin nublado? y de que est soleado?
c) Calcula T 5 y T 10. Cul es el comportamiento de T n cuando n ?
Cmo se comporta p(n) cuando n ? Depende el lmite de p (0)?

A.- Asumimos que el proceso es markoviamo y que el tiempo slo depende del da
anterior. Se tiene una cadena de Markov con dos estados: E1 Da nublado N, E2
Da soleado S. La matriz de transicin es:

Es decir:
2.- Empezando los pasos a partir del da actual, se tiene que

De este modo, si hoy est nublado, dentro de tres das, se tiene que

As, la probabilidad de que haya un da nublado en el tercer da es p1 = (3) 29 y que

sea soleado es

3.-

Clculos as se facilitan bastante usando programas tipo MatLab, de modo que de este modo,
ya que
 3. Una empresa est considerando utilizar Cadenas de Markov para analizar
los cambios en las preferencias de los usuarios por tres marcas distintas de
un determinado producto. El estudio ha arrojado la siguiente estimacin de
la matriz de probabilidades de cambiarse de una marca a otra cada mes:

Si en la actualidad la participacin de mercado es de 45%, 25% y 30%,

respectivamente. Cules sern las participaciones de mercado de cada marca en
dos meses ms?

En primer lugar definimos la variable aleatoria X_{n} que representa la marca que
adquiere un cliente cualquiera en el mes n. Dicha variable aleatoria puede adoptar
los valores 1,2,3 en el mes n=0,1,2,3,.. Adicionalmente conocemos cul es la
distribucin inicial y la matriz de probabilidades de transicin en una etapa tal
como se observa a continuacin:

Luego para conocer la distribucin de las participaciones de mercado al cabo de 2

meses (2 etapas) podemos utilizar la frmula f^{n}=P^{T}*f^{n-1}:

Se concluye que las cuotas de mercado (participaciones de mercado) en dos

meses a cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30%
a un 25.50%, para las marcas 1,2 y 3 respectivamente.
4.

5. Obtener para una cadena de Markov con la siguiente Matriz de transicin

entre estados
 4.7 ESTADO ESTABLE
Un estado es estable cuando ya no hay cambios en el sistema, es decir que se
alcanza el equilibrio. Una manera posible de obtener las condiciones del sistema
para el estado estable es repetir iterativamente los clculos para cada periodo con
el fin de hallar el periodo con aquellas probabilidades que se mantienen constantes
o no cambian.
Sin embargo tambin es posible utilizar los mtodos para resolver sistemas de
ecuaciones que nos permiten encontrar directamente estas probabilidades de
estado estables.
En primera medida lo que hacemos es hallar la traspuesta de la matriz de transicin,
es decir:

El sistema de ecuaciones quedara as:

Esta ltima ecuacin es agregada siguiendo la propiedad de que la sumatoria las

probabilidades de los estados debe ser igual a 1.
Utilizando el mtodo de eliminacin, restamos las ecuaciones (1) y (2) eliminando
z.

Ahora sumamos las ecuaciones (3) y (4), multiplicando la ecuacin 4 por 0.2 con el
fin de eliminar z

Despejando de la ecuacin (6) y y reemplazando en (5), tenemos:

Reemplazando x en (6)
 4.8 ESTADOS ABSORBENTES.
Se dice que un estado i es absorbente si la probabilidad de transicin (de un paso) pij es
igual a 1. Una cadena de Markov es Absorbente si:
a) Tiene por lo menos un estado Absorbente.
b) Es posible ir de cada estado no absorbente hasta por lo menos un estado absorbente. No
es necesario efectuar esta transicin en un paso; ni es necesario tener la posibilidad de
alcanzar cada estado absorbente a partir de cualquier estado no absorbente.

A partir del anlisis de estas cadenas, es posible determinar los siguientes datos:

1) El nmero esperado de pasos antes de que el proceso sea absorbido.

2) El nmero esperado de veces que el proceso est en cualquier estado dado no absorbente.
3) La probabilidad de absorcin por cualquier estado absorbente dado.

Una vez que la cadena llega al estado k permanece ah para siempre. Si k es un estado
absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algn momento
a k se llama probabilidad de absorcin al estado k dado que el sistema comenz en i. Esta
probabilidad se denota por fik. Si se tienen dos o ms estados absorbentes en una cadena
de Markov y es evidente que el proceso ser absorbido en uno de estos estados, es
deseable encontrar estas probabilidades de absorcin. Dichas probabilidades pueden
obtenerse con slo resolver un sistema de ecuaciones lineales. Si el estado k es un estado
absorbente, entonces el conjunto de probabilidades de absorcin fik satisface el sistema de
ecuaciones sujeta a las condiciones

Las probabilidades de absorcin son importantes en las caminatas aleatorias. Una

caminata aleatoria es una cadena de Markov con la propiedad de que, si el sistema
se encuentra en el estado i, entonces en una sola transicin, o bien permanecer
en i o se mover a uno de los estados -inmediatamente adyacentes a i. Por ejemplo,
la caminata aleatoria con frecuencia se usa como a modelo para situaciones que
incluyen juegos de azar.
EJEMPLOS
1. La empresa jurdica Angie Montero, emplea 3 tipos de abogados:
subalternos, superiores y socios. Durante cierto ao el 10% de los
subalternos ascienden a superiores y a un 10% se les pide que abandonen
la empresa. Durante un ao cualquiera un 5% de los superiores ascienden
a socios y a un 13% se les pide la renuncia. Los abogados subalternos
deben ascender a superiores antes de llegar a socios. Los abogados que
no se desempean adecuadamente, jams descienden de categora.

a) Forme la matriz de transicin T

b) Determine si T es regular, absorbente o ninguna de las 2.
c) Calcule la probabilidad de que un abogado subalterno llegue a socio
d) Cunto tiempo deber permanecer en su categora un abogado
subalterno recin contratado?
e) Cunto tiempo deber permanecer en la empresa un abogado
subalterno recin contratado?
f) Calcule la probabilidad de que un abogado superior llegue a socio.

a) Se hace la matriz T y nos queda:

b) Ntese que la parte azul cielo tiene probabilidades iguales a 1, por lo

tanto esta es la parte absorbente de la matriz. Por esta razn es una
matriz absorbente.

Ahora se procede a restar la matriz normal de

la identidad y se halla la inversa para ver los
tiempos entre estados, para posteriormente
esta ltima ser multiplicada por la matriz
absorbente y saber las probabilidades de
cambios de estado.
 c) Al multiplicar la matriz inversa por la Absorbente se puede hallar dicha
probabilidad, esta es 0.14

d) Al simplemente hallar la matriz inversa se es posible hallar el tiempo

en aos que debera permanecer normalmente un abogado subalterno
en su compaa, seran 5 aos.

e) Cuando piden el tiempo que debera permanecer un abogado

subalterno pero durante la empresa sera sumar el tiempo en que se
queda como subalterno con el tiempo en que permanece como superior:
esto es, 5+2.77= 7.77 aos.

f) Por ltimo la probabilidad de que pase de subalterno a socio es

mostrado en la ltima matriz, sera 0,28.

2. La universidad libre ha estudiado la trayectoria de sus estudiantes y ha

descubierto que:

70% de los estudiantes de nuevo ingreso, regresarn el ao siguiente como

estudiantes de segundo ao, el 15% volvern como estudiantes de nuevo
ingreso, y el resto no regresarn.
75% de los estudiantes de segundo ao volvern el ao siguiente como
estudiantes de tercer ao, 15% volvern como estudiantes de segundo ao
y el resto no regresar.
80% de los estudiantes de tercer ao regresarn el ao siguiente, como
estudiantes de ltimo ao, 10% volvern como estudiantes de tercer ao y
el resto no regresar.
85% de los estudiantes de ltimo ao se graduarn, 10% volvern como
estudiantes de ltimo ao y el resto no regresar.

Hallar lo siguiente por medio de un sistema de ecuaciones o utilizando la

herramienta Excel:
a) Cuntos aos pasar un estudiante de nuevo ingreso como
estudiantes de nuevo ingreso?
b) Cul es la probabilidad de que se gradu un estudiante de nuevo
ingreso?
 CONCLUSION
En la teora de la probabilidad, se conoce como cadena de Mrkov a un tipo
especial de proceso estocstico discreto en el que la probabilidad de que ocurra
un evento depende del evento inmediatamente anterior. En efecto, las cadenas de
este tipo tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Mrkov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
 INSTITUTO TECNOLOGICO SUPERIOR DE ALVARADO
RUBRICA DE EVALUACIN PARA TRABAJO DE INVESTIGACIN
CARRERA: NOMBRE DE LA ASIGNATURA:
UNIDAD: TEMA:
NOMBRE ALUMNO: OBSERVACIONES:
1.- 1.-
2.- 2.-
3.- 3.-
4.- 4.-
5.- 5.-

EN FORMA NO SE
ACEPTABLE VALOR
CATEGORIA PARCIAL INCLUYE
100% ALCANZADO
70% 30%
Presentacin -- 5%Contiene:Nombre de Institucin, logotipos,
nombre de ltrabajo o tema, unidad a la que corresponde el
trabajo, carrera, nombre del alumno(s), nombre del docente,
materia, semestre, fecha todos los rubros.

ndice -- 5 % Presenta los temas y subtemas con la numeracin

de las pginas.
Objetivo -- 5 % Se presenta la finalidad del trabajo, lo que se
busca con la realizacin de la investigacin, el objetivo esta
acorde al tema.
Introduccin -- 10% Esta redactado con claridad lo que el lector
encontrar en el texto que est apunto de leer, describe como
esta organizado
Contenido el documento.
-- 30 %Denota con amplitud, claridad, profundidad
y veracidad, la totalidad del tema o temas que se solicitaron
por el docente, en un lenguaje sencillo, claro y correctamente
escrito.Debern respetarse las sugerencias hechas por el
docente en la descripcin y connotaciones de los temas a
investigar.

Calidad y organizacin de la informacin -- 10%La informacin

est relacionada con el tema principal y proporciona varias
ideas secundarias y/o ejemplos.La informacin est muy bien
organizada con prrafos bien redactados y con subttulos.

Formato -- 10 % Se apega a los aspectos generales para la

presentacin de trabajo de investigacin.

Conclusiones -- 10%Son congruentes al tema investigado. Son

propias del estudiante. Recopila los aspectos ms relevantes e
importantes.
Fuentes de consulta -- 5 % Especifica claramente las
referencias utilizadas, en caso de referencias web incluye el
tema consultado, el URL y la fecha de consulta. Utiliza formato

Redaccin -- 10 % No hay errores de gramtica, ortografa o

puntuacin.
Fecha, pero
Fecha y hora No se acepta a
fuera de hora Un dia de
Puntualidad: Se entrega en la fecha y hora programada programada partir del segundo
programada - retraso -10%
0% dia
5%

TOTAL %