PROCESOS DE DECISION MARKOVIANOS

.
MODELOS PARA PROCESOS DE DECISION MARKOVIANOS
El modelo para los procesos de decisin markovianos considerados en este captulo se pueden
resumir como sigue:
1. Se observa el estado i de una cadena de Markov de tiempo discreto despus de cada
transicin i 0,1,..., M
2. Despus de cada observacin, se selecciona una decisin (accin) k de un conjunto de k
decisiones posibles k 1,2,..., k (Algunas de las k decisiones pueden no ser relevantes
para algunos estados.)
3. Si se elige la decisin d i k en el estado i , se incurre en un costo inmediato que tiene un
valor esperado Cik .
4. La decisin d i k en el estado i determina cules sern las probabilidades de transicin
para la siguiente transicin desde el estado i . Denote estas probabilidades de transicin por
Pij k para j 0,1,..., M
5. Una especificacin de las decisiones para los estados respectivos d 0 , d1 ,..., d M

prescribe

una poltica para el proceso de decisin markoviano.

6. El objetivo es encontrar una poltica ptima de acuerdo con algn criterio de costo que
considere tanto los costos inmediatos como los subsecuentes que resulten de la evolucin
futura del proceso. Un criterio comn es minimizar el costo promedio esperado por unidad de
tiempo (a la larga). (En la seccin 21.5 se considera un criterio alternativo.)
A continuacin se citara un ejemplo para ver como se lleva a cabo el desarrollo de un proceso
de markov.

EJEMPLO PROTOTIPO
Un fabricante tiene maquina clave en el ncleo de uno de sus proceso. Debido a que tiene un
uso pesado, la maquina se deteriora con rapidez tanto en calidad como en la cantidad de
produccin que obtienen. Por lo tanto, al final de cada semana, se realiza una inspeccin
exhaustiva cuyo resultado es la clasificacin de las condiciones de la maquina en uno de cuatro
estados posibles:
Estado

Condicin

0
1
2
3

Tan buena como nueva

Operable deterioro menor
Operable deterioro mayor
Inoperable produccin de calidad inaceptable

Despus de recolectar datos histricos sobre los resultados de estas inspecciones, se hace un
anlisis estadstico de la evolucin del estado de la mquina de un mes a otro. La siguiente
matriz muestra la frecuencia relativa (probabilidad) de cada transicin posible del estado en el
que se encuentra en un mes (un rengln de la matriz) al estado en el que se encuentra el
siguiente mes (una columna de la matriz).
Estado
0

0
0

1
7
8
3
4
0

1
16
1
8
1
2
0

1
16
1
8
1
2
1

Adems del anlisis estadstico, se ha encontrado que estas probabilidades de transicin no se

afectan por considerar tambin en qu estados se encontraba en meses anteriores. Esta
propiedad de falta de memoria es la propiedad markoviana descrita en la seccin 16.2. As,
para la variable aleatoria X t , que es el estado de la mquina al final del mes t, se ha concluido
que el proceso estocstico X t 't 0,1,2,... es una cadena de Markov de tiempo discreto cuya
matriz de transicin (de un paso) es justo la matriz anterior.
Como lo indica el ltimo elemento de esta matriz de transicin, una vez que la mquina se
vuelve inoperable (entra al estado 3), permanece inoperable. En otras palabras, el estado 3 es
un estado absorbente. Dejar la mquina en este estado sera intolerable ya que esto detendra
el proceso de produccin, por lo que la mquina debe reemplazarse. (La reparacin no es
factible en este estado). La nueva mquina comenzara entonces en el estado 0.
El proceso de reemplazo toma 1 semana de manera que la produccin se pierde durante este
periodo. El costo de la produccin perdida (ganancia perdida) es de $2.000 y el costo de
reemplazar la mquina es de $4.000, de manera que el costo total en el que se incurre siempre
que la mquina actual entra al estado 3 es de $6.000.
Aun antes de que la mquina llegue al estado 3, puede incurrirse en costos por producir
artculos defectuosos. Los costos esperados por semana por este concepto son:
Estado

Costo esperado debido a artculos defectuosos, $

0
0
1
1000
2
3000
Se han mencionado todos los costos relevantes asociados con una. poltica de mantenimiento
(reemplazar la mquina cuando es inoperable, pero no darle mantenimiento en otros casos).
Con esta poltica, la evolucin del estado del sistema (la sucesin de mquinas) todava es una
cadena de Markov, pero ahora con la matriz de transicin siguiente:

Estado
0

0
0

1
7
8
3
4
0

1
16
1
8
1
2
0

1
16
1
8
1
2
0

Para evaluar esta poltica de mantenimiento, deben considerarse tanto los costos inmediatos en
que se incurre en la semana que sigue (descritos antes). Como los costos subsecuentes que
resultan cuando el sistema evoluciona de este modo.
Una medida de desempeo usada ampliamente para cadenas de Markov es el costo promedio
esperado por unidad de tiempo (a la larga). Para calcular esta medida, primero se derivan las
probabilidades de estado estable 0 , 1 , 2 y 3 para esta cadena de Markov con la
solucin del siguiente sistema de ecuaciones:

0 3,
7
3
1 0 1,
8
4
1
1
1
2 0 1 2 ,
16
8
2
1
1
1
3 0 1 2 ,
16
8
2
1 0 1 2 3
La solucin simultnea es
2
7
2
0 , 1 , 2
13
13
13

2
13

El costo promedio esperado (a la larga) por semana para esta poltica de mantenimiento es
25000
0 0 100 1 300 2 600 3
1923.07.
13
Sin embargo, existen otras polticas de mantenimiento que deben considerarse y compararse
con esta. Por ejemplo, quiz la mquina debiera reemplazarse antes de llegar al estado 3.

Decisin

Estado Costo
Costo
de
esperado
mantenimiento,
por producir $
artculos
defectuosos,

Costo
Costo total
(ganancia
por semana,
perdida) por $
produccin
perdida, $

1. No hacer nada

2. Reparacin general
3. Reemplazar

0
1
2
2
1, 2, 3

$
0
1000
3000
0
0

0
0
0
2000
4000

0
0
0
2000
2000

0
1000
3000
4000
6000

CONCLUSIONES

Los procesos de decisin de Markov son una herramienta poderosa para optimizar el
desempeo de los procesos estocsticos que se pueden modelar como una cadena de
Markov discreta.

Las dos medidas principales de desempeo que se usan son el costo promedio
esperado por unidad de tiempo y el costo descontado total esperado (a la larga).

El costo total descontado (a la larga) requiere la determinacin del valor adecuado de un

factor de descuento, pero esta medida es til cuando es importante tomar en cuenta el
valor del dinero en el tiempo.

Los dos mtodos mas importantes para derivar polticas optimas para los procesos de
decisin markovianos son los algoritmos de mejoramiento de una poltica y
programacin lineal.

Bajo el criterio de costo descontado, el mtodo de aproximaciones sucesivas

proporciona un camino rpido para aproximarse a una poltica optima.

BIBLIOGRAFIA
LIBROS

Investigacin de operaciones- Hillier Lieberman

Investigacin de operaciones- Taha Handy

INTRODUCCION

En el presente trabajo se desarrollara el tema de procesos de decisin markoviano, el cual trata

del diseo de la operacin de una cadena de markov para optimizar su desempeo. Para cada
estado posible se tomara una decisin, teniendo en cuenta que cada decisin afectara las
probabilidades de transicin as como los costos subsecuentes.
Lo realmente importante es determinar por medio de los procesos de decisin markoviana la
poltica ptima que maximice el ingreso, para lo cual se utilizaran diversos mtodos, tales como,
programacin lineal, enumeracin exhaustiva, mtodo de aproximaciones sucesivas, algoritmo
de mejoramiento de polticas, criterio del costo descontado y programacin dinmica de etapas
finitas, los cuales se desarrollaran ms adelante, tomando como base ejercicios para la
ejemplificacin de los mismos.

PROCESOS DE DECISION MARKOVIANOS

MAIRA LIZETH DELGADO MENDOZA

2070268

UNIVERSIDAD INDUSTRIAL DE SANTANDER

FACULTAD DE INGENIERIAS FISICOMECANICAS
INVESTIGACION DE OPERACIONES II
BUCARAMANGA 2010