2.1 Introduccin a los procesos estocsticos. Propiedad Markoviana. El anlisis de Markov es una tcnica que maneja las probabilidades de ocurrencias futuras mediante el anlisis de las probabilidad conocidas en el presente. La tcnica tiene diversas aplicaciones en los negocios, incluyendo anlisis de la participacin en el mercado, prediccin de deudas incobrables, prediccin de la matrcula universitaria y determinacin de si una mquina se descompondr en el futuro. (Render, Stair, y Hanna, 2012) Los modelos de proceso de Markov son tiles para estudiar la evolucin de los sistemas a lo largo de ensayos repetidos, los cuales son lapsos de tiempo sucesivos en los que el estado del sistema en cualquier periodo particular no puede determinarse con certeza. Ms bien, se utilizan probabilidades de transicin para describir la manera en la que el sistema pasa de un periodo al siguiente. Por tanto, nos interesa la probabilidad de que el sistema est en un estado particular en un periodo de tiempo determinado. (Anderson, Sweeney, Williams, Camm, y Martin, 2011) Las cadenas de Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionar en el futuro dependen solo del estado actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos que ocurrieron en el pasado. (Hillier y Lieberman, 2010)
2.2 Definicin de Cadenas de Markov. Estados y probabilidades de transicin. Matriz de transicin y su representacin por medio de diagramas 2.2.1 Definicin de una Cadena de Markov. Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el tiempo t = 1, 2, La familia de variables aleatorias {Xi} forma un proceso estocstico con una cantidad finita o infinita de estados. (Taha, 2012) La propiedad markoviana establece que la probabilidad condicional de cualquier evento futuro dados cualquier evento pasado y el estado actual Xt = i, es independiente de los eventos pasados y solo depende del estado actual del proceso. Un proceso estocstico {Xt} (t = 0, 1,...) es una cadena de Markov si presenta la propiedad markoviana. Hillier y Lieberman (2010), definen un proceso estocstico como una coleccin indexada de variables aleatorias {Xt}, donde el ndice Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 2
t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xt representa una caracterstica de inters cuantificable en el tiempo t.
2.2.2 Estados y probabilidades de transicin Render, et al (2012), indica que los estados sirven para identificar todas las condiciones posibles de un proceso o sistema. Por ejemplo, una mquina puede estar en uno de dos estados en cualquier momento: funcionar correctamente o no funcionar correctamente. Podemos llamar a la operacin adecuada de la mquina el primer estado, y llamar al funcionamiento incorrecto el segundo estado. Sin duda, es posible identificar los estados especficos para muchos procesos o sistemas. Si hay solamente tres tiendas de abarrotes en un pueblo pequeo, un residente puede ser cliente de cualquiera de las tres tiendas en cierto momento. Por lo tanto, hay tres estados correspondientes a las tres tiendas. Si los estudiantes puede tomar una de tres especialidades en el rea de Ingeniera Industrial (digamos, Manufactura, Calidad o Finanzas), cada una de las tres se considera un estado. En un anlisis de Markov tambin suponemos que los estados son tanto colectivamente exhaustivos como mutuamente excluyentes. Colectivamente exhaustivos significa que podemos numerar todos los estados posibles de un sistema o proceso. Nuestro estudio del anlisis de Markov supone que hay un nmero finito de estados para cualquier sistema. Mutuamente excluyentes significa que un sistema puede estar tan solo en un estado en cualquier momento. Un estudiante puede estar nicamente en una de las tres reas de especialidad en administracin, y no en dos o ms reas al mismo tiempo. Tambin significa que una persona nicamente puede ser cliente de una de las tres tiendas de abarrotes en un punto en el tiempo. (Ibd.) Despus de identificar los estados, de acuerdo a Render, et al (2012), el siguiente paso consiste en determinar la probabilidad de que el sistema est en dicho estado, cuya informacin se coloca entonces en un vector de probabilidades de estado. (i) =vector de probabilidades de estado para el periodo i = = (1, 2, 3, , n) Donde: n = nmero de estados 1, 2, 3, , n = probabilidad de estar en el estado 1, estado 2,, estado n
Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 3
Uno de los propsitos del anlisis de Markov es predecir el futuro. Por lo tanto, si estamos en cualquier periodo n, calculamos las probabilidades de estado para el periodo n + 1 como: (n+1)= (n)P o (periodo siguiente)= (periodo actual)P
2.2.3 Matriz de probabilidades de transicin El concepto que nos permite ir de un estado actual a un estado futuro es la matriz de probabilidades de transicin. Se trata de una matriz de probabilidades condicionales de estar en un estado futuro dado que estamos en el estado actual. La siguiente definicin es til: Sea Pij = probabilidad condicional de estar en el estado j en el futuro, dado que el estado actual es i. Por ejemplo, P12 es la probabilidad de estar en el estado 2 en el futuro, dado que el evento estaba en el estado 1 en el periodo anterior. (Ibd.) Definimos P = matriz de probabilidades de transicin
Los valores Pij individuales casi siempre se determinan en forma emprica.
Una rpida comprobacin de la validez de una matriz de probabilidades de transicin se realiza asegurando que la suma de las probabilidades en cada fila es igual a 1. (Anderson, et al, 2011)
2.3 Modelacin de problemas mediante Cadenas de Markov. 2.3.1 Anlisis de Markov en operacin de maquinaria Ejemplo tomado de Render, et al, (2012). Paul Tolsky, dueo de Tolsky Works, registr durante varios aos la operacin de sus fresadoras. En los dos ltimos aos, 80% de las veces la fresadora funcionaba correctamente en el mes actual, si haba funcionado correctamente el mes anterior. Esto tambin significa que tan solo 20% del tiempo el funcionamiento de la mquina era incorrecto para cualquier mes, cuando estaba funcionando correctamente el mes anterior. Adems, se observ que el 90% de las veces la mquina estaba mal ajustada en cualquier mes dado, si estaba mal ajustada el mes anterior. Solamente el 10% del tiempo oper bien en un mes en que el mes Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 4
anterior no operaba correctamente. En otras palabras, esta mquina puede corregirse cuando no ha funcionado bien en el pasado y esto ocurre 10% de las veces. Estos valores ahora se utilizan para construir la matriz de probabilidades de transicin. De nuevo, el estado 1 es una situacin donde la mquina funciona correctamente; y el estado 2, donde la mquina no lo hace. La matriz de transicin para esta mquina es:
Donde: P11 = 0.8 = probabilidad de que la mquina funcione correctamente este mes, dado que funcionaba correctamente el mes pasado P12 = 0.2 = probabilidad de que la mquina no funcione correctamente este mes, dado que funcionaba correctamente el mes pasado P21 = 0.1 = probabilidad de que la mquina funcione correctamente este mes, dado que no funcionaba correctamente el mes pasado P22 = 0.9 = probabilidad de que la mquina no funcione correctamente este mes, dado que no funcionaba correctamente el mes pasado Las probabilidades en el rengln deben sumar 1 porque los eventos son mutuamente excluyentes y colectivamente exhaustivos. Las dos probabilidades del rengln superior son las probabilidades de funcionamiento correcto y funcionamiento incorrecto, dado que la mquina funcionaba correctamente el periodo anterior. Como son mutuamente excluyentes y colectivamente exhaustivas, el rengln de probabilidades de nuevo suma 1. Cul es la probabilidad de que la mquina de Tolsky funcione correctamente dentro de un mes? Cul es la probabilidad de que la mquina funcione correctamente dentro de dos meses? Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 5
Por consiguiente, la probabilidad de que la mquina funcione correctamente dentro de un mes, dado que ahora funciona correctamente, es de 0.80. La probabilidad de que no funcione correctamente en un mes es de 0.20. Ahora utilizamos estos resultados para determinar la probabilidad de que la mquina funcione correctamente dentro de dos meses. El anlisis es exactamente el mismo:
Lo cual significa que dentro de dos meses hay una probabilidad de 0.66 de que la mquina todava funcione correctamente. La probabilidad de que la mquina no funcione correctamente es de 0.34. 2.3.2 Anlisis de la cuota del mercado Ejemplo tomado de Anderson, et al, (2011).Suponga que nos interesa analizar la cuota del mercado y la lealtad de los clientes para Murphys Foodliner y Ashleys Supermarket, las nicas tiendas de abarrotes en una pequea ciudad. Nos enfocamos en la secuencia de los viajes de compras de un cliente y asumimos que ste hace un viaje de compras cada semana a Murphys Foodliner o a Ashleys Supermarket, pero no a ambos. Como parte del estudio de investigacin de mercados, reunimos datos de 100 compradores a lo largo de un periodo de 10 semanas. Al revisar los datos, encontramos que de todos los clientes que compraron en Murphys en una semana dada, 90% compr en Murphys la siguiente semana, mientras que 10% se cambi a Ashleys. Los datos de los clientes que compraron en Ashleys en una semana dada muestran que 80% compr en Ashleys la siguiente semana, mientras que 20% se cambi a Murphys.
Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 6
Tabla 2.1. Probabilidad de transicin de las ventas de abarrotes. (Anderson, et al, 2011)
Probabilidad de transicin
Los trminos 1(0) y 2(0) denotar la probabilidad de que el sistema est en estado 1 o en el estado 2 en algn periodo inicial o de inicio. La semana 0 representa el periodo ms reciente, cuando estamos iniciando el anlisis de un proceso de Markov. Si hacemos 1(0) = 1 y 2(0) = 0, decimos que como condicin inicial el cliente compr la ltima semana en Murphys, por otra parte, si hacemos 1(0) = 0 y 2(0) = 1, empezaramos el sistema con un cliente que compr la ltima semana en Ashleys. Podemos calcular las probabilidades de estado en el periodo 1 como sigue:
Las probabilidades de estado 1(1) = 0.9 y 2(1) = 0.1 son las probabilidades de que un cliente que compr en Murphys durante la semana 0 lo haga en Murphys o en Ashleys durante la semana 1.
Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 7
Vemos que la probabilidad de comprar en Murphys durante la segunda semana es 0.83, mientras que la probabilidad de hacerlo en Ashleys durante la segunda semana es 0.17. Repitamos ahora el anlisis, pero esta vez comenzaremos el proceso con un cliente que compr por ltima vez en Ashleys. Por tanto:
Procediendo como antes, podemos calcular probabilidades de estado subsiguientes.
2.4 Clasificacin de estados. Con frecuencia es til saber si un proceso que comienza en un estado regresar alguna vez a l. La siguiente es una posibilidad. Hillier Y Lieberman (2010), mencionan que un estado se llama estado transitorio si, despus de haber entrado a ste, el proceso nunca regresa a l. Por consiguiente, el estado i es transitorio si y solo si existe un estado j (j i) que es accesible desde el estado i, pero no viceversa, esto es, el estado i no es accesible desde el estado j, as, si el estado i es transitorio y el proceso visita ste, existe una probabilidad positiva (quiz, incluso de 1) de que el proceso se mover al estado j y nunca regresar al estado i. Tambin dicen que un estado es recurrente si, despus de haber entrado a este estado, el proceso definitivamente regresar a ese estado. Por consiguiente, un estado es recurrente si y solo si no es transitorio, y como un estado recurrente, podra ser visitado un nmero infinito de veces si el proceso continuara por siempre. Un estado se llama estado absorbente si, despus de haber entrado ah, el proceso nunca saldr de l. Por consiguiente, el estado i es un estado absorbente si y solo si pii = 1. Es posible que una cadena de Markov tenga tanto una clase de estados recurrentes como una de estados transitorios donde las dos clases tienen diferentes periodos mayores que 1. En una cadena de Markov de estado finito, los estados recurrentes a peridicos se llaman ergdicos. Se dice que una cadena de Markov es ergodica si todos sus estados son ergodicos. (Ibd.) Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 8
Taha (2012), clasifica los estados en cadenas de Markov con base en la probabilidad de transicin pij de P, de la siguiente manera:
2.5 Probabilidades en varios pasos y del estado estable. Interpretaciones de las probabilidades. En una cadena ergdica, las probabilidades de estado estable, Taha (2012), define como:
Ejemplo: Cada ao, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba qumica para verificar la condicin de la tierra. Segn el resultado de la prueba, la productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los aos, el jardinero ha observado que la condicin de la tierra del ao anterior afecta la productividad del ao actual y que la situacin se describe mediante la siguiente cadena de Markov: Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 9
Las probabilidades de transicin muestran que la condicin de la tierra puede o deteriorarse o permanecer como est pero nunca mejorar. Por ejemplo, si la condicin de la tierra es buena en este ao (estado 1) hay 20% de que no cambie el ao siguiente, 50% de probabilidad de que sea regular (estado 2), y 30% de probabilidad de que se deteriorar a una condicin mala (estado 3). El jardinero modifica las probabilidades de transicin P utilizando un fertilizante orgnico. En este caso, la matriz de transicin se vuelve:
El uso de fertilizante puede conducir a mejorar las condiciones del suelo. Para determinar la distribucin de probabilidad de estado estable del problema del jardinero con fertilizante, tenemos:
(Cualquiera de las primeras tres ecuaciones es redundante). La solucin es 1 = 0.1017, 2 = 0.5254 y 3 = 0.3729; es decir que a la larga la condicin de la tierra ser buena 10% del tiempo, Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 10
regular 52% del tiempo, y mala 37% del tiempo. Los tiempos medios del primer retorno se calculan como:
Esto quiere decir que, en promedio, se requerirn aproximadamente 10 temporadas de siembra para que la tierra regrese a un buen estado, 2 temporadas para que regrese al estado regular, y 3 temporadas para que regrese a un estado malo. (Taha, 2012)
2.6 Cadenas con estados absorbentes. De acuerdo a Hillier y Lieberman (2010), el estado k se llama estado absorbente si pkk = 1, de manera que una vez que la cadena llega al estado k permanece ah para siempre. Si k es un estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algn momento a k se llama probabilidad de absorcin al estado k, dado que el sistema comenz en el estado i. Esta probabilidad se denota por fik. Si existen dos o ms estados absorbentes en una cadena de Markov y es evidente que el proceso ser absorbido en uno de estos estados, es deseable encontrar estas probabilidades de absorcin. Dichas probabilidades pueden obtenerse con solo resolver un sistema de ecuaciones lineales que considera todas las posibilidades de la primera transicin y despus, dada la primera transicin, considera la probabilidad condicional de absorcin al estado k. En particular, si el estado k es un estado absorbente, el conjunto de probabilidades de absorcin fik satisface el sistema de ecuaciones:
Las probabilidades de absorcin son importantes en las caminatas aleatorias. Una caminata aleatoria es una cadena de Markov con la propiedad de que, si el sistema se encuentra en el estado i, entonces en una sola transicin, o bien permanecer en i o se mover a uno de los dos estados Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 11
inmediatamente adyacentes a i. Por ejemplo, la caminata aleatoria con frecuencia se usa como modelo para situaciones que incluyen juegos de azar. (Ibd.) Para ilustrar el uso de probabilidades de absorcin en una caminata aleatoria, considere un ejemplo sobre juegos de azar y suponga que dos jugadores (A y B), con 2 dlares cada uno, aceptan seguir jugando y apostar 1 dlar cada vez hasta que uno de ellos quiebre. La probabilidad de que A gane una apuesta es 1/3, por lo que la probabilidad de que gane B es 2/3. El nmero de dlares que tiene el jugador A antes de cada apuesta (0, 1, 2, 3 o 4) proporciona los estados de una cadena de Markov con la matriz de transicin:
Si se inicia en el estado 2, la probabilidad de absorcin al estado 0 (A pierde todo su dinero) se puede obtener al resolver para f20 a partir del sistema de ecuaciones que se proporcion al comienzo de la seccin,
De manera similar, la probabilidad de que A termine con 4 dlares (B quiebre) cuando comienza con 2 dlares (estado 2) se obtiene al obtener f24 del sistema de ecuaciones,
Simulacin Mdulo 2: Cadenas de Markov Elaborado por: Israel De la Cruz Madrigal 12
Simulacin Bibliografa Elaborado por: Israel De la Cruz Madrigal 13
2.7 Referencias bibliogrficas
Anderson, David R., Sweeney, Dennis J., Williams, Thomas A., Camm, Jeffrey D., y Martin, Kipp (2011). Mtodos cuantitativos para los negocios. 11 edicin, Cengage Learning.
Hillier, Frederick S. y Lieberman, Gerald J. (2010). Introduccin a la investigacin de operaciones. 9 edicin, McGraw-Hill
Render, Barry, Stair, Ralph y Hanna, Michael (2012). Mtodos cuantitativos para los negocios. 11 edicin, Pearson Educacin, Mxico.
Taha, Hamdy A. (2012). Investigacin de operaciones. 9a edicin, Pearson Educacin.