Dante Álvaro Gonzales Olmos

Investigación de Operaciones III

PRACTICA N° 2 DE PROCESOS ESTOCASTICOS

Pregunta 1 – Cadenas de Markov

El clima en Cochabamba puede cambiar con rapidez de un día a otro. Sin embargo, las
posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco,
es decir, si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está
seco, pero es de sólo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la
información acerca del clima en los días anteriores a hoy.
 Estado 0 El día t es seco
 Estado 1 El día t es lluvioso

a) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta

un estado particular mañana, está dada por
b) Dibujar el gráfico asociado a la cadena de markov.
c) Encontrar la matriz de transición de paso 5 y explicar el resultado
d) Calcular la probabilidad de estabilidad del sistema y explicar el resultado

Pregunta 2 – Cadenas de Markov

Un estudiante de ingeniería de sistemas de la EMI adquiere una computadora nueva cada dos años.
Si el modelo actual es Modelo 1, la siguiente computadora puede ser Modelo 2 con probabilidad
de 0.20 o Modelo 3 con probabilidad de 0.15. Si el modelo actual es Modelo 2, las probabilidades
de cambiar a Modelo 1 o Modelo 3 son 0.6 y 0.25, respectivamente. Si el modelo actual es el
Modelo 3, las probabilidades de comprar el Modelo 1 o Modelo 2 son 0.50 y 0.10, respectivamente.
a) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta
un estado particular mañana.
b) Dibujar el gráfico asociado a la cadena de markov.
c) Encontrar la matriz de transición de paso 2 y explicar el resultado
d) Calcular la probabilidad de estabilidad del sistema y explicar el resultado

Pregunta 3 – Cadenas de Markov

En un juego, suponga que un jugador tiene 1 dólar y que cada jugada gana 1 dólar con probabilidad
p  0 o pierde 1 dólar con probabilidad 1 – p  0. El juego termina cuando el jugador acumula 3
dólares o cuando quiebra. Este modelo es una cadena de Markov en la que los estados representan
la fortuna del jugador, esto es, 0, 1, 2 o 3 dólares.

a) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta

un estado particular mañana.
b) Dibujar el gráfico asociado a la cadena de markov.
c) Encontrar la matriz de transición de paso 2 si la probabilidad de ganar es del 50 % y explicar
el resultado
d) Calcular la probabilidad de estabilidad del sistema y explicar el resultado
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

Pregunta 4 – Cadenas de Markov

Tres laboratorios farmacéuticos (A, B y C) que compiten en un principio activo (mismo conjunto
homogéneo en la orden de precios de referencia). Hoy sus cuotas de mercado son 30%, 20% y 50%
respectivamente. Es una cadena de Markov irreductible y ergódica. Todos los estados son
recurrentes y están comunicados entre sí, formando una sola clase.
Marca recién comprada
0,80 0,10 0,10
Marca presente P = 0,15 0,82 0,03
0.13 0,12 0,75
a) Dibujar el gráfico asociado a la cadena de Markov.
b) Encontrar la matriz de transición de paso 2 y explicar el resultado
c) ¿Cómo se repartirán el mercado dentro de 1 mes, 6 meses, 1 año?, Calcular la probabilidad
de estabilidad del sistema y explicar el resultado. En un mes (PA = 0.3350; PB = 0.2540;
PC. = 0.4110). En seis meses (PA = 0.4030; PB = 0.3543; PC. = 0.2427). En un año (PA =
0.4150; PB = 0.3704; PC. = 0.2146)
d) ¿Cómo se repartirán el mercado a largo plazo? (PA = 0.4165; PB = 0.3722 PC. = 0.2113)

Pregunta 5 – Cadenas de Markov

Una tienda de celulares tiene el siguiente problema de inventario. El negocio tiene en almacén un
modelo especial de celular que se puede solicitar cada semana. Sean D1, D2, . . . representan las
demandas respectivas de este celular (el número de unidades que se venderían si el inventario no
se agota) durante la primera, segunda semanas, . . ., respectivamente, entonces, la variable aleatoria
Dt (para t = 1, 2, . . .) es Dt = número de celulares que se venderían en la semana t si el inventario
no se agota. (Este número incluye las ventas perdidas cuando se agota el inventario). Se supone
que las Dt son variables aleatorias independientes e idénticamente distribuidas que tienen una
distribución Poisson con media de 1. Sea X0 el número de celulares que se tiene en el momento de
iniciar el proceso, X1 el número de celulares que se tienen al final de la semana 1, X2 el número de
celulares al final de la semana 2, etc., entonces la variable aleatoria Xt (para t = 0, 1, 2, . . .) es Xt
= número de celulares disponibles al final de la semana t. Xt representa el estado del sistema en el
tiempo t (el fin de la semana t). Dado que el estado actual es Xt = i, Xt+1 depende sólo de Dt+1 (la
demanda en la semana t + 1) y Xt. Como Xt+1 es independiente de la historia del sistema de
inventarios antes del tiempo t, el proceso estocástico {Xt} (t = 0, 1, . . .) tiene la propiedad
markoviana y por lo tanto es una cadena de Markov. Suponga que X0 = 3, de manera que la semana
1𝑏 𝑒 −1
1 se inicia con tres celulares a mano y 𝑃{𝐷𝑡+1 = 𝑛} = 𝑛!

X1 X2 X3 X4
X1 0.080 0.184 0.368 0.368
P= X2 0.632 0.368 0 0
X3 0.264 0.368 0.368 0
X4 0.080 0.184 0.368 0.368
0
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

a) Dibujar el gráfico asociado a la cadena de markov.

b) Encontrar la matriz de transición de paso 2 y explicar el resultado
c) Calcular la probabilidad de estabilidad del sistema y explicar el resultado

Pregunta 6 – Cadenas de Markov

En una investigación con ratones, se usa un “laberinto” con cuatro celdas A, B, C y D, según se
muestra en la figura. En cada minuto, un ratón puede permanecer en la misma celda en la que
estaba en el minuto anterior con una probabilidad del 50 %, o bien puede moverse a una de las
celdas que se comunican con aquella en la que estaba. Si sólo hay una celda adyacente, la
probabilidad de ir a ella será del 50 %, mientras que, si hay dos celdas adyacentes, cada una de
ellas tendrá una probabilidad del 25%.

e) Halle la matriz de transición de la cadena de Markov que modela este sistema.

f) Dibujar el gráfico asociado a la cadena de Markov.
g) Si un ratón se encuentra en un momento dado en la celda B, ¿Cuál es la probabilidad de
que dos minutos después se encuentre en la celda D? (PBD. = 25 %)
h) Si dejamos un ratón durante un tiempo muy largo en el laberinto, ¿Qué probabilidad habrá
de encontrarlo en cada una de las celdas? (PA = 1/3; PB = 1/3; PC. = 1/6; PD. = 1/6)

Pregunta 7 – Cadenas de Markov

En una investigación con ratones, se usa un “laberinto” con seis celdas A, B, C, D, E y F según se
muestra en la figura. Se introduce un ratón en una de las celdas del laberinto de forma aleatoria.
Dentro del laberinto, el ratón va a cualquier celda contigua o se queda rn la celda que está con la
misma probabilidad.

a) Encontrar la probabilidad de estar en cierta celda en el instante 1. (Elaborar la matriz de

probabilidades de transición)
b) Dibujar el gráfico asociado a la cadena de Markov.
c) Encontrar la probabilidad de estar en cierta celda en el instante 2. (2/9; 5/36; 5/36; 5/36;
5/36; 2/9)

A B C

D E F
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

Pregunta 8 – Cadenas de Markov

La demanda mensual de un repuesto en un proceso productivo tiene la siguiente distribución de
probabilidad:
Demanda (D) 0 1 2 3
Probabilidad (P) 0.60 0.30 0.10 0

Si el stock inicial es de 3 unidades, y la observación del nivel de inventarios se realiza al finalizar

cada mes.

d) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta

un estado particular mañana.
e) Dibujar el gráfico asociado a la cadena de Markov.
f) Encontrar la matriz de transición de paso 2 y explicar el resultado
g) Calcular la probabilidad de que al cabo de dos meses se haya agotado el stock. (Prob. = 7
%)
h) Calcular la probabilidad de que al cabo de cuatro meses haya dos o más de dos repuestos
en stock. ((Prob. = 39 %)
i) Calcular el número promedio de meses que transcurren hasta agotar el stock (5,16 meses)
j) Calcular la probabilidad de estabilidad del sistema y explicar el resultado

Pregunta 9 – Cadenas de Markov

Los guardias en la EMI de la lanza tienen a su cargo cuidar los ambientes de la universidad, está
provisto de un puesto de centinela en cada esquina:

Para despistar al enemigo se ha dado la orden a los centinelas de hacer la ronda de la siguiente
manera aleatoria: Vigilar durante cinco minutos en uno de los cuatro puestos, designado en el
último momento por el mando; después, tirar a cara o sello. Si sale sello, ir al primer puesto que se
encuentre a su izquierda (si sale cara a su derecha) y vigilar en él otros cinco minutos; echar de
nuevo la moneda, seguir la misma regla precedente y así sucesivamente. Aquí diremos que el
sistema (fuerte-guardia) se encuentra en el estado i en la fecha n si el n-ésimo desplazamiento del
centinela le ha conducido al puesto i (i = 1, 2, 3, 4); el sistema sigue una Cadena de Markov.

a) Halle la matriz de transición de la cadena de Markov que modela este sistema.

b) Dibujar el gráfico asociado a la cadena de Markov.
c) Encontrar la matriz de transición de paso 2 y explicar el resultado
d) Calcular la probabilidad de estabilidad del sistema y explicar el resultado
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

Pregunta 10 – Cadenas de Markov

Considere el siguiente modelo del valor de una acción. Al final de un día dado se registra el precio.
Si la acción subió, la probabilidad de que suba mañana es de 0.7. Si la acción bajó, la probabilidad
de que suba mañana es de sólo 0.5. (Para simplificar, cuando la acción permanezca con el mismo
precio se considerará un aumento.) Ésta es una cadena de Markov, donde los estados posibles de
cada día son los siguientes:
 Estado 0: El precio de la acción subió este día.
 Estado 1: El precio de la acción bajó este día.

a) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta

un estado particular mañana, está dada por
b) Dibujar el gráfico asociado a la cadena de markov.
c) Encontrar la matriz de transición de paso 5 y explicar el resultado
d) Calcular la probabilidad de estabilidad del sistema y explicar el resultado

Pregunta 11 – Cadenas de Markov

Suponga ahora que el modelo del mercado de acciones se cambia de manera que el hecho de que
una acción suba mañana depende de que haya subido hoy y ayer. En particular, si la acción subió
los dos días, ayer y hoy, la probabilidad de que suba mañana es de 0.9. Si la acción subió hoy pero
ayer bajó, la probabilidad de que mañana suba es de 0.6. Si la acción bajó hoy pero ayer subió, la
probabilidad de que mañana suba es de 0.5. Por último, si bajó durante estos dos días, la
probabilidad de que mañana suba es de 0.3. Si se define el estado como la representación del hecho
de que la acción baje o suba hoy, el sistema ya no es una cadena de Markov. Sin embargo, se puede
transformar en una de ellas si se definen los estados como sigue:

 Estado 0: la acción aumentó hoy y ayer.

 Estado 1: la acción aumentó hoy y ayer bajó.
 Estado 2: la acción bajó hoy y ayer aumentó.
 Estado 3: la acción bajó hoy y ayer.

a) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta

un estado particular mañana.
b) Dibujar el gráfico asociado a la cadena de markov.
c) Encontrar la matriz de transición de paso 5 y explicar el resultado
d) Calcular la probabilidad de estabilidad del sistema y explicar el resultado

Pregunta 12 – Cadenas de Markov

Un proyecto de investigación en la EMI (en lo adelante el proyecto) tiene como duración mínima
un año. Estos se inspeccionan mensualmente para verificar el cumplimiento del cronograma y de
los resultados esperados. Como resultado de la inspección, un proyecto puede encontrarse en cuatro
estados: ejecución normal, atrasado, cancelado o terminado.
Se realizó una revisión de datos históricos de los proyectos de investigación de la Carrera de
Ingeniería de sistemas, en el período comprendido en el trienio 2013 – 2015, así como los
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

expedientes de los mismos. Se pudo determinar que, si un proyecto en la inspección anterior quedó
en ejecución normal, tiene una probabilidad de 0.40 de permanecer en ejecución normal o de
terminarse, aunque una probabilidad de 0.20 de atrasarse. Si en la pasada inspección quedó
atrasado, tiene una probabilidad de 0.50 de seguir con atrasos, 0.40 de ser cancelado y un 0.10 de
recuperar el atraso y pasar a ejecución normal. Los proyectos que pasen a la condición de
cancelados o terminados se les cierra el expediente.
Considerando que la secuencia de estados por lo que puede transitar el proyecto, se comporta como
un proceso estocástico, especialmente como una cadena de Markov, se necesita realizar un análisis,
que permitan determinar
 El número total promedio de inspecciones que tendrán lugar antes de que el proyecto se
termine o sea cancelado si se encuentra en ejecución normal o atrasado.
 La probabilidad que tiene un proyecto de terminar o ser cancelado, si comienza en ejecución
normal o en estado atrasado.
Por la naturaleza del mismo, y por la solidez de los datos con que se contaba, se decidió utilizar
métodos cuantitativos para la toma de decisiones, a partir de un enfoque estocástico, especialmente
visto el proceso como una cadena de Markov, ya que se puede considerar como un sistema
constituido por una serie de eventos, en el cual la probabilidad de que ocurra un evento depende
del evento inmediato anterior. Esta dependencia las distingue de las series de eventos
independientes. De ahí que se defina como un proceso estocástico que cumple con la propiedad de
Markov, que plantea que, si se conoce la historia del sistema hasta su instante actual, su estado
presente resume toda la información relevante para describir en probabilidad su estado futuro. Para
ello se definieron los diferentes estados por lo que podían transitar los proyectos de ejecución
durante su ciclo de vida. Ellos son: E: Ejecución normal, A: Atrasado, C: Cancelado. T: Terminado.
a) Elaborar su grafo
b) Elaborar la matriz de transición
c) Cuantas inspecciones mensuales en promedio tendrá un proyecto de investigación que se
inicie en ejecución normal antes de terminar o ser cancelado.
Pregunta 13 – Cadenas de Markov
El vicepresidente de personal en la empresa BOA notificó que los cambios de personal pueden ser
modelados por un proceso de Markov. Los estados que se tienen son los siguientes, X1 = misma
posición o cargo, X2 = promoción, X3 = retiro, X4 = renuncias, X5 = despido, La matriz de transición
es:
X1 X2 X3 X4 X5
X1 0.55 0.10 005 0.10 0.10
P= X2 0.70 0.20 0 0 0
X3 0 0 1 0 0
X4 0 0 0 1 0
X5 0 0 0 0 1
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

a) Encontrar la matriz fundamental que es el inverso de la diferencia entre la matriz de

identidad y la matriz de Q.
b) Encontrar la matriz fundamental multiplicada por D
c) ¿Cuál es la probabilidad de que alguien quien ha sido promovido, eventualmente, se retire?
(Prob. = 0.12)
d) ¿Cuál es la probabilidad de que alguien quien ha sido promovido, eventualmente, renuncie?
(Prob. = 0.64)
e) ¿Cuál es la probabilidad de que alguien quien ha sido promovido, eventualmente, sea
despedido? (Prob. = 0.24)

Pregunta 14 – Cadenas de Markov

Un juego de habilidad manual consta de tres fases (1, 2, 3) que deben realizarse sucesivamente. Se
considera que un jugador ha completado el juego, cuando realiza las tres fases en forma
satisfactoria. Cuando dada la dificultad de las fases el jugador abandona el juego sin haberlo
completado, se considera que ha perdido. En particular el 5 % abandonan en la fase 1, el 15 % en
la fase 2 y el 10 % en la fase 3. Cuando el resultado de una fase no es satisfactorio, esta debe
repetirse, pero en el caso de las fases 2 y 3, si el resultado es muy insatisfactorio el jugador debe
retroceder. En concreto 20 % de las personas deben repetir la fase 1, en la fase 2 el 30 % deben
repetirla y 5 % retroceden a la fase 1, en la fase 3 el 35 % deben repetir y 5 % deben retroceder a
la fase 2.

a) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta

un estado particular mañana.
b) Dibujar el gráfico asociado a la cadena de markov.
c) Cuanto tardara en promedio en completar el juego. (n = 4,04 periodos)
d) Qué porcentaje de jugadores completan el juego. (P04 = 58.66 %)

Pregunta 15 – Cadenas de Markov

El Departamento de Relaciones con el Personal de una firma realiza un estudio de niveles de

categoría para proveer promociones adecuadas en el momento oportuno, controlar el pago de
haberes, analizar necesidades: de contratación de personal, etc. Esta empresa tiene 20 empleados
de categoría 3 (la más alta), 80 de categoría 2 y 200 de categoría 1 (la más baja de todas).

En base a datos históricos se espera que el 35% de los empleados de la categoría 1, el 20% de la 2
y el 5% de la 3 dejen la empresa anualmente por renuncias, despidos, jubilaciones,
fallecimientos, etc.

Considerando las siguientes políticas de personal:

 Mantener la misma cantidad de empleados (total y por niveles)

 Realizar contrataciones solamente en el primer nivel
 Dar promociones a los empleados una sola vez por año
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

El gerente del Departamento encargó al grupo de Investigación Operativa de la empresa:

a) Elaborar la matriz de probabilidades de transición de ir desde un estado particular hoy hasta

un estado particular mañana.
b) Dibujar el gráfico asociado a la cadena de markov.
c) Que cantidad de gente deberá contratarse y que cantidad debería promoverse a la categoría
inmediata superior para mantener los niveles de empleados estables, anualmente. (Cat. 1 =
111, 19, 70; Cat. 2 = 61, 3, 16; Cat. 3 = 19, 1)
d) Determinar el tiempo de permanencia promedio de un empleado en la compañía (índice de
rotación del personal) (n = 3.82 años)
e) Calcular la probabilidad de que un empleado que recién ingresa a la firma llegue a la
máxima categoría. (Volver el estado 3 absorbente P13 = 3,371 %)
f) Determinar el tiempo que un empleado que recién ingresa a la firma tarda en llegar a la
máxima categoría. (n = 4,21 años)

Pregunta 16 – Cadenas de Markov – Estudio de caso empresa cochabambina de software

Una computadora de una empresa de elaboración de software puede estar en uno de los siguientes
estados al final de cada día de operación: 𝐸0 = Perfectamente operable; 𝐸1 = Operable con deterioro
menor; 𝐸2 = Operable con deterioro mayor; 𝐸3 = Inoperable. Cuando el sistema se encuentra en
alguno de los tres primeros estados pueden producirse software defectuoso durante el día siguiente.
Los costos esperados (debido a la elaboración de software defectuoso) para cada uno de los estados
son: Estado 𝐸0 = 0 $us; 𝐸1 = 1000 $us; 𝐸2 = 3000 $us. Cuando la computadora se encuentra en el
estado 3 se la repara en el departamento de mantenimiento llevándola al estado 𝐸0, este trabajo
toma un día para completarse a un costo de 4000 $us y la ganancia perdida diaria es de 2000 $us
por estar parada la computadora. Asumiendo las siguientes probabilidades de transición: estando
la computadora perfectamente operable siempre presenta problemas al final del día, la probabilidad
de que este operable con deterioro menor al siguiente día es 7/8; y que este con deterioro mayor o
inoperable es de 1/16. Si la computadora esta operable con deterioro menor la probabilidad de
continuar trabajando igual al día siguiente es de ¾ y que este con deterioro mayor o inoperable es
de 1/8. Si la computadora esta con deterioro mayor la probabilidad de continuar trabajando igual
al día siguiente o que este inoperable es igual. Tomar en cuenta que la computadora no se arregla
hasta que se la repara en el departamento de mantenimiento.
a) Plantear la primera matriz de transición
b) Elaborar el grafo del problema
c) Calcular el costo promedio esperado a largo plazo
d) Determinar el número promedio de días de funcionamiento de la maquina

a) Plantear la primera matriz de transición

Matriz de transición: E0 E1 E2 E3
E0 0 7/8 1/16 1/16
E1 0 3/4 1/8 1/8
P=
E2 0 0 1/2 1/2
E3 1 0 0 0
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

b)

7/8

3/4
E0
E1

0.20
1/16 1 1/8
1/16
1/8
E3 1/2
E2

1/2

1
c)
E0 E1 E2 E3
E0 0 7/8 1/16 1/16 x y z w
x y z w
E1 0 3/4 1/8 1/8
=
E2 0 0 1/2 1/2
E3 1 0 0 0

x (0) + y (0) + z (0) + w (1) = x

x (7/8) + y (3/4) + z (0) + w (0) = y

x (1/16) + y (1/8) + z (1/2) + w (0) = z

x (1/16) + y (1/8) + z (1/2) + w (0) = w

x+y+z+w=1

Las ecuaciones quedarían:

w=x

7/8 x + ¾ y = y  7/8 x = ¼ y  x = 2/7 y

1/16 x + 1/8 y + ½ z = z  1/16 x + 1/8 y = ½ z  1/16 (2/7 y)+ 1/8 y = ½ z  1/7 y = ½ z

 z = 2/7y
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

1/16 x + 1/8 y + ½ z = w  1/16 x + 1/8 y + ½ z – w = 0

1/16 x + 1/8 y + ½ z – w = 0
x+ y+ z+w=1
17/16x+ 9/8 y + 3/2z = 1 17/16(2/7 y)+ 9/8 y + 3/2(2/7 y) = 1  17/56y+9/8y+3/7y=1 
13/7y=1

 y=7/13

 x = 2/7 (7/13)  x = 2/13

 z = 2/7 (7/13)  z = 2/13

x + y + z + w = 1  2/13 + 2/13 + 7/13 + w = 1  w = 2/13

El estado estable quedaría:

P [2/13; 7/13; 2/13; 2/13]

Costo promedio = 0P0 + 1000P1 + 3000P2 + (4000+2000)P3

= 02/13+10002/13+30002/13+(4000+2000)2/13

= 1923.0769 $us

d) Determinar el número promedio de días de funcionamiento de la maquina

El primer paso es volver absorbente el estado 3 (E3)

E0 E1 E2 E3
E0 0 7/8 1/16 1/16
E1 0 3/4 1/8 1/8
P=
E2 0 0 1/2 1/2
E3 0 0 0 1

Se debe reordenar la matriz

E3 E0 E1 E2
E3 1 0 0 0
E0 1/6 0 7/8 1/16
P=
E1 1/8 0 3/4 1/8
E2 1/2 0 0 1/2
Dante Álvaro Gonzales Olmos
Investigación de Operaciones III

La matriz (I – Q)-1
-1
1 0 0 0 7/8 1/16
0 1 0 - 0 3/4 1/8
0 0 1 0 0 1/2

-1
1 -7/8 1/16
0 1/4 -1/8
0 0 1/2

1 7/2 1

(I – Q)-1 = 0 4 1
0 0 2

Multiplicando por el vector unitario

1 7/2 1 1
0 4 1 1
0 0 2 1

5,5

= 5
2

El tiempo esperado de cada ciclo de la maquina es de 5,5 días