CADENAS DE MARKOV

INVESTIGACION DE OPERACIONES II
UNIDAD IV
 MATRIZ DE TRANSICION:

Una matriz de transicin para una cadena de Mrkov de n estado es una

matriz de n x n con todos los registros de cada fila (o columna) es 1.
Por ejemplo: las siguientes son matrices de transicin.

.70 .20 .10 .70 .10 .12 .08

.25 .75 .20 .60 .05 .15
.15 .75 .07
.94 .06 .10 .20 .40 .30
.11 .05 .84 .11 .15 .20 .54
 REPRESENTACION GRAFICA DE UNA MATRIZ DE TRANSICION:

Es el arreglo numrico donde se condensa las probabilidades de un estado a otro.

A travs de una grafica de matriz de transicin se puede observar el
comportamiento estacionario representado por una cadena de Markov tal que los
estados representan la categora en la que se encuenre clasificado.

PROPIEDADES:
1.- La suma de las probabilidades de los estados debe ser igual a 1
2.- La matriz de transicin debe ser cuadrada
3.- Las propiedades de transicin deben estar entre 0 y 1
4.- P(xn= J/xn-1=i) La probabilidad de que xn=j solo depende del estado
inmediatamente anterior xn-1=i
5.- Pij= P (xn= j / xn-i=i
6.- Pij>0
7.- Sumatoria de Pij=1
PROBLEMA 1
Cadenas de Markov
1.- Manuelito como director comercial regional de General Electric realiza su
trabajo en tres ciudades (Monterrey A, Cd. Victoria B y Matamoros C). Para
evitar desplazamientos innecesarios Manuelito esta todo el da en la misma
ciudad y all pernocta, desplazndose a otra ciudad al da siguiente, si ni
tiene suficiente trabajo. Despus de que Manuelito esta trabajando un da en
C, la probabilidad de tener que seguir trabajando en ella al da siguiente es
0.4, la de tener que viajar a B es 0.4 y la de tener que ir a A es 0.2. Si
Manuelito duerme un da en B, con probabilidad de un 20% tendr que seguir
trabajando en la misma ciudad al da siguiente, en el 60% de los casos viajara
a C, mientras que ira a A con probabilidad 0.2. Por ultimo si Manuelito el
director comercial trabaja todo un da en A, permanecer en esa misma
ciudad, al da siguiente, con una probabilidad 0.1 ira a B con una
probabilidad de 0.3 y a C con una probabilidad de 0.6.
A). Elabora la matriz de transicin

B) formula el grafo de Mrkov

C) Si hoy Manuelito el director comercial esta en C cual es la probabilidad

de que tambin tenga que trabajar en C al cabo de cuatro das?

D) cuales son los porcentajes de das en los que Manuelito el director

comercial esta en cada una de las tres ciudades? (Matriz de estado estable).
MATRIZ DE TRANSICION

A B C
A 0.1 0.3 0.6
B 0.2 0.2 0.6
C 0.2 0.4 0.4

CADENA DE MARKOV

B
C
 TRANSPUESTA

T2
0.1 0.3 0.6 0.1 0.3 0.6 0.19 0.33 0.48
0.2 0.2 0.6 0.2 0.2 0.6 0.18 0.34 0.48
0.2 0.4 0.4 0.2 0.4 0.4 0.18 0.30 0.52

T4
0.19 0.33 0.48 0.19 0.33 0.48 0.1819 0.3189 0.4992
0.18 0.34 0.48 0.18 0.34 0.48 0.1818 0.319 0.4992
0.18 0.30 0.52 0.18 0.30 0.52 0.1818 0.3174 0.5008

La probabilidad de que tenga que trabajar en C es de 0.5008

 0.1819 0.3189 0.4992

(A, B, C) 0.1818 0.319 0.4992 = (A, B, C) A+B+C = 1

0.1818 0.3174 0.5008

0.1819 A + 0.1818 B + 0.1818 C = A

0.3189 A + 0.319 B + 0.3174 C = B
0.4992 A + 0.4992 B + 0.5008 C = C

A + B + C = 1

-0.8181 A + 0.1818 B + 0.1818 C = 0

0.3189 A - 0.681 B + 0.3174 C = 0
0.4992 A + 0.4992 B - 0.4992 C = 0

A + B + C = 1
Matriz Q-1

-0.8181 0.1818 0.1818 0

0.3189 - 0.681 0.3174 0
0.4992 0.4992 - 0.4992 0
1 1 1 1

1 R1= R1/0.8181 1 -0.2222 -0.2222

R2= -0.3189 R1 0 - 0.6101 0.3882

2
0 0.6101 - 0.3882
3 R3= -0.4992 R1
0 1.2222 1.2222
4 R4= - R1

1 -0.2222 -0.2222
5 R2= R2/ -0.6101 0 1 - 0.6362
0 0.6101 - 0.3882
0 1.2222 1.2222
6 R1=R1+ 0.2222 R2 1 0 -0.3635
0 1 - 0.6362
7 R3=R3 -0.6101 R2 0 0 -.000054

8 R4=R4 - 1.2222 R2 0 0 1.9997

1 0 -0.3635 0
0 1 - 0.6362 0
9 R3=R3 + 0.000054 0 0 -.000054 0
1 R4=R4/ 1.9997 0 0 1.9997 0.500
0

1
1
R1=R1 + 0.3635 R4 1 0 0 0.1817
1
R2=R2 + 0.6362 R4 0 1 0 0.3181
2
0 0 0 0
0 0 1 0.5000

= 0.9998
1 0 0 0.1817
0 1 0 0.3181
0 0 0 0
0 0 1 0.5000

= 0.9998

Matriz de estado estable

0.1817 0.3181 0.5000

0.1817 0.3181 0.5000
0.1817 0.3181 0.5000

Manuelito pasara 0.1817% en A , 0.3181% en B, y 0.5000% en C

TRANSPUESTA

0.1819 0.3189 0.4992

T4 = 0.1818 0.319 0.4992
0.1818 0.3174 0.5008

0.1819 0.3189 0.4992 0.1819 0.3189 0.4992

T8= 0.1818 0.319 0.4992 0.1818 0.319 0.4992

0.1818 0.3174 0.5008 0.1818 0.3174 0.5008

0.1818 0.3181 0.4998

T8= 0.1818 0.3181 0.4999
0.1818 0.3181 0.5008
En el periodo 8 se encuentra
la matriz de estado estable
POOM
PROBLEMA 4
Cadenas de Markov
La encantadora Berenice es la lder en una poblacin de 10,000 habitantes,
5000 no fuman, 2500 fuman uno o mas o menos de un paquete diario y 2500
fuman mas de un paquete diario. En un mes hay un 5% de probabilidad de que
un no fumador comience a fumar un paquete diario, o menos, y un 2% de que
un no fumador pase a fumar mas de un paquete diario. Para los que fuman un
paquete, o menos, hay un 10% de probabilidad de que dejen el tabaco, y un
10% de que pasen a fumar mas de un paquete diario. Entre los que fuman mas
de un paquete, hay un 5% de probabilidad de que dejen el tabaco y un 10% de
que pasen a fumar un paquete o menos. Berenice quiere saber Cuntos
individuos habr de cada clase el prximo mes matriz de estado estable y en
que periodo se logra esto?
MATRIZ DE TRANSICION
NF F<1 F>1
NF 0.93 0.05 0.02
F>1 0.10 0.80 0.10
F<1 0.05 0.10 0.85

CADENA DE MARKOV
0.80

f>1

0.05 0.10
0.10 0.10

NF F>1
0.02
0.93 0.05 0.85
 NF F<1 F>1
NF 0.93 0.05 0.02 NF F<1 F>1 NF F<1 F>1
(0.50 0.25 0.25) .5025 .25 .2475
F>1 0.10 0.80 0.10
F<1 0.05 0.10 0.85

El prximo mes habr .5025 no fumadores, .25 fuman menos de 1

cajetilla, .2475 fuman mas de una cajetilla

0.93 0.05 0.02

(A B C) 0.10 0.80 0.10 = (A B C) A+B+C = 1
0.05 0.10 0.85
0.93A + 0.10B + 0.05C = A
0.05A + 0.80B + 0.10C = B
0.02A + 0.10B + 0.85C = C
A + B + C = 1

-0.07 A + 0.10B + 0.05C = 0

0.05A - 0.2B + 0.10C = 0
0.02A + 0.10B - 0.15C = 0
A + B + C = 1
Matriz Q-1

R1/-.07 -0.07 0.10 0.05 0

R2=R2-.05 R1 0.05 -0.2 0.10 0

R3=R3- .02 R1 0.02 0.10 -.15 0

R4= R4-1 R1 1 1 1 1

R1= R1+1.4285 R2 -1.4285

1 -.7142 0
R2=R2/-0.1285 0 -0.1285 .1357 0
R3=R3- .1285 R2 0 0.1285 -.1357 0
R4= R4-2.4285 R2 0 2.4285 1.7142 1

1 0 -2.2228 0
R1= R1+2.228 R4
0 1 -1.0561 0
R2=R2+1.0561 R4
0 0 0 0
R4= R4/4.2789
0 0 4.2789 1
1 0 0 0.5206

0 1 0 0.2468
0 0 0 0
0 0 1 0.2337

Matriz de estado estable

0.5206 0.2468 0.2337

0.5206 0.2468 0.2337
0.5206 0.2468 0.2337
POOM
PROBLEMA 7
Cadenas de Markov
7.- Los consumidores de caf en el rea de Crdoba, Veracruz en donde
Luis 7 Julin son regidores, usan tres marcas A, B, C. En marso de 2015 se
hizo una encuesta en la que se entrevisto a las 8450 personas que
compran caf y los resultados fueron:

Compra actual Marca A Marca B Marca C Totales

Marca A=1690 507 845 338 1690

Marca B= 3380 676 2028 676 3380
Marca C= 3380 845 845 1690 3380
Total 2028 3718 2704 8450
Luis & Julin quieren saber:

A) Si las compras se hacen mensualmente Cul ser la distribucin del

mercado de caf en Crdoba Veracruz en el mes de Junio?

B) a la larga, Cmo se distribuirn los clientes de caf?

c) En Junio cual es la proporcin de clientes leales a sus marcas de caf?

MATRIZ DE TRANSICION

0.3 .5 .2

0.2 .6 .2

0.25 .25 .5

TRANSPUESTA
T2
0.3 .5 .2 0.3 .5 .2 0.24 .5 .26

0.2 .6 .2 0.2 .6 .2 0.23 .51 .26

0.25 .25 .5 0.25 .25 .5 0.25 .4 .35

T4
0.24 .5 .26 0.24 .5 .26 .2376 .479 .2834

0.23 .51 .26 0.23 .51 .26 .2376 .4791 .2834

0.25 .4 .35 0.25 .4 .35 .2395 .469 .2915

 .2376 .479 .2834

.2376 .4791 .2834 0.2 0.4 0.4 .2383 .4750 .2866

.2395 .469 .2915

Matriz Q-1

0.3 .5 .2

ABC 0.2 .6 .2 (A B C) A + B + C = 1

0.25 .25 .5
.3 A + .2 B + .25 C = A
.5 A + .6 B + .25 C = B
.2 A + .2 B + .5 C = C

-.7 A +.2 B +.25 C = 0

.5 A - .4 B +.25 C = 0
.2 A +.2 B - .5 C = 0

A + B + C = 1

-.7 .2 .25 0 P1/-0.7

.5 - .4 .25 0
.2 .2 - .5 0
1 1 1 1
1 -.2857 -.3571 0 Rengln pivote
.5 - .4 .25 0 R2 - .5 R1
.2 .2 - .5 0 R3 - .2 R1
1 1 1 1 R4 - 1 R1

1 -.2857 .3571 0
0 -.2571 .4285 0 R2 - .2571
0 .2571 - .4285 0
0 1.2857 1.3571 1

1 -.2857 .3571 0 R1 + .2857 R2

0 1 -1.6666 0 Rengln pivote
0 .2571 - .4285 0 R3 + .2571 R2
0 1.2857 1.3571 1 R4 1.2857 R2
1 0 -.1190 0
0 1 -1.6666 0
0 0 -.8569 0
0 0 3.4998 1
POOM
 PROBLEMA 1
Cadenas de Markov absorbentes
Bernardo y Rubn son socios en la empresa Asesora Industrial, en ella se
clasifican a los ingenieros como: Principiantes, con experiencia y socios. Durante
un ao determinado hay una probabilidad 15% que un ingeniero principiante sea
ascendido a ingeniero con experiencia y una probabilidad del 5% que deje la
empresa sin ser socio. Tambin hay una probabilidad del 20% que un ingeniero con
experiencia sea ascendido a socio y una probabilidad del 10% que deje la empresa
sin ser socio. Tambin hay una probabilidad del 5% de que un socio deje la
empresa.

a) Forma la matriz de transicin

b) Forma la cadena de Mrkov
c) Cual es la duracin promedio de un ingeniero recin contratado?
d) Cual es la probabilidad de que un ingeniero principiante llegue a ser socio?
e) Cual es la duracin promedio que pasa un socio en la empresa?
f) Cual es la probabilidad de que un ingeniero con experiencia se convierta en
socio?
 N A
TA =
0 U

IP= Ingeniero principiante

IE= Ingeniero con experiencia
IS= Ingeniero socio
IDS= Ingeniero deja la empresa siendo socio
IDSS= Ingeniero deja la empresa sin ser socio
MATRIZ DE TRANSICION
IP IE IS IDS IDSS
IP .80 .15 0 0 .05
IE 0 .70 .20 0 .10
IS 0 0 .95 .05 0
IDS 0 0 0 1 0
IDSS 0 0 0 0 1
CADENA DE MARKOV

.80 .70
0.15

IP
IE
.05 .20

ID .10
SS IS .95

IDS .05
1
 Matriz Q

Matriz 1 - Matriz N = Matriz Q

1 0 0 .80 0.15 0 .20 -.15 0

0 1 0 0 0.70 0.20 0 0.30 -.20

0 0 1 0 0 0.95 0 0 .05

Matriz Q-1

.20 -.15 0 1 0 0 1 -.75 0 5 0 0

= 0 1 -.6666 0 3.3333 0
Q-1 = 0 0.30 -.20 0 1 0
0 0 .05 0 0 1 0 0 1 0 0 1

R1=R1/.20 1 0 -.5 5 2.5 0

0 1 -.6666 0 3.3333 0
R2= R2/.30
R1+O.75 R2 0 0 1 0 0 20
 1 0 0 5 2.5 10
R1=R1 + .5 R3
0 1 0 0 3.3333 .6666
R2=R2+.6666 R3
0 0 1 0 0 1

Matriz de estado estable

IP IE IS

IP 5 2.5 10 5 + 2.5 +10 = 17.5

Q-1 = IE 0 3.3333 13.3333

IS 0 0 20

C) Cul es la duracin promedio de un ing recin contratado? = 17.5

Matriz Q-1 A

Q-1 A Q-1 A

IP IE IS IDS IDSS IDS IDSS

IP 5 2.5 10 0 .05 .5 .05

13.3333
0 .10 .6666 .333
IE 0 3.3333
.05 0 1 0
IS 0 0 20

D) Probabilidad de que un ing. Principiante llegue a socio = 0.5

E) Cual es la duracin promedio que pasa un socio en la empresa= 20%

F) Cual es la probabilidad de que un ingeniero con experiencia se

convierta en socio = 0.66 %
 PROBLEMA 4
Cadenas de Markov absorbentes
Don Carlitos es el administrador en un bosque hay dos tipos de rbol los que son
de 0 a 5 pies de altura y los que son mas altos de 5 pies. Cada ao muere el 40%
de los arboles con altura de 0 a 5 pies, 10% se venden a $20 cada uno, 30% se
quedan con una altura entre 0 a 5 pies y 20% crecen mas de 5 pies. Cada ao, 50%
de los arboles con mas de 5 pies se venden en $50, 20% se venden en $30 y 30%
permanecen en el bosque. Don Carlitos desea saber:

La matriz de estados transitorios

El grafo de Markov

Cunto permanece aproximadamente un rbol de 0 a 5 pies de altura en ese

rango?

Cul es la probabilidad de que un rbol de 0 a 5 pies de alto muera antes de ser

vendido?
A 0 a 5 = Arboles de altura 0 a 5
A > 5 = Arboles de altura mayor a 5
A m = Arboles muertos
A v = Arboles vivos

MATRIZ DE TRANSICION

A 0-5 A>5 AM AV
A 0-5 .30 .20 .40 .10
A>5 0 .30 0 .70
AM 0 0 1 0
AV 0 0 0 1
CADENA DE MARKOV

.30 .20 .30

0.5 >5

.40 .70
.10

M
V

1
1
 Matriz Q

I N = Q

1 0 .30 .20 .70 -.20

0 1 0 .30 0 .70

Matriz Q-1

R1= R1/.70 .70 -.20 1 0 1 -.2857 1.4285

0
0 .70 0 1 R2= R2/.70 0 .70 0 1
 R1= R1+ .2857 -.2857 1.4285
1 0
1.4285
0 1 0

1.4285 0.4081
1 0
1.4285
0 1 0

Matriz de estado estable

1.4285 0.4081
Q-1 =
0 1.4285

Cunto permanece aproximadamente un rbol de 0 a 5 pies de altura en ese

rango? = 1.4285
Matriz Q-1 A

Q-1 X A = Q-1 A

1.4285 0.4081 .10 .40 .4285 .5714

Q-1 A = .70 0
0 1.4285 .9999 0

Cul es la probabilidad de que un rbol de 0 a 5 pies de alto muera antes de

ser vendido?
= 0.5714 = 57.14 %