CADENAS DE

MARKOV
DEFINICIN DE CADENAS DE
MARKOV
Modelos matemtico que se basa en dos conceptos:
Estado
Transicin
El sistema ocupa un estado i con probabilidad Pi y, despus
de un periodo procede a una transicin para pasar al
estado j con probabilidad de transicin Tij.
En los modelos mas simples, las probabilidades despenden
del numero de periodos o de transiciones efectuadas.
Una CADENA DE MARKOV es el proceso estocstico de tiempo discreto puede
estar en uno de un nmero finito de estados identificados por 1, 2,...,s.

Un proceso estocstico de tiempo discreto es una CADENA DE MARKOV s,

para t = 0,1,2,... y todos los estados,

P(Xt+1=it+1/Xt=it) =
P(Xt+1=it+1/X0=i0, X1=i1,...Xt-1=it-1,
Xt=it)
Adems para todos los estados i y j y toda t, P(X t+1=j / Xt=i) es independiente
de t. Esta hiptesis permite escribir:

pij = P(Xt+1=j / Xt=i)

Con frecuencia se llaman probabilidades de transicin a las pij en una
cadena de Markov.

La ecuacin: pij = P(Xt+1=j / Xt=i)

Indica que la ley de probabilidad que relaciona el estado del siguiente

perodo con el estado actual no cambia, o que permanece estacionaria en
el tiempo.

Toda cadena de Markov que cumple con esta condicin se llama cadena
estacionaria de Markov.
 Se necesita saber las probabilidades de encontrar la cadena en el estado i en
el tiempo 0, es decir, P(X0=i) = qi
Al vector q = [q1 q2 .....qn] se le llama vector de condiciones iniciales o
distribucin inicial de probabilidad.

j=1,n qj =
1
MATRIZ DE TRANSICIN
Las probabilidades de transicin se presentan
como una matriz P de probabilidad de transicin
s x s. La matriz de probabilidad de transicin se
puede escribir como:
ELEMENTOS DE UNA CADENA DE
MARKOV

1. Estados del Sistema: X(t)

2. Perodo de Transicin
3. Probabilidades de Transicin
Matriz de probabilidades
4. Distribucin inicial de probabilidad
IMPORTANCIA DE LA CADENA DE
MARKOV

Permite encontrar la probabilidad de que un sistema se encuentre en un

estado en particular en un momento dado.
Permite encontrar el promedio a la larga o las probabilidades de estado
estable.
 APLICACIONES
Biologa (Comportamiento de molculas y prediccin de comportamientos).
Gentica y Paleontologa (Evolucin de las especies).
Marketing (Identificar patrones de comportamiento de clientes).
Gobierno (Efecto de Polticas Gubernamentales).

El problema esencial que el Consejo de la administracin del Petrleo noruego tiene, es cmo
planear la produccin para aumentar al mximo su contribucin en el tiempo a la economa
noruega. Aqu los horizontes de tiempo son muy largos, tpicamente 30 a 50 aos. De importancia
crtica es el precio del aceite - todava nosotros no podemos prever esto, sensiblemente con
exactitud, para esta horizonte de planeacin.
Para superar este problema ellos modelan el precio del aceite como un proceso de Markov con tres
niveles de precio (estados), correspondiendo a escenarios optimista, probable y pesimista. Ellos
tambin especifican las probabilidades de hacer una transicin entre los estados cada periodo de
tiempo (ao).
 Definicin de procesos estocsticos
Sucesin de eventos que se desarrolla en el tiempo, en el cual el resultado en
cualquier estado contiene algn elemento que depende del azar

Supngase que observamos alguna caracterstica de un sistema en Ejemplo

puntos discretos en el tiempo (que llamamos 0,1,2,...). Sea Xt el valor Xt = Lanzamiento de una moneda.
de la caracterstica del sistema en el tiempo t. En la mayor parte de los Xt = Condiciones de tiempo en la ciudad de
casos no se conoce Xt con certeza antes del tiempo t y se puede
Ica
considerar como variable aleatoria. Un proceso estocstico de tiempo
Xt = El valor de venta del kilogramo de pollo
discreto es simplemente una descripcin de la relacin entre las
variables aleatorias X0, X1, X2,... A continuacin daremos algunos cada semana.
ejemplos de procesos estocsticos de tiempo discreto.
Ejemplo :la evolucin del precio
de las acciones de una empresa en
el mercado a travs del tiempo. El
estudio de cmo evoluciona una
variable aleatoria incluye el
concepto de procesos
estocsticos.
 Ejemplo: Cadena de Markov con 2 estados

La empresa de abastos Gourmet tiene 40% del negocio de abastos en una ciudad de tamao
medio. Su nico competidor, Distribuciones Finas y Servicios(DFS) tiene el otro
60%.Para aumentar su competitividad, G contrata a una empresa de publicidad para mejorar
su imagen. Durante una extensa campaa de publicidad se recogen los datos de ventas
mensuales . Se encuentra que el 90% de los cliente de G regresan a G el mes siguiente,
mientras que el 20% de los clientes de DFS se cambia a G.Hallar la Matriz de Transicin.

10%
G DFS

DF G 0.9 0.1
90% G S 80%
DF
S
0.2 0.8

20%
 Ejemplo: Cadena de Markov con 3 estados

Si el cima es bueno hoy, ser bueno maana con una probabilidad de 0.60, ser regular con
una probabilidad de 0.20 y ser malo con una probabilidad de 0.20.
si el clima de hoy es regular, el de maana ser bueno, regular o malo con probabilidades
respectivas de 0.25, 0.50 y 0.25.
por ultimo, si el clima es malo hoy, las probabilidades son de 0.25, 0.25 y 0.50 para clima
buenos, regular o malo, maana.

0.2

R 0.50

0.60
B 0.2
0.25

0.
25
0.
25
B
B
0.60
R
0.20
M
0.2
0.2 R 0.2 0.50 0
0.2
5
5 5
M 0.50
M 0.25 0.25 0.5
0
 Ejemplo: lnea telefnica

0,9 0,1
Sea una lnea telefnica de estados Q
ocupado=1 y desocupado=0. Si en el 0,3 0,7
instante t est ocupada, en el instante
0,1
t+1 estar ocupada con probabilidad 0,7
y desocupada con probabilidad 0,3. Si 0,9 0 1 0,7
en el instante t est desocupada, en el
0,3
t+1 estar ocupada con probabilidad 0,1
y desocupada con probabilidad 0,9.
 TIPOS DE ESTADOS

Si existe una probabilidad no nula que comenzando en un estado i se pueda

llegar a un estado j al cabo de un cierto nmero de etapas (digamos n) se
afirma que el estado j es accesible desde el estado i. Si consideramos la
figura podemos afirmar que:
El estado 3 es accesible desde el estado 1. An cuando en una etapa no
podemos llegar desde el estado 1 al estado 3, si podemos hacerlo al cabo
de 2, 3, ..., n etapas.
Cabe destacar en este punto que es relevante que exista una probabilidad
no nula que comenzando en 1 se pueda llegar a 3 al cabo de un cierto
nmero de etapas no importando el valor exacto de esta probabilidad
para un n cualquiera.

Una Cadena de Markov donde todos sus estados son accesibles

entre s y por tanto se comunican se dice que es irreducible, es decir,
que existe una nica clase de estados.
 TIPOS DE ESTADOS
En la figurase puede verificar que el estado 2 es accesible desde el estado 3, sin embargo, el estado 2 no es
accesible desde el estado 4 (esto porque una vez que se llega al estado 4 no se sale de ese estado).
Finalmente, dos estados que son accesibles viceversa se dice que se comunican y que pertenecen a una
misma clase de estados.

En cambio si al menos existen 2 clases de estados la cadena ya no es irreducible. Si tenemos 2 estados que
no se comunican (esto porque no son accesibles viceversa) estos estados pertenecern a distintas clases de
estados.
En la figura existen 3 clases de estados {0}, {1,2,3}, {4} (en consecuencia no es una cadena
irreducible). En cuanto al estado 0 y estado 4, estos son estados absorbentes debido a que una vez que
se accede a ellos la probabilidad de seguir en ese estado es de un 100%.
 Ejemplo: Lanzamiento de un dado
Se lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 , y cada vez que
sale 5 6 se gana 2 . El juego acaba cuando se tienen 0 100 .
Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una CM
S={0, 1, 2, , 100}
1
2/3 2/3 2/3 2/3 2/3 2/3
0 1 2 3 4 5

1/3 1/3 1/3 1/3

1
2/3 2/3 2/3 1/3
97 98 99 100

1/3

1/3 1/3 1/3
 Aplicaciones del modelo de Markov
El modelo de Markov se aplica en el rea de finanzas y economa en
problemas como:

Calificacin de bonos
Prediccin del precio de acciones
Negociacin de activos derivados
Prediccin de quiebras

En el rea del personal de la empresa el mtodo Markoviano nos ayuda

a saber cul es la probabilidad de que una persona segn su edad
ocupe un determinado puesto de trabajo.
 Ejercicio 1.

En Ecuador existen 3 operadores principales de telefona mvil como lo

son Claro, CNT y Movistar (estados).Los porcentajes actuales que tiene
cada operador en el mercado actual son para Claro 0.4 para CNT 0.25 y
para Movistar 0.35. (Estado inicial). Se tiene la siguiente informacin un
usuario actualmente de Claro tiene una probabilidad de permanecer en
Claro de 0.60, de pasar a CNT 0.2 y de pasarse a Movistar de 0.2; si en la
actualidad el usuario es cliente de CNT tiene una probabilidad de
mantenerse en CNT del 0.5 de que esta persona se cambie a Claro 0.3 y
que se pase a Movistar de 0.2; si el usuario es cliente en la actualidad de
Movistar la probabilidad que permanezca en Movistar es de 0.4 de que se
cambie a Claro de 0.3 y a CNT de 0.3.
Hallar la probabilidad de que un usuario se permanezca en la misma
operadora.
PASO 1:
Partiendo de esta informacin podemos elaborar la matriz de transicin.
PASO 2:
Se procede a realizar el diagrama de transicin.

PASO 3:
La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

Po= (0.4 + 0.25 + 0.35) = 1

PASO 4:
Ahora procedemos a encontrar los estados en los siguientes pasos o
tiempos, esto se realiza multiplicando la matriz de transicin por el estado
inicial y as sucesivamente pero multiplicando por el estado inmediatamente
anterior.
Respuesta:
La probabilidad de que un usuario permanezca en la operadora Claro
es de 43%

La probabilidad de que un usuario se permanezca en la operadora

CNT es de 32%

La probabilidad de que un usuario se permanezca en la operadora

Movistar es de 25%
Ejercicio 2.
La Empresa de compra y venta de automviles Carlos Larrea despus de haber recogido
datos durante varios aos. Desea saber Qu marca de vehculo preferirn este ao? Sus
clientes ms frecuentes, tomando en cuenta la siguiente tabla.

Paso 1:
Despus de analizar el ejercicio se procede a realizar la matriz de transicin, pasando los
valores dela tabla de la siguiente manera .
Donde:
P = Representa probabilidad
C1 = Cliente uno
C2 = Cliente dos
F = Ford
Ch = Chevrolet
Es decir que la matriz de transicin quiere decir lo siguiente:
Pc1F= 0,3 (La probabilidad de que el cliente uno compr un vehculo de marca Ford es del 0,3)
Pc2F= 0,6(La probabilidad de que el cliente dos compr un vehculo de marca Ford es del 0,6)
Pc1CH= 0,7 (La probabilidad de que el cliente uno compr un vehculo de marca Chevrolet es del 0,7)
Pc2CH= 0,4 (La probabilidad de que el cliente dos compr un vehculo de marca Chevrolet es del 0,4)

PASO 2:
Despus de haber analizado la matriz de transicin el siguiente paso es realizar el diagrama de
transicin. Como hay dos clientes y dos marcas de vehculos se traza dos crculos.
PASO 3:
Por ultimo despus de realizar el diagrama de transicin se realiza las
probabilidades de estado de sistema. Para una matriz de transicin de 2x2 se plantean
las siguientes ecuaciones:

ECUACIONES
Remplazamos las ecuaciones con los valores de la matriz de transicin y los valores que no se conoce
se deben despejar la ecuacin.
La probabilidad de que el cliente uno adquiera un vehculo de
marca FORD es del 50% al igual que el cliente numero dos tiene
una probabilidad del 50% de adquirir un vehculo de marca
CHEVROLET.
Ejercicio 3
La empresa jurdica ROMERO S.A emplea tres tipos de
abogados: subalternos, superiores y socios durante cierto ao 10% de
los subalternos ascienden a superiores y aun 10% se les pide que
abandonen la empresa.
Durante un ao cualquiera 5% de los superiores asciende a socios y
un 13% se les pide su renuncia. Los abogados subalternos deben
ascender a superiores antes de ser socios. Los abogados que no se
desempean adecuadamente jams descienden de su categora,
permanecen en su nivel o se les pide que renuncien.
a) Cul es la probabilidad de que un abogado subalterno llegue a socio.
b) Cul es la probabilidad de que un abogado subalterno llegue a
renunciar.
c) Cul es la probabilidad de que un superior se convierta en socio.
d) Cul es la probabilidad de que un superior renuncie.
PASO 1:
Segn la teora primero identificamos la matriz Absorbente y no absorbente .
PASO 2:
Luego de haber identificado la matriz absorbente y no absorbente se procede a restar la matriz de
identidad con la matriz no absorbente de la siguiente manera
PASO 3:
Luego se procede a calcular la matriz inversa de la matriz fundamental .

PASO 4:
Para obtener la repuesta multiplicamos la Inversa de la Matriz Fundamental con los datos de la
matriz principal (Matriz absorbente).
RESPUESTA:
La probabilidad de que un abogado subalterno llegue a ser socio es del
14%.
La probabilidad de que un abogado subalterno llegue a renunciar es del
86%.
La probabilidad de que un superior llegue a ser socio es del 28%.
La probabilidad de que un superior llegue a renunciar es del 72%.
 EJERCICIO
En el siguiente cuadro se define el progreso de los estudiantes en particular. Donde los
estados son: Tercer ao, Cuarto ao, Quinto ao, Abandono.

a) Cual es la matriz absorbente.

b) Cual es la probabilidad de que un alumno de Cuarto ao se gradu.
c) Cual es la probabilidad de que un alumno de Cuarto ao abandone.
MATRIZ FUNDAMENTAL RESULTADO

MATRIZ INVERSA
APLICACIONES
Aplicacin 1.- Planificacin de
Personal

La empresa de abogados Los Justicieros emplea a tres categoras de

abogados:

principiantes, con experiencia y socios. Durante un ao determinado

hay una probabilidad 15% que un abogado principiante sea ascendido
a abogado con experiencia y una probabilidad 5% que deje la empresa
no siendo socio. Tambin hay una probabilidad 20% que un abogado
con experiencia sea ascendido a socio y una probabilidad 10% que
deje la empresa no siendo socio. Tambin hay una probabilidad 5% que
un socio deje la empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra
contestar. Por ejemplo:
1. Cul es la duracin promedio de un abogado joven recin
contratado en la empresa?.
2. Cul es la probabilidad de que un abogado joven llegue a ser
socio?.
3. Cul es la duracin promedio que pasa un socio en33 el bufete? entre
muchas otras.
 Modelaremos la trayectoria de un abogado en Los Justicieros como
cadena absorbente con la siguiente matriz de probabilidad de transicin:

Q R

O I

S hacemos la
siguiente notacin:
t1= Principiante,
t2 = Experimentado,
t3= Socio,
a1= Sale sin ser socio y 34
a2 = Sale siendo socio.
Para dar respuesta a las preguntas formuladas anteriormente, es necesario
obtener las matrices: (I-Q)-1 y (I-Q)-1R, la informacin contenida en estas
matrices debidamente interpretadas, permite tomar decisiones.

Entonces s=5, m=2, y

35
I-Q
1 0 0 0.8 0.15 0
0 1 0 0 0.7 0.2
0 0 1 0 0 0.95

(I-Q)^-1
0.2 -0.15 0 0.2 -0.15
0 0.3 -0.2 0 0.3 1 t
X
0 0 0.05 0 0 DET A

HALLAR DETERMINANTE:
0.2x0.3x0.05+-0.15x-0.2x0+0x0x0=0.003
1
-0.15x0x0.05+0.2x-0.2x0+0x0.3x0=0 0.003
36
0.003 - 0 = 0.003
 t
A

0.2 -0.15 0 0.2 0 0

0 0.3 -0.2 -0.15 0.3 0
0 0 0.05 0 -0.2 0.05

0.015 0.0075 0.03

1 0 0.01 0.04
X
0.003
0 0 0.06

37
1. Matriz Fundamental
Interpretacin:
1 Matriz fundamental.- Si en este momento
estamos en el estado transitorio ti, el
nmero esperado de periodos que pasarn
a un estado transitorio tj antes de la
absorcin es el ij-simo elemento de la
matriz (I-Q)-1.
2. Matriz Probabilidades
2 Matriz Probabilidades.- Si en este
momento estamos es un estado transitorio
ti, la probabilidad de ser absorbidos
finalmente por un estado absorbente aj es
el ij-simo elemento de la matriz (I-Q)-1R.

38
Por lo tanto:
1. El tiempo esperado que un abogado principiante permanece en la
empresa = (duracin esperada del abogado principiante en la empresa
como principiante) + (tiempo esperado que el abogado principiante
permanece en la empresa como abogado con experiencia) + (tiempo
esperado que el abogado principiante permanece en la empresa como
socio). Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q)-112=2,5
- Tiempo esperado como socio = (I-Q)-113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante
permanece en la empresa es 5 + 2,5 + 10 = 17,5 aos.

39
2. La probabilidad de que un abogado principiante recin ingresado llegue a
ser socio es tan slo la probabilidad de que salga de la empresa siendo socio.
Como t1 = Principiante y a2 = Sale siendo socio, la respuesta es el elemento 12
de (I-Q)-1R = 50.

3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t3,

dado que comenzamos en t3. Este es justamente el elemento 33 de (I-Q)-1 = 20
aos. Es razonable, por que durante cada ao hay una probabilidad de 0,05 (1
en 20) que un socio deje el bufete y, por lo tanto, debe tardar un promedio de
20 aos en dejar la empresa.

40
 A resolver!!!
A travs del anlisis de cuentas por cobrar pasadas, un contralor
proporciona la siguiente informacin:

0-30 das 31-90 das pagadas Morosas

0-30 das 0.4 0.1 0.5 0

31-90 das 0.1 0.2 0.6 0.1

Pagadas 0 0 1 0

morosas 0 0 0 1

El balance de cuentas por cobrar indica que se tiene $60000 en cuentas

por cobrar con retraso entre 0 y 30 das y $40000 en cuentas por cobrar
con retraso entre 31 y 90 das.

Cul debe ser la concesin?

 1 2 3 4
1 0.4 0.1 0.5 0

P= 2 0.1 0.2 0.6 0.1

3 0 0 1 0
4 0 0 0 1

(I - Q)-1 = (I - Q)-1R=

42
 1 2
(I - Q)-1 = 1 1.702 0.213
2 0.213 1.277

3 4
(I - Q)-1R= 1 0.979 0.021
2 0.872 0.128

La concesin ser:
60000(0.021) + 40000(0.128)= $6380

43
 II: MODELO DE
PLANEACIN DE
PERSONAL
ENUNCIADO

Regresemos al bufete de abogados

Los Justicieros. Supongamos que la
meta a largo plazo de ese bufete es
tener 50 abogados principiantes, 30
con experiencia y 10 socios. Para
alcanzar este censo de estado
estable, cuntos abogados de cada
tipo deben contratar cada ao?.
H1= nmero de abogados
principiantes a contratar
H2 = nmero de abogados
con experiencia a contratar
H3 = nmero de abogados
asociados a contratar
CADENA DE MARKOV

a2
a1 0.1

30
0.15
50
t2
0.
0.7

0.8 t1

5
0.0
H2

2
0.
50
H1
t3

H3 0.95
10
RESOLUCIN

Entonces:
Nmero que ingresa al grupo i = nmero que sale del grupo i
H1 = (0,15 + 0,05)50 (abogados principiantes)
(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H3 = (0,05)10 (abogados asociados)

La solucin nica de este sistema de ecuaciones es H1=10,

H2=1,5, H3=-5,5. Estos significa que para mantener el censo
deseado de estado estable, Los Justicieros deben despedir
5,5 socios cada ao.
CASO PROPUESTO
A travs del anlisis de cuentas por cobrar pasadas, un
contralor proporciona la siguiente informacin:
0-30 31-90 Pagadas Morosas
das d.
0-30 0.4 0.1 0.5 0
das
31-90 0.1 0.2 0.6 0.1
d.
Pagadas 0 0 1 0
Morosas 0 0 0 1

El balance de cuentas por cobrar indica que se tiene $60000 en

cuentas por cobrar con retraso entre 0 y 30 das y $40000 en
cuentas por cobrar con retraso entre 31 y 90 das. Cal debe
ser la concesin?
CADENA DE MARKOV
SOLUCIN

Estado Descripcin 1 2 3 4
1 CxC con retraso entre 0 y 30 das
1 0.4 Q0.1 0.5 R 0
CxC con retraso entre 31 y 90
2
das P= 2 0.1 0.2 0.6 0.1
O I
3 Cuentas pagadas 3 0 0 1 0
4 Cuentas morosas
4 0 0 0 1
SOLUCIN

3 4 1 2 1 2

R= 1 0.5 0 Q= 1 0.4 0.1 (I - Q)-1 = 1 1.702 0.213

2 0.6 0.1 2 0.1 0.2 2 0.213 1.277

3 4

(I - Q)-1R= 1 0.979 0.021

2 0.872 0.128

La concesin ser:
60000(0.021) + 40000(0.128)=
$6380