CADENAS DE MARKOV

Definicin: (proceso estocstico) Un proceso estocstico es una coleccin

indexada de variables aleatorias: { Xt } donde tT (conjunto de enteros no
negativos) y XtZ (Z = conjunto de caractersticas medibles en t =
conjunto de estados)

Definicin: (cadena de Markov) Una cadena de Markov de tiempo

discreto, con espacio de estados {0, 1, 2,} es un proceso estocstico
que cumple la siguiente propiedad (llamada propiedad Markoviana)

P[Xt+1 = j X0 = k0, X1 = k1, , Xt-1 = kt-1, Xt = i] = P[Xt+1 = j Xt = i],

para todo t=0, 1, y cualesquiera estados i, j, k r Z; a la probabilidad

P[Xt+1 = j Xt = i] = pij la llamaremos probabilidad de transicin del estado i
al estado j.

Aqu hemos representado el conjunto de estados por el conjunto {0, 1,

2,} sin prdida de generalidad.

Las probabilidades de transicin pij se presentan mediante el arreglo

matricial:

Normalmente en esta matriz P se omite escribir los estados 0, 1, 2,

Existen otras formas de expresar la propiedad Markoviana. Se puede

demostrar que lo anterior es equivalente a poder calcular la distribucin
conjunta de las v. a. X0, X1, X2, , Xn de la siguiente forma:

P[X0 = x0, X1 = x1, X2 = x2,, Xn = xn] = P(X0)P(X1x0)P(X2x1) P(Xnxn-1)

Esto implica que una cadena de Markov queda especificada conociendo
las probabilidades de transicin y la distribucin inicial P(X0)

Definicin: Si se cumple que P[Xt+1 = j Xt = i] = P[X1 = j X0 = i] para todo

i, j Z. y todo t = 0,1, entonces se dice que las probabilidades de
transicin, de un paso, son estacionarias.

Se puede demostrar que lo anterior implica que

P[Xt+n = j Xt = i] = P[Xn = j X0 = i], para todo t = 0,1,

Esta probabilidad la denotamos pij(n) = probabilidad de transicin de n

pasos, la cual cumple adems que:
M

1) pij (n)
0, 2) p
j 0
(n)
ij 1; i,

las cuales se presentan en la Matriz de probabilidades de transicin

p (n)
00 p (n)
01 p (n)
0M

(n) (n) (n)
p10 p11 p1M

(n)
p M0 p (n)
M1 MM
p (n)

Ejemplo: Al final de un da dado, se registra el precio de una accin. Si la

accin subi la probabilidad de que suba maana es 0.7. Si la accin
baj, la probabilidad de que suba maana es 0.5. Hacer una
representacin de este caso utilizando un modelo de Markov (cadena de
Markov).

Otro Ejemplo: Supongamos ahora que el modelo de mercado cambia de

la siguiente manera. El que una accin suba o no maana depende de si
subi hoy y ayer. Si la accin subi los dos das la probabilidad de que
suba maana es de 0.9. Si la accin subi hoy y ayer baj, maana
subir con probabilidad de 0.6. Si la accin baj hoy pero ayer subi,
entonces maana subir con probabilidad de 0.5. Si la accin baj los dos
das, la probabilidad de que maana suba es de 0.3
Si se definen los siguientes estados, entonces el fenmeno de mercado
accionario se puede modelar mediante una cadena de Markov:

Estado 0: La accin aumenta hoy y ayer

Estado 1: La accin aumenta hoy y ayer baj
Estado 2: La accin baja hoy y ayer aument
Estado 3: La accin baj hoy y ayer.
PROCESOS ESTOCASTICOS. QUIZ 2.

1) Suponga que un modelo de mercado accionario cambia de la siguiente

manera. El que una accin suba o no maana depende de si subi hoy y
ayer. Si la accin subi los dos das la probabilidad de que suba maana
es de 0.9. Si la accin subi hoy y ayer baj, maana subir con
probabilidad de 0.6. Si la accin baj hoy pero ayer subi, entonces
maana subir con probabilidad de 0.5. Si la accin baj los dos das, la
probabilidad de que maana suba es de 0.3

a) Especifique un modelo de cadenas de Markov para este problema.

b) Construya la matriz de probabilidades de transicin de un paso

c) Calcule la matriz de probabilidades de transicin de tres pasos.

Interprete estas probabilidades.

d) Apyese en las ecuaciones de Chapman Kolmorov para explicar la

forma en que construy la matriz del numeral c).

2) Considere el siguiente PE:

Xt = Xt-1 + t, con x0 = 1. Para cada t, t sigue una distribucin N(0, 2 = 1 )

a) Realice cinco iteraciones y grafquelas.

b) Es este PE estacionario dbil? Explique.
c) Es este PE estacionario fuerte? Explique.
PROCESOS ESTOCASTICOS. QUIZ 1.

1) Suponga que un modelo de mercado accionario cambia de la siguiente manera.

El que una accin suba o no maana depende de si subi hoy y ayer. Si la accin
subi los dos das la probabilidad de que suba maana es de 1. Si la accin subi
hoy y ayer baj, maana subir con probabilidad de 2. Si la accin baj hoy pero
ayer subi, entonces maana subir con probabilidad de 3. Si la accin baj los
dos das, la probabilidad de que maana suba es de 4.

a) Defina estados adecuados de tal manera que este caso se pueda modelar
mediante una cadena de Markov [apyese en las ideas dadas en los ejemplos
discutidos en clase]. b) Por qu la definicin de los estados que usted hizo pueden
definir una cadena de Markov? c) Especifique su modelo de cadenas de Markov
para este problema. d) Construya la matriz de probabilidades de transicin de un
paso

2) Apyese en el punto anterior y suponga ahora de que la accin suba maana

depende de si subi o no hoy, ayer y antier. a) Puede este problema formularse
como una cadena de Markov?. b) Si se puede Cules son los estados posible? c)
Explique porque estos estados dan al proceso la propiedad markoviana.

3) Una partcula se mueve sobre un crculo por los puntos 0, 1, 2, 3, 4. La partcula

comienza a moverse en el punto 0. En cada paso tiene un probabilidad de 0.5 de
moverse un punto en el sentido de las manecillas del reloj (0 sigue a 4) y una
probabilidad de 0.5 de moverse un punto en contra de las manecillas del reloj. Sea
Xn (n 0) la localizacin en el crculo despus del paso n. a) Porqu { Xn } define
una cadena de Markov? b) Encuentre la matriz de transicin de un paso. Explique
sus clculos.
ECUACIONES CHAPMAN-KOLMOGOROV:

La siguiente relacin se cumple para las probabilidades de una cadena de

Markov finita con probabilidades estacionarias:
Interpretar
M
p (n)
ij p ik(m)p nkjm ; i, j, n,0 m n
k 0

Para m = 1 tenemos p
(n)
ij p ik p nkj1 ; resulta que las probabilidades de
k 0

transicin de n pasos las podemos obtener a partir de las probabilidades

de transicin de un paso de manera recursiva. Por ejemplo para n = 2
M

tenemos: p
(2)
ij p ik p kj ; que corresponde a la expresin que calcula, por
k 0

definicin, el producto de matrices. Por lo tanto P(2) = PxP = P2. Por

induccin obtenemos P(n) = PxPn-1 = Pn.

EJEMPLO: Una red de comunicaciones transmite dgitos binarios, 0 1.

Cada dgito se transmite muchas veces sucesivamente. Durante cada
transmisin la probabilidad de que el respectivo dgito se transmita
correctamente es de 0.99. Si X0 denota el dgito binario que entra al
sistema, X1 el dgito binario registrado despus de la primera transmisin,
X2 el dgito binario registrado despus de la segunda transmisin, , as
que {Xn} se puede considerar como una cadena de Markov. a) Determine
la matriz de probabilidades de transicin de un paso. b) Encuentre la
matriz de transicin de 10 pasos. Qu significado tendrn estas
probabilidades? c) Si la red se redisea para mejorar la probabilidad de
una sola transmisin de 0.99 a 0.999. Repita el inciso b) para encontrar
las probabilidades de transicin de 10 pasos.

PROBABILIDADES NO CONDICIONALES DE UN ESTADO

En una cadena de Markov, las probabilidades de transicin son

probabilidades condicionales. Si se desea la probabilidad no condicional
PXn = j cmo se calculara?
CLASIFICACION DE ESTADOS:

Definiciones: 1) El estado j es accesible desde el estado i si existe n tal

que pij(n) > 0.

2) Si i es accesible desde j y j es accesible desde i se dice que i y j se

comunican (i C j)

La relacin C cumple las siguientes propiedades:

iCi
si i C j entonces j C i
si i C j y j C k entonces i C k.

Recordar que si A es un conjunto no vaco y R es una relacin en A, se

dice que R es una relacin de equivalencia en A si R es reflexiva,
simtrica y transitiva. Adems toda relacin de equivalencia induce una
particin en el conjunto donde se define.

C es una relacin de equivalencia en el conjunto de estados de una

cadena de Markov, entonces ella define clases (o una particin) en dicho
conjunto de estados.

3) Si existe solo una clase entonces se dice que la cadena de Markov es

irreducible

4) Un proceso que est en estado i regresar a l?

Sea fii la probabilidad de que un proceso regrese al estado i estando en

dicho estado.

i se llama recurrente si fii = 1

i se llama transitorio si fii < 1

i se llama absorbente si pii = 1

PROPIEDADES DE fii

El nmero esperado de perodos que el proceso est en estado i es

infinito si un estado es recurrente.

Si un estado es transitorio y la probabilidad de que regrese al estado i

es fii entonces la probabilidad de que no regrese al estado i ser 1 - fii y
el nmero esperado de perodos en que el proceso est en estado i es
1/(1 - fii). Por qu?

La recurrencia es una propiedad de clase es decir todos los estados de

una clase son recurrentes (o transitorios).

No todos los estados pueden ser transitorios. Esto implica que en una
cadena de Markov irreducible todos los estados son recurrentes.

Proposicin: El estado i es recurrente si p iin y es transitorio si p iin .
n 1 n 1

Explicar

Corolario: Si el estado i es recurrente y se comunica con el estado j

entonces j es recurrente.

PROPIEDADES A LARGO PLAZO:

Consideramos dos propiedades adicionales de las cadenas de Markov.

Definicin: El estado i se dice que tiene perodo d si Piin 0 cuando quiera

que n no es divisible por d y d es el mayor entero con esta propiedad. Un
estado con perodo 1 se dice que es aperidico. Se puede demostrar que
la periodicidad es una propiedad de clase, es decir, si el estado i tiene
perodo d y los estado i y j se comunican entonces j tambin tiene perodo
d.

Estados recurrentes, aperidicos son llamados ergdicos.

Enunciado: (Esto que es?)
Para una cadena de Markov irreducible y ergdica el lim pij(n) j existe y
n

es independiente de i. Adems J es solucin nica no negativa de:

M M
j i p ij ; j 0,1,2,..., M , as como
i 0

j 0
j 1

Los j se llaman probabilidades de estado estable de la cadena de

1
Markov y se cumple que j donde JJ es el tiempo esperado de
jj
recurrencia.
EJERCICIO DE CLASE: En una fbrica de jabn las ventas fluctan
entre dos niveles (bajo y alto) y dependen de dos factores: 1) si hacen o
no publicidad. 2) Si los competidores anuncian y comercializan nuevos
productos. El segundo factor est fuera de control de la compaa, pero
quieren determinar cul puede ser su propia poltica publicitaria. Por
ejemplo el gerente propone hacer publicidad cuando las ventas estn
bajas y no hacerla cuando estn altas. La publicidad que se hace en un
trimestre dado del ao tiene su impacto el siguiente trimestre. De
cualquier manera al principio de cada trimestre se dispone de la
informacin necesaria para pronosticar con exactitud si las ventas sern
altas o bajas ese trimestre y decidir si hacer publicidad o no.

El costo de la publicidad es de 1 milln de pesos cada trimestre del ao

que se haga. Cuando se hace publicidad en un trimestre, la probabilidad
de tener ventas altas el siguiente trimestre es de 0.5 0.75 segn si en el
trimestre actual se tienen ventas bajas o altas. Las probabilidades bajan a
0.25 y 0.5 cuando no se hace publicidad en el trimestre actual. Las
ganancias trimestrales de la compaa (sin los costos de publicidad) son
de 4 millones de pesos cuando las ventas son altas pero solo de 2
millones cuando son bajas.

a) Construya la matriz de transicin de un paso para cada una de las

siguientes estrategias de publicidad: i) nunca hacer publicidad, ii) siempre
hacer publicidad, iii) seguir la propuesta del gerente.

b) Determine las probabilidades de estado estable en los tres casos del

inciso a)

c) encuentre la ganancia promedio a la larga por trimestre para cada una

de las estrategias del inciso a). Cul de estas estrategias es la mejor
segn esta medida de desempeo?
TIEMPOS DE PRIMERA PASADA

Algunas veces es necesario referirse al nmero de transiciones que hace

el proceso al ir del estado i al estado j por primera vez a este lapso de
tiempo se le llama tiempo de primera pasada. Si i = j se llama tiempo de
recurrencia del estado i.

Los tiempos de primera pasada son variables aleatorias cuyas

distribuciones de probabilidad dependen de las probabilidades de
transicin.

Si fij(n) denota la probabilidad de que el tiempo de primera pasada del

estado i al estado j es n, tenemos las siguientes frmulas recursivas:

fij(1) = pij(1) = pij ; fij(2) = p ik f kj(1) ; fij(n) = p ik f kj(n-1)

k j k j

Para i y j fijos fij(n) son nmeros no negativos tales que f ijn 1
n 1

El tiempo esperado de primera pasada del estado al estado j, se define

as:

, si f ij(n) 1
ij n 1

nf ij , si f ij(n) 1
(n)
n 1 n 1

Siempre que f ijn 1 ij satisface la ecuacin ij 1 p ik kj . Lo que significa
n 1 k j

que la primera transicin desde el estado i puede ser al estado j o algn

otro estado k. Si es al estado j el tiempo de primera pasada es 1. Ahora si
la primera transicin es a un estado k, (k j) lo que ocurre con
probabilidad pik, el tiempo esperado de primera pasada condicional del
estado i al estado j es 1 + pikkJ, al sumar todas las posibilidades se
obtiene la frmula: ij 1 p ik kj
k j
UNIVERSIDAD DEL VALLE. FACULTAD DE INGENIERIA
ESCUELA DE INGENIERIA INDUSTRIAL Y ESTADISTICA
CURSO : PROCESOS ESTOCASTICOS.
PROFESORES: DANIEL ARBELAEZ Y GABRIEL CONDE

EJEMPLO DE PROCESO ESTOCASTICO:

UN PROBLEMA DE INVENTARIOS. Tomado del libro Introduccin a la

Investigacin de Operaciones. De Hillier y Lieberman (2001).

Una tienda de cmaras tiene en almacn un modelo especial de cmara que se

puede ordenar cada semana. Sean D1, D2, las demandas de sta cmara durante
la primera, segunda, ., semana, respectivamente. Se supone que las Di son
variables aleatorias independientes e idnticamente distribuidas con distribucin
conocida. Sea X0 el nmero de cmaras que se tienen en el momento de iniciar el
proceso, X1 el nmero de cmaras que se tienen al finalizar la semana 1, X2 el
nmero de cmaras que se tienen al finalizar la semana 2, etc. El sbado en la
noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la
tienda. La tienda usa la siguiente poltica para ordenar: si el nmero de cmaras en
inventario al final de la semana es menor que uno entonces ordena 3 cmaras. De
otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces la serie { Xt , t = 0, 1, .} define lo que se
llama un proceso estocstico. Los estados posibles del proceso son los enteros 0, 1,
2, 3 que representan el nmero posible de cmaras en inventario al final de la
semana. Las variables aleatorias Xt son dependientes y se pueden evaluar en forma
iterativa por medio de la expresin:

Mx {(3 Dt+1), 0 } si Xt < 1

Xt+1 =
Mx {( Xt Dt+1), 0 } si Xt 1

Para t = 0, 1, 2, . Podemos estar interesados en preguntas tales como Cual es

la probabilidad de que hayan tres cmaras en inventario dos semanas despus de
que el sistema se puso en marcha? O cul es le estado del inventario despus de
un tiempo determinado?. Esta y otras preguntas podrn ser contestadas utilizando
los modelos de Markov que sern parte del desarrollo del curso.
 COLAS O LINEAS

Sistema de cola con c servidores en paralelo

Hay dos actores principales que conforman el sistema: los clientes y los
servidores. Estos sistemas se consideran como casos especiales de un
estudio ms general: simulacin de eventos discretos. As que
consideraremos el sistema como < la fila ms los servidores >

En estos casos hay tres variables que se utilizan: 1) de tiempo, 2) de

conteo y 3) las variables de estado del sistema. Cuando ocurre un
evento los valores de estas variables se modifican

Caractersticas:

La llegada de los clientes se genera de una fuente entrando en el

sistema. (Poblacin de clientes = finita o infinita)
Se consideran dos variables temporales: 1) tiempo entre llegadas de
los clientes y 2) tiempo de servicio por cliente.
Tamao de la cola : finita o infinita
La disciplina de la cola: orden en que se seleccionan los clientes de la
cola, (FIFO = FCFS, LIFO = LCFS, SIRO, Prioridad)
Pueden haber uno o varios servidores. En paralelo, en serie o en red.
Los modelos ms sencillos y ms utilizados constan de una cola y
varios servidores.
Cantidades en que usualmente podremos estar interesados en un estudio
de colas (las cuales llamaremos medidas de desempeo del sistema):

Estado del sistema = n = nmero de clientes en el sistema.

Longitud de la cola = nmero de clientes que esperan servicio.
Ls = nmero esperado de clientes en el sistema.
Lq = nmero esperado de clientes en la cola.
ws = tiempo aproximado de espera en el sistema.
wq = tiempo aproximado de espera en la cola.
c = nmero esperado de servidores ocupados.
Pn = probabilidad de que n clientes estn en el sistema.

Nota: Estas cantidades son relativamente fciles de calcular cuando el

sistema entra en lo que llamaremos estado estable que se presenta
despus de que ha transcurrido un tiempo suficientemente grande. En
contraste est el estado transitorio las cuales prevalecen cuando el
comportamiento del sistema depende del tiempo.

MODELO GENERALIZADO DE POISSON

Usamos tasa de llegada (n) y tasa de servicio (n) dependientes del

estado del sistema (n).

Aclaracin de tasa dependiente del estado del sistema:

Si representa la tasa unitaria de llegada entonces dicha tasa puede

permanecer constante o depender de n, por ejemplo cuando hay n
clientes en el sistema la tasa de llegada puede ser:

n = n.

Si un sistema de colas tiene c servidores en paralelo y es la tasa de

servicio por servidor, para n clientes en el sistema la tasa de salida del
sistema puede ser:
 n , si n c
n
c , si n c

Se quiere deducir una expresin para el clculo de la probabilidad (de

estado estable) pn de n clientes en el sistema.

Ojo! de esta probabilidad dependen prcticamente todas las medidas de

desempeo del sistema.

Deduccin de una expresin para pn

Diagrama de tasas de transicin:

El sistema se considera una cadena de Markov donde n = 0, 1, 2, ....

(nmero de clientes en el sistema) representa los estados del sistema.

Si Tn es la tasa esperada de flujo para el estado n, entonces

Tn = n-1pn-1 + n+1pn+1

Desde otro lado: Tn = (n + n)pn

Entonces la ecuacin de equilibrio ser:

n-1pn-1 + n+1pn+1 = (n + n)pn , n > 1

Segn el diagrama siguiente para n = 0 tenemos: 0p0 = 1p1.

Actuando recursivamente obtenemos:
0 1 0 n 1 n 2 1 0
p p p
si n = 0, 1 0 ; si n = 1, 1 p 0 y pn p0
1 2 1 n n 1 2 1

Utilizando p
n 0
n 1 podemos calcular p0 y despus los pi i
 COLAS ESPECIALIZADAS DE POISSON

Una notacin muy usada para representar un sistema de colas es la

siguiente:
 MEDIDAS DE DESEMPEO DE ESTADO ESTABLE

Teniendo en cuenta la notacin anteriormente establecida deducimos las

siguientes relaciones importantes:

L s nPn ; Lq (n - c)Pn ; Ls = efws ; Lq = efwq
n 1 n c 1

n = tasa media de llegadas de clientes cuando hay n clientes en el

sistema. (n = si es constante).

ef = tasa promedio efectiva =

n 0
n pn

n = tasa media de servicio cuando hay n clientes en el sistema (n =

si es constante).

Adems: ws = wq + 1/ de donde Ls = Lq + ef/ y c = Ls - Lq = ef/

Modelos con un servidor

(M/M/1):(DG//)

Suponemos n = y n = , n y definimos adems = /

Las expresiones del modelo generalizado se reducen a:

pn = np0 n = 0, 1, 2 .... ;

sabiendo que: p0(1 + + 2 + .... ) = 1 y suponiendo que < 1 entonces:

1
p 0 1 o sea p0 = 1 - . De aqu que: pn = (1 - )pn; n = 0, 1, 2, ...
1
que es una distribucin geomtrica.

Para las medidas de desempeo se obtiene: [Demostrar!]

 2 LS 1 Lq
L s E(n) ; Lq Ls ; WS ; Wq
1 1 (1 ) (1 )

(M/M/1)(DG/N/)

Si hay N clientes en el sistema, se impide nuevas llegadas. En trminos

del modelo generalizado esto se traduce en :

; n 0,1,2, , N 1
n
0; n N, N 1,
n
Haciendo = / obtenemos las siguientes relaciones para pn y las
diferentes medidas de desempeo

1 n {1 (n 1) N N N1}
1 N 1 , 1 , 1
(1 )(1 N 1 )
pn Ls
1 , 1 N , 1
N 1 2

ef (1 p N )
ef (1 p N ) L q Ls Ls

Lq Lq 1 Ls
Wq Ws Wq
ef (1 p N ) (1 p N )

Ver desarrollos de estas expresiones en el libro Investigacin de

Operaciones, Taha H. A. referenciado en el programa del curso con [4]

(M/M/c)(DG//)

Caractersticas:
- Los clientes llegan con una tasa constante , por lo que ef =
- Un mximo c de clientes pueden ser atendidos simultneamente
- La tasa de servicio , en cada servidor, es tambin constante
- Usar c servidores paralelos = acelerar la tasa de servicio. As que:

n , si n c
n n 0 y n
c , si n c
Las expresiones para pn y las medidas de desempeo pueden verse en
[4].

(M/M/c)(DG/N/), c N

Caractersticas:
Difiere del caso anterior en que se impone un lmite para la capacidad del
sistema (tamao mximo de la cola es N c).
Del modelo generalizado tenemos entonces que:

, si 0 n N n , si 0 n c
n y n
0, si n N c , si c n N

Ver en [4] las expresiones para pn y las medidas de desempeo

Tarea: Estudiar los siguientes modelos de colas:

(M/M/)(DG//), Modelo de autoservicio

(M/M/R)(DG/K/K), R < K, Modelo de servicio de mquinas

(M/G/1)(DG//)

(M/G/1)(NPRP//)

(M/G/c)(NPRP//)