Clase # 5

Costos esperados. Habamos estudiado las propiedades de largo plazo de las cadenas de Markov cuyos estados eran recurrentes positivos y aperidicos.

Costos esperados y estados absorbentes

Si relajamos el requerimiento de que los estados sean aperidicos, es posible que: Lim Pij(n)
n

no exista.
Dise: Andrs Gmez
5-1 5-2

Ejemplo
Si el proceso comienza en el estado cero:

Sin embargo, el siguiente lmite siempre existe para una cadena de Markov irreducible con estados recurrentes positivos.

0 1 P= 1 0

Estar en el estado 0 en los tiempos 2,4,6,.... Estar en el estado 1 en los tiempos 1,3,5,....

Lim
n

(1 n

k=1

Pij(k)
n

) =

P00 (n) = 1 P00

(n) =

si n es par si n es impar

Lim P00 (n)

n

Las j satisfacen las ecuaciones de estado estable dadas en la clase # 4

No existe
5-3 5-4

Este resultado es sumamente importante al calcular el costo promedio a la larga por unidad de tiempo, asociado a una cadena de Markov.

El costo promedio esperado en el que se incurre a lo largo de los primeros n perodos est dado por :

E Supongamos que se incurre en un costo C(Xt) cuando el proceso se encuentra en el estado Xt en el tiempo t, para t=0,1,...
C( Xt) es una variable aleatoria que toma cualquiera de los valores C(0) , C(1),..., C(M) y la funcin C(.) es independiente de t.
5-5

(1 n (1 n

t=1

C(Xt)
n

) )
M

Se puede demostrar que el costo promedio esperado por unidad de tiempo (a la larga) , est dado por: Lim
n

t=1

C(Xt) = jC(j)
n j=0
5-6

Ejemplo. Retomemos el ejemplo de los inventarios. Suponga que se debe asignar un costo de almacenamiento por cada cmara que permanece en la tienda al final de la semana. 0 C(Xt) = 2 8 18 si Xt = 0 si Xt = 1 si Xt = 3 si Xt = 4
5-7

Recordemos la matriz de transicin de un paso y las j

0.080 0.632 P = 0.264 0.080 0.184 0. 368 0. 368 0.184 0.368 0 0.368 0.368 0.368 0 0 0.368

0 = 0.285 1 = 0.285

2 = 0.264 3 = 0.166

Despus de muchas semanas, la probabilidad de encontrar cero, una, dos y tres en el almacn tiende a 0.285, 0.285, 0.264, 0.166 respectivamente.
5-8

El costo promedio esperado a la larga por mantener el inventario es

Si se define Ct como : 1 0 si Xt = j si Xt j

Ct =

Lim
n

(1 n

t=1

C(Xt)
n

)=

0(0.285) + 2(0.285) + 8(0.264)+ 18(0.166) = 5.67

La fraccin esperada del nmero de veces (a la larga) que el sistema se encuentra en el estado j est dada entonces por Sigue
5-9 5-10

Lim
n

(1 n

t=1

C(Xt) =
n

Estados absorbentes. Habamos dicho que el estado k se llama estado absorbente si Pkk=1, de manera que una vez que la cadena llega al estado k, permanece ah para siempre. Si k es un estado absorbente y el proceso comienza en el estado i , la probabilidad de llegar en algn momento a k se llama probabilidad de absorcin al estado k dado que el sistema empez en i, y se denota f ik
5-11 5-12

Lim E (fraccin de veces que el sistema est en el estado j)= j

n

De igual manera, j se puede interpretar tambin como la fraccin o porcentaje real (a la larga) del nmero de veces que el sistema se encuentra en el estado j.

Si la cadena de Markov tiene dos o ms estados absorbentes es deseable encontrar las probabilidades de absorcin. Estas probabilidades se hallan al resolver un sistema de ecuaciones lineales.

Un caso donde las probabilidades de absorcin son importantes es el de las caminatas aleatorias.

Caminata aleatoria f ik = sujeto a

j=0

Pij fjk
M

para i= 0,1,...,M
# de estados

f kk = 1 f ik = 0 si el estado i es recurrente e i=k

5-13

Cadena de Markov con la propiedad de que, si el sistema se encuentra en el estado i, entonces en una sola transicin o bien permanecer en i o se mover a uno de los estados inmediatamente adyacentes a i.
5-14

Ejemplo. Supongamos que se encuentran 2 jugadores (A y B) cada uno con $2. Ellos aceptan jugar hasta que alguno de ellos quiebre.

El nmero de dlares que tiene el jugador A antes de cada apuesta (0,1,2,3 o 4) proporciona los estados de una cadena de Markov 0 1 1 1 p P =2 0 3 0 4 0 0
5-15

0 0 1 p 0 0 1

0 p 0 1 p 0 2

0 0 p 0 0 3

La probabilidad de que el jugador A gane es p, y cada vez que alguno de los jugadores gana recibe $1 de su contrincante. Sigue

0 0 0 p 1 4
5-16

La probabilidad de absorcin al estado 0 (A pierde todo su dinero) se puede obtener a partir del sistema de ecuaciones descrito anteriormente. O tambin se puede demostrar que : 1 - f i0 = 1 1 - M 1 - f i0 = i M donde = (1-p)/p
5-17

Supongamos que p = 2/3 (sabemos que M=4 e i=2) La probabilidad de que A se quiebre est dada por
Empieza con $2

f 20 = 1 -

para p = para p =

1 - 2 1 - 4

= 1/5

Termina con $0

La probabilidad de que A gane, es decir que B se quiebre est dada por f 24 = 1 - f 20 = 4/5
5-18

Ejemplo. Considere una tienda de departamentos que clasifica el saldo de la cuenta de un cliente como

En general los crditos no se extienden y se espera que los clientes paguen dentro de los 30 das de retraso.

Pagada 1 a 30 das de retraso 31 a 60 das de retraso Mala deuda

Estado 0 Estado 1 Estado 2 Estado 3

En ocasiones los clientes pagan slo parte de la deuda. Si ocurre dentro de los 30 das la cuenta permanece en el estado 1. Si ocurre estando la cuenta en el estado 2, se pasa al estado 1.

Los clientes que tienen ms de 60 das se clasifican en la categora mala deuda, luego las cuentas se mandan a una agencia de cobro.

5-19

5-20

Despus de analizar los datos del ao pasado la tienda ha desarrollado la siguiente matriz de Markov

Aunque cada cliente llega al estado 0 o al estado 3, la tienda se interesa en determinar la probabilidad de que un cliente llegue a ser una mala deuda, dado que pertenece al estado 1 y al estado 2.

0 0 0 0 .2 0. 1 0 P= 2 0.5 0.1 0.2 0.2 3 0 0 0 1

1 0.7 0 1 2 3

01

Debemos obtener f13 y f 23 mediante la solucin del sistema de ecuaciones que anteriormente describimos

5-21

5-22

f 13 = p10 f03 + p11 f 13 + p12 f 23 + p13 f 33 f 23 = p20 f03 + p21 f 13 + p22 f 23 + p23 f 33 Como f 03 = 0 y f33 = 1 , obtenemos

(1) (2)

f 13 = 0.2 f13 + 0.1 f 23 f 23 = 0.1 f13 + 0.2 f 23 + 0.2 0.8 f13 = 0.1 f23 0.8 f23 = 0.2 + 0.1 f13

(5) (6) f 13 = 0.032 f 23 =0.254

f 13 = 0 + p11 f 13 + p12 f 23 + p13 f 23 = 0 + p21 f 13 + p22 f 23 + p23

(3) (4)
5-23

Aproximadamente el 3% de las cuentas que tienen de 1 a 30 das de retraso acaban por ser una mala cuenta mientras que el 25% de las cuentas con un retraso de 31 a 60 das llegan a la misma categora.
5-24