Programación Dinámica

Probabilística

IO2 Rosa Delgadillo

Programación Dinámica
Probabilística
 En algunos problemas complejos de
programación dinámica, la
especificación del estado actual y la
decisión actual es suficiente para saber
con certeza el nuevo estado y los costos
durante la etapa actual.

IO2- Rosa Delgadillo

Programación Dinámica
Probabilística
 En la practica no siempre es posible
determinar esto, pues la demanda es
una variable aleatoria, aún que se
conozca el estado actual y la decisión
actual; el estado del siguiente
periodo y el costo del periodo
actual serán consecuentemente
variables aleatorias
IO2- Rosa Delgadillo
PDP : Los costos de la etapa actual
no se conocen
Ejemplo: Asignación de recursos
Por el precio de $1 /galón, una cadena de supermercados
compró 6 galones de leche de una lechería local, cada
galón se vende en las 3 tiendas de la cadena a $2/galón.
La lechería debe comprar de nuevo a $0.50/galón la
leche que se queda al final del día.la demanda de leche
es una variable aleatoria y se muestra en la tabla. La
cadena debe asignar la leche a las 3 tiendas para
maximizar la ganancia diaria neta.
Tienda 1 Tienda 2 Tienda 3
Dem x día Probab. Dem. x día Probab. Dem. x día Probab.
1 .60 1 .50 1 .40
2 0 2 .10 2 .30
3 .40 3 .40 3 .30

IO2- Rosa Delgadillo

Asignación de recursos
Modelo de programación dinámica
Etapas: son cada una de las 3 tiendas => 3 etapas
Variable de estado: es el número de galones de leche disponibles
al comienzo de cada etapa y k
Variable de decisión: es el número de galones de leche asignados
a c/tienda x i
Función de transformación: es la función yk 1  yk  xk
Función de recursión : Mejor retorno desde la etapa k hasta la
última, dado que se dispone de y k galones de leche

f k ( yk )  Max rk ( xk )  f k 1 ( yk 1 )
0  xk  y k

Condiciones de borde:
f 4 ( y4 )  0 , y1  6

IO2- Rosa Delgadillo

Asignación de recursos
Observación:
Como los 6 galones de leche ya se compraron, esto es, ya
se hizo el gasto, entonces solo nos interesa el ingreso
por las ventas (r (x)).
Es necesario primero determinar los ingresos asociados con
las probables ventas => ingresos esperados
Tienda 1 Tienda 2 Tienda 3
R1(0) =0 Probab. R2(0)=0 Probab. R3(0)=0 Probab.
R1(1)=2 (D=1)=0.60 R2(1)=2 (D=1)=0.50 R3(1)=2 (D=1)=0.40
R1(2)=3.10 (D=2) =0 R2(2)=3.25 (D=2)=0.10 R3(2)=3.40 (D=2)=0.30
R1(3)=4.20 (D=3)=0.40 R3(3)=4.35 (D=3)=0.40 R3(3)=4.35 (D=3)=0.30

R3(2)= P(D=1)x Ganancia +P(D>=2) x Ganancia = 0.4 (2+0.5) + 0.6(2x2)

R3(2) = 0.4 (2.5) + 0.6 (4) = 3.40

IO2- Rosa Delgadillo

Asignación de recursos
Solución
En la etapa 3 (Tienda 3):
r3(x3)+f4(y4)=r3(x3)
y3 X3=0 X3=1 X3=2 X3=3 X3* f3(y3)
0 0 - - - 0 0
1 0 2 - - 1 2
2 0 2 3.4 - 2 3.4
3 0 2 3.4 4.35 3 4.35
4 0 2 3.4 4.35 3 4.35
5 0 2 3.4 4.35 3 4.35
6 0 2 3.4 4.35 3 4.35

Obs: El cálculo de y3=4,5,6 es

innecesario pues en el óptimo no
debería quedar más de y3=3
IO2- Rosa Delgadillo
Asignación de recursos
Solución
En la etapa 2 (Tienda 2):
r2(x2)+f3(y3)
y2 X2=0 X2=1 X2=2 X2=3 X2* f2(y2)
0 0 - - - 0 0
1 2 2 - - 0ó1 2
2 3.4 4 3.25 - 1 4
3 4.35 5.4 5.25 4.35 1 5.4
4 4.35 6.35 6.65 6.35 2 6.65
5 4.35 6.35 7.60 7.75 3 7.75
6 4.35 6.35 7.60 8.70 3 8.70

Ejemplo: El cálculo de y3=4 y x2=2 es: retorno de

asignar 2 en etapa actual + retorno futuro cuando
queda en inventario 2= 3.25 + 3.4 = 6.65
IO2- Rosa Delgadillo
Asignación de recursos
Solución
En la etapa 1 (Tienda 1):
r1(x1)+f2(y1-x1)
y1 X1=0 X1=1 X1=2 X1=3 X1* f1(y1)
6 8.70 9.75 9.75 9.60 1ó2 9.75

La solución es: Cuando x1=1,

Tienda Galones de Y2=y1-x1 = 5 => x2 = 3
leche Y3= y2-x2=2 => x3 =3

1 1 2
$9.75 es el ingreso máximo esperado,
2 3 2 esto es el ingreso en un día determinado
3 2 2 puede ser + ó - $9.75. Si la demanda en
cada tienda es de 1 galón => ingreso
total es 3(2) + 3(0.5) = $7.50.
Si demanda es 3 galones en c/tda =>
6(2) = 12

IO2- Rosa Delgadillo

PDP : El estado del siguiente
periodo no se conoce
Ejemplo: Modelo de inventario
Considere el modelo de inventario de 3 periodos. Al comienzo de
cada periodo, una empresa debe determinar cuantas unidades
debe producir durante el periodo actual. Durante un periodo se
produce x unidades, se incurre en un costo de producción c(x),
donde c(0)=0 y para x>0, c(x)=3 +2x. La producción durante
cada periodo esta limitada a lo sumo a 4 unidades. Después
que ocurre la producción , se observa la demanda aleatoria del
periodo. Y estas tiene las misma probabilidades de que sea 1 o
2 unidades. Después de satisfacer la demanda se observa el
inventario al fin del periodo, se estima un costo de
mantenimiento de $1 por unidad. El inventario no puede
exceder de 3 unidades en cada periodo. El inventario al final
del periodo 3 se puede vender a $2 la unidad, el inventario
inicial es de 1 unidad

IO2- Rosa Delgadillo

 Modelo de Inventario
Modelo de programación dinámica
Etapas: son cada una de los periodos de trabajo, 3 meses => 3
etapas
Variable de estado: y i es el nivel del inventario al inicio del periodo i
Variable de decisión: x i es la cantidad a producir en el periodo i
Función de transformación: es la función yi 1  yi  xi  d i
Condiciones de borde: inventario final 0 (puede ser otro valor)
Inventario inicial 0 => f n 1 ( yn 1 )  0 , y1  0

IO2- Rosa Delgadillo

 Modelo de Inventario
Modelo de programación dinámica
Función de recursión : el costo de la política óptima desde la etapa i
hasta la última, dado que se dispone de y i unidades en
inventario al comienzo del periodo i

f i ( yi )  MinC ( xi )  1 / 2( y  x  1)  1 / 2( y  x  2)  f i 1 ( yi 1 )
xi

solo que en la etapa 3 la función de recursión es:

f 3 ( yi )  Minc( xi )  1 / 2( y  x  1)  1 / 2( y  x  2)  1 / 2(2)( y  x  1)  1 / 2(2)( y  x  2)
xi

Para asegurar satisfacer la demanda y  x  2 ó x  2  y

Y para asegurar que el inventario al final del tercer periodo no sea
mas de 3 unidades y  x 1  3 ó x  4  y

IO2- Rosa Delgadillo

Modelo de Inventario
Etapa 3:
y x c(x) Costo retención Valor recuperac. Costo f3(y), X3 (y)
y+x - 3/2 2Y+2x - 3 Esperado

3 0 0 3/2 3 -3/2 * f=-3/2, x=0

3 1 5 5/2 5 5/2
2 0 0 1/2 1 -1/2 * f =-1/2,x=0
2 1 5 3/2 3 7/2
2 2 7 5/2 5 9/2
1 1 5 1/2 1 9/2 * f =9/2, x=1
1 2 7 3/2 3 11/2
1 3 9 5/2 5 13/2
0 2 7 1/2 1 13/2 * f=13/2,x=2
0 3 9 3/2 3 15/2
0 4 11 5/2 5 17/2

IO2- Rosa Delgadillo

Modelo de Inventario
Etapa 2:
y x c(x) Costo retención Costo futuro esperado ½ Costo f2(y), X2 (y)
y+x - 3 /2 f3(y+x-1) + ½ f3(y+x-2) esperado

3 0 0 3/2 2 7/2 * f=-7/2, x=0

3 1 5 5/2 -1 13/2
2 0 0 1/2 11/2 6* f =6,x=0
2 1 5 3/2 2 17/2
2 2 7 5/2 -1 17/2
1 1 5 1/2 11/2 11 f =21/2, x=2
1 2 7 3/2 2 21/2 * Ó x=3
1 3 9 5/2 -1 21/2 *
0 2 7 1/2 11/2 13 f=25/2,x=3
0 3 9 3/2 2 25/2 * Ó x=4
0 4 11 5/2 -1 25/2*

IO2- Rosa Delgadillo

Modelo de Inventario
Etapa 1:
y x c(x) Costo retención Costo futuro esperado ½ Costo f2(y), X2 (y)
y+x - 3 /2 f3(y+x-1) + ½ f3(y+x-2) esperado

1 1 5 1/2 23/2 17 f=65/4, x=3

1 2 7 3/2 33/4 67/4
1 3 9 5/2 19/4 6 5/4 *

solución:
Se empieza a producir x1(1) =3 y si la demanda
de la etapa 1 y 2, son 2 unidades => y2 =
1+3-2=2 unidades => x2= 0, y3 =2+0-2 =0
=> x3=2.

IO2- Rosa Delgadillo