Programacin Dinmica

PROGRAMACIN DINMICA
CARACTERISTICAS DE LA PROGRAMACIN DINMICA

Puede definirse como una tcnica matemtica para la solucin de una serie de
decisiones en secuencia. Hay que tomar una secuencia de decisiones con cada
una de ellas que afecte las decisiones futuras. Por consiguiente, el ejecutivo se
enfrenta a situaciones que requieren que tome una serie de decisiones, en las
que el buen xito de cada una, depende de los resultados de una decisin
previa de la misma serie.

Adems de la caracterstica esencial de la toma de decisiones en secuencia,
los problemas de programacin dinmica tienen otras propiedades. Solo hay
que conocer una pequea cantidad de datos en cada etapa, a fin describir el
problema. En realidad los problemas de programacin dinmica se caracterizan
por la dependencia del resultado de las decisiones de una pequea cantidad de
variables. Otra caracterstica es que, en cualquier etapa, el resultado de una
decisin altera los valores de las variables relacionadas con el problema. Por lo
tanto, habr que considerar el mismo numero de variables para la siguiente
serie.

En un problema de programacin dinmica, hay que tomar una serie de decisiones
en una secuencia determinada. Cuando se hace as, se persigue una poltica ptima,
sin que importe cuales hayan sido los estados y decisiones anteriores, las decisiones
restantes constituirn una poltica ptima con respecto al estado que se obtenga con
la primera decisin.

ESTRUCTURA DE LA PROGRAMACIN DINMICA

La programacin dinmica comparte algunos conceptos con otros mtodos
cuantitativos. El primer concepto es el de una variable de estado, cuyos valores
especifican las condiciones las condiciones del proceso. Los valores de esas variables
nos dicen todo lo que necesitamos saber sobre el sistema, a fin de tomar decisiones.
Por ejemplo, en un problema de produccin, podramos requerir variables de estado
que se relacionen con la capacidad de fabricas y los inventarios actuales. Hay que
recordar que el numero de variables de estado puede ser muy grande. Sin embargo,
la dificultad para resolver un problema aumenta considerablemente con un nmero
creciente de variables, y por lo tanto es conveniente reducir al mnimo el nmero de
variables de estado.
En la estructura de un problema de programacin dinmica, se incluye el concepto de
una decisin, que es una oportunidad para cambiar las variables de estado en una
forma probabilstica. Las retribuciones generadas por cada decisin dependen de los
estados de principio y de fin de la misma, y de ese modo se convierten en una
secuencia de decisiones. La tarea inmediata consiste en tomar decisiones que
aumenten al mximo las retribuciones totales. Pg. 354


Programacin Dinmica
Probabilstica

Modelos Probabilsticos
18 Enero 2010
Contenido
Introduccin
Un juego de azar
Referencias
Introduccin
La programacin dinmica probabilstica (PDP)
difiere de la programacin dinmica
determinstica (PDD) en que

Las condiciones y resultados en cada etapa no son
fijos, sino que tienen un componente de aleatoriedad

Se hace uso de conceptos de probabilidad en la
obtencin de su solucin

Presentaremos la PDP mediante algunos
problemas prototipo
Un juego de azar
Una variante del juego de ruleta requiere que
se gire una rueda marcada con los nmeros
de 1 a n
La probabilidad de que la rueda se detenga
en un nmero i despus de hacerla girar es p
i
Un jugador paga $x para tener derecho a
girar la rueda hasta m veces
El jugador obtiene como ganancia el doble
del nmero que obtiene cuando gira por
ltima vez
Suponiendo que el juego se repite un nmero
grande de veces, queremos disear una
estrategia ptima para el jugador
Planteamiento general
Para poner el problema en trminos de PD,
consideremos lo siguiente:

La etapa i corresponde a la i-sima vuelta de la
rueda, i = 1, 2, , m

En cada etapa hay dos alternativas: se gira la
rueda una vez ms o se termina el juego

El estado j del sistema en la etapa i es el nmero
que se obtuvo la ltima vez que se gir la rueda,
el cual est entre 1 y n
Planteamiento general
Sea f
i
(j) = Ganancia mxima esperada
dado que el juego est en la etapa i y
que el resultado de la ltima vuelta fue
j, entonces


( )
( )
1
1
2 , si termina
max
, si contina
n
i
k i
k
j
f j
p f k
+
=

Planteamiento general
La ecuacin recursiva es entonces
( )
( )
1
1
2 , si termina
max , 2,...,
, si contina
n
i
k i
k
j
f j i m
p f k
+
=

= =

( )
1
2
m
f j j
+
=
( ) ( )
1 2
1
0
n
k
k
f p f k
=
=

Planteamiento general
Los clculos comienzan con f
m+1
y
terminan con f
1
, de modo que hay m+1
etapas
f
1
(0) representa el rendimiento
esperado de las m vueltas, as que el
rendimiento esperado neto, R
n
, es
( )
1
0
n
R f x =
Ejemplo
Supongamos que la ruleta est marcada con
los nmeros 1 a 5 y que las probabilidades de
que se detenga en cada nmero son p
1
= 0.30,
p
2
= 0.25, p
3
= 0.20, p
4
= 0.15, p
5
= 0.10

El jugador paga $5 por un mximo de cuatro
vueltas

Determine la estrategia ptima para cada una
de las cuatro vueltas y encuentre el
rendimiento esperado neto asociado
Ejemplo
Etapa 4 f
4
(j) = 2j
Resultado de la
vuelta 4 Solucin ptima
j f
4
(j) Decisin
1 2 Terminar
2 4 Terminar
3 6 Terminar
4 8 Terminar
5 10 Terminar
Etapa 3
f
3
(j) = max{2j,
Suma(p
k
f
4
(k))}
= max{2j,5}
Resultado de la
vuelta 3
Rendimiento
esperado
Solucin
ptima
j Terminar Girar f
3
(j)
Decisin
1 2 5 5
Girar
2 4 5 5
Girar
3 6 5 6
Terminar
4 8 5 8
Terminar
5 10 5 10
Terminar
Etapa 2
f
2
(j) = max { 2j,
Suma(p
k
f
3
k)) }
= max { 2j, 6.15 }
Resultado de la vuelta
2 Rendimiento esperado Solucin ptima
j Terminar Girar f
3
(j) Decisin
1 2 6.15 6.15 Girar
2 4 6.15 6.15 Girar
3 6 6.15 6.15 Girar
4 8 6.15 8 Terminar
5 10 6.15 10 Terminar
En la etapa 1 debe girar. Su ganancia esperada es de 7.31
Etapa 1
f
1
(j) = max{2j,
Suma(p
k
f
2
(k))}
= max{2j,6.8125}
Resultado de la vuelta 1 Rendimiento esperado Solucin ptima
j Terminar Girar f
2
(j) Decisin
1 2 6.8125 6.8125 Girar
2 4 6.8125 6.8125 Girar
3 6 6.8125 6.8125 Girar
4 8 6.8125 8 Terminar
5 10 6.8125 10 Terminar
Vuelta nmero Estrategia ptima
1
Contine si la vuelta 1 produce 1,2, o 3; de
otra forma, termine
2
Contine si la vuelta 2 produce 1, 2 o 3; de
otra forma, termine

3
Contine si la vuelta 3 produce 1 o 2. De
otra forma, termine
4 Ultima vuelta, termina el juego.
Referencias
Taha, Hamdy A. Investigacin de
operaciones. Una introduccin. Pearson
Educacin. 6 edicin. Mxico, 1997