Tema: Programacin Dinmica1

Profesor: Tito Vargas Principe2

OPTIMIZACIN DINMICA
I.

CONCEPTOS PREVIOS
A.- Ecuacin en Diferencia Lineales
La ecuacin en diferencia lineal tiene la siguiente forma: xt +1 = axt + b donde xt es una variable real y a, b
son escalares
Caso Homogneo
xt +1 = axt y con una condicin inicial x0, iterando se tiene lo siguiente:

x1 = ax0
x 2 = ax1 = a (ax0 ) = a 2 x0
x3 = ax 2 = a (a 2 x0 ) = a 3 x0

xt = axt 1 = a ( a t 1 x 0 ) = a t x 0
Por lo tanto: xt = a t x 0
Ejemplo:
1) xt +1 = 2 xt y con una condicin inicial x0 =7
Solucin: xt = 2 t (7)
2)

xt +1 = 3 xt y con una condicin inicial x0 =5

Solucin: xt = ( 3) t (5)

Caso general

xt +1 = axt + b

La forma funcional del sistema toma la siguiente forma: xt +1 = f ( xt ) , decimos que x* es un punto fijo

o de equilibrio si cumple: x* = f ( x*)

Remplazando x* = ax * +b x* =

Pgina

Si definimos yt = xt x *

b
1 a

Esta es una versin preliminar escrita para el curso de TEORA MICROECONMICA dictado en LAMBDA GROUP en febrero del 2014,
cualquier sugerencia por favor escribir al correo tvargasprincipe@gmail.com
2 Especialista Econmico de la DGCeT-MTC (E-mail: tvargasp@mintc.gob.pe), Economista de la UNMSM.

xt +1 = axt + b

()

x* = ax * +b
( xt +1 x*) = a ( xt x*)
y t +1 = ay t
Dado una condicin inicial y0, el problema puede resolverse iterando:

yt = a t y0
xt x* = a t ( x 0 x*)
xt = x * + a t ( x 0 x*)
xt =

b
b

+ a t x0
1 a
1 a

Ejemplo:
1)

xt +1 =

1
xt 1 y con una condicin inicial x0 =1
2
1
2

Solucin: xt = 2 + [3]
B.- Sistema de Ecuaciones en Diferencia Lineales
Supongamos que X t toma valores en IRn, un sistema dinmico discreto lineal est formado por:

X t +1 = A. X t
Donde A es una matriz cuadrada (nxn)
Proposicin 1.- si v es un vector propio de la matriz A con valor propio , entonces X t = t v es una solucin.
Demostracin:
Si X t = t v entonces se tiene

A. X t = A(t v) = t Av
= t ( v )
= t +1v
= X t +1
Con lo cual es correcto que asuma X t = t v
Solucin general
Caso1: i son IR diferentes

Caso2: i son IR iguales

Caso2: i son IC conjugadas

Pgina

Con Valores Propios:

Y Vectores Propios:

C.- Ecuaciones lineales de segundo orden

Consideremos la siguiente ecuacin:

axt + 2 + bxt +1 + cxt = 0

Con los valores x0 y x1 dados, definimos: y t = xt +1
y al reescribir la ecuacin de segundo orden tenemos:

ay t +1 + byt + cxt = 0
b
c
yt +1 =
y t xt
a
a

Formando el siguiente sistema tenemos:

xt +1 = y t
yt +1 =

b
c
y t xt
a
a

Donde la matriz A tendr la siguiente forma:

A=
c / a

b / a
1

Donde el polinomio caracterstico tiene la forma:

P()=a 2+b +c=0
Obteniendo los vectores propios:
AV= V

c / a

p
p
. =

b / a q
q
1

0*p+q= p, si p=1, entonces q=, luego:

Pgina

p 1
V = =
q

Solucin general
1 y 2 son IR diferentes
Como:

Entonces:

xt = k1v11t + k 2 v 2 t2
xt
y
t
xt

1 t
1
= k1 . 1 + k 2 .

= k11t + k 2 t2

t
2

Pgina

Finalmente:

II.

OPTIMIZACIN DINMICA
1. Horizonte temporal

Finito: { 0,1,2T}
Horizonte

Discreto. { 0,1,2,}

Programacin Dinmica

Continuo: [0, [

Control ptimo

Infinito

2. Estado
Las variables cuyas magnitudes estn evaluadas a travs del tiempo, xt
3. Controles
Medidas o decisiones tomadas por el decisor al enterarse que el periodo t empieza en el estado xt. Dichas
decisiones estn orientada hacia el logro de algn objetivo.
4. Funcin Objetivo
Lo que el decisor pretende optimizar a lo largo del tiempo de vigencia
5. Evolucin del Sistema

Xt

ut

xt+1

t+1

xt +1 = g t ( xt , u t )
6. Planteamiento del Problema
Si denotamos por f t ( xt , u t ) la utilidad que consigue el decisor en el periodo t, el decisor se plantea
maximizar la utilidad agregada en el tiempo de vigencia del horizonte temporal
En el caso finito se trata de:
T

MAX

f (x ,u )
t =0

Sujeto a xt +1 = g t ( xt , u t )
X0: dado y una condicin terminal (CT)
Nota: Cuando las utilidades no dependen del periodo t, se escribe f ( xt , u t )

Pgina

7. De qu se trata resolver el Problema de Optimizacin Dinmica (POD)?

Se trata de encontrar una secuencia finita de u 0* , u1* , u 2* ....u T* llamado los controles ptimos que hacen

= g t ( xt , u t ) y la secuencia de estados {x 0* , x1* , x 2* ....xT* }se llama

mxima

f ( x , u ) Sujeto a x
t =0

t +1

trayectoria ptima de los estados asociados a los controles ptimos.

Una variante incluye la condicin terminal no dada, y el POD toma la siguiente forma:
T

MAX

f ( x , u ) + w( x
t =0

t +1

Sujeto a xt +1 = g t ( xt , u t )

8. Cmo se resuelve un POD?

MTODO DE BELLMAN
Si consideramos t= 0, 1, 2, T, y denominamos a (P )c omo el problema original:
T

MAX
f t ( xt , u t )

t =0

sea ( P ) : s.a.
x = g ( x , u )
t
t
t
t +1
x0 dado y C.T .

Si consideramos k= t, t+1,t+ 2, T
T

MAX
f k ( xk , u k )

k =t

sea P (t ) : s.a.
x = g ( x , u )
k
k
k
k +1
xt dado

El principio de Optimalidad de Bellman3 establece que:

{u
{u

*
0
*
t

, u1* , u 2* ....u T* } Resuelve el problema (P) si y solo s

, u t*+1 , u t*+ 2 ....u T* } Resuelve el problema P(t) con la condicin que xt = xt*

FUNCIN VALOR
Si llamamos Vt el valor ptimo de P(t) entonces

Vt = Max { f t ( xt , u t ) + Vt +1 ( xt +1 )}

Pgina

ut

El Mtodo de Bellman, que resuelve los problemas de programacin dinmica (tiempo discreto), es intrnsecamente recursivo y su
finalidad es encontrar la forma del valor ptimo o funcin valor. Y si recordamos el Principio del Mximo de Pontryagin, cuando
resolvamos problemas de control ptimo (tiempo continuo), dicho principio pone el nfasis en encontrar las trayectorias de las variables
de control que conducen a este valor ptimo

Vt ( xt ) = Max { f t ( xt , u t ) + Vt +1 ( g t ( xt , u t ))} esta expresin es conocida como la ecuacin recursiva de

ut

Bellman.
Nota
a) Si en P, xt+1 es DADO se toma Vt+1=0
b) Si en P, xt+1 NO est DADO se toma Vt+1=W(xt+1)
Es importante resaltar que emplear el mtodo de Bellman se reduce a problemas de dos periodos t y (t+1)
ejemplo de funcin de consumo de dos periodos.
CONDICIONES DE OPTIMALIDAD

{ } , {x } son las soluciones interiores:

Si las funciones ft y gt son continuamente diferenciable y u t*

T
0

* T
t 0

f t Vt +1 g t ( xt , u t )
+
.
=0
u t xt +1
u t
Vt f t Vt +1 g t ( xt , u t )
=
+
.
, evaluado en u t* ; xt*
xt xt xt +1
xt

9. Aplicacin del Mtodo de Bellman

Se desea Distribuir una cantidad C de un bien en tres estaciones, de modo que la suma de sus cuadrados de
estas distribuciones sea mnima.
Planteamiento Esttico

Planteamiento Dinmico

Se ut lo que se entrega en la estacin t=0,1,2

MIN u + u + u

s.a.
Pr oblema :
u 0 + u1 + u 2 = C
u , u , u 0
0 1 2
2
0

2
1

2
2

xt la cantidad existente antes de llegar a la estacin t,

en tal caso x0=C, y x3=0
ut lo que se deja en la estacin t
Ecuacin de evolucin xt +1 = xt u t

2
2

2
MIN
u
=
Max
u i2

i =0
i =0

Pr oblema : s.a.
x = x u
t
t
t +1
x 0 = C y x3 = 0

APLICANDO LA ECUACIN RECURSIVA DE BELLMAN:

Paos1:

Vt ( xt ) = Max { f t ( xt , u t ) + Vt +1 ( g t ( xt , u t ))}
ut

Si en P, xt+1 es DADO entonces Vt+1=0

X2+1 = X3 =0 (DADO) entonces V2+1= V3=0

Pgina

Paso2:

V2 = Max(u 22 + V3 ) = Max(u 22 + 0) = x 22
u2

u2

x3 = x 2 u 2
0 = x2 u 2
x2 = u 2

Paso3:

V1 = Max(u12 + V2 ) = Max(u12 x 2 ) = Max(u12 ( x1 u1 ) 2 ) = Max(2u12 + 2u1 x1 x12 )

2

u1

Derivando :

u1

u1

u1

x
()
= 4u1 + 2 x1 = 0 1 = u1
u1
2

x 2 = x1 u1
0 = x2 u 2
x2 = u 2
Evaluando

V1 ( x1 ) = u12 ( x1 u1 ) 2 =

x12
x
x2 x2
x2
( x1 1 ) 2 = 1 1 = 1
4
2
4
4
2

Paso4:

(C u 0 ) 2

V0 = Max(u 02 + V1 ) = Max u 02
u0
u0
2

()
C
Derivando :
= 2u 0 (C u 0 ).(1) = 0 u 0* =
3
u 0
x1 = x0 u 0
x1 = C u 0
Luego

x1 = C u0
C 2C
x1 = C =
3
3
x
1 2C C
Por lo tanto u1* = 1 =
=
2 2 3 3
En consecuencia u 2* = x 2 = x1 u1 =
Si t=1,2,3,n u i =

2C C C
=
3
3 3

C
n

Pgina

APLICANDO CONDICIONES DE OPTIMALIDAD

Dado: f t ( x t , u t ) = u t2 ;

g t ( xt , u t ) = xt u t , se aplica las condiciones de optimalidad:

f t Vt +1 g t ( xt , u t )
+
.
=0
u t xt +1
u t
2u t + V / t +1 .( 1) = 0

Vt f t Vt +1 g t ( xt , u t )
.
=
+
xt
xt xt xt +1
V / t . = 0 + V / t +1 .(1)

Por lo tanto:

2u t = V / t +1 2u t 1 = V / t
V / t . = V / t +1
Entonces: 2u t 1 . = 2u t u t = u t +1
Como xt +1 = xt ut

u t = xt xt +1
u t +1 = xt +1 xt + 2

xt xt +1 = xt +1 xt + 2
xt + 2 2 xt +1 + xt = 0

2 2 + 1 = 0
1 = 2 = 1
xt = At + Btt
x0 = C A10 + B(0)10 = A = C

C
3
3
x3 = 0 C.1 + B (3)1 = B =
3

Luego

xt = C

C
t;
3

t = 0,1,2,3

Entonces:

C
0=C
3
C
2C
x1 = C 1 =
3
3
C
C
x2 = C 2 =
3
3
C
x3 = C 3 = 0
3

Pgina

x0 = C

En resumen:
2
2

2
MIN
u
=
Max
u i2

i =0
i =0

Pr oblema : s.a.
x = x u
t
t
t +1
x 0 = C y x3 = 0

Pgina

10

C
*
xt = C 3 t ; t = 0,1,2,3
Solucin :
u * = C ;
t = 0,1,2, donde n = 3 ( N de estaciones )
t
n

10