M etodo lagrangiano.

En el m etodo de Jacobi, sea que el vector represente los coecientes de sensibilidad; esto es = Y0 J1 = Entonces, f g = 0 Esta ecuaci on satisface las condiciones necesarias para puntos estacionarios, porque f / g se calcula de tal modo que c f = 0. Una forma m as c omoda de presentar estas ecuaciones es tomar sus derivadas parciales con respecto a todas las xj . Con eso se obtiene (f g) = 0, j = 1, 2, . . . , n. xj Las ecuaciones obtenidas, junto con las ecuaciones de restricci on g(X) = 0, dan como resultado los valores factibles de X y que satisfacen las condiciones necesarias para puntos estacionarios. Este procedimiento dene al m etodo lagrangiano, o de Lagrange, para identicar los puntos estacionarios de problemas de optimizaci on con restricciones de igualdad. El procedimiento se puede desarrollar formalmente como sigue. Sea L(X, ) = f (X) g(X) A la funci on L se le llama funci on de Lagrange, y a los par ametros se les llama multiplicadores de Lagrange. Por denici on, esos multiplicadores tienen la misma interpretaci on que los coecientes de sensibilidad del m etodo jacobiano. Las ecuaciones L L = 0, =0 X expresan las condiciones necesarias para determinar los puntos estacionarios de f (X) sujetos a g(X) = 0. Las condiciones de suciencia para el m etodo de Lagrange se enunciar an sin demostraci on. Se dene HB = en donde 0 PT P Q f g

(m+n)(m+n)

g1 (X) 2 L(X, ) . . P= ,Q= . xi xj gm (X) mn

nn

La matriz HB es la matriz hessiana de frontera o acotada. Dado el punto estacionario (X0 , 0 ) de la funci on lagrangiana L(X, ) y la matriz hessiana de frontera HB evaluada en (X0 , 0 ), entonces X0 es 1

1. Un punto m aximo si, comenzando con el determinante principal mayor de orden (2m + 1), los u ltimos (n m) determinantes menores de HB forman una pauta de signos alternativos con (1)m+1 . 2. Un punto m nimo si, comenzando con el determinante menor principal de orden (2m + 1), los u ltimos (n m) determinantes menores principales de HB tienen m el signo (1) . Estas condiciones son sucientes, pero no necesarias, para identicar un punto extremo. Esto quiere decir que un punto estacionario puede ser un punto extremo sin satisfacer esas condiciones. Existen otras condiciones que son necesarias y sucientes al mismo tiempo, para identicar puntos extremos. Sin embargo, el procedimiento puede ser computacionalmente inmanejable. Se dene la siguiente matriz en el punto estacionario (X0 , 0 ): = 0 PT P Q I

donde es un par ametro desconocido. Se considera el determinante ||; entonces, cada una de las (n m) ra ces reales del polinomio || = 0 debe ser 1. Negativa si X0 es un punto m aximo. 2. Positiva si X0 es un punto m nimo. Ejemplo 20.2-4 Para el problema del ejemplo 20.2-2, la funci on de Lagrange es
2 2 L(X, ) = x2 1 + x2 + x3 1 (x1 + x2 + 3x3 2) 2 (5x1 + 2x2 + x3 5)

Esto produce las siguientes condiciones necesarias: L x1 L x2 L x3 L 1 L 2 = = = 2x1 1 52 = 0 2x2 1 22 = 0 2x3 31 2 = 0

= (x1 + x2 + 3x3 2) = 0 = (5x1 + 2x2 + x3 5) = 0 2

La soluci on de esas ecuaciones simult aneas es X0 = (x1 , x2 , x3 ) = (0.8043, 0.3478, 0.2826), = (1 , 2 ) = (0.0870, 0.3043) En esta soluci on se combinan los resultados de los ejemplos 20.2-2 y 20.2-3. Los valores de los multiplicadores de Lagrange son iguales a los coecientes de sensibilidad obtenidos en el ejemplo 20.2-3 (salvo errores de redondeo). El resultado demuestra que esos coecientes son independientes de la elecci on de Y, el vector dependiente en el m etodo jacobiano. Para demostrar que este punto es un m nimo, consid erese 0 0 1 1 3 0 0 5 2 1 B H = 1 5 2 0 0 1 2 0 2 0 3 1 0 0 2 Como n = 3 y m = 2, n m = 1 y se debe comprobar s olo el determinante de HB , que debe tener el signo de (1)2 para que el punto estacionario X0 sea un m nimo. Como HB = 460 > 0, X0 es un punto m nimo. Ejemplo 20.2-5 Se tiene el problema
2 2 Minimizar z = x2 1 + x2 + x3

sujeta a 4x1 + x2 2 + 2x3 14 = 0 La funci on de Lagrange es

2 2 2 L(X, ) = x2 1 + x2 + x3 (4x1 + x2 + 2x3 14)

de donde L x1 L x2 L x3 L = = = 2x1 4 = 0 2x2 2x2 = 0 2x3 2 = 0

= (4x1 + x2 2 + 2x3 14) = 0

Estas ecuaciones tienen una innidad de soluciones porque L/x2 = 0 es independiente de x2 . A manera de ejemplo se examinar an las tres soluciones siguientes: (X0 , 0 )1 (X0 , 0 )2 (X0 , 0 )3 = (2, 2, 1, 1) = (2, 2, 1, 1) = (2.8, 0, 1.4, 1.4) 3

Con las condiciones de suciencia se obtiene 0 4 2x2 2 4 2 0 0 HB = 2x2 0 2 2 0 2 0 0 2 Como m = 1 y n = 3, para que un punto estacionario sea m nimo, el signo de los u ltimos (3 1) = 2 determinantes menores principales debe ser igual al de (1)m = 1. Entonces, para(X0 , 0 )1 = (2, 2, 1, 1), 0 4 4 4 2 0 4 0 0 0 4 4 2 4 2 0 0 4 0 0 0 2 0 0 2

= 32 < 0,

= 64 < 0

Para (X0 , 0 )2 = (2, 2, 1, 1), 0 4 4 4 4 2 0 0 0 0 4 4 2 4 4 2 2 0 0 0 0 0 0 0 2

= 32 < 0,

= 64 < 0

Por u ltimo, para (X0 , 0 )3 = (2.8, 0, 1.4, 1.4) 0 4 0 4 0 2 0 0 0.8 0 4 0 2 4 0 2 2 0 0 0 0.8 0 0 0 2

= 12.8 > 0,

= 32 > 0

Esto demuestra que (X0 )1 y (X0 )2 son puntos m nimos y que (X0 )3 no satisface las condiciones de suciencia para ser m aximo o m nimo. Esto no quiere decir que no sea un punto extremo, porque estas condiciones s olo son sucientes. Para ilustrar el uso de la otra condici on de suciencia que emplea las ra ces de un polinomio, se tiene 0 4 2x2 2 4 2 0 0 = 2x2 0 2 2 0 2 0 0 2 Ahora, para (X0 , 0 )1 = (2, 2, 1, 1), || = 92 26 + 16 = 0 Esto resulta en = 2 o 8/9. Como toda > 0, (X0 )1 = (2, 2, 1) es un punto m nimo. Para (X0 , 0 )2 = (2, 2, 1, 1), || = 92 26 + 16 = 0 4

igual que en el caso anterior. Por consiguiente, (X0 )2 = (2, 2, 1) es un punto m nimo. Por u ltimo, para (X0 , 0 )3 = (2.8, 0, 1.4, 1.4), || = 52 6 8 = 0 En este caso, = 2 y = 0.8, que quiere decir que no se conoce la identidad de (X0 )3 = (2.8, 0, 1.4). Restricciones de desigualdad Ahora ampliaremos el m etodo de Lagrange para manejar restricciones de desigualdad. La contribuci on principal en este caso es el desarrollo de las condiciones generales de Karush-Kuhn-Tucker (KKT) que proporcionan la teor a b asica de la programaci on no lineal. Extensi on del m etodo de Lagrange. Se tiene el problema Maximizar z = f (X) sujeta a gi (X) 0, i = 1, 2, . . . , m. Las restricciones de no negatividad X 0, si las hay, se incluyen en las m restricciones. Si el optimo no restringido de f (X) no satisface a todas las restricciones, el optimo restringido debe ser un punto limite en la frontera del espacio de soluciones. Esto quiere decir que al menos una restricci on se debe satisfacer en forma de ecuaci on. Por consiguiente, el m etodo implica los siguientes pasos. Paso 1. Resolver el problema sin restricciones: Maximizar z = f (X) Si el optimo resultante satisface todas las restricciones, detenerse, porque todas las restricciones son redundantes. En caso contrario hacer k = 1 y seguir en el paso 2. Paso 2. Activar todas las k restricciones (es decir, convertirlas en igualdades) y optimizar a f (X) sujeta a las k restricciones activas, con el m etodo de Lagrange. Si la soluci on obtenida es factible con respecto a las dem as restricciones, detenerse; se tiene un optimo local. En caso contrario, activar otro conjunto de k restricciones y repetir el paso. Si se han considerado todos los conjuntos de restricciones activas, tomadas de k en k , sin encontrar una soluci on factible, proceder al paso 3. Paso 3. Si k = m, detenerse. No existe soluci on factible. En caso contrario, poner k = k + 1 y seguir en el paso 2.

Un punto importante que con frecuencia se pasa por alto al presentar el procedimiento es que no garantiza una optimalidad global, aun cuando el problema tenga buen comportamiento (es decir, que posea un optimo u nico). Otro punto importante es la idea err onea impl cita que para p < q , el optimo de f (X) sujeta a p restricciones de igualdad siempre es mejor que su optimo sujeto a q restricciones de igualdad. Eso es cierto, en general, s olo si las q restricciones forman un subconjunto de las p restricciones. El ejemplo que sigue tiene por objeto ilustrar estos puntos. Ejemplo 20.2-6 Maximizar z = (2x1 5)2 (2x2 1)2 sujeta a x1 + 2x2 2, xk 0. La representaci on gr aca de la gura 1 ayuda a comprender el procedimiento anal tico. Observe que el problema tiene buen comportamiento (funci on objetiva c oncava sujeta a un espacio de soluciones convexo), y eso quiere decir que un algoritmo razonablemente bien denido deber a garantizar la optimalidad global. Sin embargo, como se demostrar a, el m etodo ampliado de Lagrange s olo produce un m aximo local.

Figure 1: Espacio de soluciones del ejemplo 20.2-6. El optimo sin restricciones se obtiene resolviendo z x1 z x2

= 4(2x1 5) = 0 = 4(2x2 1) = 0

La soluci on es (x1 , x2 ) = (5/2, 1/2), que no satisface la restricci on x1 +2x2 2. As , se activan las restricciones una por una. Se considerar a x1 = 0. La funci on lagrangiana es L(x1 , x2 , ) = (2x1 5)2 (2x2 1)2 x1 Entonces, L x1 L x2 L = 4(2x1 5) = 0 = 4(2x2 1) = 0 = x1 = 0

Con esto se obtiene el punto de soluci on (x1 , x2 ) = (0, 1/2), que se puede demostrar, con la condici on de suciencia, que es un m aximo. Como este punto satisface todas las dem as restricciones, el procedimiento se termina con (x1 , x2 ) = (0, 1/2) como soluci on optima local del problema. El valor objetivo es z = 25. (Las restricciones restantes x2 > 0 y x1 = 2x2 < 2, activadas una por una, producen soluciones no factibles. En la gura 1, la soluci on factible (x1 , x2 ) = (2, 0), que es el punto de intersecci on de las dos restricciones x2 = 0 y x1 + 2x2 = 2 produce el valor objetivo z = 2. Este valor es mejor que el obtenido con una restricci on activa. El procedimiento que acabamos de describir ilustra que lo mejor que cabe esperar usan do el m etodo de Lagrange es una (posiblemente) buena soluci on factible. Esto es especialmente cierto si la funci on objetivo no es unimodal. Si las funciones del problema tienen buen comportamiento (es decir, el problema posee un solo optimo restringido como en el ejemplo 20.2-6), se puede recticar el procedimiento para localizar al optimo global. En forma espec ca, consid erense el optimo no restringido y los optimos restringidos sujetos a todos los conjuntos de una restricci on activa, despu es a dos restricciones activas, y as sucesivamente, hasta que se activen todas las m restricciones. El mejor de todos los optimos factibles es el optimo global. Si se sigue este procedimiento en el ejemplo 20.2-6, ser a necesario resolver siete problemas para vericar la optimalidad. Esto indica que el uso del m etodo para resolver problemas de cualquier tama no pr actico es limitado. Las condiciones de Karush-Kuhn-Tucker (KKT). En esta secci on se presentan las condi ciones necesarias KKT para identicar puntos estacionarios de un problema no lineal restringido sujeto a restricciones de desigualdad. El desarrollo se basa en el m etodo de Lagrange. Esas condiciones tambi en son sucientes, bajo ciertas reglas que se enunciar an despu es. En el problema Maximizar z = f (X) sujeta a g(X) 0 7

Las restricciones de desigualdad se pueden convertir en ecuaciones usando variables no 2 negativas de holgura. Sea Si (no negativa) la holgura agregada a la i- esima restricci on gi (X) 0, y def nanse
2 2 2 T S = (S1 , S2 , . . . , Sm )T , S2 = (S1 , S2 , . . . , Sm )

donde m es la cantidad total de restricciones de desigualdad. Entonces, la funci on de Lagrange es L(X, S, ) = f (X) g(X) + S2 Dadas las restricciones g(X) 0 una condici on necesaria para la optimalidad es que sea no negativo (no positivo) en proble mas de maximizaci on (minimizaci on). Este resultado se justica como sigue. El vector mide la rapidez de variaci on de f con respecto a g; esto es, = f g

En el caso de la maximizaci on, cuando el lado derecho de la restricci on g(X) 0 cambia de 0 a g(> 0), el espacio de soluciones se hace menos restringido y en consecuencia f no puede decrecer. Eso quiere decir que 0. De igual modo para la minimizaci on, a medida que aumenta el lado derecho de las restricciones, f no puede aumentar, lo que implica que 0. Si las restricciones son igualdades, esto es, g(X) = 0, entonces es libre en signo. Las restricciones de son parte de las condiciones KKT necesarias. A continuaci on se deducir an las dem as condiciones. Al tomar derivadas parciales de L con respecto a X, S y se obtienen L X L Si L = f (X) g(X) = 0 = 2i Si = 0, i = 1, 2, . . . , m = g(X) S2 = 0

El segundo conjunto de ecuaciones indica los siguientes resultados:

2 1. Si i = 0, entonces Si = 0, lo que signica que el recurso correspondiente es escaso y, en consecuencia, se consume por completo (restricci on de igualdad). 2 2. Si Si > 0, entonces i = 0. Esto quiere decir que el recurso i no es escaso y, en consecuencia, no tiene efecto sobre el valor de f (es decir, i = f /gi = 0).

Del segundo y tercer conjunto de ecuaciones se obtiene i gi (X) = 0, i = 1, 2, . . . , m 8

Esta nueva condici on repite esencialmente el argumento anterior, porque si i > 0 2 2 gi (X) = 0 Si = 0, y si gi (X) < 0 Si > 0 i = 0. Las condiciones KKT necesarias para el problema de maximizaci on se pueden resumir entonces como sigue: f (X) g(X) i gi (X) g(X) 0 = 0 = 0, i = 1, 2, . . . , m 0

Estas condiciones se aplican tambi en al caso de minimizaci on, con la excepci on de que debe ser no positiva (compru ebelo!). Tanto en la maximizaci on como en la minimizaci on, los multiplicadores de Lagrange que corresponden a las restricciones de igualdad deben ser libres de signo. Suciencia de las condiciones KKT. Las condiciones necesarias de Kuhn-Tucker tambi en son sucientes, si la funci on objetivo y el espacio de soluciones satisfacen las condiciones de la tabla 1. Tabla 1 Condiciones requeridas Funci on objetivo Espacio de soluciones C oncava Conjunto convexo Convexa Conjunto convexo

sentido de la optimizaci on Maximizaci on Minimizaci on

Es m as f acil comprobar que una funci on es convexa o c oncava que demostrar que un espacio de soluciones es un conjunto convexo. Por esta raz on se presenta una lista de condiciones que son m as f aciles de aplicar en la pr actica, en el sentido que se puede establecer la convexidad del espacio de soluciones comprobando la convexidad o la concavidad de las funciones de restricci on. Para suministrar estas condiciones se denir an los problemas no lineales generalizados como sigue: Maximizar o Minimizar z = f (X) sujeta a gi (X) 0, i = 1, 2, . . . , r gi (X) 0, i = r + 1, . . . , p gi (X) = 0, i = p + 1, . . . , m
r p 2 i gi (X) + Si i=1 i=r +1 2 i gi (X) Si i=p+1 m

L(X, S, ) = f (X)

i gi (X)

donde i , es el multiplicador de Lagrange correspondiente a la restricci on i. Las condiciones para establecer la suciencia de las condiciones KKT se resumen en la tabla 2.

Sentido de la optimizaci on Maximizaci on

f (X) C oncava

Minimizaci on

Convexa

Tabla 2 Condiciones requeridas gi (X) i Convexa 0 C oncava 0 Lineal Sin restricci on Convexa 0 C oncava 0 Lineal Sin restricci on

(1 i r) (r + 1 i p) (p + 1 i m) (1 i r) (r + 1 i p) (p + 1 i m)

Las condiciones de la tabla 2 s olo representan un subconjunto de las condiciones de la tabla 1. La raz on es que un espacio de soluciones puede ser convexo y no satisfacer las condiciones de la tabla 2. La tabla 2 es v alida, porque las condiciones dadas producen una funci on lagrangiana c oncava L(X, S, ) en el caso de maximizaci on, y una L(X, S, ) convexa en el caso de minimizaci on. Este resultado se comprueba al notar que si gi (X) es convexa, entonces i gi (X) es convexa si i 0, y es c oncava si i 0. Se pueden establecer interpretaciones parecidas para todas las condiciones restantes. Observe que una funci on lineal es convexa y c oncava al mismo tiempo. Tambi en, si una funci on f es c oncava, entonces (f ) es convexa, y viceversa. Ejemplo 20.2-7 Se tiene el siguiente problema de minimizaci on:
2 2 Minimizar f (X) = x2 1 + x2 + x3

sujeta a g1 (X) g2 (X) g3 (X) g4 (X) g5 (X) = 2x1 + x2 = x1 + x3 = 1 x1 = 2 x2 = x3 5 2 0 0 0 0 0

Se trata de un problema de minimizaci on, y entonces 0. As , las condiciones KKT son (1 , 2 , 3 , 4 , 5 ) 2 1 0 1 0 1 0 0 (2x1 , 2x2 , 2x3 ) (1 , 2 , 3 , 4 , 5 ) 1 0 1 0 0 0 1 1 g1 = 2 g2 = . . . = 5 g5 g(X) 0

= 0

= 0 0

10

Estas condiciones se reducen a 1 , 2 , 3 , 4 , 5 2x1 21 2 + 3 2x2 1 + 4 2x3 2 + 5 1 (2x1 + x2 5) 2 (x1 + x3 2) 3 (1 x1 ) 4 (2 x2 ) 5 x3 2x1 + x2 x1 + x3 = = = = = = = = 0 0 0 0 0 0 0 0 0 5 2

x1 0, x2 2, x3 0 La soluci on es x1 = 1, x2 = 2, x3 = 0, 1 = 2 = 5 = 0, 3 = 2, 4 = 4. Como son convexos tanto f (X) como el espacio de soluciones g(X) 0, L(X, S, ) debe ser convexa, y el punto estacionario que resulte produce un m nimo global restringido. Este ejemplo demuestra que el procedimiento no es adecuado para c alculos num ericos, porque puede ser dif cil resolver en forma expl cita las condiciones resultantes. Las condiciones KKT son b asicas en el desarrollo de los algoritmos de programaci on no lineal que estudiaremos a continuaci on.

Algoritmos de programaci on no lineal

Algoritmos sin Restricci on En esta secci on se presentar an dos algoritmos para el problema no restringido: el algoritmo de b usqueda directa y el algoritmo de gradiente. M etodo de b usqueda directa Los m etodos de b usqueda directa se aplican principalmente a funciones estrictamente unimodales de una variable. Aunque puede parecer trivial el caso, como se mostrar a, la optimizaci on de funciones de una variable juega un papel clave en el desarrollo de los algoritmos de varias variables, m as generales. La idea de los m etodos de b usqueda directa es identicar el intervalo de incertidumbre que comprenda al punto de soluci on optima. El procedimiento localiza el optimo estrechando en forma progresiva el intervalo de incertidumbre hasta cualquier grado de exactitud que se desee. En esta secci on se presentan dos algoritmos estrechamente relacionados: los m etodos de b usqueda dic otomo y de secci on aurea. Ambos buscan la maximizaci on de una 11

funci on unimodal f (x) en el intervalo a x b, que se sabe que incluye el punto ptimo x . Los dos m o etodos comienzan con I0 = (a, b) que representa el intervalo inicial de incertidumbre. Paso general i. Sea Ii1 = (xL , xR ) el intervalo actual de incertidumbre (en la iteraci on 0, xL = a y xR = b). A continuaci on se denen x1 y x2 tales que xL < x1 < x2 < xR El siguiente intervalo de incertidumbre, Ii , se dene como sigue: 1. Si f (x1 ) > f (x2 ) entonces xL < x < x2 . Se denen xR = x2 e Ii = (xL , x2 ), (v ease la gura 2a). 2. Si f (x1 ) < f (x2 ), entonces x1 < x < xR . Se denen xL = x1 e Ii = (x1 , xR ) (v ease la gura 2b). 3. Si f (x1 ) = f (x2 ), entonces x1 < x < x2 . Se denen xL = x1 , xR = x2 e Ii = (x1 , x2 ).

Figure 2: Ilustraci on del paso general de los m etodos de b usqueda dic otomo y de la secci on aurea La manera en que se determinan x1 y x2 garantiza que Ii < Ii1 , como se demostrar a en breve. El algoritmo termina en la iteraci on k si Ik , donde es un grado de exactitud denido por el usuario. La diferencia entre los m etodos dic otomo y de secci on aurea estriba en la forma en que se calculan x1 y x2 . La tabla siguiente presenta las f ormulas.

12

M etodo dic otomo ( x + xL ) x1 = 1 R 2 1 x2 = 2 (xR + xL + )

M etodo de la secci on aurea 1 x1 = xR 5 ( x R xL ) 2 51 x2 = xL + 2 (xR xL )

En el m etodo dic otomo los valores x1 y x2 se encuentran sim etricos respecto del punto medio del actual intervalo de incertidumbre. Esto signica que Ii = 0.5(Ii1 + ) La aplicaci on repetida del algoritmo garantiza que la longitud del intervalo de incertidumbre se acercar a al nivel de exactitud deseado, . En el m etodo de la secci on aurea la idea es de mayor involucramiento. Se puede apreciar que cada iteraci on del m etodo dic otomo requiere calcular los dos valores f (x1 ) y f (x2 ), pero termina por descartar alguno de ellos. Lo que propone el m etodo de la secci on aurea es ahorrar c alculos mediante la reutilizaci on del valor descartado en la iteraci on inmediata siguiente. Para denir 0 < < 1, x1 = xR (xR xL ), x2 = xL + (xR xL )

Cuando el intervalo de incertidumbre Ii , en la iteraci on i es igual a (xL , x2 ) o a (x1 , xR ). Considere el caso en que Ii = (xL , x2 ), lo cual signica que x1 est a incluido en Ii . En la iteraci on i + 1, seleccione x2 igual a x1 de la iteraci on i, lo cual lleva a la siguiente ecuaci on: x2, i+1 = x1, i Sustituyendo, se encuentra que: xL + [x2, i xL ] = xR (xR xL ) o lo que es igual: xL + [xL + (xR xL ) xL ] = xR (xR xL ) que nalmente se simplica a: 2 + 1 = 0 La ecuaci on da = (1 5)/2. Como es un valor entre 0 y 1, seleccionamos la ra z positiva 0.681. El dise no de los c alculos del m etodo de la secci on aurea, garantiza una reducci on en los intervalos de incertidumbre sucesivos; esto es: Ii+1 = Ii Comparado con el m etodo dic otomo, el m etodo de la secci on aurea converge m as r apidamente hacia el nivel deseado de exactitud. Adicionalmente, cada iteraci on en el m etodo de la secci on aurea requiere la mitad de los c alculos, en virtud de que recicla

13

siempre un conjunto de los c alculos correspondientes a la iteraci on inmediata anterior. Ejemplo 21.1-1 Maximizar f (x) = 3x, 0x2 1 (20 x ) , 2 <x3 3

El m aximo valor de f (x) ocurre en x = 2. La siguiente tabla muestra los c alculos para las iteraciones 1 y 2, usando el m etodo dic otomo y el de la secci on aurea. Supondremos que = 0.1. M etodo dic otomo Iteraci on 1 I0 = (xL , xR ) = (0, 3) x1 = 0.5(3 + 0 0.1) = 1.45, f (x1 ) = 4.35 x2 = 0.5(3 + 0 + 0.1) = 1.55, f (x2 ) = 4.65 f (x2 ) > f (x1 ) xL = 1.45, I1 = (1.45, 3) Iteraci on 2 I1 = (xL , xR ) = (1.45, 3) x1 = 0.5(3 + 1.45 0.1) = 2.175, f (x1 ) = 5.942 x2 = 0.5(3 + 1.45 + 0.1) = 2.275, f (x2 ) = 5.908 f (x1 ) > f (x2 ) xR = 2.275, I2 = (1.45, 2.275) M etodo de la secci on aurea Iteraci on 1 I0 = (xL , xR ) = (0, 3) x1 = 3 0.681(3 0) = 1.146, f (x1 ) = 3.438 x1 = 0 0.681(3 0) = 1.854, f (x2 ) = 5.562 f (x2 ) > f (x1 ) xL = 1.146, I1 = (1.146, 3) Iteraci on 2 I0 = (xL , xR ) = (1.146, 3) x1 = x2,1 = 1.854, f (x1 ) = 5.562 x1 = 1.146 + 0.681(3 1.146) = 2.292, f (x2 ) = 5.903 f (x2 ) > f (x1 ) xL = 1.854, I1 = (1.854, 3)

Al continuar de la misma forma, el intervalo de incertidumbre terminar a por estrecharse hasta la tolerancia deseada. M etodo del gradiente En esta secci on se presenta un m etodo para optimizar funciones que son doble continuamente diferenciables. La idea es generar puntos sucesivos en la direcci on del gradiente de la funci on. El m etodo de Newton-Raphson presentado anteriormente es un m etodo de gradiente para resolver ecuaciones simult aneas. En esta secci on se presenta otra t ecnica, llamada m etodo de ascenso (o descenso) m as pronunciado o de la pendiente m as inclinada. El nal del m etodo del gradiente se encuentra en el punto donde el vector gradiente se anula. Esta s olo es una condici on necesaria para la optimalidad. La optimalidad no se puede comprobar a menos que a priori se conozca que f (X) es c oncava o convexa. Supongamos que se busca el m aximo de f (X). Sea X0 el punto inicial donde se inicia el procedimiento, y se dene a f (Xk ) como el gradiente de f en el punto X0 . Se trata de determinar una trayectoria particular p a lo largo de la cual f p , se maximice

14

en un punto dado. Esto se logra si se seleccionan los puntos sucesivos Xk y Xk+1 de tal modo que Xk+1 = Xk + rk f (Xk ) donde rk es el tama no de paso optimo en Xk . El tama no de paso rk se determina de tal modo que el siguiente punto, Xk+1 , conduzca al mayor mejoramiento de f . Esto equivale a determinar r = rk que maximice la funci on h(r) = f [Xk + rf (Xk )] Como h(r) es funci on de una variable, con el m etodo de b usqueda directa se puede determinar el punto optimo, siempre que h(r) sea estrictamente unimodal. El procedimiento propuesto termina cuando dos puntos sucesivos de prueba, Xk y Xk+1 , son aproximadamente iguales. Esto equivale a que rk f (Xk ) 0 Ya que rk = 0, la condici on necesaria f (Xk ) = 0 se satisface en Xk . Ejemplo 21.1-2 Se tiene el siguiente problema:
2 Maximizar f (x1 , x2 ) = 4x1 + 6x2 2x2 1 2x1 x2 2x2 El optimo exacto est a en (x 1 , x2 ) = (1/3, 4/3). Para resolver el problema con el m etodo de la pendiente m as inclinada, se determina el gradiente: f (X) = (4 4x1 2x2 , 6 2x1 4x2 )

La naturaleza cuadr atica de la funci on hace que los gradientes en dos puntos sucesivos cualesquiera sean ortogonales (perpendiculares entre s ). Si el punto inicial es X0 = (1, 1), la gura 3 muestra los puntos soluci on sucesivos. Iteraci on 1: f (X0 ) = (2, 0) El siguiente punto X1 se obtiene con la ecuaci on X = (1, 1) + r(2, 0) = (1 2r, 1) As , h(r) = f (1 2r, 1) = 2(1 2r)2 + 2(1 2r) + 4 El tama no optimo del paso se obtiene usando las condiciones necesarias cl asicas (tambi en se podr an usar los algoritmos de b usqueda directa para determinar el optimo). El valor m aximo de h(r) es r1 = 1/4, que da como resultado el siguiente punto de soluci on, 15

2 Figure 3: Maximizaci on de f (x1 , x2 ) = 4x1 + 6x2 2x2 etodo 1 2x1 x2 2x2 con el m de la pendiente m as pronunciada.

X1 = (1/2, 1). Iteraci on 2: f (X1 ) = (0, 1) X = (1/2, 1) + r(0, 1) = (1/2, 1 + r) h(r) = 2(1 + r)2 + 5(1 + r) + Se obtiene as , r2 = 1/4 y X2 = (1/2, 5/4). Iteraci on 3: f (X2 ) = (1/2, 0) X = (1/2, 5/4) + r(1/2, 0) = ((1 r)/2, 5/4) 1 3 35 h(r) = (1 r)2 + (1 r) + 2 4 8 16 3 2

Por lo tanto, r3 = 1/4 y X3 = (3/8, 5/4). Iteraci on 4: f (X3 ) = (0, 1/4, ) X = (3/8, 5/4) + r(0, 1/4) = (3/8, (5 + r)/4) 1 21 39 h(r) = (5 + r)2 + (5 + r) + 8 16 32 Por lo tanto, r4 = 1/4 y X4 = (3/8, 21/16). Iteraci on 5: f (X4 ) = (1/8, 0) X = (3/8, 21/16) + r(1/8, 0) = ((3 r)/8, 21/16) h(r) = 1 11 567 (3 r)2 + (3 r) + 32 64 128

Por lo tanto, r5 = 1/4 y X5 = (11/32, 21/16). Iteraci on 6: f (X5 ) = (0, 1/16) Como f (X5 ) 0 se puede terminar el proceso en este punto. El punto m aximo aproximado es X5 = (0.3438, 1.3125). El optimo exacto es X = (0.3333, 1.3333).

17