REPUBLICA BOLIVARIANA DE VENEZUELA

MINISTERIO DEL PODER POPULAR PARA LA DEFENSA

UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA DE LA
FUERZA ARMADA NACIONAL
NUCLEO SAN TOME








OPTIMIZACIN NO LINEAL


Profesor:
Edgardo Salazar

Seccin 7N01

Bachilleres:

Hernndez De Moreno Mara Higinia C.I: 17.746.165
Moreno Padrino Engelbert Leonardo C.I: 11.773.602





30 De Enero De 2014






CARACTERIZACION DE MINIMOS Y MAXIMOS

Los mximos y mnimos de una funcin, conocidos colectivamente como extremos de una funcin,
son los valores ms grandes (mximos) o ms pequeos (mnimos), que toma una funcin en un punto
situado ya sea dentro de una regin en particular de la curva (extremo local) o en el dominio de la
funcin en su totalidad (extremo global o absoluto). De manera ms general, los mximos y mnimos
de un conjunto (como se define en teora de conjuntos) son los elementos mayor y menor en el
conjunto, cuando existen. El localizar valores extremos es el objetivo bsico de
la optimizacin matemtica.

Una funcin puede tener ms de un mximo o ms de un mnimo locales.


Una condicin necesaria pero no suficiente para que X0 sea un punto extremo, es que para una
funcin con ms de una variable, el gradiente f(X0) = 0. Si es cierto esto entonces X0 ser
conocido como punto estacionario. Una condicin suficiente para que un punto estacionario sea
extremo es que la matriz Hessiana H obtenida en X0 del sistema de ecuaciones sea positiva cuando
X0 es un punto extremo de mnimo. Y negativa cuando X0 es un punto extremo de mximo.

Un mximo dbil implica un numero finito de mximos alternativos (ver figura 1) y se define como
X0 es un mximo dbil, si f(X0 + h) <= f(X0). Un anlisis similar es para los mnimos dbiles.
Un punto de inflexin se encuentra cuando la evaluacin del gradiente da cero y no es un extremo,
esto es, se debe de cumplir la condicin de la matriz Hessiana






Mximos Local

Un mximo local (o relativo) es un punto donde la funcin pasa de ser creciente a decreciente. Ese
punto no tiene por qu ser el punto ms alto de la grfica de la funcin. Este ltimo (si es que existe)
se denomina mximo absoluto. De manera similar, en un punto donde la funcin pasa de decrecer a
crecer se dice que hay un mnimo local. El punto del dominio donde la imagen es menor se
denomina mnimo absoluto.

Definicin 1: Mximo relativo (o local) de una funcin f definida en un intervalo I. f tiene un mximo
relativo en
x I e
si (y slo si) existe
0 o >
tal que, cada vez que
h o <
y
( ) x h I + e
se cumple
( ) ( ) f x h f x + s
.

Extremos relativos o locales

Si f es derivable en a, a es un extremo relativo o local si:
1. Si f'(a) = 0.
2. Si f''(a) 0.

Mximos relativos o locales

Si f y f' son derivables en a, a es un mximo relativo si se cumple:
1. f'(a) = 0
2. f''(a) < 0

Mnimos relativos o locales

Si f y f' son derivables en a, a es un mnimo relativo si se cumple:
1. f'(a) = 0
2. f''(a) > 0

Clculo de mximos y mnimos

1. Hallamos la derivada primera y calculamos sus races.
2. Realizamos la 2 derivada, y calculamos el signo que toman en ella las races de derivada
primera y si:
f''(a) < 0 es un mximo relativo
f''(a) > 0 es un mnimo relativo
3. Calculamos la imagen (en la funcin) de los extremos relativos.






Ejemplo

f(x) = x3 3x + 2
f'(x) = 3x2 3 = 0
f''(x) = 6x
f''(1) = 6 Mximo
f''(1) = 6 Mnimo
f(1) = (1)3 3(1) + 2 = 4
f(1) = (1)3 3(1) + 2 = 0
Mximo(1, 4) Mnimo(1, 0)

Si ya hemos estudiado el crecimiento y decrecimiento de una funcin habr:

1. Un mximo en el punto, de la funcin, en la que sta pasa de creciente a decreciente.
2. Un mnimo en el punto, de la funcin, en la que sta pasa de decreciente a creciente.

Ejemplo: Hallar los mximos y mnimos de:







Tenemos un mnimo en x = 3



Mnimo(3, 27/4)





Mximo (mnimo) global de una funcin escalar

Definiciones:

- Dada una funcin escalar f:AR nR y dado aA. Decimos que f presenta un mximo
global o absoluto en aA si xAf(x)f(a)
- Dada una funcin escalar f:AR nR y dado aA. Decimos que f presenta un mnimo global
o absoluto en aA si xAf(a)f(x)
- Dada una funcin escalar f:AR nR y dado aA. Decimos que f presenta un mximo
global estricto en aA si xAf(x)<f(a)
- Dada una funcin escalar f:AR nR y dado aA. Decimos que f presenta un mnimo global
estricto en aA si xAf(a)>f(x)

Ejemplo: Dada la funcin escalar f:AR 2R definida por z=f(x,y)=x2+y22x4y+5. Probar
que f presenta un mnimo global en a=(1,2)A.

a. Calculamos la imagen de a=(1,2)A =R 2.
f(1,2)=12+222142+5=0

b. Calculamos la imagen de (x,y)R 2
z=f(x,y)=x2+y22x4y+5=x22x+1+y24y+4=(x1)2+(y2)20=f(1,2)(x,y)R2

La funcin f presenta un mnimo global en el punto a=(1,2)R 2. Se trata de un mnimo estricto, no
existe ningn punto de R 2 distinto del (1,2), cuya imagen sea 0, es decir, f(x,y)0(x,y)R2;(x,y)(1,2)

Matriz Hessiana de una funcin escalar

Descripcin:

Dada la funcin escalar f:AR nR si en el punto aA existen las derivadas parciales segundas,
definimos la matriz hessiana de f en el punto aA y la representamos por Hf(a), la matriz
cuadrada nn, donde cada fila es el vector gradiente de la correspondiente derivada parcial. primera,
es decir:




, sea
Se define (siempre que exista) como
matriz en la que el trmino

es cuadrada

Si es de clase , la matriz hessiana es simtrica.

Ejemplo








Definicin

Forma cuadrtica hessiana (de en )

donde es un vector arbitrario de componentes



Definicin

La forma hessiana de dice definida positiva si

y



La forma hessiana se dice definida negativa si

y

Teorema

Sea de clase en
y sea punto crtico de ( )
es mnimo relativo de si es definida positiva y es mximo relativo de si
es definida negativa

Teorema

[Para 2 variables]

Sea de clase en , con punto crtico ( )
Si:
i)
ii)
es definida positiva es mnimo relativo

Si:
i)
ii) es mximo relativo

Si es punto silla

En el caso

es el determinante de la particin
Es un mnimo relativo si
Es un mximo relativo si , , ...

Cuando en el punto crtico tengamos se denomina punto crtico degenerado
Su carcter se decide por otros mtodos.






Ejemplo





Slo tiene un punto crtico:




Como y , es un mnimo relativo.
Ejemplo



que tiene como nica solucin


es un punto silla


METODOS DE BUSQUEDA MAXIMOS Y MINIMOS

Mtodo de Bsqueda de Fibonacci
El mtodo de Fibonacci est considerado como el ms eficiente entre los mtodos de bsqueda. Difiere
del mtodo de la seccin urea en el hecho de que el valor de no permanece constante en cada
iteracin. Adems, el nmero de iteraciones viene predeterminado en base al nivel de exactitud
especificado por el usuario.



El mtodo de Fibonacci debe su nombre a que se utiliza la sucesin de Fibonacci

F
0
= F
1
= 1, F
n
= F
n1
+ F
n2
.

para determinar en cada iteracin los nuevos valores y
k
y z
k
con los que evaluar el actual
intervalo de incertidumbre. Como veremos, en el mtodo de Fibonacci el (k + 1)-simo
subintervalo se obtiene reduciendo la longitud del k-simo subintervalo por un factor


sera:






Para un valor de n suficientemente grande, la proporcin tiende al nmero ureo, y
por lo tanto el mtodo de Fibonacci se aproxima al mtodo de la seccin urea.

Funcin Unimodal

Un concepto ms acabado del tipo de cuestiones que abordan estos mtodos es el de bsqueda
unidireccional que abarca tanto los problemas ya mencionados como la resolucin de otros, de dos o
ms variables, en base a una estrategia basada en definir direcciones, segn un determinado criterio, y
sobre ellas buscar el ptimo de la funcin objetivo. Uno de los enfoques clsicos en mtodos de
bsqueda unidireccional es el concepto de eliminacin de regiones, por el cual se procede a excluir del
anlisis subsiguiente espacios de bsqueda donde, se dice, no puede encontrarse el ptimo.

Esta idea est estrechamente asociada a la nocin de unimodalidad cuyo significado es que en el
mbito de bsqueda solo debe existir un ptimo de la naturaleza buscada.

En la figura 1 la funcin es unimodal si se est
buscando un mximo -existe uno solo, el punto c-
pero no lo sera si se buscase mnimo, pues hay dos
en la zona de soluciones admisibles, los puntos a y
b, los extremos del intervalo. Ntese que la
unimodalidad no se ve afectada por la
discontinuidad -de la funcin y su derivada- que se
presenta en el punto d.
Simblicamente, se puede decir que una funcin es
unimodal si
siendo x
1
< x
2
y x
*
el punto ptimo
f (x
1
) es peor que f(x
2
) si x
2
< x
*
y
f (x
1
) es mejor que f(x
2
) si x
1
> x
*

Si una funcin es unimodal se puede asegurar,
calculndola solo en dos puntos, en que zona no
puede encontrarse el ptimo y, por consiguiente,
como ya quedara dicho, eliminarla del anlisis. En
la figura 2 los valores de la funcin calculados en x
1

y x
2
permiten presuponer comportamientos como
los indicados en lneas de puntos, con lo que la zona
x
2
-b deja de ser de inters. Ntese que los valores de
la funcin podran haberse encontrado en una
situacin inversa a la presentada ( f
1
< f
2
) y en tal
caso la zona excluida sera a-x
1.






Fig. 1


Fig. 2
Puede observarse que:

1.- Se requieren, como mnimo, dos evaluaciones de la funcin objetivo para poder desechar una
regin;

2.- La ubicacin de los puntos de clculo debe ser simtrica respecto del punto medio del intervalo
para que el porcentaje de regin eliminada sea independiente de valores relativos de las evaluaciones;

3.- Siempre queda uno de los puntos dentro de la zona no eliminada, mientras que el restante queda
en uno de los lmites de la misma. Si bien el concepto de unimodalidad es muy simple de plantear y,
como se ver, puede convertirse en una estrategia eficiente para la bsqueda de un ptimo, tiene un
inconveniente bsico y es que para asegurar su cumplimiento debera conocerse exactamente el
comportamiento de la funcin objetivo, cuestin que, en la prctica, es imposible.

Ms an, sin este conocimiento, que es, se insiste,
la situacin normal, solo se est en condiciones de
establecer cuando la funcin no es unimodal.
En la figura 3, por ejemplo, se ha representado una
situacin posible luego de un segundo paso en la
estrategia de eliminacin de regiones.
Otra vez se tienen dos puntos en el interior y ha
quedado de la etapa anterior una evaluacin sobre
el borde de la zona, indicado como punto b.
Resulta claro que si lo que se busca es un
mximo de la funcin objetivo sta no es unimodal
en ese sentido (habra sendos mximos a izquierda
y derecha del punto x
2'
).

Ahora bien, si no se detectase una situacin de esta ndole no habra que inferir, por ello, que la
funcin es unimodal, pues solo podra ser una consecuencia de la particular ubicacin de los puntos de
anlisis; aunque si se repitiese lo mismo una y otra vez habra fundamentos para estimar que la
funcin se comporta como unimodal.


Bsqueda de la Seccin Dorada

Pertenece a los mtodos de bsqueda lineal basados en intervalos, adems es una versin mejorada de
la bsqueda de Fibonacci. Es uno de los ms difundidos por la simplicidad de su programacin y una notable
eficiencia en el proceso de determinar el punto ptimo en una bsqueda unidireccional.

Fig 3

La idea bsica se muestra en la figura 4. All se han
ubicado, en una primera etapa, los dos puntos requeridos
para lograr la eliminacin de un cierto sector de la zona de
bsqueda inicial, el entorno {a, b}, normalizado en {0, 1}.

En la figura se ha supuesto, adems, que la zona eliminada es la ubicada entre x
2
y b. De
esta forma, el intervalo de bsqueda pasa a ser, ahora, {a' = a, b' = x
2
}. (Ntese que como
ya qued dicho, uno de los nuevos lmites de la zona coincide con un punto de anlisis).
En la estrategia que se plantea el mtodo del nmero de oro el punto que permanece en el
interior del nuevo intervalo est ubicado en la posicin relativa en la que se encontraba el
otro punto, que ahora limita la zona; esto es, el anterior x
1
ser el nuevo x
2
, indicado como
x
2
en la figura.
Para ello deber cumplirse que


Es a este nmero irracional al que el mtodo debe su nombre, ya que en la Grecia clsica la
cifra 1,6180339... era conocida como "relacin urea", ntimamente ligada a la secta
pitagrica -en su emblema, una estrella regular de cinco puntas, todas sus lneas estn
divididas segn esa proporcin-. Tiene propiedades geomtricas singulares, por lo que no
es de extraar que los griegos, tan racionales, le atribuyesen cualidades inasibles como la
belleza y utilizaran la relacin urea al erigir los esplndidos edificios de la Acrpolis
ateniense -con lo cual vino a resultar cierto que tal proporcin es sinnimo de belleza-.
Volviendo al mtodo, la ubicacin relativa de los puntos de una etapa de anlisis hace
posible que en la siguiente solo sea necesario el clculo de un nico punto nuevo,
manteniendo siempre constante el factor de reduccin de la zona de bsqueda (61,8 % del
intervalo existente)
Al cabo de n etapas se habrn realizado n+1 clculos de la funcin objetivo (en la primera
deben realizarse, necesariamente, dos) y el factor de reduccin global alcanzado (relacin
entre intervalo final e inicial) ser de (0,618..)
n
. De esto surge que el nmero de clculos
que se requieren para lograr un determinado factor de reduccin es
N 1 +
(0.618..) log
log
(0.618...)
1 - N
s
o
> o

Fig. 4
... 6180339 , 0
2
1 5
x
0 1
x x
x
x
1
x
x
1
x
2 2
2
2
2
2
2
1 2
=

= = +

= =
Como queda dicho, el proceso de eliminacin de regiones va dejando puntos de anlisis
sobre las fronteras de las zonas que se van aislando. Este hecho permite instrumentar, en
forma paralela, un esquema de control de unimodalidad para la funcin analizada.
En la figura 5 se muestran algunas posibles alternativas en la aplicacin del mtodo. Se ha
supuesto all que se conocen los valores de la funcin objetivo en los bordes de la zona (se
tratara de anteriores puntos de anlisis). La aplicacin del criterio de eliminacin de
regiones a la situacin expuesta hace que deba descartarse la zona comprendida entre x
2
y
b, con lo cual x
2
pasa a ser el nuevo b (b'), x
1
ser x
2
y se requiere calcular el nuevo x
1
.
Al hacerlo, el valor de la funcin objetivo
en ese punto puede ser ms alto o no que el
del extremo a (recurdese que se est
buscando un mnimo), siendo en la figura el
valor de la funcin objetivo en a mayor que
en x
2
.
Si la situacin es la indicada como b se
estara en la condicin normal y el proceso
puede seguir su curso.; si, en cambio, el
resultado fuese el indicado como a se puede
afirmar que la funcin no presenta un
comportamiento unimodal y no se podra aplicar el mtodo, al menos en la forma que se ha
expuesto hasta aqu.
Con todo lo anterior es posible formular un algoritmo para el mtodo que, en trminos de
un pseudocdigo, sera como el que se muestra en el Cuadro 4.1.
El siguiente algoritmo presupone el conocimiento exacto de los lmites entre los que debe
buscarse el ptimo. En la realidad puede suceder que a) estos lmites sean tan amplios que
es equivalente a no conocerlos o b) aunque conocidos, hay restricciones sobre las variables
de estado que resultan ms limitativas que las cotas explcitas de la variable de decisin;
esto es
b x a
E E
: h (2) 0 y) x, h(
E E
: f (1) 0 = y) x, ( f con
E
y ;
E
x ) y x, ( FO min
m 1 n+
n 1 n+
n 1
s s
s

e e

y puede ser que x est dentro del entorno {a,b} y, sin embargo, no cumplirse totalmente las
condiciones (2). En ambos casos el hecho coincidente es que no se conocen los valores de
los verdaderos extremos entre los que debe efectuarse la bsqueda del ptimo, por lo cual el

Fig. 5
algoritmo anterior a) carecera de los datos inciales o b) estos no seran los que
corresponden.

Para el primero de los casos la cuestin es encontrar los valores de a y b que corresponden
al problema. Sera deseable, claro est, que el esfuerzo realizado en tal bsqueda fuese
aprovechado, luego, durante la optimizacin, al aplicar el mtodo del nmero de oro.

Mtodo de Interpolacin Cuadrtica





Mtodos Multidimensionales

El principio del mtodo aplicado fue el de favorecer la aparicin de datos concretos: las
realidades humanas en distintas dimensiones y revelar las caractersticas del terreno. La
indagacin est ligada al desarrollo y las ramificaciones del cuerpo de la hiptesis y de los
instrumentos de investigacin. La prospeccin y la reflexin no pueden estar separadas. Se
trata entonces de encontrar el rigor, no la rigidez dentro de una estrategia de permanente
adaptacin. La investigacin debe favorecer la aparicin de datos concretos, debe ser
flexible como para recoger los documentos en bruto (anotaciones de sucesos, registro de
discusiones, entrevistas sobre los detalles). La investigacin debe captar las diversas
dimensiones del fenmeno estudiado y utilizar diversas vas de aproximacin y debe
permitir la correccin y la verificacin durante el desarrollo de un pensamiento
interpretativo

Algunos modelos son:

Eliminacin multivariable

a) Downhill simplex

En el mtodo downhill simplex, cada punto de un simplex representa una posible solucin
del problema. El simplex correspondiente a una funcin de N variables se representa por
una matriz de (N+1)xN. Cada columna de la matriz contiene las N coordenadas de un
vrtice

El algoritmo consiste en la bsqueda de un mnimo siguiendo una sucesin de operaciones
sobre el simplex: expansin, contraccin, y reflexin. Primero se localiza el vrtice nmax
donde la funcin objetivo f toma el valor mximo, y se lo refleja respecto de la cara opuesta
del simplex determinando un nuevo punto n prueba. Se evala la funcin en una serie de
puntos que pertenezcan a la recta perpendicular a dicha cara y que contiene a n prueba.

Si en alguno de esos puntos, la funcin toma un valor menor que f(nmax), entonces ese
punto
reemplaza a nmax en el simplex. En caso contrario, se conserva el simplex original y se lo
contrae en todas las direcciones alrededor del mnimo y se vuelve a ejecutar el algoritmo.
El mtodo invariablemente converge a un mnimo luego de una serie de contracciones.

b) Algoritmos genticos

El mtodo de optimizacin por algoritmos genticos simula un proceso de evolucin y
seleccin natural en una poblacin de individuos. Cada individuo de la poblacin
representa una posible solucin. Por otra parte, un cromosoma caracteriza a un individuo y
est formado por un conjunto de genes, cada uno de los cuales es un parmetro de
optimizacin.

Mtodos geomtricos

El mtodo geomtrico consiste en suponer que el crecimiento de una comunidad es en todo
instante proporcional a su poblacin, es decir que responde a la ecuacin:



Este mtodo da resultados superiores, por lo que se califica de optimista y debe
emplearse con mucha precaucin. Tan slo debe aplicarse a comunidades en plena
dinmica de crecimiento, con grandes posibilidades de desarrollo y horizontes lbres.

Mtodo de variable cclica

Variaciones Cclicas: (Serie temporales) se refiere a las oscilaciones de larga duracin
alrededor de la recta o curva de tendencia; estos ciclos, como se llaman a veces, pueden ser
o no peridicos, es decir, puede seguir o no exactamente caminos analgicos despus de
intervalos de tiempo iguales.

Se caracterizan por tener lapsos de expansin y contraccin. En general, los movimientos
se consideran cclicos solo si se produce en un intervalo de tiempo superior al ao (3). En el
Grfico los movimientos cclicos alrededor de la curva de tendencia estn trazados en
negrita.



Tratamos de hacer predicciones sobre esa magnitud, teniendo en cuenta sus caractersticas
histricas o del pasado

Ejemplo para las variaciones cclicas.

Supongamos que tenemos las ventas trimestrales de un supermercado en el perodo 1990-
1994, expresadas en millones de pesetas constantes del ao 1990.

Mtodos para determinar la tendencia de las variaciones cclicas

1) METODO GRAFICO

a) Se efecta la representacin grfica de la serie ordenada Yt
b) Se unen mediante segmentos rectilneos todos los puntos altos de la serie, obtenindose
una poligonal de cimas
c) Se realiza lo mismo con los puntos bajos, obtenindose la lnea poligonal de fondos
d) Se trazan perpendiculares al eje de abscisas por los puntos cimas y fondos.
e) La tendencia viene dada por la lnea amortiguada que une los puntos medios de los
segmentos

2) METODO DE LAS MEDIAS MOVILES

*** Empleando 3 observaciones
a) Partimos de la serie temporal observada Yt.
b) Se obtienen sucesivas medias aritmticas para cada Yt, con un nmero de observaciones
anteriores y posteriores fijado de antemano
- Si el nmero de observaciones es impar la media Yt, est centrada y coincide con el
perodo t
c) La serie formada por las medias de Yt, nos indica la lnea amortiguada de la tendencia 6 .

Mtodo de Newton

El encontrar la solucin a un sistema de ecuaciones no lineal es mucho ms difcil
que el de un sistema lineal. El mtodo de Newton es un procedimiento iterativo y
permite la linealizacin de un sistema de ecuaciones no lineal, para posteriormente
darle solucin por cualquier mtodo numrico de ecuaciones lineales simultneas,
este forma parte de los mtodos conocidos como mtodos de gradiente.
Un sistema de n ecuaciones con n incgnitas (x1, x2, ... xn), se conoce como no lineal, si
una o ms de estas no es lineal.

De manera general, la solucin de un sistema de n ecuaciones no lineal aplicando el mtodo
de Newton [Conte y Boor, 1987] se plantea como sigue:



El mtodo de Newton es un eficiente algoritmo para encontrar aproximaciones de los ceros
o races de una funcin real. Tambin puede ser usado para encontrar el mximo o mnimo
de una funcin, encontrando los ceros de su primera derivada. La idea de este mtodo es la
siguiente: se comienza con un valor razonablemente cercano al cero (denominado punto de
arranque), entonces se reemplaza la funcin por la recta tangente en ese valor, se iguala a
cero y se despeja (fcilmente, por ser una ecuacin lineal). Este cero ser, generalmente,
una aproximacin mejor a la raz de la funcin. Luego, se aplican tantas iteraciones como
se deseen.

Aplicacin y Descripcin
Supongamos una funcin f de una
variable a ser minimizada y supongamos
que en
k
x es posible evaluar
f(
k
x ), f (
k
x ) y f (
k
x ). Entonces es
posible construir una funcin cuadrtica
a partir del desarrollo de


Taylor:

Se puede estimar
1 + k
x determinando el punto donde la derivada de q se hace cero.




Ntese que no depende de




El mtodo puede ser visto como la resolucin iterativa de ecuaciones de la forma g(x)=0,
donde, cuando es aplicada a minimizacin, hacemos g(x f (xk)



Implementacin

Para la implementacin de este mtodo es necesario calcular la primera y segunda derivada
de la funcin como derivadas direccionales, obteniendo un valor escalar, de la siguiente
manera,



Donde d es el vector unitario de la direccin de descenso

Observaciones:
1) La direccin del Mtodo de Newton:



Es una direccin de descenso si y slo si: ) (
2 k
x f V es definida positiva, es decir:
) ( 0 )) ( (
2 k k k
x f d x f V > V Es definida positiva

2) El mtodo de Newton en cada iteracin, considera una aproximacin cuadrtica de la
funcin objetivo, y define el nuevo punto de la sucesin minimizante como el ptimo de la
aproximacin cuadrtica de la funcin objetivo. Cerca de un ptimo local de f, la
aproximacin exacta.

3) El punto inicial
0
x no puede ser arbitrario, ya que para que el mtodo converja, la
direccin
k
d debe ser de descenso. Esta corresponde a la principal desventaja del mtodo:
su convergencia local. Sin embargo, su rapidez de convergencia es su mayor ventaja, posee
convergencia de velocidad cuadrtica, es decir:

2
1
x x x x
k k
s
+
para 1 <

4) El principal problema del Mtodo de Newton es que la matriz ) (
2 k
x f V debe ser
definida positiva. Si se parte de un punto
0
x suficientemente cercano a un mnimo local,
esto se verifica. En general se desconoce toda informacin acerca de la solucin ptima del
problema, y por lo tanto no se tiene un buen criterio para escoger
0
x .

5) Esto sugiere, que un buen mtodo de minimizacin es una combinacin del
Mtodo del Gradiente y del Mtodo de Newton: Inicialmente se aplica el
Mtodo del Gradiente que tiene convergencia global de velocidad lineal y luego se aplica el
Mtodo del Newton que tiene convergencia local de velocidad cuadrtica.

El mtodo de Newton para Minimizar un ) (x f tal que
n
R e x

En el mtodo de Newton la direccin de bsqueda se define como:

| | ) ( ) ( ) (
1
2
x f x f x d
t
V V =



La direccin de bsqueda se encuentra minimizando el problema:

Minimizar ) (
~
d x f +

Donde f
~
es la aproximacin cuadrtica de f en x .

Teorema: el mtodo de Newton definido por la iteracin ) (
1 k k k
x d x x + =
+
Tiene
convergencia local con orden de convergencia 2 > p .

Minimizar ) (x f
Tal que
n
R x e
Qx x x f
t
= ) (
|
|
.
|

\
|
=
10
1
1
1
Q
t
x ) 1 , 10 (
0
=

Correcciones:
1) Introducir bsqueda lineal
a) La direccin puede no ser de descenso.
b) El orden de convergencia puede ser menor de 2.
2) Modificar la matriz del sistema lineal.

Mtodo de Newton para resolucin de un sistema de ecuaciones no lineales

Resuelve iterativamente un sistema de ecuaciones no lineales


Aproxima la funcin no lineal por una funcin lineal en cada punto (iteracin), utilizando la
expansin en serie de Taylor de primer orden.
) ( ) (
) ( ) (
0 ) ( ) ( *) (
) ( ) ( ) (
1 k
T
k k k k k
k
T
k k
k
t
k k
k
t
k k k k
x f x f x p x x
x f x f p
p x f x f x f
p x f x f p x f

V = + =
V =
= V + ~
V + ~ +

Jacobiano de la funcin
) ) ( ) ( ) ( ( ) (
2 1
T
n
T
x f x f x f x f V V V = V
Este mtodo converge cuadrticamente cuando el punto esta prximo a la solucin

El Jacobiano de la funcin en cada punto debe ser no singular
Para colocar un ejemplo tomamos las siguientes funciones:
0 6 4 9 5 ) , (
0 3 2 7 3 ) , (
2 1 2 1 2 1 2
2 1 2 1 2 1 1
= + =
= + + =
x x x x x x f
x x x x x x f

|
|
.
|

\
|
+
+
=
|
|
|
|
|
.
|

\
|
c
c
c
c
c
c
c
c
= V
4 5 2 3
9 5 7 3
) , (
1 1
2 2
2
2
2
1
1
2
1
1
2 1
x x
x x
x
f
x
f
x
f
x
f
x x f
|
|
.
|

\
|
+
+ +
|
|
.
|

\
|
+
+
=

+
6 4 9 5
3 2 7 3
4 5 2 3
9 5 7 3
2 1 2 1
1 2 1
1 1
2 2
1
x x x x
x x x x
x x
x x
x x
T
k k

Suponemos como punto inicial
|
|
.
|

\
|
=
2
1
0
x
0 ) , , (
0 ) , , (
0 ) ; , (
1
1 2
1 1
=
=
=
n n
n
n
x x f
x x f
x x f

|
|
.
|

\
|
=
|
|
.
|

\
|

|
|
.
|

\
|

|
|
.
|

\
|
=
|
|
.
|

\
|
+
+ +
|
|
.
|

\
|
+
+
=

375 . 5
375 . 1
1
14
1 5
1 13
2
1
6 4 9 5
3 2 7 3
4 5 2 3
9 5 7 3
2 1 2 1
1 2 1
1 1
2 2
0 1
T T
x x x x
x x x x
x x
x x
x x

Despus de 8 iteraciones el punto toma el valor aproximado de
|
|
.
|

\
|
=
5 . 1
0
8
x
Y las funciones toman el valor (0)

Ejemplos Del Mtodo de Newton

Resolver la siguiente funcin
2 2
) 1 ( ) 2 ( ) , ( + = y x y x f
|
|
.
|

\
|

= V
) 1 ( 2
) 2 ( 2
) , (
k
k
k k
y
x
y x f
|
|
.
|

\
|
= V
2 0
0 2
) , (
2
k k
y x f
) ( ) (
2
k k k
x f p x f V = V
Tomaremos co0mo punto inicial ) 0 , 0 ( =
k
x
Direccin de movimiento ) 1 , 2 ( =
k
p
|
|
.
|

\
|
=
|
|
.
|

\
|

|
|
.
|

\
|
-
-
=
|
|
.
|

\
|

|
|
.
|

\
|
-
-
=

1
2
2
4
5 . 0
5 . 0
2
4
2
2
T
k
p
Calculamos
k
o
5 10 5 ) 1 ( ) 2 2 ( ) ( min
2 2 2
+ = + = o o o o o
o
F
F(o )=0
10o -10=0
o =1
El Siguiente punto ) 1 , 2 (
1
= + =
+ k k k k
p x x o
La direccin de Movimiento ) 0 , 0 ( =
k
p
Se ha llegado al optimo ya que el gradiente es (0)

Mtodo de Programacin Cuadrtica

La programacin cuadrtica (QP) es un tipo especial en la matemtica de
optimizacin de problemas. Es el problema de optimizar (reduciendo al mnimo o
maximizando) una funcin cuadrtica de varias variables conforme a apremios lineales en
estas variables.

El problema de la programacin cuadrtica se puede formular como:
Asuma x pertenece a espacio. nn matriz Q es simtrico, y c es cualquiera n vector
1.
Reduzca al mnimo (con respecto a x)
Conforme a unos o ms apremios de la forma:
(constreimiento de la desigualdad)
Ex = d (constreimiento de la igualdad)

Si Q es a matriz semidefinite positiva, entonces f(x) es funcin convexa. En este
caso el programa cuadrtico tiene un minimizer global si existe por lo menos un vector x de
satisfaccin de los apremios y f(x) se limita abajo en la regin factible. Si la matriz Q es
definido positivo entonces este minimizer global es nico. Si Q es cero, despus el
problema se convierte en a programa lineal. De teora de la optimizacin, una condicin
necesaria para un punto x ser un minimizer global est para que satisfaga Karush-Kuhn-
Tucker Condiciones (KKT). Las condiciones de KKT son tambin suficientes cuando f(x)
es convexo.
La importancia de la programacin cuadrtica recae en que, como es un caso
especial de la programacin no lineal, se utiliza como una funcin modelo para aproximar
funciones no lineales a travs de modelos locales.
La programacin cuadrtica trabaja con una clase especial de problemas en el que
una funcin cuadrtica de variables de decisin sujeta a restricciones lineales de
desigualdad requiere ser optimizada, bien sea, ser minimizada o maximizada.
Una funcin cuadrtica, en notacin matricial, es una funcin de la forma
f (x)= x
T
Qx + c
T
x.
Es de gran importancia identificar o poder definir la caracterstica de la matriz
Hessiana, ya que a partir de sta podemos determinar ciertas caractersticas del problema,
que nos sern tiles para encontrar su solucin.
Existen diferentes tipos de problemas de programacin cuadrtica, los cuales se
pueden clasificar en:
Problemas cuadrticos de minimizacin sin restricciones, requieren minimizar la
funcin cuadrtica f (x) sobre el espacio completo.
Problemas cuadrticos de minimizacin sujetos a restricciones de igualdad,
requieren minimizar la funcin objetivo f (x) sujeta a restricciones lineales de igualdad Ax
= b.
Problemas cuadrticos de minimizacin sujetos a restricciones lineales de
desigualdad. Requieren minimizar la funcin objetivo f (x) sujeta a restricciones lineales
de desigualdad Ax = b, tambin puede contener restricciones de igualdad.
Problemas de optimizacin de redes cuadrticas. Son problemas cuadrticos en los
que las restricciones son restricciones de baja conservacin sobre una red pura o
generalizada.
Problemas cuadrticos convexos. Son cualesquiera de los mencionados arriba, en el
cual la funcin objetivo a ser minimizada, f (x) es convexa.
Problemas cuadrticos no convexos. Son cualesquiera de los mencionados arriba,
en el cual la funcin objetivo a ser minimizada, f (x) es no convexa.
Problemas de complementariedad lineal. Son problemas especiales con un sistema
de ecuaciones en variables no negativas, en el cual las variables estn formadas en varios
pares llamados pares complementarios.
Historicamente, las funciones cuadrticas fueron prominentes porque provean
modelos locales simples para funciones no lineales generales. Una funcin cuadrtica, es
la funcin no lineal ms simple, y cuando es usada como una aproximacin para una
funcin no lineal general, esta puede capturar la informacin importante de la curvatura, lo
que una aproximacin lineal no puede.
El uso de aproximaciones cuadrticas para resolver problemas con funciones no
lineales generales se remonta mucho tiempo atrs. Entre los mtodos ms destacados,
tenemos al mtodo de Newton y el mtodo de gradiente conjugado.
Para la programacin cuadrtica se pueden encontrar mnimos locales, mnimos
globales, puntos estacionarios o de KKT, (son los que satisfacen las condiciones de KKT
del problema).
En problemas convexos de programacin cuadrtica, todo punto KKT o mnimo
local, es un mnimo global.
- Ejemplo de su aplicacin.
Resolver el siguiente problema de programacin cuadrtica por el mtodo de Wolfe
:

Aplicando los multiplicadores de Lagrange tenemos:

Las primeras derivadas parciales son:

El problema de programacin lineal equivalente al original de acuerdo al mtodo
Wolfe es:

Con las siguientes restricciones de holgura complementaria:

Utilizando el mtodo Simplex se tiene que la solucin bsica inicial es:

En la primera iteracin entra y sale X1 ( es de aclarar que aunque el
Simplex escoge 1 y 2 para entrar a la base antes que lo haga X2, 1 y 2 no son
aceptables, ya que Y1 y Y2 son positivos). El punto extremo luego de recalcular es:

En la tercera iteracin no pueden entrar a la base 1 y 2 y Y1 y Y2 son positivas; el
Simplex toma como siguiente candidato a 1 y de salida Y1 ; el punto extremo despus de
iterar es:

En la ltima iteracin (V1 = 0 y V2 = 0) debe entrar X1 pero no puede porque 1 es
positivo; el siguiente elemento a entrar a la base es 1 el cual reemplaza a V2 Luego De
recalcular ( pivotear) el punto extremo es:

La solucin anterior corresponde al ptimo: