ANLISE DA CONVERGNCIA DO MTODO DE

NEWTON E DE MODIFICAES QUASE-NEWTON

PARA OTIMIZAO IRRESTRITA

Marcellus Guedes Fernandes de Moraes

Trabalho de Otimizao Professores Helosa Lajas e Fernando Pessoa
1 SEQUNCIAS E CONVERGNCIA
Avaliao do erro de aproximao

=
Avaliao das propriedades na cauda da sequncia. Em uma srie
convergente: = lim

Se =1e < 1, a sequncia converge linearmente com taxa .

Se =1e = 0, a sequncia converge superlinearmente.
Se =2e > 0, a sequncia converge quadraticamente com taxa .

Convergncia superlinear Convergncia linear

Convergncia de ordem > 1 Convergncia superlinear
Convergncia linear
2 MTODO DE NEWTON PARA OTIMIZAO
min :

!"# = ! (%& ! )() % !

Forma generalizada: * = +, *:
Sendo * continuamente diferencivel. A seguinte relao das iteraes obtida:
- ()
!"# = ! %* ! * ! , .
Otimizao: % = *

Teorema : Seja : de classe 0 1 . Se o ponto timo um minimizador local de , com

matriz Hessiana 2 positiva definida. Se existe 3 > 0 tal que se + 4 + , 3 o algoritmo do
mtodo de Newton, para todo . , a sequncia de pontos { ! } converge superlinearmente para

e, se 2 Lipschitiz converge superlinearmente com ordem ao menos dois (quadraticamente).
2 MTODO DE NEWTON PARA OTIMIZAO
Os resultados de convergncia superlinear e quadrtica para o mtodo de Newton s
so garantidos para pontos iniciais suficientemente prximos do minimizador;
Se 2 tenda a ser singular, e o mtodo diverge;
Direo de Newton pode no ser de descida;
A forma pura do mtodo de Newton no garante diferenciao entre os pontos
estacionrios que satisfaam % = +.

Exemplo 1

ponto estacionrio
x0 Natureza
x*
2,35283 1 Maximizador local
2,35824 -3 Minimizador global
2,35825 4 Minimizador local
2 MTODO DE NEWTON PARA OTIMIZAO
No trabalho, apresentam-se outros exemplos. Para a anlise dos casos
convergentes:
") ")
x0 x* k xk xk+1 1

2,35283 1 9 0,999999 2,94E-05 4,25E-08 0,083608

Exemplo 1
9 : 29 < 2,35284 -3 11 -3,00098 -3 1,49E-07 0,392987
9 = 119 1 + 129
4 3
2,35285 4 9 4,000062 4 0 0,476168
Exemplo 2
1>
1 0 4 7,06E-05 -2,3E-13 3,32E-09 4,7E-05
9 = ln 1 + 9

Exemplo 3
5
9 : 59 1 1,1 4 -2,23608 -2,23607 8,13E-06 0,670812
9 = 2,23607
4 4

Para o Exemplo 2: 6 = 0,66663 (Convergncia cbica)

2 MTODO DE NEWTON PARA OTIMIZAO
Determinao analtica da taxa e ordem

= 9) < + 9) 1 + 91 < + 91 1

3 9) 1 + 2 9)
B 9)B 9) 6 9) + 2
= = 9
91C 1 3 91 1 + 2 91
6 91 + 2

3 9) 1
6 9) + 2
B=
3 91 1
6 91 + 2

1 1
3 9) 1 3 91 1
+
B

B
+ 6 9) + 2 6 91 + 2
")
= lim D
= lim
= lim = lim D
D + D
9) 1 + 91 1
 ") ")

1 1 1
k 1
1
3 9) 1 3 9 1 3 01 3 9 1
6 9) + 2 + 6 9 1+ 2 + 6 9 1+ 2 1 8,01922E-06 0,499996
1 6 0 + 2 1
= lim D = lim D 2 1,60384E-05 0,499992
> , >E (F,F) >E F
9) 1 + 91 1 01 + 91 1 3 3,20769E-05 0,499985
4 6,41538E-05 0,49997
1 1 5 0,000128308 0,49994
3 01 3 91 1 6 0,000256615 0,49988
+
6 0 + 2 6 91 + 2
7 0,00051323 0,499759
= lim D
>E F 8 0,00102646 0,499519
01 + 91 1
9 0,002052918 0,499037
10 0,004105822 0,498074
3 91 1(D 11 0,008211528 0,496149
= lim
>E F (6 91 + 2) 12 0,016422132 0,4923
13 0,032836893 0,48461
14 0,06561518 0,469274
15 0,130768683 0,438887
< >E 16 0,257999887 0,380033
= 1 = lim =0 17 0,491138284 0,274933
>E F G >E "1
18 0,845041047 0,130055
< <
= 2 = lim G > "1 =1 19 1,214374965 0,024307
>E F E
20 1,441488409 0,000701
21 1,497606646 5,11E-07
22 1,499996168 2,62E-13
23 1,49999999999 6,84E-26
3 MTODO DE NEWTON COM BUSCA LINEAR
!"# = ! H (% & ! )() % ! , .
!"# = ! H I

L
+H I J + KH % ! I Condio de Armijo-Goldstein

BUSCA LINEAR COM RETROCESSO

1) Tentar o passo de Newton puro, ou seja,
H = 1;
2) Caso a condio de Armijo-Goldstein no
seja atendida, calcula um novo H pelo modelo
quadrtico (3.3);
3) Caso a condio no seja atendida com o
H do modelo, o valor de H reduzido, sob
) )
uma taxa M , (recomendao de
)F 1
DENNIS, 1996). Assim:
H : = MH
Prossegue-se com este valor de H
determinado pelo retrocesso.
4 MTODO DE LEVENBERG-MARQUADT
N
2 =2 + OP
N
Onde O > 0, de valor grande o suficiente para tornar a matriz 2 positiva definida.
(DETERMINAR DIREO DE DESCIDA)
Anlise da convergncia: exemplo: Funo de Rosenbrock
= 100 91 9) 1 1
+ 1 9) 1
+ = 1,2 1 L

k+1 E

1 0,924109 0,420049
2 0,99834 0,491058
3 0,957034 0,471523
4 0,966184 0,497403
5 0,927576 0,49424
6 0,929989 0,534216
7 0,902223 0,557282
8 0,853372 0,584233
9 0,773618 0,620634
10 0,655682 0,679948
11 0,445993 0,70537
12 0,109151 0,38707
13 0,185981 6,042272
14 0,024705 4,315574
15 1E-05 50,24938

Newton puro para o mesmo + Mais de 1000 iteraes

CONCLUSO
Atravs do erro em cada iterao, e de quocientes dos mesmos, podem-se
determinar a convergncia de determinada srie, ao se analisar a cauda da
mesma.
Ordem e taxa de convergncia: Analiticamente mudana de limites de .

para ! . Numericamente atravs do histrico de iteraes.
O mtodo de Newton no difere pontos crticos. Em funes multimodais,
existem bacias de convergncia para as quais cada soluo tima um centro
de fora de atrao.
O mtodo de L-M proporciona sempre uma direo de descida, levando a um
mnimo.
A busca linear, uma estratgia que possibilita que o algoritmo seja
globalmente convergente Muito til em ciclos permanentes
A escolha da estimativa inicial um grande gargalo para utilizar o mtodo de
Newton.
Mtodo de Newton em problemas muito complexos pode se tornar invivel a
priori. Por exemplo, mtodos estocsticos, podem ser excelentes alternativas
para se encontrar uma melhor regio de estimativas iniciais. Assim, aps, o
mtodo de Newton, ou quase-Newton, pode garantir a convergncia quadrtica
para tal soluo do problema, reduzindo esforo e custo computacional.
REFERNCIAS
BERTSEKAS, Dimitri. Nonlinear Programming. 2. ed. Belmont, Massachusetts, Massachusetts
Institute of Technology: Athena Scientific, 1999.

DENNIS, J. E; SCHABEL, Robert B. Numerical Methods for Unconstrained Optimization and

Nonlinear Equations. Philadelphia: Society for Industrial and Applied Mathematics, 1996.

EDGAR, Thomas F; HIMMELBLAU, David M; LASDON, Leon S. Optimization on Chemical

Proccess. New York: Mc Graw Hill, 2001.

FERNANDES, Flavia Mescko. Velocidade de Convergncia de Mtodos de Otimizao

Irrestrita. Dezembro de 2010. 53f. Monografia (Licenciatura em Matemtica). Departamento de
Matemtica, Universidade Federal do Paran, Paran, 2010.

FREUND, Robert, M. Introduction to Optimization, and Optimally Conditions for

Unconstrained Problems. Massachusetts, Massachusetts Institute of Technology, 2004.

FRIEDLANDER, Ana. Elementos de Programao No Linear. Campinas: Editora da UNICAMP,

1994.
REFERNCIAS

KELLEY, C. T. Iterative Method for Optimization. Raleigh, North Carolina, North Carolina State
University: Society for Industrial and Applied Mathematics, 1999.

LUENBERGER, David G. Linear and Non Linear Programming. 2. ed. New York,Stanford
Universtiy: Springer, 2003.
MARTNEZ, Jos Mrio, SANTOS, Sandra Augusta. Mtodos Computacionais de Otimizao.
Campinas: Departamento de Matemtica Aplicada IMECC-UNICAMP, 1998.

OLIVEIRA, Fabiana Rodrigues de. Estudo de Alguns Mtodos Clssicos de Otimizao

Restrita No Linear. 24 de fevereiro de 2012. 120f. Dissertao de Mestrado em Matemtica.
Faculdade de Matemtica, Universidade Federal de Uberlndia, Minas Gerais, 2012.

RIBEIRO, Ademir Ribeiro. KARAS, Elizabeth Wegner. Um Curso de Otimizao. Curitiba, 2011.