3.

Optimisation sans contrainte

Fonctions plusieurs variables
( )
( )
( ) ( ) ( )
T 2
1
T
1 2
) norme eucldienne de :
) le gradient de :
Note
, , , .
s:

n
n
i
i
n
n
i x R x x x x
ii f x f x R
f x f x f x
f x
x x x
=
= =

(
=
(

3.1 Rsultats prliminaires

1
Soit un ensemble ouvert et : une fonction
valeurs relles.
n
Y R f Y R
( )
{ }
est un ensemble ouvert si il existe un >0
tel que ; .
n
n
X R x X
B x z R x z X

= <
( )
a b
( )
( )
( ) { } ( )
1
Dans l'intervalle ouvert ,
est un ensemble ouvert puisque
, , 0 tel que
: ,
R a b
x a b
B x z x z a b

>
= <
[ ] ( )
{ }
2
2
Dans l'ensemble
, : , , 0
n'est pas un ensemble ouvert puisque
nous ne pouvons pas bouger pour
modifier la valeur de
R
x y R x a b y
y
= =
( )
{ }
est un ensemble ouvert si il existe un >0
tel que ; .
n
n
X R x X
B x z R x z X

= <
( )
{ }
2
2
Dans l'ensemble est ouvert
puisque pour tout , il existe
un 0 tel que la sphre ouverte de
rayon ,
; .
R X
x X
B x z R x z X

>
= <
X

x
( ) B x

1
1
Soit un ensemble ouvert et : une fonction
valeurs relles.
Si / ( possde des drives partielles de premier
ordre continues sur ), pour toute paire de point
dveloppement de T
s ,
n
Y R f Y R
f C Y f
Y x y Y

( ) ( ) ( ) ( ) ( )
( )
( )
( )
( )
T
0
aylor de premier ordre (versi
,
o
lim , 0
on rsidu)
y x
f y f x f x y x x y x y x
x y x

= + +
=
( ) ( ) [ ]
{ } ( )
( ) ( ) ( ) ( )
T
il existe un vecteur sur le segment de droite entr
dveloppement de Taylor sa
e et
, : 1 , 0,1
tel que

ns rsidu
n
z x y
z x y t R t x y
f y f x f z y x
= = +
= +
( ) ( ) ( ) ( ) ( ) ( )
1
T
Si / ( possde des drives partielles de premier
ordre continues sur ), pour toute paire de p
dveloppement de Taylor de premier ordre (version rsi
oints ,
,
o
lim
du)
y
f C Y f
Y x y Y
f y f x f x y x x y x y x

= + +
( )
( ) ( )
0
, 0
x
x y x

=
( ) ( ) ( ) ( ) ( )
( )
1
T
Si / ( possde des drives partielles de premier
ordre continues sur ), pour tout et
dveloppement de Taylor de premier ordre (version rsidu)
,
n
f C Y f
Y x Y d R
f x d f x f x x d x x x d x x d x
f x d f

+ = + + + + +
+ =
( ) ( ) ( ) ( )
( )
( )
T
0
, 3.1
pour tout , o , est une fonction de prenant des
valeurs relles telles que
lim , 0
x f x d x d d
x d
x d

+ +
=
( ) ( )
( )
( ) ( ) ( ) ( ) ( )
( ) ( ) ( )
( )
( )
T
T
T
1
1
0
Preuve
Soient un ensemble ouvert, : ,
/ , et . Alors
lim .
Utilisant la relation (
Lemme
,
: 3.
3.1:
1)
alors

pour 0
,
3.1
n
n
f
Y R f Y R
f C Y x Y d R
f x d f x
f x d
f x d f x x d d
f x d
f x
x d f x f x d d d
d
x

+
=

+ = + +
+
=
+
( )
( ) ( )
T
,
f x
x d d f x d

=
( ) ( ) ( ) ( ) ( )
( ) ( ) ( )
( )
( ) ( )
( ) ( )
( ) ( )
( ) ( )
( ) ( )
( )
T
T
T
T
0 0 0
T
0
Utilisant la relation (3.1)
alors pou
Preuve
r 0
,
,
lim lim , lim
l
, 3.1
im
:
.
f x d f x x d d
f x d
f x d f x
x d d f x d
f x d f x
x d d f x d
f x d f x
f x
f x d f x f x d
d
x d d

+
=
+ = + +

+
=
+
=
+
=
( )
( ) ( )
1
Dfinition:
direction ralisable
Soient et : . tant donn , est
une s'il existe un scalaire , 0 tel que
0, .

,
n
n
X R f X R x X d R
x d
x d X
x
x d

>
( +

( )
( ) ( )
1
T
Soient , / , et . Si est
une direction ralisable et 0, alors il existe
un scalaire 0 tel que pou
Lemme 3.2:
direction de descent
r tout 0
.
(i.e., est un e e .)
n n
X R f C X x X d R
x f x d
f x d f x
d x

<
> <
+ <
x
d
( )
, x x d d +
( )
( ) ( )
1
T
Soient , / , et . Si est
une direction ralisable et 0, alors il existe
un scalaire 0 tel que pou
Lemme 3.2:
direction de descent
r tout 0
.
(i.e., est un e e .)
n n
X R f C X x X d R
x f x d
f x d f x
d x

<
> <
+ <
( ) ( )
( )
( ) ( )
( ) ( ) ( ) ( )
T
0
Puisque lim 0, alors
il existe un scalaire >0 tel que pour tout 0, ,
0.
Il suffit de restreindre
P
t
reu
re positif pour avoir
0 ou .
ve :
f x d f x
f x d
f x d f x
f x d f x f x d f x

+
= <

+
<
+ < + <
( )
( )
1
Preuve
Lemme 3 Soient un ensemble ouvert, / .
Si est un minimum local de sur , alors =0.
Par contradiction, supposons que est un minimum
local et que 0. Considrons la directio
.3:
n
.
n
X R f C X
x f X f x
x
f x

( )
( ) ( ) ( ) ( )
( )
T T
.
Puisque est ouvert, alors est une direction ralisable , et
0, puisque 0.
Par le Lemme 3.2, est une direction de descente
et par consquent il est possible de
d f x
X d x
f x d f x f x f x
d f x x
=
= <
=
( ) ( ) ( )
dterminer un scalaire >0
tel que et , une contradiction. x d B x f x d f x

+ + <
( )
1
Soient un ensemble ouvert, / .
Si est un maximum local de sur , al
Lemme 3.4:
ors =0.
Simil P ai uv r e. e re
n
X R f C X
x f X f x

( )
1
T
Dfinition:
forme quadratiqu
tant donn une matrice relle de dimension ,
la associe est la fonction : suivante
.
e
n
D n n
R R
x x Dx

=
( )
( )
( )
Dfinition:
semi-dfinie posi
Une matrice relle de dimension est
( ) si tiv dfinie positive
0 , 0
e 0
.
n
n
x
x x R
D
x
n
x R
n

>

dfinie positiv
Une matrice D relle symtrique de dimension
est ( ) si et seulement si
) toutes ses valeurs propres sont
Rsultats:
semi-dfinie positive
non
e
positives ( ) nga ;
) tous les
tives
m
n n
i
ii

(tous les
"leadin
ineurs principaux son
g" mineurs principaux
t non ng
sont posi
ati
ti
f

s
fs).
11 12 13
21 22 23
31 32 33
11 2 3 1 3 1 2
Leading mineurs Mineurs principaux
d'ordre 1:
principaux
d'ordre 1:
, ,
d'ord
a a a
a a a
a a a
a a a a
(
(
(

22 23 11 13 11 12
21 22 32 33 31 33
11 12 13
21 22 23
31 3
11 12
21 22
11 12 13
21 22 23
3 3 33 2 33 1 2
re 2:
, ,
d
d'ordre 2:
d'ordre 3: 'ordre 3:
a a a a a a
a a a a a a
a a a
a a a
a
a a
a a
a a a
a a a
a a a a a
( ( (
( ( (

(
(

(
(

(
(

( (
Conditions de 2
ime
ordre pour minimum locaux
( )
( )
2
2
2
Soit le (matrice
relle ) au point d'une fonction de classe (ayant
de
Dfiniti
s drives partielles continues d'ordre 2).
on: Hes

sien
i j
f x
f x
x x
n n x f C
(

=
(

(

( )
( )
2
2
Soient un ensemble ouvert et / .
Si est un minimum local de sur , alors =0 et
est une ma
Lemm
trice semi-definie positive.
e 3.5:
n
X R f C X
x X f X f x
f x

( )
( )
2
2
Soient un ensemble ouvert et / .
Si est un minimum local de sur , alors =0 et
est une matrice semi-definie positiv
Preuve
e.
La premire condition a t demontre au
Lemme 3.5:
.
n
X R f C X
x X f X f x
f x

( ) ( ) ( ) ( ) ( )
( )
( )
( ) ( ) ( ) ( )
ime
T 2
2 T 2
0
2
2 T 2
Lemme 3.4.
La seconde condition est tablie partir du dveloppement de
Taylor de 2 ordre:
1
,
2
o lim , =0.
Puisque =0, alors
1
,
2
1
f x d f x f x d d f x d x d d
x d
f x
f x d f x d f x d x d d

+ = + + +

+ = +
=
( ) ( )
2
2 T 2
2 , .
2
d f x d x d d
(
+

( ) ( ) ( ) ( ) ( )
( )
ime
T 2
2 T 2
0
La premire condition a t demontre au Lemme 3.4.
La seconde condition est tablie partir du dveloppement de
Taylor de 2 ordre:
1
,
2
o lim , =0.
P
Preuv
u
e
is
.
f x d f x f x d d f x d x d d
x d

+ = + + +
( )
( ) ( ) ( ) ( )
( ) ( )
( )
( )
2
2 T 2
2
2 T 2
2
T 2
que =0, alors
1
,
2
1
2 , .
2
Par contradiction, si n'est pas semi-definie positive, alors
il existe un tel que 0.
Ainsi, pour 0 suffisemm
n
f x
f x d f x d f x d x d d
d f x d x d d
f x
d R d f x d

+ = +
(
= +

<
>
( )
( )
( )
( )
( )
( )
( )
( )
2
T 2
ent petit, et , 0.
Par consquent
2 , 0
et alors 0 ou , contredisant
le fait que est un minimum local de .
x d B x x d
d f x d x d d
f x d f x f x d f x
x f

+
+ <
+ < + <

( ) ( )
( ) ( )
( )
2
3 3
2 2
Les conditions que =0 et que
est une matrice semi-definie positive ne sont pas suffisantes pour
assurer que est un minimum local.
Au
Contre-exemple:
point 0
, , 0
, 3 , 3
f x f x
x
x y
f x y x y f x y
f x y x y

= =
= + =
= (

( ) [ ]
( ) ( )
( )
T
T
2 2
3
0, 0 0, 0
6 0 0 0
, 0, 0 semi-def . pos.
0 6 0 0
Donc les conditions sont satisfaites au point 0.
Mais pour un >0 suffisemment petit, , 0, 0 et
2 2
,
2 2 2
f
x
f x y f
y
x y
B
f

=
| | | |
= =
| |
\ \
= =
(

(

| | | |
= +
| |
\ \
( )
[ ]
3
3
2
0 0, 0 ,
2 8
et 0,0 ne peut tre un minimum local mme si les conditions
sont satisfaites.
f

| |
= < =
|
\
( ) ( )
( ) ( )
( )
2
2
Soient un ensemble ouvert et / .
Si * =0 et * est une matrice definie positive, alors
il existe un >0 suffisemment petit tel que * < pour
tout * .
Se rfra
Lemme 3
Preuve. nt a
.6:

n
X R f C X
f x f x
f x f x
x B x

( ) ( ) ( ) ( ) ( )
( )
( )
( ) ( ) ( ) ( )
T 2
2 T 2
0
2
2 T 2
u Lemme 3.5,
1
* * * * *,
2
o lim *, =0.
Puisque =0, alors
1
* * * 2 *, .
2
f x d f x f x d d f x d x d d
x d
f x
f x d f x d f x d x d d

+ = + + +

(
+ = +

( )
( )
( )
2
T 2
2
2 2
Il est facile de vrifier que * o 0 est la plus
petite valeur propre de * . En effet, sous l'hypothse que
/ , alors * est symtrique.
Par consquent, il existe une matrice orth
d f x d d
f x
f C X f x
>

( )
( )
T 1
2 T
2
2
ogonale (i.e., )
telle que
*
o est une matrice diagonale comportant les valeurs propres de
* sur la diagonale et o les colonnes de sont les vecteurs
propres normaliss de
P P P
f x P P
f x P

=
=

( )
( )
( )
{ }
T 2 T T T 2
1
2
1, .
2
T T 2 2 T T
1 1
* .
Donc
*
o les sont les valeurs propres de * .
Ainsi, si =Min , alors
.
n
i i
i
i
i
i n
n n
i i i
i i
f x
d f x d d P P d y y y
f x
d P P d y y d PP d d

=
=
= =
= = =

= = =

( ) ( ) ( ) ( ) ( )
( )
( )
( ) ( ) ( ) ( )
( )
T
2 T 2
0
2
2 T 2
2
T 2
Se rfrant au Lemme 3.5,
1
* * * * *,
2
o lim *, =0.
Puisque =0, alors
1
* * * 2 *, .
2
Nous venons de vrifier que * o 0
Preuve.

f x d f x f x d d f x d x d d
x d
f x
f x d f x d f x d x d d
d f x d d

+ = + + +

(
+ = +

>
( )
( ) ( ) ( )
( )
( ) ( ) ( )
( ) ( )
2
2 2
2
2
2
est la plus
petite valeur propre de * .
Donc
1
* * 2 *,
2
1
2 *, .
2
Puisque 0, il s'ensuit que pour >0 suffisemment petit
*, * et 2 *, 0
et ainsi
* * 0 o
f x
f x d f x d x d d
d x d
x d B x x d
f x d f x

(
+ +

( +

>
+ >
+ >
( ) ( )
u * * . f x d f x + >
( ) ( )
2
2
Soient un ensemble ouvert et / .
Si * =0 et * est une matrice definie positive, alors
* est
Corollaire 3.7:
un minimum locale de sur .
n
X R f C X
f x f x
x f X


Convergence dalgorithme
{ }
{ } ( )
0
2 0
1 2
Un algorithme dfini sur un sous-ensemble est un processus
itratif qui, partant d'une solution initiale , gnre une suite de
points dans .
Exemple: : 0
u
,
n algor
0 100,100 .
n
k
X x R x x x
X R
x X
x X
=

( )
( )
1 2
ithme correspond une multi application
(multi function ou "mapping")
:
associant un point un sous ensemble .
Dnotons par * l'ensemble de
Exemple: 0, , 0,
s so i
2 2
lut
.
k k
A X X
x X A x
x x
X
A x
X
X

( (
=
`
( (

)

( )
ons recherches.
Exemple: * 0, 0 X =
( ) ( ) ( )
( ) ( ) ( )
( )
( )
1
1 2
1 2
Un algorithme est un par
rapport une fonction : continue si
) * et
) * et .
No
Dfinition: algorithme de des
Exemple: 0, , 0,
2 2
te: souve
cente
n
A
z X R
i x X y A x z y z x
ii
x x
A x
x X y A x z y z x
z x x x

<


( (
=
`
( (

)
= +

( )
1 2
t la fonction que nous utilisons est la fonction
conomique du problme que nous voulons rsoudre l'aide
de l'
Exemple: Min
algorithme

.
x X
z x
z
x x

= +
{ }
( ) { }
( )
Un algorithme est au point si
) a la proprit que
) a la proprit que
alors .
Note: la notion de f
Df
erm
inition
eture p
: fer
our les multi applications correspond
c

m
k k
k
k k k
k
A x X
i x X x x
ii y A x y y
y A x

( )
( ) ( )
1 2
Exemple: 0, , 0,
2 2
1 1 3 3 5 5
2 , 2 , 1, ; 1,1 , , , , , , 2, 2
2 2 3 3
1 1 1 1 3 3 5 5
1 , 1 , 1, ; , , , ,
elle de continuit pour les fonct
,
2 2 2 2 4
n
6
o s.
4
i
6
k
k
x x
A x
x k
k k
y k
k k

( (
=
`
( (

)
| | | | | |
= =
| | |
\ \ \
| | | | | | | |
= =
| | |
\ \ \ \

( )
, , 1,1
|

( )
Supposons que
i) , un ensemble non vide ferm, et * l'ensemble
non vide des solutions;
ii)
Thor
un
me 3.8: Thorme de conv
algorithme dfini sur qui, partant d'un poin
ergence globale
n
X R X
A X

{ }
( )
0
1
t ,
gnre une suite de points comme suit:
si *, l'algorithme s'arrte
sinon, soit
remplacer par ( 1)

k
k
k k
x X
x
x X
x A x
k k
+

+
{ }
rpter le processus;
iii) la suite de points gnr par l'algorithme est contenu dans
un sous ensemble compact de ;
iv) il existe une fonction continue par rapport laquelle est un

k
x
X
z A
algorithme de descente.
Sous ces conditions, si la multi application est ferme aux points
n'appartenent *, alors
a) soit que l'algorithme s'arrte en un nombre fini d'itrations

A
X
{ }
{ }
un point de *,
b) soit qu'il gnre une suite infinie de points telle que
le point limite de toute sous-suite convergente de
appartient *.
k
k
X
x
x
X
{ }
point d'accumulation
point
Considrons une suite de points , 1, telle que
. Le point est un
( ) de
est un si tout point d'accumulation ensemble
(point
limit
limite) de appar
fer
tie
e
nt
m

k
k
x X k
x x x
X
X
X X
=

.
[ ]
a b
[ ]
1
Dans l'intervalle ferm ,
est un ensemble ferm.
R a b
[ ] [ ]
{ }
2
2
Dans l'ensemble
, : , , 0
est aussi un ensemble ferm.
R
x y R x a b y = =
{ }
point d'accumulation
point
Considrons une suite de points , 1, telle que
. Le point est un
( ) de
est un si tout point d'accumulation ensemble
(point
limit
limite) de appar
fer
tie
e
nt
m

k
k
x X k
x x x
X
X
X X
=

.
( )
{ }
est un ensemble ouvert si
, alors la boule ; .
n
n
X R
x X B x z R x z X

= <
( )
a b
( )
( )
( ) { } ( )
1
Dans l'intervalle ouvert ,
est un ensemble ouvert puisque
, , 0 tel que
: ,
R a b
x a b
B x z x z a b

>
= <
[ ] ( )
{ }
2
2
Dans l'ensemble
, : , , 0
n'est pas un ensemble ouvert puisque
nous ne pouvons pas bouger pour
modifier la valeur de
R
x y R x a b y
y
= =
( )
Supposons que
i) , un ensemble non vide ferm, et * l'ensemble
non vide des solutions;
ii)
Thor
un
me 3.8: Thorme de conv
algorithme dfini sur qui, partant d'un poin
ergence globale
n
X R X
A X

{ }
( )
0
1
t ,
gnre une suite de points comme suit:
si *, l'algorithme s'arrte
sinon, soit
remplacer par ( 1)

k
k
k k
x X
x
x X
x A x
k k
+

+
{ }
rpter le processus;
iii) la suite de points gnr par l'algorithme est contenu dans
un sous ensemble compact de ;
iv) il existe une fonction continue par rapport laquelle est un

k
x
X
z A
algorithme de descente.
Sous ces conditions, si la multi application est ferme aux points
n'appartenent *, alors
a) soit que l'algorithme s'arrte en un nombre fini d'itrations

A
X
{ }
{ }
un point de *,
b) soit qu'il gnre une suite infinie de points telle que
le point limite de toute sous-suite convergente de
appartient *.
k
k
X
x
x
X
{ } point d'accumulation
poin
Considrons une suite de points , 1, telle que
. Le point est un
( ) de
est un si tout point d'accumulati ensem on
(p
t
o
ble ferm
int limite) de appartient
li

mite

k
k
x X k
x x x
X
X
X
=

. X
Un ensemble est si , alors
.
Un ensemble est si
est un en
born
semble ferm et born
co

mpa
.
ct
x
x

<

{ } point d'accumulation
poin
Considrons une suite de points , 1, telle que
. Le point est un
( ) de
est un si tout point d'accumulati ensem on
(p
t
o
ble ferm
int limite) de appartient
li

mite

k
k
x X k
x x x
X
X
X
=

. X
( )
Supposons que
i) , un ensemble non vide ferm, et * l'ensemble
non vide des solutions;
ii)
Thor
un
me 3.8: Thorme de conv
algorithme dfini sur qui, partant d'un poin
ergence globale
n
X R X
A X

{ }
( )
0
1
t ,
gnre une suite de points comme suit:
si *, l'algorithme s'arrte
sinon, soit
remplacer par ( 1)

k
k
k k
x X
x
x X
x A x
k k
+

+
{ }
rpter le processus;
iii) la suite de points gnr par l'algorithme est contenu dans
un sous ensemble compact de ;
iv) il existe une fonction continue par rapport laquelle est un

k
x
X
z A
algorithme de descente.
Sous ces conditions, si la multi application est ferme aux points
n'appartenant *, alors
a) soit que l'algorithme s'arrte en un nombre fini d'itrations

A
X
{ }
{ }
un point de *,
b) soit qu'il gnre une suite infinie de points telle que
le point limite de toute sous-suite convergente de
appartient *.
k
k
X
x
x
X
Un ensemble est si , alors
.
Un ensemble est si
est un en
born
semble ferm et born
co

mpa
.
ct
x
x

<

3.2 Mthodes itratives de rsolution

{ }
1
0
1
1
Une pour optimiser une fonction :
gnre une suite de points o est un point initial choisi
dans et o
i.e., est gnr partir de en choisiss
mthode itr
ant
ative
une
k k
n
k
n
k k
k
k
f R R
d
x x
R
x
x
x
x

+
+
= +

1
et en prenant un dans cette direction pour
s'loigner de .
Les mthodes diffrent par leurs choix de
direction
directio
pas
pas et de . n
k n
k
k
k
k
d R
d
x
R

Mthode de descente par coordonnes
1 2
est minimise pour chaque coordonne squentiellement.
Ainsi, les directions utilises en squence sont
1 0 0
0 1 0
, , , .
0 0 1
chaque fois que itrations sont compl
n
f
e e e
n
( ( (
( ( (
= = =
( ( (
( ( (

tes, la squence
est reprise.
1
0
tape 0 Soit : minimiser.
le niveau de tolerance
Choisir solution initiale
Poser 0
n
f R R
x
k

=
0
1
1
1
1
tape 1 a)
b) Pour 1
solution optimale de
Min ( )

c)
k
j
j j
R
j j j
j
k n
y x
j n

f y e
y y e
x y

+
=
=

+
= +
=
1 1
tape 2 Si , STOP et * .
Sinon 1, et reprendre tape 1.
k k k
x x x x
k k
+ +
< =
= +
k
x
=
0
y
1
y
2
y
=
+1 k
x
Mthode de Gauss-Seidel
La valeur de diminue mesure
que les courbes de niveau se
rapproche du centre des ellipses
f
1
0
tape 0 Soit : minimiser.
le niveau de tolerance
Choisir solution initiale
Poser 0
n
f R R
x
k

=
1
1
tape 1
a) Pour 1
solution optimale de
Min ( )
b) dfini comme suit

j
k j
R
k
j n

f x e
x

+
1
, 1, ,
k k
j j j
x x j n
+
= + =
1 1
tape 2 Si , STOP et * .
Sinon 1, et reprendre tape 1.
k k k
x x x x
k k
+ +
< =
= +
k
x
1
1
k
x e +
2
2
k
x e +
1 k
x
+
Mthode de Jacobi
La valeur de diminue mesure
que les courbes de niveau se
rapproche du centre des ellipses
f
3.2 Mthodes itratives de rsolution
{ }
1
0
1
1
Une pour optimiser une fonction :
gnre une suite de points o est un point initial choisi
dans et o
i.e., est gnr partir de en choisiss
mthode itr
ant
ative
une
k k
n
k
n
k k
k
k
f R R
d
x x
R
x
x
x
x

+
+
= +

1
et en prenant un dans cette direction pour
s'loigner de .
Les mthodes diffrent par leurs choix de
direction
directio
pas
pas et de . n
k n
k
k
k
k
d R
d
x
R

1
1
0
tape 0 Soit : minimiser.

Choisir solution initiale
Poser 0
n
f R R
f C
x
k

=
( )
tape 1 Si 0, alors l'algo.
s'arrte avec * .
k
k
f x
x x
=
=
( )
( )
( )
( ) { }
( )
0
1
tape 2 Dterminer tel que
Min .
Poser .
Poser 1.
Rpter l'tape 1.
k
k
k
k
k
k
k
k k
k
f x f x
f x f x
x x f x
k k

+
=

=
= +
k
x
1 k
x
+
2 k
x
+
( )
Note: En pratique, le critre d'arrt
l'tape 1 est souvent dfini en utilisant
un niveau de tolrance :
<
k
f x

La valeur de diminue mesure
que les courbes de niveau se
rapproche du centre des ellipses
f
( )
{ }
{ }
1
( ) Soit . Tout point limite *
d'une sous-suite convergente de la suite gnre par la mthode
du gradient est t
Preuve.
Lemme 3.
el que * 0.
Considrons la sou
9: Co
s-suit
nverg
e de
ence
tell
k
k j
f C x
f x
x x

=
{ }
{ }
{ }
{ } { }
1
1 1
e que
*.
Par consquent, se rfrant aux suites
, , , , ,
, , , , o .
k
j
k k k
k j j j
k k k k k
j j j j j
x x
x x x x
x x x x x

+ +
+
+ +

=
= =


{ }
{ }
{ }
{ }
{ }
{ } { }
{ }
( )
1
1 1
1
Considrons la sous-suite de telle que
*.
Par consquent, se rfrant aux suites
, , , , ,
, , , , o .
Ainsi, se rfrant la
Preuve.
suite


k
k j
k
j
k k k
k j j j
k k k k k
j j j j j
k
k k
j j
x x
x x
x x x x
x x x x x
x
f x f x

+ +
+
+ +
+

=
= =
=


( ) ( )
( ) ( )
( )
{ }
( ) ( )
( )
1
1
0
1

Min .
Donc
0.
k
j
k k k
j j j
k k k
j j j
f x
f x f x f x
f x f x f x

+ +
+

+

=

( ) ( ) ( )
( ) ( )
( )
{ }
( ) ( )
( )
( )
( )
( )
( )
( )
( )
( )
1
1
1
1
0
1
1
1
puisque 1
Min .
Ainsi
0.
Puisque , est continue sur et
lim *
lim * * 0.
Donc
*
k k
j j
j j
k k k
j j j
k k k
j j j
n
k
j
j
k k
j j
j
f x f x k k
f x f x f x
f x f x f x
f C f R
f x f x
f x f x f x f x
f x

+
+
+
+

+
+

+
=

=
(
=
(

( )
( )
( )
* * 0. 3.2 f x f x
( ) ( )
( )
( )
( ) ( )
( )
* * * 0. 3.2
Par consquent * 0 car autrement si * 0, alors
* est une direction de descente et se rfrant au lemme
3.2 nous obtenons une contradiction la relation (3.2).
f x f x f x
f x f x
f x

=

Le prochain rsultat indique que la mthode de descente se

puisque les directions utilises deux
itrations successives so
dpl
nt
ace
ang
en zig-zag
le droit.
( )
( )
( ) ( ) ( ) ( )
{ }
( ) ( )
( )
( )
1
k
0
T
1

Si o est tel que
Min ,
alors
Lemme 3.10: Dplacement en zig-
Pre
0.
Si 0, alors la preuve est complte.
Si 0, considrons la fonct
uve.
z
i
ag
k k k
k
k k k k
k
k k
k
k
x x f x
f x f x f x f x
f x f x
f x
f x

+
=
=
=
=

{ }
( ) ( ) ( )
( ) ( ) ( ) ( )
1 1
T
on : : 0
.
Par drivation en chane,
.
k k
k k k
R R
f x f x
f x f x f x




=

=
( ) ( ) ( ) ( ) avec
k k
f g g x s = = +
( ) ( ) ( ) ( )
( )
( )
( )
( ) ( ) ( ) ( ) ( )
T
T T
1
Par drivation en chane,
.
Puisque est un minimum local de , alors par le
lemme 3.3 0,
et alors
0 .
k k k
k
k
k k k k k
k k
f x f x f x
f x f x f x f x f x




+

= = =

) L'ordre de convergence de la mthode du gradient est linaire.

) Au dbut de son application, la mthode permet de faire
diminuer la valeur de la fonction conomique relati
Notes:
vemen

t

i
ii
rapidement, mais son efficacit ce chapitre diminue au
cours des itrations.
) La mthode du gradient est la mthode la plus rapide
marginalement ("steepest descent method") :

iii
( ) ( )
( )
( )
( )
( )
T
T
0 0
cos
o est l'angle entre et . Ainsi, parmi les directions
de norme 1 1 , celle minimisant a un
angle de 180 car cos 180 1. Ainsi, cette direction
co
f x d f x d
d f x
d d f x d
d

=
=
( )
( )
rrespond
.
f x
f x

Mthode de Newton
2
Mthode de deuxime ordre supposant que et utilisant
l'information au niveau du Hessien de .
Extension directe de la mthode pour les fonctions
Mthode de
une s
Newto
eule
variable.
Processus i
n
t ra
f C
f

{ }
( ) ( ) ( ) ( ) ( )
0
1
T T
tif pour construire une suite de points en
partant d'un point dans le voisinage d'une solution optimale *.
Pour obtenir , considrons l'approximation quadratique de
1
2
k
k
k k k k
k
x
x x
x f
Q x f x f x x x x x
+
= + +
( )( )
2
.
k k
f x x x
( ) ( ) ( ) ( ) ( ) ( )( )
T T
2
Par le Thorme de Taylor, il existe un entre et tel que
1
2
k
k k k k k
z x x
f x f x f x x x x x f z x x = + +
{ }
0
1
Processus itratif pour construire une suite de points en
partant d'un voint dans le voisinage d'une solution optimale *.
Pour obtenir , considrons l'approximation quadrati
Mthode de N
q
ewton
k
k
x
x x
x
+
( ) ( ) ( ) ( ) ( ) ( )( )
( )
( ) ( ) ( )( )
( ) ( )
T T
2
1
1 2 1
1
1 2
ue de
1
.
2
est le point o le gradient de l'approximation s'annule:
0
ordre de convergenc
=
au moins ga e l 2 si :
k k k k k k
k
k
k
k k k k k
k
k k k k
f
Q x f x f x x x x x f x x x
x Q x
Q x f x f x x x
x x f x f x
+
+ +

+
= + +
= +
(
=

( )
0
est choisi
suffisemment prs de * o * 0.
x
x f x =
( ) ( ) ( )( )
2 k k k
k
Q x f x f x x x = +
( )
2
Note: le Hessien doit tre une matrice non-singulire.
k
f x
( ) ( ) ( )
( )
( )
( )
T
T T T
T
11 12 1 1
1 1 2 2
12 22
2 2
T
T
11 12 1 11 12 1
1 2 1
2
12 22 2 12 22
Supposons que la matrice est symetrique
1 1 1
2 2 2
1
,
2
1
, ,
2
k k k k k k
k
k k
k
k k
A
x x x x A x x x Ax x Ax x Ax
a a x x
x x x x
a a
x x
a a x a a x
x x x x
a a x a a
= = +
| |

(
=
|
(


\
( | | (
=
|
( (
\
( )
( ) ( )
( )
T
11 12 1
1 2
2 12 22
2
T T
2 2
11 12 1 11 12 1
11 1 12 1 2 22 1 1 2
2 2
12 22 2 12 22
2
11 1 12 2 11 1
12 1 22 2
1
,
2
1 1 1
, ,
2 2 2
k
k k
k
k
k k k k
k
k
a a x
x x
x a a
x
a a x a a x
a x a x x a x x x x x
a a x a a
x
a x a x a a
x x
a x a x

| |
| | (
+
|
|
(
\
\
| |
( | | (
= + + +
` |
|
( (
\ )
\
+
(
=
(
+

1
2
12 22
2
1
11 12 1 11 12
12 22 2 12 22
2
1 1
11 12
12 22
2
2
k
k
k
k
k
k
x
a a
x
x
a a x a a
a a x a a
x
x x
a a
a a
x x
| |
(
|
(
|

\
| |
( | | (
=
|
|
( (
|
\
\
| |

(
=
|
(
|

\
{ }
0
1
Processus itratif pour construire une suite de points en
partant d'un voint dans le voisinage d'une solution optimale *.
Pour obtenir , considrons l'approximation quadrati
Mthode de N
q
ewton
k
k
x
x x
x
+
( ) ( ) ( ) ( ) ( ) ( )( )
( )
( ) ( ) ( )( )
( ) ( )
T T
2
1
1 2 1
1
1 2
0
ue de
1
.
2
est celui o le gradient de l'approximation s'annule:
0=
ordre de convergenc au moins e: gal 2 si
k k k k k k
k
k
k
k k k k k
k
k k k k
f
Q x f x f x x x x x f x x x
x Q x
Q x f x f x x x
x x f x f x
x
+
+ +

+
= + +
= +
(
=

( )
est choisi
suffisemment prs de * o * 0. x f x =
( )
( ) ( )
0
1
2
Pour contrer la difficult de choisir dans le voisinage de *
o * 0.
Mthode itrative o la direction au point e
Mthode de Newton
st la suivante:
.
es
avec pas optim
t
al
k k
k k k
k
x x
f x
d x
d f x f x
d

=
(
=

( )
( )
( ) ( ) ( ) ( )
2
1
T T
2
bien une direction de descente si le Hessien est
une matrice positive dfinie et si 0:
0.
k
k
k k k k k
f x
f x
f x d f x f x f x

(
= <

( ) ( )
2 1
1
k k k k
f x f x x x

+
(


=
( )
( ) ( )
0
1
2
Pour contrer la difficult de choisir dans le voisinage de *
o * 0.
Mthode itrative o la direction au point e
Mthode de Newton
st la suivante:
.
Pas o
avec pas optimal
p
k k
k k k
x x
f x
d x
d f x f x

=
(
=

( ) ( ) ( )
( )
( ) ( )
( )
{ }
1
1 2
1
2
0
timal dfini comme suit:
Min .
au moins ordre de convergence gal : 2
k
k k k k
k
k k k
f x f x f x f x
f x f x f x

(
= =

(


( )
( )
0
2
Pour contrer la difficult de choisir dans le voisinage de *
o * 0.
Si le Hessien n'est pas
Mthode
une matr
de Newton modifie a
ice positive dfinie
ve
,
c
considrons la d
pas optimal
irecti
k
x x
f x
f x
=

( ) ( )
( )
1
2
k
2
on suivante au point :
o est la matrice identit et o 0 est la plus petite valeur
assurant que la matrice a toute ses valeurs
propres positives (i.e., es
k k
k k k
k
k
k
d x
d I f x f x
I
I f x

(
= +

(
+

ordre de convergence
t dfinie positive).
au moins gal : 2
( )
2
Plusieurs variantes existent. Voici celle de Fletcher-Powell.
viter de calculer le Hessien et son inverse chaque
itration. Nous utilisons plutt un
Mtho
e mat
de Quasi-
rice
N
dfinie
ewt
p s
on
o
k
k
f x
H

itive
qui est modifie d'une itration l'autre.
( )
1 2 0
0
0 0
tape 0. Soit : et . Soit = . Choisissons une
solution initiale .
Si 0, alors l'algo. s
Mthode Quasi-New
'arrte et alors * .
Sinon, 0.
tape
ton
1
n
n
f R R f C H I
x R
f x x x
k

= =
=
( )
( ) ( ) { }
( )
0
1
1
. Dnotons .
Dterminons le pas optimal dans la direction :
Min .
tape 2. Posons = .
Si 0, alors l'algo. s'arrte et alors *
k k k
k
k
k k k k
k
k k k
k
k
s H f x
s
f x s f x s
x x s
f x x

+
+
=
+ = +
+
= =
1
.
k
x
+
( )
( ) ( )
( )
1
1 1
1
1
T
2
T
T
T
tape 2. Posons = .
Si 0, alors l'algo. s'arrte et alors * .
tape 3. Posons
o
et .

k k k
k
k k
k k k
k k k k
k k
k
k
k k
k
k k k k
k
k k k
x x s
f x x x
y f x f x
H H A B
s s
A
s y
H y H y
B
y H y

+
+ +
+
+
+
= =
=
= + +
=

=
Remplacer par 1 et reprendre l'tape 1. k k +
( )
( )
( )
( )
( ) ( ) ( )
T
T T
Si est dfinie positive et 0 , alors est
une direction de descente i.e., 0 .
Par dfinition . Donc
0
sous les hypothses que
Preu
Lem
ve
me 3.
e
1
t
.
.
s
1
d
k k k
k k k
k k k
k k k k k
k
H f x s
x f x s
s H f x
f x s f x H f x
H

<
=
= <
( )
finie positive et 0.
k
f x
( )
1
Le prochain rsultat indique que la direction est
perpendiculaire au .
k
k
s
f x
+

( )
( )
( ) ( )
T
1
Si est dfinie positive, alors 0.
Si 0, la preuve est complte.
Si 0, dfinissons
Preuv
la fonction p
Lemme 3
e
our 0
.

12
.
.
.
:
k k k
k
k
k k
H s f x
s
s
f x s


+
=
=

= +
( )
{ }
( ) ( )
T
1
1 1
1 1
Si est dfinie positive, alors 0.
Si =0, la preuve est complte.
Si
Lemme
0, considrons la fonction : : 0 :
.
Puisque : , par drivation e
Pre
3.12.
n ch
uv .
e
e
a n
k k k
k
k
k k
H s f x
s
s R R
f x s
R R

+
=

= +

( ) ( )
( )
( )
( ) ( ) ( )
T
T T
1
.
Puisque est un minimum local de , alors par le
lemme 3.3, 0 et alors
0= .
k k k
k
k
k k k k k
k k
s f x s
s f x s s f x




+
= +

= + =
( ) ( ) { }
0
Min
k k k k
k
f x s f x s

+ = +
( ) ( ) ( ) ( ) avec
k k
f g g x s = = +
0
T 1 T T T
2 T
T
est dfinie positive , 0,1, 2, .
Preuve par induction sur .
Pour =0, = est dfinie positive.
Supposons que est dfinie positive. Alor
P
Lemme 3.
reuve.
3
s
1 .
k
k
k k k k
k
k
k
H k
k
k H I
H
x H x x H x x A x x B x
x s
x H x

+
=
= + +
= +

( )
( )
( )
T
T
T
T T
2
T
T T T
T T
T T
2 T
T T
.
Mais puisque est dfinie positive, il dcoule de l'ingalit
de Schwartz que
0.
k k k k
k
k k k k k
k
k
k k k k k k k k
k
k k k k k
k
k
k k k k k k
x H y H y x
s x
s y y H y
s x
x H x y H y x H y y H x
y H y s y
H
x H x y H y x H y

= +

T
2
T
k k
k
k
k k
k
s s
A
s y

=
( )
T
T

k k k k
k
k k k
H y H y
B
y H y

=
( )
( )
( )
2
T
T T T
T T
T 1
T T
2 T
T T
2
T
T 1
T
.
Mais puisque est dfinie positive, il dcoule de l'ingalit
de Schwartz que
0.
Il s'ensuit que
.
Or
k
k k k k k k k k
k
k
k k k k k
k
k
k k k k k k
k
k
k
k k
k
k
s x
x H x y H y x H y y H x
x H x
y H y s y
H
x H x y H y x H y
s x
x H x
s y

+
+

= +

( ) ( )
( )
( )
T T
1
T
1
T
puisque =0

par le lemme 3.12
puisque par le lemme 3.11 est une
> 0
direction de descente et que 0
k k k k k
k
k k
k k
k
k
k
s y s f x f x
s f x
s f x
s

+
+
(
=

| |

=
|
\
| |

>
\
|
( ) ( )
1 k k k
y f x f x
+
=
( )
( )
( )
2
T
T 1
T
T
T
T
1
1
Jusqu'ici nous avons tabli que
et que 0.
Donc si 0, alors la preuve est complte.
Par contre, si 0, puisque 0 par le lemme 3.12,
alors .
Rev
k
k
k
k k
k
k k
k
k
T
k k k
k
s x
x H x
s y
s y
s x
s x s f x
x f x

+
+
+

>

= =
=
( )
2
T
T T
T T
T 1
T T
k
T T
T T
T
enons l'expression originale
k
k k k k k k k k
k
k
k k k k k
k k k k k k k k
k k k
s x
x H x y H y x H y y H x
x H x
y H y s y
x H x y H y x H y y H x
y H y

+

= +

=
( )
( )
( )
T
1
1
2
T
T T
T T
T 1
T T
k
T T
T T
T
Par contre, si 0, puisque 0 par le lemme 3.12,
alors .
Revenons l'expression originale
T
k k k
k
k
k k k k k k k k
k
k
k k k k k
k k k k k k k k
k k
s x s f x
x f x
s x
x H x y H y x H y y H x
x H x
y H y s y
x H x y H y x H y y H x
y H y

+
+
+
= =
=

= +

=
( )
( )
1
2 T
T T
T T
T T
T 1
T
Substituant dans l'expression
on vrifie que cette dernire est positive.
Alors la preuve est complte puisque
0.
k
k
k k k k k k
k k k k k k k k
k
k k k
x f x
x H x y H y x H y
x H x y H y x H y y H x
x H x
y H y
+
+
=

= >
1
) Il est possible de dmontrer que si : est
quadratique et possde un minimum *, alors la
mthode dtermine * en itrations.
) Pour des fonctions gnrale
Notes
s, il est poss b
.
i
n
i f R R
x
x n
ii

le de dmontrer
que cette mthode a un ordre de convergence super linaire.
( )
T T
Type de mthodes prsent dans le cadre de la programmation
quadratique :
1
2
o est une matrice symtrique dfinie positive.
tant donn une
Mthodes de gradients conjugus
Dfinit ma ion: t
f x x Qx b x
Q n n
=

1 2
T
1 2
T T
1 2 1 2 1 2
1
Note.
rice symtrique , deux vecteurs
et sont ou si
0.
et sont orthogonaux si
-orthogonaux conjugu
0
Le vec
s par rapport
teurs unitaires , , qui sont orthogonaux deux

n
Q
d d
d Qd
d d d d d Id
e e
Q Q
=
= =

-orthogonaux deux, sont deux deux. I

( )
{ }
1
0
Supposons que la matrice est symtrique dfinie positive.
Soit un ensemble de vecteu
Thorme 3.14.
rs non-nuls qui sont
-orthogonaux deux deux. ta
Th
nt d
orme des directions conjuges
n
k
k
Q
d n
Q

=
{ }
( )
( )
( )
( )
0
1
T T
T T
2
T T
onn un point
quelconque, la suite gnre comme suit
0,1, , 1
o
,
1
converge vers l'unique minimum * de
2
aprs itrations i.e., *
n
k
k k k
k
k k k k
k
k k k k k
x R
x
x x d k n
f x d Qx b d
d f x d d Qd
x f x x Qx b x
n x

= + =

= =

( )
.
n
x =
( )
( )
( )
T T
2
1
2
f x x Qx b x
f x Qx b
f x Q
=
=
=
{ }
1
0
T
Mais comment dfinir un tel ensemble de vecteurs
-orthogonaux deux deux?
Il est possible de dmontrer que la mthode suivante gnre
un tel ensemble tout en rsolvant le problme
1
Min
2
n
k
k
n
x R
d n
Q
x

T
. Qx b x

`
)
( )
( )
( ) ( )
T T
0
0 0
T
0
T
1
1
tape 0. Soit . Choisir une solution
2
initiale .
1
Mtho
Dfinir
de du gradient conjug
.
Poser 0.
tape 1.

pou

r :
2

n
k k k
k
f x x Qx b x
x R
d f x Q
f x x Qx b
d
x
x b
k
x x
+
=

= =
=
= +
=
( )
( )
( )
T T
T T
2
o
k k k k
k
k k k k k
f x d Qx b d
d f x d d Qd

= =

( )
( )
( )
T T
2
1
2
f x x Qx b x
f x Qx b
f x Q
=
=
=
( )
( )
( )
( )
( ) ( )
( )
( )
1
T T
T T
2
1 1
T T
1 2 1
T T
2
tape 1.
o
o .
tape 2. Si ( 1) , a
k k k
k
k k k k
k
k k k k k
k k k
k
k k k k k
k
k k k k k
x x d
f x d Qx b d
d f x d d Qd
d f x d
f x f x d f x Qd
d f x d d Qd
k n

+
+ +
+ +
= +

= =

= +

= =

+ = lors * .
Si ( 1) , alors remplacer par 1 et
reprendre l'tape 1.
n
x x
k n k k
=
+ < +
( )
( )
( )
T T
2
1
2
f x x Qx b x
f x Qx b
f x Q
=
=
=
( )
2
0
0 0
2
tape 0. Soit .
Choisir une solution initiale .
Poser 0.
tape 1. a) P
Mthode du gradient conjug pour
oser et
b) Pour
quel
0
c n ue :

o q
n
k k
f C
x R
k
y x d f x
j n
f C

=
= =
=

( )
( )
1
T
T
2
1

o
j j j
j
j j
j
j j j
y y d
f y d
d f y d

+
= +

( )
( )
( )
( )
0 0
1
T
T
2
1 1
tape 1. a) Poser et
b) Pour 0 1

o
o
k k
j j j
j
j j
j
j j j
j j j
j
y x d f x
j n
y y d
f y d
d f y d
d f y d

+
+ +
= =
=
= +

= +
( ) ( )
( )
( )
T
1 2
T
2
1
1 1
.
c)
tape 2. Si 0, alors l'algo. s'arrte avec * .
Sinon remplacer par 1 et reprendre l'tape 1.
j j j
j
j j j
k n
k k
f y f y d
d f y d
x y
f x x x
k k

+
+
+ +

=

=
= =
+
( )
1
0
Dans plusieurs mthodes itratives, pour identifier il f
Optimisation unidimentionnelle approximative
(Inaccurate lin
aut
rsoudre le problme unidimentionnelle (line search)
Min
e searc
M
h):
in
k
x


+
> >
=
( ) ( ) ( )
0
afin de dterminer le pas optimal.
Il peut tre avantageux d'utiliser une approximation de en
completant une optimisation approximative comme suit.
Rappel: approximation linaire
k k k k
k k
k
f x d f x d

+ = + =
( ) ( ) ( )
de 0 est obtenue partir
du dveloppement de Taylor d'ordre 1:
0 0 .

+
( ) ( ) ( )

= 0 0

+
( ) ( )
0 0

+
( )

( ) ( ) ( )
Rappel: approximation linaire de 0 est obtenue partir
du dveloppement de Taylor d'ordre 1:
0 0 .
Pour dterminer une approximation acceptable du pas optimal
, nous considrons l'approximat
k

+
( ) ( ) ( )
ion suivante de :

= 0 0
pour une valeur fixe de entre 0 et 1 ( 0.2, par exemple).

+
=
( )
( )
( ) ( ) ( ) ( )
Une valeur est
,
si n'excde pas
acceptable
tout e

l'approximation
n n'tant pas trop
; i.e.,

=
grand
0 0
e

+
( ) ( )
( ) ( ) ( ) ( ) ( )
Une valeur est ,

si n'excde pas l'approximation ; i.e.,

= 0 0
acceptable tou
3.3
Pour s'assurer que la valeur de ch
t en n'tant pas trop gr
oisie n'est p
an
as
de

+
( ) ( ) ( ) ( )
doit satisfaire un des tests additionnels suivants:
la valeur est telle que

= 0 0 (3.4)
o >1 ( =2, pa
trop
Rg
r exemp
le d'
petit
Arm
l
e
j
e)
i

o:

> +
( ) ( )
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
Rgle d'Armijo:

n'excde pas l'approximation ; i.e.,

= 0 0 3.3
la valeur est telle que

= 0 0 (3.4)
o >1 ( =2, par ex

> +
emple)
Ainsi, si est multipli par
un facteur gal a , alors
la relation (3.3) n'est plus
vrifie.

( ) ( ) ( )

= 0 0

+
( ) ( )
0 0

+
( )

valeurs acceptables de
( ) ( ) ( )

= 0 0

+
( ) ( )
0 0

+
( )

valeurs acceptables de
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
Implmentation de la rgle d'

= 0 0 3.3

= 0 0 (3.4)
Choisir une certaine valeur
Armi
de
Si (3.3) est satisfaite, multiplier r
jo:
p

> +

tition par jusqu'

ce que (3.3) ne soit plus satisfaite. Alors la valeur prcdente
parmi la suite des valeurs obtenues est celle du pas retenu.

2 4
Le pas 2 satisfait la condition d'Armijo
( ) ( ) ( )

= 0 0

+
( ) ( )
0 0

+
( )

valeurs acceptables de

1
2

1
Le pas satisfait la condition d'Armijo
2

Si (3.3) n'est pas satisfaite, diviser rptition par

jusqu' ce que (3.3) soit vrifie. Cette dernire valeur
satisfaisant (3.3) est celle du pas retenu puisque la multiplier
par ent

rane que (3.3) n'est plus vrifie.

( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )

= 0 0 3.3

= 0 0 (3.4)

> +
( ) ( )
( ) ( ) ( ) ( ) ( )
Une valeur est ,

si n'excde pas l'approximation ; i.e.,

= 0 0
acceptable tou
3.3
Pour s'assurer que la valeur de ch
t en n'tant pas trop gr
oisie n'est p
an
as
de

+
( ) ( ) ( ) ( )
doit satisfaire un des tests additionnels suivants:
la valeur est telle que
0 1 0
Rgle de Gold

trop petite
(3.
stein:
5)
1
o 0
2

> +
< <
( ) ( )
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
Rgle de Golds

n'excde pas l'approximation ; i.e.,

= 0 0 3.3
la valeur est telle que
0 1 0
tein:
(3.5)
1
o 0
2

> +
< <
( ) ( ) ( )

= 0 0

+
( ) ( )
0 0

+
( )

valeurs acceptables de
( ) ( ) ( )
0 1 0

+
( ) ( )
( ) ( ) ( ) ( ) ( )
Une valeur est ,

si n'excde pas l'approximation ; i.e.,

= 0 0
acceptable tou
3.3
Pour s'assurer que la valeur de ch
t en n'tant pas trop gr
oisie n'est p
an
as
de

+
( ) ( ) ( )

doit satisfaire un des tests additionnels suivants:
la valeur est telle que
1 0 (3.6)
1
o
Rgle de Wol
tr
0
2
op pe

e:
e
f
tit

< <
( ) ( )
( ) ( ) ( ) ( ) ( )
( ) ( ) ( )
Rgle de Wolfe:

n'excde pas l'approximation ; i.e.,

= 0 0 3.3
la valeur est telle que
1 0 (3.6)
1




o 0

+


< <
2
( ) ( ) ( )

= 0 0

+
( ) ( )
0 0

+
( )

valeurs acceptables de
( ) ( )
1 0

Lapplication de ces rgles pour dterminer le pas prserve

quand mme la convergence des mthodes.