Sie sind auf Seite 1von 6

Optimisation continue, Istil 2ème année

Corrigé de la feuille 3 1

Optimisation Continue
ISTIL 2ème année
Corrigé de la feuille 31

Exercice 1 : Gradient à pas variable

1.a La fonctionnelle J est elliptique, donc elle est strictement convexe. On en déduit
que le minimum, s’il existe, est unique. De plus, toujours du fait de l’ellipticité de
J, cette fonctionnelle est coercive. En outre, elle est continue. On en déduit qu’elle
admet un minimum. Ainsi
J admet un unique minimum
Comme J est de classe C 1 , le minimum u de J sur un espace vectoriel est caractérisé
par l’équation d’Euler
J′ (u) = 0

1.b D’après la définition de la suite (uk )k∈N , nous avons

uk+1 − u = uk − ρk J′ (uk ) − u

d’où kuk+1 − uk2 = kuk − u − ρk J′ (uk )k2


= kuk − uk2 + kρk J′ (uk )k2 − 2ρk (uk − u, J′ (uk ))
= kuk − uk2 + ρ2k kJ′ (uk )k2 − 2ρk (uk − u, J′ (uk ))
La condition Lipschitzienne sur J donne

kJ′ (uk )k = kJ′ (uk ) − J′ (u)k 6 Mkuk − uk

d’où ρ2k kJ′ (uk )k2 6 ρ2k M2 kuk − uk2


Utilisons maintenant la condition d’ellipticité de J

(uk − u, J′ (uk )) = (uk − u, J′ (uk ) − J′ (u)) > αkuk − uk2

soit −2ρk (uk − u, J′ (uk )) 6 −2ρk αkuk − uk2


En utilisant les deux inégalités que l’on vient de trouver, on obtient
kuk+1 − uk2 6 kuk − uk2 + ρ2k M2 ku 2
 k − uk 2− 2ρk αkuk − uk
2
2 2
6 M ρk − 2αρk + 1 kuk − uk

On en déduit que kuk+1 − uk2 6 τ (ρk )kuk − uk2


avec
τ (ρk ) = M2 ρ2k − 2αρk + 1
1 généré avec L
AT X 2ε . Tous les commentaires, compléments, insultes et remarques désobligeantes
E
sont les bienvenus à perrier@math.u-bordeaux1.fr
Optimisation continue, Istil 2ème année
2 Corrigé de la feuille 3

 
2 2 2α
2
1.c On a τ (ρ) = M ρ − 2αρ + 1 = M ρ ρ − 2 +1
M

On en déduit que si ρ6b< 2
M
2α 2α
alors ρ− 2 6b− 2 <0
 M  M
 
2α 2α
d’où M2 ρ ρ − 2 6 M2 a b − 2 < 0
M   M

soit τ (ρ) 6 M2 a b − 2 + 1 < 1
M
s  
2

Posons β = M a b− 2 +1<1
M

On a alors kuk+1 − uk 6 βkuk − uk


Montrons à présent par récurrence la propriété suivante

P(k) : « kuk − uk 6 β k ku0 − uk »

• P(0) La propriété est évidente.


• P(k) =⇒ P(k + 1) Supposons que P(k) soit vraie. Alors

kuk − uk 6 β k ku0 − uk

D’après ce que l’on a montré auparavant dans la question

kuk+1 − uk 6 βkuk − uk 6 β k+1 ku0 − uk

Donc P(k + 1) est vraie.


• Conclusion pour tout entier k, P(k) est vraie.

D’où ∃β ∈ ] 0 ; 1 [ kuk − uk 6 β k ku0 − uk

1.d On s’intéresse au cas de la fonctionnelle elliptique

1
J : v ∈ Rn 7−→ (Av, v) − (b, v)
2

Dans ce cas, on a ∀u, v ∈ V J′ (u)v = (Au − b, v)


On en déduit que pour tout vecteur x de norme inférieure à 1

|(J′ (u) − J′ (v), x)| = |(A(u − v), x)| 6 kA(u − v)kkxk 6 kA(u − v)k

Par ailleurs, on a

(J′ (v) − J′ (u), v − u) = (J′ (v), v − u) − (J′ (u), v − u)


= (Av − b, v − u) − (Au − b, v − u)
= (A(v − u), v − u)
Optimisation continue, Istil 2ème année
Corrigé de la feuille 3 3

La matrice A est symétrique définie positive, donc elle est diagonalisable en base
orthonormée (e1 , . . . , en ), et ses valeurs propres λ1 6 λ2 . . . 6 λn sont positives. On
a donc   n  n 
P P
(Ax, x) = A xi ei , xj ej
i=1 i=1
n P
P n
= xi xj (Aei , ej )
i=1j=1
Pn Pn
= xi xj λi (ei , ej )
i=1j=1
Pn
= λi x2i
i=1
n
P
> λ1 x2i
i=1
(Ax, x) > λ1 kxk2

 
d’où (J′ (v) − J′ (u), v − u) > min λ ku − vk2
λ∈Sp(A)

de même, on a kAxk2 = (Ax, Ax)


Pn
= λ2i x2i
i=1
n
P
6 λ2n x2i
i=1
kAxk2 6 λ2n kxk2

soit kAxk 6 λn kxk


 
′ ′
En conclusion kJ (u) − J (v)k 6 max λ ku − vk
λ∈Sp(A)
Optimisation continue, Istil 2ème année
4 Corrigé de la feuille 3

Exercice 2 : Méthode B de quasi Newton

2.a Dans le cas n = 1, la méthode s’écrit

f (xk−1 ) − f (xk )
f (xk ) + (xk+1 − xk ) = 0
xk−1 − xk

Le point xk+1 est donc l’intersection de la droite passant par les points

(xk , f (xk )) et (xk−1 , f (xk−1 )),

avec l’axe des abscisses. Cette méthode peut se représenter graphiquement de la


manière suivante

f (xk−1 )

f (xk )

xk+1 xk xk−1

Cette méthode est connue, en dimension 1 sous le nom de méthode de la sécante.

2.b Grâce à la relation (2), on connaît l’image Rs par la matrice B̄. La relation (3)
permet de connaître l’image de s⊥ par B̄. On connaît donc l’image de s ⊕ s⊥ = Rn
par la matrice B̄. Si on suppose qu’il existe B̄1 et B̄2 vérifiant (2) et (3), alors elles
coïncident sur s et s⊥ , donc sur Rn . On en déduit que la matrice B̄ est unique si elle
existe.
De plus, si on pose, comme suggéré par l’énoncé
t
(y − Bs) s
B̄ = B + t ,
ss

t
(y − Bs) s s
alors B̄s = Bs + t
ss
= Bs + y − Bs
=y

t
(y − Bs) s z
et, pour tout z ∈ s⊥ B̄z = Bz + t
ss
= Bz
Optimisation continue, Istil 2ème année
Corrigé de la feuille 3 5

Donc la matrice donnée par l’énoncé vérifie bien les


conditions (3) et (4).

2.c Commençons par montrer que la norme de Frobenius est une norme d’opérateur.
n
P 2
kABk2F = (AB)i,j
i,j=1
n
 n 2
P P
= ai,k bk,j
i,j=1 k=1

 2   
n
P n
P n
P
or ∀i, j ai,k bk,j 6 a2i,k b2l,j
k=1 k=1 l=1

n
P
d’où kABk2F 6 a2i,k b2l,j = kAk2F kBk2F
i,j,k,l=1

b une matrice telle que Bs


Soit B b = y. Alors
t
b − Bs) s b − B)s s t t
(y − Bs) s (Bs (B
B̄ − B = t = t = t
ss ss ss

b − BkF ks s kF t
kB
d’où kB̄ − BkF 6
t
s s
t
Si s a pour coordonnées (s1 , s2 . . . , sn ), alors la matrice s s a pour terme général
si sj . On a donc
t
n
P Pn n
P
ks s k2F = s2i s2j = s2i s2j = ksk4
i,j=1 i=1 j=1
t t
On en déduit en particulier que ks s kF = s s. On trouve donc que
b
∀B b=y
B b − Bk
kB̄ − BkF 6 kB

La matrice B̄ est donc une solution du pro-


blème d’optimisation.
t
2.d Supposons que σ = 1 + v A−1 u 6= 0. Alors on a
  1 −1 t −1
   1 −1 t

t −1 −1 t
A+u v A − A u vA = A id +A u v id − A u v A−1
σ  σ
1 −1 t
= A id − A u v
σ 
−1 t 1 −1 t −1 t
+A u v − A u v A u v A−1
 σ
1 −1 t
= A id − A u v
σ !
t
−1 t v A−1 u −1 t
+A u v − A u v A−1
σ
!
t
− v A−1 u − 1 + σ
= A id + A−1
σ
= AA−1
= id
Optimisation continue, Istil 2ème année
6 Corrigé de la feuille 3

t
On en déduit que la matrice A + u v est une matrice régulière, dont l’inverse est
1 −1 t −1
A−1 −
A u vA
σ
Afin de montrer la réciproque, nous allons montrer la contraposée : supposons que
t
σ = 0. Montrons que la matrice A + u v n’est alors pas inversible. On a
 
t t t t t
A−1 u v A−1 u v = v A−1 u A−1 u v = −A−1 u v
 
t t
d’où A−1 u v A−1 u v + id = 0
  
t t
donc le couple A−1 u v, A−1 u v + id est un couple diviseur de zéro. On en
déduit qu’aucune de ces deux matrices n’est inversible.
2.e La méthode (1), (6) s’écrit

 f (xk ) + Bk (xk+1 − xk ) = 0
t
(yk − Bk sk ) sk
 Bk+1 = Bk + t
sk sk
L’itération de Newton s’écrit en fait
xk+1 = xk − Hk f (xk )

avec Hk = B−1
k
Appliquons la question 2.d à Bk , avec

 u = yk − Bk sk
t
sk sk

v = sk
On a alors
Hk+1 = B−1
 k+1 −1
t
= Bk + u v
1 t
= B−1
k − t B−1k u v Bk
−1
1 + uv
1 yk − Bk sk t
= B−1
k − B−1
k t sk B−1
k
t −1 (y k − B s
k k ) sk sk
1 + sk Bk t
sk sk
t
sk sk y k − Bk sk t
= B−1
k − t −1
B−1
k t sk B−1
k
sk Bk yk sk sk
1 t
= B−1
k − t B−1
k (yk − Bk sk ) sk Bk
−1
sk B−1 k y k
1 t
= B−1
k − t (B−1
k yk − sk ) sk Bk
−1
sk B−1 k y k
1 t
Hk+1 = Hk − t (Hk yk − sk ) sk Hk
sk Hk yk

1 t
soit Hk+1 = Hk − t (Hk yk − sk ) sk Hk
sk Hk yk

Das könnte Ihnen auch gefallen