Examen 2015-2016

Modélisation Mathématique et Méthodes d’optimisation

1h30
Les documents ne sont pas autorisés

Exercice 1 : 7 pts
Une réponse exacte= 1, une réponse inexacte= 0.5 et pas de réponse= 0

Question 1 Si 𝑨 ∈ 𝑴𝒏 (ℝ) alors 𝒕𝑨 𝑨 est symétrique définie positive.

Vrai  Faux X
1 0 0 1 0 0 1 0 0 1 0 0
𝐴 = [0 −1 0] ⟹ [0 −1 0] [0 −1 0] = [0 1 0] symétrique positive non définie
0 0 0 0 0 0 0 0 0 0 0 0

Question 2 Si 𝑨 ∈ 𝑴𝟑 (ℝ) est triangulaire inférieur inversible alors la méthode de Jacobi

converge.
Vrai X Faux 
𝑎
𝑖𝑗
𝐽 = 𝐷 −1 𝐸 ⟹ 𝐽𝑖𝑗 = − 𝑎𝑖𝑖 ⟹ 𝐽 triangulaire inférieure stricte ⟹ rayon spectral de 𝐽 nul⟹ la
méthode converge

Soit 𝑨 = (𝟐 𝟏), alors 𝑪𝒐𝒏𝒅𝟐 (𝑨) = 𝟓−√𝟓 .

𝟓+√𝟓
Question 3
𝟏 𝟑
Vrai X Faux 
plus grande valeur propre
𝐴 symétrique définie positive ⟹ 𝐶𝑜𝑛𝑑2 (𝐴) = plus petite valeur propre

Question 4 Soient les deux méthodes itératives : (𝑴𝟏 ): 𝒙(𝒌+𝟏) = 𝑩𝟏 𝒙(𝒌) + 𝒄𝟏 et (𝑴𝟐 ): 𝒙(𝒌+𝟏) =
𝑩𝟐 𝒙(𝒌) + 𝒄𝟐 , telles que 𝝆(𝑩𝟏 ) < 𝝆(𝑩𝟐 ). (𝑴𝟏 ) converge plus rapidement que (𝑴𝟐 ).
Vrai  Faux X
𝑒 = 𝐵𝑘 𝑒 (0)
(𝑘)
(𝑘) (𝑘) 1
Soit 𝑥̅ la solution. On pose 𝑒 = 𝑥 − 𝑥̅ . On a { .
lim ‖𝐵𝑘 ‖𝑘 = 𝜌(𝐵)
𝑘→+∞
𝑀1 converge plus vite si jamais son rayon spéctral est inférieur à 1

Question 5 Si 𝑨 est symétrique alors ‖𝑨‖𝟐 ≤ ‖𝑨‖ où ‖. ‖ est une norme matricielle quelconque.
Vrai X Faux 
 𝜚(𝐴) ≤ ‖𝐴‖ ∀‖∙‖ norme matricielle
Soit 𝜚(𝐴) est le rayon spectral de 𝐴. { .
‖𝐴‖2 = 𝜚(𝐴) pour 𝐴 symétrique

Question 6 Si 𝑨 ∈ 𝑴𝟑 (ℝ) est triangulaire inférieur inversible alors la méthode de Gauss

Seidel converge.
Vrai X Faux 
ℒ1 = (𝐷 − 𝐸)−1 𝐹 = 0 ⟹ Rayon spectral de ℒ1 nul⟹ la méthode converge en une itération

𝟐 𝟑 𝟏 𝟏 √𝟑), alors 𝑪𝒐𝒏𝒅 (𝑨𝑶) = 𝑪𝒐𝒏𝒅 (𝑨).

Question 7 Soit 𝑨 = ( ) 𝒆𝒕 𝑶 = 𝟐 ( 𝟐 𝟐
𝟐 𝟒 −√𝟑 𝟏
Vrai X Faux 

𝑂𝑂𝑇 = 𝑂𝑇 𝑂 = 𝐼2.

Problème
Soit 𝑛 ∈ ℕ∗. Nous notons par ⟨∙ | ∙⟩ est le produit scalaire canonique défini sur ℝ𝑛 et par‖∙‖2la norme
qui lui est associée. On note par 𝐼𝑛 la matrice identité de ℳ𝑛 (ℝ).

Soit 𝑏 ∈ ℝ𝑛 et soit 𝐴 ∈ ℳ𝑛 (ℝ) symétrique définie positive. On écrit 𝐴 = 𝐷 − 𝐸 − 𝐸 𝑇 où 𝐷 et 𝐸 sont

respectivement la matrice diagonale et la matrice triangulaire inférieure stricte issue de 𝐴.

On considère
𝑓: ℝ𝑛 ⟶ ℝ
1
𝑥 ⟼ ⟨𝐴𝑥|𝑥⟩ − ⟨𝑏|𝑥⟩
2
Nous rappelons qu’une méthode de descente est une méthode qui s’écrit :

𝑥 (0) ∈ ℝ𝑛 , donné
{
𝑥 (𝑘+1) = 𝑥 (𝑘) + 𝛼𝑘 𝑤 (𝑘)

Où 𝛼𝑘 ∈ ℝ+ et 𝑤 (𝑘) ∈ ℝ𝑛 sont respectivement le pas et la direction de descente à l’itération 𝑘.

̅ ∈ ℝ𝒏. Montrer que 𝒇(𝒙

1- Soit 𝒙 ̅) = 𝐢𝐧𝐟
𝒏
̅ = 𝒃.
𝒇(𝒙) ⟺ 𝑨𝒙
ℝ
𝑓 ∈ 𝒞 1 (ℝ𝑛 , ℝ), strictement convexe ⟹ 𝑓(𝑥̅ ) = inf
𝑛
𝑓(𝑥) ⟺ ∇𝑓(𝑥̅ ) = 𝐴𝑥̅ − 𝑏 = 0 ⟺ 𝐴𝑥̅ = 𝑏
ℝ

̅ est unique
2- Montrer que 𝒙
𝑓 ∈ 𝒞 0 (ℝ𝑛 , ℝ)
{ lim 𝑓(𝑥) = +∞
‖𝑥‖→+∞
⟹ existence et unicité d′ un minimum
𝑓 strictement convexe

3- Montrer que la méthode de Jacobi peut être écrite comme une méthode de descente à pas fixe
pour la minimisation de 𝒇 . Donner la valeur du pas et l’expression de la direction de descente.
Montrer que cette direction de descente est stricte tant que 𝒙(𝒌) ≠ 𝑨−𝟏 𝒃 .
La matrice d’itération de Jacobi est 𝐽 = 𝐷 −1 (𝐸 + 𝐸 𝑇 ) et l’algorithme est :

𝑥 (0) ∈ ℝ𝑛 , donné
{
𝑥 (𝑘+1) = 𝐽𝑥 (𝑘) + 𝐷 −1 𝑏
 𝑥 (0) ∈ ℝ𝑛 , donné
⟺ { (𝑘+1)
𝑥 = 𝑥 (𝑘) + (𝐽 − 𝐼)𝑥 (𝑘) + 𝐷 −1 𝑏

𝑥 (0) ∈ ℝ𝑛 , donné
⟺ { (𝑘+1)
𝑥 = 𝑥 (𝑘) + 𝐷 −1 ((𝐸 + 𝐸 𝑇 − 𝐷)𝑥 (𝑘) + 𝑏)

𝑥 (0) ∈ ℝ𝑛 , donné
⟺{
𝑥 (𝑘+1) = 𝑥 (𝑘) + 𝐷 −1 (𝑏 − 𝐴𝑥 (𝑘) )

𝑥 (0) ∈ ℝ𝑛 , donné
⟺{
𝑥 (𝑘+1) = 𝑥 (𝑘) + (−𝐷−1 ∇𝑓(𝑥 (𝑘) ))

Pour 𝑥 (𝑘) ≠ 𝐴−1 𝑏 ⟺ ∇𝑓(𝑥 (𝑘) ) ≠ 0, ⟨−𝐷 −1 ∇𝑓(𝑥 (𝑘) )|∇𝑓(𝑥 (𝑘) )⟩ < 0 car 𝐷 −1 est définie positive.

Donc la méthode de Jacobi peut être considérée comme une méthode de descente à pas fixe égal à 1
et de direction de descente stricte, si 𝑥 (𝑘) ≠ 𝐴−1 𝑏, à l’itération 𝑘 égale à 𝑤 (𝑘) = −𝐷 −1 ∇𝑓(𝑥 (𝑘) ).

4- Nous voulons améliorer cette méthode en cherchant le pas optimal dans la direction de descente.
a- Donner le polynôme de degré 𝟐 à minimiser pour trouver l’expression du pas optimal
Pour trouver le pas optimal à l’itération 𝑘 nous devons minimiser
𝜑(𝛼) = 𝑓(𝑥 (𝑘) + 𝛼𝑤 (𝑘) )
1
= ⟨𝐴(𝑥 (𝑘) + 𝛼𝑤 (𝑘) )|𝑥 (𝑘) + 𝛼𝑤 (𝑘) ⟩ − ⟨𝑏|𝑥 (𝑘) + 𝛼𝑤 (𝑘)⟩
2
1 1
= ⟨𝐴𝑥 (𝑘) |𝑥 (𝑘) ⟩ − ⟨𝑏|𝑥 (𝑘) ⟩ + 𝛼⟨𝐴𝑥 (𝑘) − 𝑏|𝑤 (𝑘)⟩ + 𝛼 2 ⟨𝐴𝑤 (𝑘) |𝑤 (𝑘) ⟩
2 2
1
= 𝑓(𝑥 (𝑘) ) + 𝛼⟨∇𝑓(𝑥 (𝑘) )|𝑤 (𝑘)⟩ + 𝛼 2 ⟨𝐴𝑤 (𝑘) |𝑤 (𝑘) ⟩
2

b- Donner le pas optimal 𝜶𝒌 en fonction de 𝒈(𝒌) le gradient de 𝒇 en 𝒙(𝒌) , de 𝑫 et de 𝑨

Le pas optimal est 𝛼𝑘 tel que 𝜑′ (𝛼𝑘 ) = 0 ⟹ ⟨∇𝑓(𝑥 (𝑘) )|𝑤 (𝑘) ⟩ + 𝛼𝑘 ⟨𝐴𝑤 (𝑘) |𝑤 (𝑘)⟩ = 0 ⟹
(𝑘)
⟨∇𝑓(𝑥 )|𝑤 (𝑘) ⟩ ⟨𝑔
(𝑘) −1 (𝑘)
|𝐷 𝑔 ⟩
𝛼𝑘 = − (𝑘) (𝑘) = −1 (𝑘) −1 (𝑘)
⟨𝐴𝑤 |𝑤 ⟩ ⟨𝐴𝐷 𝑔 |𝐷 𝑔 ⟩

(𝒌) (𝒌) 𝟐
(𝒌+𝟏) (𝒌) 𝟏 ⟨𝒈 |𝒘 ⟩
5- Montrer que 𝒇(𝒙 ) − 𝒇(𝒙 )= −𝟐 (𝒌) (𝒌) ’
⟨𝑨𝒘 |𝒘 ⟩
1
D’après 4 − 𝑎, on a : 𝑓(𝑥 (𝑘+1) ) − 𝑓(𝑥 (𝑘) ) = 𝛼𝑘 ⟨∇𝑓(𝑥 (𝑘) )|𝑤 (𝑘)⟩ + 2 𝛼𝑘2 ⟨𝐴𝑤 (𝑘) |𝑤 (𝑘) ⟩
2
⟨𝑔(𝑘) |𝐷 −1 𝑔(𝑘)⟩ (𝑘) −1 (𝑘)
1 ⟨𝑔(𝑘) |𝐷 −1 𝑔(𝑘) ⟩
= ⟨𝑔 |−𝐷 𝑔 ⟩+ ( ) ⟨𝐴𝐷 −1 𝑔(𝑘)|𝐷 −1 𝑔(𝑘)⟩
⟨𝐴𝐷 −1 𝑔(𝑘) |𝐷 −1 𝑔(𝑘)⟩ 2 ⟨𝐴𝐷 −1 𝑔(𝑘) |𝐷 −1 𝑔(𝑘) ⟩
2 2
(⟨𝑔(𝑘)|𝐷 −1 𝑔(𝑘)⟩) 1 (⟨𝑔(𝑘)|𝐷 −1 𝑔(𝑘)⟩)
=− +
⟨𝐴𝐷 −1 𝑔(𝑘)|𝐷 −1 𝑔(𝑘)⟩ 2 ⟨𝐴𝐷 −1 𝑔(𝑘)|𝐷 −1 𝑔(𝑘) ⟩
2
1 (⟨𝑔(𝑘)|𝑤 (𝑘)⟩)
=−
2 ⟨𝐴𝑤 (𝑘) |𝑤 (𝑘) ⟩
6-
𝟐
a- Montrer qu’il existe 𝝀 ∈ ℝ∗+ tel que ⟨𝑨𝒘(𝒌) |𝒘(𝒌) ⟩ ≤ 𝝀‖𝒈(𝒌) ‖𝟐
 ⟨𝐴𝑤 (𝑘) |𝑤 (𝑘)⟩ Soit (𝑣 𝑖 )1≤𝑖≤𝑛 une base orthonormée de vecteurs propres de 𝐴 et soit
(𝜆𝑖 )1≤𝑖≤𝑛 les valeurs propres qui leurs sont associées avec 0 < 𝜆1 ≤ 𝜆2 ≤ ⋯ ≤ 𝜆𝑛 . Nous
(𝑘) (𝑘) (𝑘)
pouvons écrire 𝑤 (𝑘) = ∑𝑛𝑖=1 𝜉𝑖 𝑣 𝑖 ⟹ ⟨𝐴𝑤 (𝑘)|𝑤 (𝑘)⟩ = ⟨∑𝑛𝑖=1 𝜉𝑖 𝜆𝑖 𝑣 𝑖 | ∑𝑛𝑖=1 𝜉𝑖 𝑣𝑖⟩ =
2 2 (𝑘) 2
𝑔 𝜆𝑛 (𝑘) 2
∑𝑛𝑖=1 𝜆𝑖 (𝜉𝑖(𝑘) ) ≤ 𝜆𝑛 ∑𝑛𝑖=1 (𝜉𝑖(𝑘) ) = 𝜆𝑛 ∑𝑛𝑖=1 ( 𝑖 ) ≤ ‖𝑔 ‖2
𝑎 𝑖𝑖 min 𝑎𝑖𝑖
1≤𝑖≤𝑛

b- Montrer qu’il existe 𝜶 ∈ ℝ∗+ tel que |⟨𝒈(𝒌) |𝒘(𝒌) ⟩| ≥ 𝜶‖𝒈𝒌 ‖𝟐𝟐
𝑛 (𝑘) 2
(𝑔𝑖 ) 1 2
|⟨𝑔(𝑘) |𝑤 (𝑘)⟩| = ∑ ≥ ‖𝑔(𝑘) ‖2
𝑎𝑖𝑖 max 𝑎𝑖𝑖
𝑖=1 1≤𝑖≤𝑛

c- En déduire qu’il existe 𝜼 ∈ ℝ∗+ tel que |𝒇(𝒙(𝒌+𝟏) ) − 𝒇(𝒙(𝒌) )| ≥ 𝜼‖𝒈𝒌 ‖𝟐𝟐 puis que 𝑥 (𝑘)
→ 𝑥̅
𝑘→+∞
(𝑘) (𝑘) 2
(𝑘+1) (𝑘) 1 (⟨𝑔 |𝑤 ⟩) 1 min 𝑎𝑖𝑖 2
- |𝑓(𝑥 ) − 𝑓(𝑥 )| = 2 ⟨𝐴𝑤 (𝑘) (𝑘) ≥ 2𝜆 1≤𝑖≤𝑛
2 ‖𝑔(𝑘) ‖2
|𝑤 ⟩ 𝑛 ( max 𝑎𝑖𝑖 )
1≤𝑖≤𝑛
1 min 𝑎𝑖𝑖 2
- Comme 1≤𝑖≤𝑛
2𝜆𝑛 ( max 𝑎 )2
‖𝑔(𝑘) ‖2 ≤ |𝑓(𝑥 (𝑘+1)
) − 𝑓(𝑥 (𝑘) )| → 0 ⟹ 𝑔(𝑘) → 0⟹
𝑘→+∞ 𝑘→+∞
𝑖𝑖
1≤𝑖≤𝑛
𝐴𝑥 (𝑘) − 𝑏 → 0 ⟹ 𝐴(𝑥 (𝑘) − 𝑥̅ ) → 0 ⟹ 𝑥 (𝑘) → 𝑥̅
𝑘→+∞ 𝑘→+∞ 𝑘→+∞
-
7- Soit 𝒅 ∈ ℝ. On suppose que 𝑫 = 𝒅𝑰𝒏
a- Ecrire l’algorithme du pas optimal dans ce cas
Nous savons que l’algorithme dans le cas général est

𝑥 (0) ∈ ℝ𝑛 , donné
{
𝑥 (𝑘+1) = 𝑥 (𝑘) + (−𝐷−1 ∇𝑓(𝑥 (𝑘) ))

Le pas optimal est dans le cas où 𝐷 = 𝑑𝐼𝑛 est égal à

⟨𝑔(𝑘) |𝐷 −1 𝑔(𝑘) ⟩ ⟨𝑔(𝑘)|𝑔(𝑘)⟩

𝛼𝑘 = =𝑑
⟨𝐴𝐷 −1 𝑔(𝑘) |𝐷 −1 𝑔(𝑘) ⟩ ⟨𝐴𝑔(𝑘) |𝑔(𝑘) ⟩

Ce qui fait que l’algorithme devient :

𝑥 (0) ∈ ℝ𝑛 , donné
Pour 𝑘 = 0,1, …
𝑔(𝑘) = 𝐴𝑥 (𝑘) − 𝑏
⟨𝑔(𝑘)|𝑔(𝑘)⟩
𝛼𝑘 =
⟨𝐴𝑔(𝑘) |𝑔(𝑘) ⟩
{𝑥 (𝑘+1) = 𝑥 (𝑘) − 𝛼𝑘 𝑔(𝑘)

b- Comparez les algorithmes de descente de Jacobi et Jacobi à pas optimal aux algorithmes du
gradient à pas fixe et à pas optimal que vous connaissez.
L’algorithme de Jacobi à pas constant correspond dans ce cas à l’algorithme du gradient à
pas constant et l’algorithme de Jacobi à pas optimal correspond à l’algorithme du gradient
à pas optimal.