Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

Fonction de plusieurs variables: Extremums avec contraintes

Metrane Abdelmoutalib
ENSA DE KHOURIBGA

October 4, 2010

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

DEFINITIONS OPTIMISATION SANS CONTRAINTES Conditions doptimalit e G en eralisation de la condition n ec essaire du second ordre Condition susante doptimalit e du second dordre Conditions doptimalit e pour les probl` emes de maximisation METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES D enition du probl` eme Optimisation sous une contrainte d egalit e Optimisation avec une contrainte din egalit e

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

minimun global(absolu) Une solution x est un minimun global(absolu) de la fonction f sur le domaine S si f (x ) f (x ) x S la valeur optimale est f (x ) Soit >0 B (x ) = {x Rn : x x < } Cet ensemble est commun ement appel e boule de rayon minimun local Une solution x est un minimun local de la fonction f sur le domaine S si f (x ) f (x ) x S B (x ) centr ee en x .

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

Rappel Le gradient dune fonction, f : Rn R di erentiable, evalu e au point x Rn n est un vecteur de R s ecrivant: f (x ) = f f f , , ..., x1 x2 xn existent et sont continues, alors la fx1 x2 fx2 x2 . . . fxn x2 .. . fx1 xn fx2 xn . . . fxn xn

De plus, si les deriv ees secondes de f matrice Hessienne s ecrit: fx1 x1 fx2 x1 2 f = . . . fxn x1

Exemple: Trouver le vecteur gradient et la matrice Hessienne de la fonction f (x , y ) = (x 2y )2 e x

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

Conditions doptimalit e G en eralisation de la condition n ec essaire du second ordre Condition susante doptimalit e du second dordre Conditions doptimalit e pour les probl` emes de maximisation

Dans cette section, nous consid erons le probl` eme suivant minx Rn f (x ). La fonction f est appel ee fonction objectif. Th eor` eme (Condition n ec essaire du 1er ordre) Si x est un minimun local de la fonction f sur Rn alors f (x ) = 0 Point critique Le point x est appel e point critique si f (x ) = 0 Exemple D eterminer les points critiques de la fonction 3 f (x , y ) = 1 x +4 y 3 x 2 3x 4y 3 3 3

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

Conditions doptimalit e G en eralisation de la condition n ec essaire du second ordre Condition susante doptimalit e du second dordre Conditions doptimalit e pour les probl` emes de maximisation

Rappel : D enitions Une matrice A de dimension n n est dite Semi-d enie positive si D enie positive si Semi-d enie n egative si D enie n egative si
T

y T Ay 0 y Ay > 0 y T Ay < 0 y T Ay 0

y R n y R n

y Rn \{0} y Rn \{0}

Th eor` eme (Condition n ecessaire du second ordre : G en eralisation) Si x est un minimun local de la fonction f sur Rn , alors f (x ) = 0 et y T 2 f (x )y 0 y Rn (i.e la matrice Hessienne 2 f (x ) est semi-d enie positive). Exemple Identier tous les points critiques de cette fonction f (x , y ) = 6x 2 + y 3 + 6xy + 3y 2 , et utiliser les conditions doptimalit e an de d eterminer leur nature (minimum, maximum ou point de selle)
Metrane Abdelmoutalib Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

Conditions doptimalit e G en eralisation de la condition n ec essaire du second ordre Condition susante doptimalit e du second dordre Conditions doptimalit e pour les probl` emes de maximisation

Th eor` eme (Condition susante du second ordre) Soit x Rn . Si f (x ) = 0, et si y T 2 f (x )y > 0 y Rn {0}(i.e 2 f (x ) est d enie positive), alors x est un minimun local de la fonction f sur n R D enition du point selle : G en eralisation Le point x est appel e point selle si f (x ) = 0 et la matrice hessienne 2 f (x ) est ind enie (nest ni semi-d enie positive, ni d enie positive, ni semi-d enie n egative, ni d enie n egative).

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

Conditions doptimalit e G en eralisation de la condition n ec essaire du second ordre Condition susante doptimalit e du second dordre Conditions doptimalit e pour les probl` emes de maximisation

Th eor` eme (Condition n ec essaire du 1er ordre) Si x est un maximun local de la fonction f sur Rn , alors f (x ) = 0 Th eor` eme (Condition n ecessaire du second ordre ) Si x est un maximun local de la fonction f sur Rn , alors f (x ) = 0 et y T 2 f (x )y 0 y Rn (i.e la matrice Hessienne 2 f (x ) est semi-d enie n egative). Th eor` eme (Condition susante du second ordre) Soit x Rn . Si f (x ) = 0, et si y T 2 f (x )y < 0 y Rn {0}(i.e 2 f (x ) est d enie n egative). Alors x est un maximun local de la fonction f n sur R .

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

METHODE DU GRADIENT(pour un probl` eme de minimisation) Etape 0 : INITIALISATION: - Soit x0 Rn un estim e de la solution. - Poser le compteur k 0. Etape 1 : EVALUATION DU GRADIENT: - Calculer la direction dk = f (xk ). - Si dk = 0 alors terminer lalgorithme avec un point critique xk . Etape 2 : RECHERCHE DANS LA DIRECTION DE DESCENTE: - Soit xk +1 la solution produite par la r esolution du probl` eme de minimisation ` a une variable min h()
0

o` u

h() = f (xk + dk )

- k = argmin(h), xk +1 = xk + k dk - Poser k k + 1, et retourner ` a l etape 1. Exemple: Consid erer la fonction ` a minimiser f (x1 , x2 ) = (x1 2)2 + (x2 3)2 avec x = (x1 , x2 ). Appliquer cette m ethode pour determiner un point critique ` a partir du point P0 = (0, 0).
Metrane Abdelmoutalib Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

D enition du probl` eme Optimisation sous une contrainte d egalit e Optimisation avec une contrainte din egalit e

Th eor` eme (des valeurs extr emes pour des fonctions ` a deux variables) Si f est continue sur un ensemble born e et ferm e S de R2 , alors f atteint son maximun global et son niminum global en des points de S.

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

D enition du probl` eme Optimisation sous une contrainte d egalit e Optimisation avec une contrainte din egalit e

Soient f et h deux fonctions di erentiables et k une constante. Soit le probl` eme suivant (1): min f (x ) s.c. h(x ) = k , x Rn Pour ce probl` eme, Lagrange a montr e qu` a loptimalit e, le vecteur gradient de la fonction objectif doit etre perpendiculaire ` a la surface de niveau de la contrainte. Th eor` eme (condition n ecessaire du premier ordre de Lagrange) Si x est un minimum local de la fonction f dans S, et si h(x ) = 0, alors h(x ) = k, et de plus il existe un scalaire R pour lequel : f (x ) = h(x )

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

D enition du probl` eme Optimisation sous une contrainte d egalit e Optimisation avec une contrainte din egalit e

Point critique pour un probl` eme doptimisation sous une contrainte d egalit e x est dite point critique si h(x ) = 0 et h(x ) = k , et de plus il existe un scalaire R pour lequel f (x ) = h(x )

Exemple: Trouver les valeurs minimale et maximale de f (x , y ) = 3x 2y sous la contrainte x 2 + 2y 2 = 44.

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes

Introduction ` a loptimisation DEFINITIONS OPTIMISATION SANS CONTRAINTES METHODE DU GRADIENT ` PROBLEME DOPTIMISATION AVEC CONTRAINTES

D enition du probl` eme Optimisation sous une contrainte d egalit e Optimisation avec une contrainte din egalit e

Soit le probl` eme suivant : min f (x )

x

s.c
n

x S

S = {x R : h (x ) k } f , h : R R di erentiable et k une constante. Ce probl` eme est un cas particulier du probl` eme (1) pr ec edent. Les solutions sont obtenues de la mani` ere suivante: Consid` erer le probl` eme sans contrainte et d eterminer les points critiques (i.e, les points o` u le gradient sannule) et retenir ceux qui appartiennent ` a S. Appliquer la m ethode du multiplicateur de Lagrange au probl` eme obtenue en rempla cant la contrainte din egalit e par la contrainte d egalit e. Le minimum ou maximum global sera lun ou plusieurs des points enum er es aux etapes pr ec edentes. Exemple: Trouver les valeurs minimale et maximale de f (x , y ) = (x 1)2 + (y 2)2 sous la contrainte x 2 + y 2 45.

Metrane Abdelmoutalib

Fonction de plusieurs variables: Extremums avec contraintes