HEURISTIQUES D'OPTIMISATION

Evelyne LUTTON - INRA AgroParisTech - Grignon

http ://evelyne-lutton.fr/

D'aprs

Patrick Siarry, LiSSi, Univ. de Paris-Est Crteil

MTA-HEURISTIQUES

Du grec :
 mta :au-del,  un plus haut niveau,
 heuriskein : trouver

Wikipedia :
Une mtaheuristique est un algorithme d'optimisation visant rsoudre des problmes d'optimisation dicile (souvent issus des domaines de la recherche oprationnelle, de l'ingnierie
ou de l'intelligence articielle) pour lesquels on ne connat pas de mthode classique plus
ecace

Souvent :
 fondes sur un chantillonnage probabiliste,
 inspires par des systmes naturel.

La grande famille des mthodes approches

Mthodes par construction

Mthodes par dcomposition

Mthodes de voisinage (une solution courante) :

 heuristiques classiques
 mtaheuristiques de voisinage : recuit simul, recherche tabou.

Mthodes base de population :

 algorithmes volutionnaires,
 estimations de distributions,
 colonies de fourmis,
 essaims particulaires.

Mthodes par construction

Un algorithme glouton construit sa solution pas pas

 sans revenir sur ses dcisions,
 en eectuant chaque tape le choix qui semble le meilleur.

Hypothse : des choix locaux optimaux, tape

aprs tape, produisent un rsultat global optimal.

Avantage : faible complexit, algorithmes rapides.

Mthodes par dcomposition

de l'ensemble des solutions du problme :

procdure par sparation et valuation (branch and bound)

 mthode arborescente (arbre de dcision, algorithme A*),
 trouve une solution optimale, si on lui en laisse le temps.

de l'ensemble des dcisions prendre :

programmation dynamique,
 dmonstration d'optimalit sur la rcurrence des calculs,
Principe d'optimalit de Bellman : un chemin optimal est
form de sous-chemins optimaux.
 selon les problmes, complexit polynomiale ou exponentielle.

Branch-and-Bound : principe

 Mthode adapte aux problmes combinatoires (espace de recherche discret).

 Division de l'espace pour organiser la recherche sous forme arborescente.

 Proprits mathmatiques permettant de

dcider si une branche peut ou non contenir la solution optimale.

Jeu d'chec : arrt si l'on sait qu'une position

amne forcment l'chec.
Problme du sac dos : arrt si l'on dpasse
le poids limite.

Programmation dynamique : principe

Pour trouver la longueur minimale de A F,

il faut calculer les longueurs minimales de A
tous les sommets du graphe.

Fk (X)
Pk (X)

est la longueur minimale de

est l'ensemble des prdcesseurs de

Pk (X) = {Z P (X),

l'tape

qui ralisent le minimum.

tel que

Fk (X) = Fk1(Z) + L(Z, X)}

Programmation dynamique : principe

Mthodes de voisinage (une solution courante)

 Recherche alatoire pure.

 Descente de gradient.
 Recuit simul.
 Recherche tabou.

L'aveugle sur la montagne :

il est parachut.

Initialisation :
Evaluation :
Voisinage :

il possde un altimtre en braille.

il ne peroit que ce qui se trouve dans le rayon de sa canne blanche.

Heuristiques classiques

La recherche alatoire pure :

L'aveugle se dplace au hasard
et se rappelle de la position du plus bas point rencontr.

Il trouvera la valle, mais c'est long !

La descente de gradient :
L'aveugle va dans la direction de plus grande pente
de son voisinage.

Il s'arrte sur le premier optimum local rencontr.

10

Recuit simul : inspir d'un phnomne physique

Au dpart l'aveugle est plein d'nergie : il accepte parfois de remonter,

si la remonte n'est pas trop forte et si son nergie est susante.

Il se fatigue : il termine par une mthode de descente, lorsqu'il n'a plus d'nergie.

En mtallurgie : le recuit correspond un rchauement suivi d'un refroidissement lent.

Ce qui permet d'obtenir des tats de cristallisation plus stables.

11

Recherche Tabou : une recherche de voisinage mmoire

Usage d'une mmoire court terme, pour ne pas revisiter des points dj vus.

D'aprs Patrick Siarry :

TABOU BAT TOUT

12

Mthodes base de population :

Mthodes inspires du comportement de populations d'tres vivants :

 Algorithmes volutionnaires (AE) : thorie de Darwin.

 Estimation de distributions (ED) : chantillonnage irrgulier, abstraction des AEs.

 Algorithmes colonie de fourmis (ACO) : recherche de nourriture.

 Algorithmes essaims particulaires (OEP) : comportements grgaire.

13

Les algorithmes volutionnaires : vie et mort d'une population

Initialisation
extraction

de la population

de la solution
PARENTS
Slection
litisme

Croisement
Mutation

f(x)

f(x)
x=individu
x
xx
x
x
x

xxx
xxxxx xxxxx

x
x

DESCENDANTS

xx

x
x
x

xx
x

x
xx
xx

espace de recherche

Population initiale

Solution = individu d'une population.

14

espace de recherche

Population volue

Estimations de distributions

Estimation de la distribution des meilleurs individus.

Tirage d'une nouvelle population selon cette distribution

Lie la taille de la population (chantillonnage alatoire).

15

Colonies de fourmis (ACO)

 Coopration par mergence.

 Communication par dpt de phromones :
Stigmergie.

 vaporation des phromones.

 Navigation probabiliste
(avec possibilit d'erreur).

Voyageur de commerce

16

Essaims particulaires (OEP)

Compromis psycho-social :

Chaque agent :

l'individu et le troupeau.

suit sa propre trajectoire,

subit l'inuence des autres agents :

position, vitesse moyenne, meilleur point trouv,

mmorise sa meilleure performance.

17

Composantes communes

Voisinage.

Diversication/exploration.

Intensication/exploitation.

Mmoire et apprentissage.

18

Les mta-heuristiques : un paysage complexe !

19