Approximabilite

III
7 Problemes d'optimisation
La theorie de la omplexite est onstruite a partir des problemes de de isions.
Cette restri tion permet la modelisation des problemes de de ision omme e-
lui de la re onnaissan e des langages. Nous allons nous interesser dans ette
deuxieme partie aux problemes d'optimisation, pour lesquels il ne s'agit plus de
dis riminer les instan es negatives et positives, mais d'optimiser une mesure sur
un ensemble de solutions realisables. Un probleme d'optimisation  sera deni
pour nous par la donnee de :
 Un ensemble I d'instan es.
 Une fon tion S telle que pour tout x 2 I , S (x) represente l'ensemble des
solutions realisables pour x.
 Une fon tion m a valeur entiere denie sur tous les ouples x 2 I et
y 2 S (x). Cette mesure m represente la fon tion obje tif d'une solution y
pour l'instan e x.
 Un obje tif 2 f min, max g pre isant si  est un probleme de minimisation
ou de maximisation.
A toute instan e x, on asso ie une solution y(x) et la valeur m (x) denissant
un optimum. Si  est un probleme de maximisation, m (x) = maxfm(x; y) j y 2
S (x)g et y  (x) une solution veriant m(x; y  (x)) = m (x).
A un tel probleme d'optimisation , on peut asso ier 3 versions dierentes
selon la nature du resultat attendu (fon tion al ulee par un algorithme de
resolution) :
 C (par defaut ), le probleme de onstru tion. Pour haque instan e x,
on doit fournir en sortie la valeur m (x) et une solution y (x) realisant
et optimum.
 E , le probleme d'evaluation. Pour haque instan e x, on doit fournir la
valeur m (x).
 D , le probleme de de ision asso ie. Une instan e de D est une ins-
tan e x de  plus un entier K . La question est : existe-t-il une solution
y veriant m(x; y )  K pour min (resp. m(x; y )  K pour max). On note
D (K ) le sous-probleme de de ision ou K est xe (i.e. ne fait pas partie
de l'instan e).
7.1 Probleme NP -diÆ ile et redu tion de Turing
Les problemes d'optimisation ne sont pas des problemes de de ision, et ne
peuvent don appartenir a NP , a fortiori a NP - omplet. Nous aimerions e-
pendant avoir une notion de redu tion entre es problemes, pour denir intuiti-
vement qu'un probleme  est au moins aussi diÆ ile qu'un probleme 0 si 0 se

23
reduit a . Pour les problemes de de ison, la redu tion standard, ayant onduit
a la denition de NP - omplet, est elle de Karp. La redu tion standard pour
les problemes d'optimisation est la redu tion de Turing. Elle est plus intuitive
que elle de Karp, puisqu'elle orrespond a la notion de sous-pro edure. Un
probleme 0 se reduit a  si l'on peut e rire une pro edure pour resoudre 0 en
onnaissant une sous-pro edure pour resoudre . Formellement e i orrespond
a la notion d'Ora le.
Denition 11 Soit  un probleme d'opimisation. Une OTM (Ora le Turing
Ma hine de  est une ma hine de Turing ave un etat parti ulier qO , l'ora le.
Cet etat est apable en temps 1 de lire un mot x sur la bande et d'e rire la
solution de x pour  (y  (x) et m (x) si  est le probleme de onstru tion).
Denition 12 Un probleme 0 admet un redu tion de Turing vers , 0 /T ,
ssi il existe une ODTM de  resolvant 0 en temps polynomial.
Par denition, si 0 /T , l'ODTM ne fait qu'un nombre polynomial d'ap-
pels a l'ora le resolvant  pour resoudre 0 . Par suite si il existe un algo-
rithme polynomial (deterministe) pour resoudre , alors il existe un algorithme
(deterministe) polynomial pour resoudre 0 . A l'inverse si il ne peut exister
d'algorithme polynomial pour resoudre 0 , alors il ne peut exister d'algorithme
polynomial pour resoudre . Intuitivement  est au moins aussi diÆ ile que 0 .
Il est fa ile de verier que la redu tion de Turing est re exive et transitive,
et onstitue don omme la redu tion de Karp pour les problemes de de ision,
une relation d'ordre partiel sur les problemes d'optimisation. La redu tion de
Karp est en fait un as parti ulier de la redu tion de Turing. Pour 2 problemes
de de ision 0 et , 0 /  implique en eet 0 /T . On peut alors denir
la NP diÆ ulte d'un probleme de maniere analogue a la NP - ompletude pour
les problemes de NP :
Denition 13 Un probleme  est dit NP -diÆ ile (NP -hard) ssi, pour tout
probleme 0 2 NP , 0 /T .
La redu tion de Karp etant un as parti ulier de la redu tion de Turing, le
theoreme de Cook implique qu'un probleme  2 NP -diÆ ile ssi Sat /T .
Notons i i que la theorie de la omplexite repose sur le petit mira le que les
lasses d'equivalen e sur NP de la redu tion de Karp admette un element maxi-
mum dans l'ordre partiel / que nous avons appele NP - omplet. Par ontre la
denition de la NP -diÆ ulte, par rapport uniquement aux langages de NP ,
n'implique pas a priori que 2 problemes NP -diÆ ile sont equivalents par la
redu tion de Turing. Ce que nous savons par ontre 'est que si un probleme
 NP -diÆ ile admet un algorithme polynomiale, alors P = NP . En eet, en
rempla ant l'ora le de  dans la redu tion par et algorithme, on obtient un
algorithme polynomial resolvant Sat.
Pour un probleme d'optimisation , on a lairement D /T E /T C .
Pour ette raison on utilise peu en pratique la redu tion de Turing pour prouver
la NP -diÆ ulte, mais plut^ot la propriete suivante :
Propriete 3 Soit  un probleme d'optimisation. Si son probleme de de ision
asso ie D 2 NP - omplet, alors  2 NP -diÆ ile.

24
7.2 La lasse NPO
Nous limiterons dans la suite notre dis ussion a une lasse parti uliere des
problemes d'optimisation. Cette lasse NPO est la ontre-partie pour les problemes
d'optimisation de la lasse NP pour les problemes de de ision. Un probleme 
d'optimisation est dans la lasse NPO ssi :
 Les instan es I peuvent ^etre re onnues en temps polynomiale.
 Il existe un polynome p tel que pour tout x 2 I et y 2 S (x), y est borne par
p(jxj). De plus il est de idable en temps polynomial si un mot y appartient
a S (x).
 La mesure m est une fon tion al ulable en temps polynomiale en jxj.
Tous les problemes d'optimisation lassiques entrent dans la lasse NPO.
Intuitivement, NPO est la lasse des problemes d'optimisation pouvant ^etre
resolut polynomialement sur une TM : si  2 NPO, il suÆt de \deviner" un
guess y  (x) de taille p(jxj) apres avoir verier que x est une instan e valide. La
veri ation que y 2 S (x) et le al ule de m (x) se font egalement en temps
polynomiale. On peut egalement denir la sous- lasse PO des problemes ad-
mettant un algorithme polynomiale (DTM) pour les resoudre. Clairement on a
l'in lusion PO  NPO et P 6= NP ) PO 6= NPO.

8 Les lasses d'approximabilite

Pour un probleme  NP -diÆ ile, il n'existe pas d'algorithme polynomial
pour le resoudre, a moins que P = NP . Ce que l'on peut esperer en temps
polynomial, 'est obtenir par une heuristique une solution aussi pro he que
possible de l'optimum. C'est la notion d'algorithme d'approximation.
Denition 14 Soit r une suite a valeur dans [1; +1[. Un algorithme a est une
r(n){approximation pour le probleme  si :
{ Pour haque instan e x 2 I , a delivre une solution ya 2 S (x).
{ De plus ya verie m (x)=r(jxj)  m(x; ya )  r(jxj):m (x)
On dit que r(n) est la (performan e) garantie de l'algorithme. Un as im-
portant est elui des garanties onstantes :
Denition 15 La lasse APX est onstituee des problemes de NPO admettant
une O(1){approximation.
Approximer un probleme de NPO ave une garantie onstante ne semble pas a
priori tres \diÆ ile". Prenons l'exemple de MinPartition, la \version" d'opti-
misation de Partition :
MinPartition
Instan e : Un ensemble x d'entiers a1 ; : : : ; an .
Solution : Une partition y = A [ B de [1::n℄. P
( ) = maxfs(A); s(B )g ave s(X ) = i2X ai
Mesure : m x; y
Optimisation : min

Clairement MinPartition 2 NPO, et est NP -diÆ ile, Partition etant un

sous-probleme de son probleme de de ision asso ie. Il est fa ile de voir que

25
MinPartition 2 APX. Une 2{approximation  evidente onsiste a prendre la
partition [1::n℄ [ f;g. Un algorithme un peu plus intelligent, LPT, onduit lui a
une 7=6{approximation. Peut-on esperer mieux ? A la limite un ratio arbitrai-
rement pro he de 1 ? Ce i orrespond a la denition de la lasse PTAS :
Denition 16 Un s hema d'approximation polynomiale (ptas, polynomial time
approximation s heme) est une famille (A" )">0 d'algorithmes telle que pour tout
" > 0, A" est une (1 + "){approximation. La lasse PTAS est onstituee des
problemes de NPO admettant un ptas.
Le probleme MinPartition admet un ptas de temps O(n + 21=" ="), ob-
tenu par le paradigme \forget the small items". Si C designe la somme des
ai , l'instan e reduite aux entiers > "C omporte au plus 1=" elements, qui est
une onstante. Elle peut ^etre resolue a l'optimum par enumeration expli ite en
temps O(21=" =" et ompletee ave les petits entiers en utilisant un algorithme
glouton. Le probleme MinPartition appartient don a PTAS. Cependant, e
ptas devient vite inutilisable en pratique lorsque " devient faible (par exemple
< 1%), la omplexite etant exponentielle en 1=". Pour obtenir un algorithme
plus eÆ a e, il faudrait eliminer ette omplexite exponentielle en 1=". C'est la
notion de fptas :
Denition 17 Un s hema d'approximation pleinement polynomiale (fptas, fully
polynomial approximation s heme) est une famille (A" )">0 d'algorithmes telle
que pour tout " > 0, A" est une (1 + "){approximation polynomiale en jxj et
1=". La lasse FPTAS est onstituee des problemes de NPO admettant un fptas.
En utilisant une te hnique de s aling sur l'algorithme pseudo-polynomiale
pour Partition, on obtient un fptas pour MinPartition, de temps O(n2 =").
Le probleme MinPartition appartient don a FPTAS.
La dieren e entre fptas et ptas est don que pour le premier le temps
d'exe ution est borne par un polynome q(X; Y ) en jxj et 1=", dans le as
pre edant q(X; Y ) = X 2Y , tandis que pour un ptas le temps est borne par
un polynome p" (X ) en jxj, a oeÆ ients fon tion de ", par exemple X + 21=" =",
21=" X , ou en ore X 1=" , . . .
8.1 La lasse FPTAS versus NP -diÆ ile au sens fort
Un fptas est en un sens e que l'on peut esperer de mieux pour un probleme
NP -diÆ ile, en terme de performan e garantie. A quelles onditions un probleme
d'optimisation admet-il un fptas ? Ce i est lie, omme pour l'existen e d'un al-
gorithme pseudo-polynomiale, a la ompletude au sens fort. Prenons omme
l'exemple du probleme BinPa king (BP) :
BinPa king
Instan e : Un ensemble d'entiers a1 ; : : : ; an et un entier H .
Une partition y de [1; n℄ en m ensembles B1 [


[ Bm veriant
pour tout j , Pi2B ai  H .
Solution :
j
Mesure : m(x; y ) = m, le ardinal de la partition.
Optimisation : min

26
Clairement BP appartient a NPO, et il est bien onnu qu'il appartient egalement
a APX : First Fit en est une 2{approximation. Peut-on esperer obtenir une
fptas pour e probleme? La reponse est non. la raison intuitive en est que sa
fon tion obje tif a toujours une valeur faible, et qu'approximer ave une garantie
arbitraire un obje tif restraint a de petites valeurs entieres revient a le resoudre
exa tement.
Denition 18 Un probleme  est dit polynomialement borne (PB) ssi il existe
un polynome p tel que pour tout x 2 I , m (x)  p(jxj).
Il est evident que BP 2 APX{PB. De plus BP 2 NP -diÆ ile (redu tion a
partir de Partition). Le theoreme 1 montre alors que BP 2= FPTAS.
Theoreme 1 Soit  un probleme de NPO{PB. Si  est NP -diÆ ile, alors
 2= FPTAS, a moins que P = NP .
Considerons maintenant le probleme dual, appele Pro essorS heduling (PS hed) :
Instan e : Un ensemble d'entiers p1 ; : : : ; pn et un entier m.
Solution : Une partition y de [1; n℄ en m ensembles M1 [


[ Mm
Mesure : m(x; y ) = maxfs(Mj ) j j = 1; : : : ; mg ave s(M ) =
P p.
i2M i
Optimisation : min

PS hed appartient a APX (LPT est une 4=3{approximation elebre, f Graham

1969). Peut-on esperer trouver un fptas ? En ore une fois non. Cependant i i le
probleme n'est pas dans NPO{PB, il est seulement pseudo-polynomialement
borne :
Denition 19 Un probleme  est dit pseudo-polynomialement borne ssi il existe
un polynome p tel que pour tout x 2 I , m (x)  p(jxj; Max(x)).
Tous les problemes \ ourants" d'optimisation sont pseudo-polynomialement
bornes. Le lien entre FPTAS et NP -diÆ ile au sens fort est donne par le
theoreme 2.
Theoreme 2 Soit  un probleme de NPO pseudo-polynomialement borne. Si
 est NP -diÆ ile au sens fort, alors  2= FPTAS, a moins que P = NP .
8.2 La lasse PTAS et la non-approximabilite
La distin tion entre la lasse PTAS et la lasse APX est importante, puis-
qu'elle traduit un \gap" dans l'approximabilite des problemes : ne pas appartenir
a PTAS signie qu'il existe une onstan e R > 1 telle qu'approximer ave une
garantie stri tement inferieure est impossible, a moins que P = NP . La ques-
tion de savoir si un probleme appartient a PTAS ou non est souvent entrale.
Un exemple en est le probleme MaxIndependentSet (MaxIS) :
MaxIndependentSet
Instan e : Un graphe G = (V; E )
Solution : Un ensemble S  V tel que u; v 2 S ) (u; v) 2= E
Mesure : S j j
Optimisation : max

27
 Le probleme MaxIS possede la propriete remarquable que si il peut ^etre
approximer ave une garantie onstante, alors il est approximable ave une ga-
rantie arbitrairement petite. Ce qui signie que si MaxIS n'est pas dans PTAS,
alors il n'est pas approximable ave une garantie onstante :
Propriete 4 MaxIS 2= PTAS ) MaxIS 2= APX
Pour etablir des resultats de non-approximabilite, une te hnique est l'utili-
sation du theoreme du gap, qui s'enon e sous sa forme la plus simple :
Theoreme 3 Soit  un probleme de minimisation. Si il existe une onstant K
tel que le probleme de de ision asso ie D (K ) 2 NP - omplet, alors  n'est pas
approximable a moins de (K + 1)=K.
Ce i montre que le probleme BinPa king n'est pas approximable a moins
de 3=2. Par ontre de ider pour une onstante K si il existe un stable de taille
superieure a K est lairement polynomiale. Ce theoreme ne nous donne don
pas d'argument pour etablir que MaxIS n'est pas dans PTAS : il nous faut
un outil plus puissant. La plupart des denitions de omplexite repose sur la
notion de redu tion (Karp ou Turing). Malheureusement si 2 problemes d'opti-
misation sont Turing equivalents, e i n'implique pas qu'ils appartiennent a la
m^eme lasse d'approximabilite : il est fa ile de voir que BinPa king et Pro es-
sorS heduling sont Turing  equivalents, et ependant on peut onstruire un
ptas montrant que Pro essorS heduling 2 PTAS tandis que BinPa king
2= PTAS. Nous aimerions avoir une redu tion, plus ne que elle de Turing,
preservant les lasses d'approximabilite.
8.3 Redu tion preservant l'approximabilite
Beau oup de redu tion (L-redu tion, PTAS-redu tion, AP-redu tion, Gap
Preserving redu tion,.. .) existent dans la litterature. Nous presentons i i la E-
redu tion. Cette redu tion est basee sur l'erreur relative E (x; y) d'une solution :
Denition 20 Soit  un probleme d'optimisation, x 2 I, y 2 S (x). L'erreur
relative de la solution y par rapport a l'optimum est :
8
< (m(x; y) m(x))=m(x) si pb minimisation
E (x; y ) =
: (m(x) m(x; y))=m(x; y) si  pb maximisation
L'erreur relative est don simplement le ratio de performan e moins 1. La
redu tion de Karp est une transformation f entre les instan es de 2 problemes
de de isions qui fait orrespondre les instan es positives. Pour l'approximation
des problemes, il faut avoir en plus une transformation entre les espa es des
solutions pour des instan es donnees, qui assurent que si l'image d'une instan e x
est approximable, x est approximable egalement, et dans les m^emes proportions.
Denition 21 Soit  et 0 deux problemes d'optimisation. Il existe une E-
redu tion de 0 vers  ssi :
1. il existe une fon tion f de I 0 vers I , polynomiale, telle que 8x0 2 I 0 , si
x = f (x0 ), alors :
m0 (x0 )=p(jxj)  m (x)  m0 (x0 ):p(jxj)

28
 2. il existe une fon tion g polynomiale, telle que, si x = f (x0 ), 8y 2 S (x),
alors y 0 = g (x; y ) 2 S 0 (x0 ) et
E (x0 ; y 0 )  E (x; y )

ou p est un polynome et  une onstante, xes.

La premiere ondition on erne la fon tion f qui mappe les instan es de
0 vers elles de , et indique que les valeurs optimales d'une instan e et de
son image doivent ^etre polynomialement liees. On peut remarquer que pour les
problemes polynomialement bornes, ette ondition est toujours veriee.
La se onde ondition on erne la fon tion g mappant les solutions realisables
de  sur elles de 0 , et stipule que si une instan e x = f (x0 ) possede une
solution y ave une erreur relative e, alors il est possible d'asso ier a l'instan e
de depart x0 une solution realisable y0 ave une erreur relative bornee par e.
Ave es onditions il est fa ile de verier que les proprietes de losure des
lasses d'approximabilite que nous souhaitions sont respe tees :
Propriete 5 Les lasses FPTAS, PTAS et APX sont loses pour la E-redu tion.
Ce i signie simplement que si 0 /E , et si le probleme  2 APX par
exemple, alors 0 2 APX, e qui n'est pas surprenant au vu des proprietes de
la E-redu tion. On peut remarquer, du fait de la premiere ondition denissant
la E-redu tion que la lasse APX{PB est elle aussi lose.
De plus la redu tion /E est transitive et re exive, qualites indispensables
a toute bonne redu tion. On peut denir alors les notions de diÆ ulte et de
ompletude de maniere lassique. Comme APX{PB est lose pour la E-redu tion,
on denit en parti ulier les lasses APX{PB{diÆ ile et APX{PB{ omplet :
Denition 22 Un probleme d'optimisation  est APX{PB{diÆ ile (pour la
E-redu tion) ssi pour tout probleme 0 2 APX{PB, 0 /E . Le probleme 
est dit APX{PB{ omplet si de plus il appartient a APX{PB.
La lasse APX{PB{ omplet est don onstituee des problemes de APX{PB
intuitivement les plus \diÆ iles" a approximer, au sens ou si un probleme
APX{PB{ omplet est arbitrairement approximable (appartient a PTAS), alors
tout probleme de APX{PB est arbitrairement approximable, i.e. APX{PB 
PTAS. Le parallele est agrant ave NP - omplet, NP et P . Dans la theorie
de la omplexite, les problemes Sat et 3Sat jouent un r^ole entral, donne par
le theoreme de Cook. Pour l'approximabilite, e r^ole est joue par leur version
d'optimisation, MaxSat et Max3Sat :
MaxSat
Instan e : Un ensemble de m lauses portant sur n variables
Solution : Une assignation booleenne y des variables.
Mesure : Le nombre de lauses satisfaites
Optimisation : max

Le resultat equivalent au theoreme de Cook est le suivant, que nous admettrons :

Theoreme 4 Le probleme Max3Sat est APX{PB{ omplet

29
 Pour les problemes de de ision, le theoreme de Cook etabli que si Sat
2 P , alors P = NP . Le theoreme 4 montre que si Max3Sat 2 PTAS, alors
APX{PB  PTAS. Ave une redu tion plus puissante (la PTAS-redu tion), il a
ete prouve que MaxSat est APX{ omplet, e qui montre que si Sat 2 PTAS,
alors APX = PTAS. Contrairement a l'appartenan e ou non de Sat a P qui
reste une onje ture, nous verrons un peu plus loin que la question Max3Sat
2 PTAS ? a ete tran hee.
Une onsequen e du theoreme 4 est qu'un probleme  est APX{PB{diÆ ile
ssi Max3Sat /E . On peut ainsi montre que le probleme MaxIS est APX{PB{diÆ ile :
Propriete 6 Max3Sat /E MaxIS.
Cette propriete implique que si nous demontrons que Max3Sat n'admet
pas de ptas, alors MaxIS n'appartient pas a APX.

30
 Autres ara terisations de NP
et leur impli ation sur l'approximabilite

IV
9 La vision syntaxique : la lasse Max{SNP
Revenons sur la onstru tion des lasses de omplexite de d'approximabilite.
Nous sommes parti des problemes de de ision et d'optimisation. Leur denition
est purement syntaxique, 'est a dire que l'on peut savoir si un probleme est
un probleme de de ision/optimisation simplement a la le ture de son enon e.
Il n'en est pas de m^eme pour les lasses de omplexite ou d'approximabilite,
dont la denition est algorithmique (basee sur le modele formel de la ma hine
de Turing) : un probleme de de ision D est dans NP ssi il existe une TM
le re onnaissant en temps polynomial, un probleme d'optimisation  est dans
APX ssi il existe une O(1){approximation,.. .
Ces denitions algorithmiques sont somme toute naturelles, puisqu' en denitive
nous her hons a determiner pour un probleme la plus petite omplexite pos-
sible d'un algorithme le de idant, ou la meilleure garantie possible d'une heu-
ristique polynomiale l'approximant. Cependant on peut se demander si il est
possible de denir syntaxiquement des lasses de omplexite ou d'approximabi-
lite interessantes. Ce i aurait l'avantage, entre autres, de s'abtraire du odage
des instan es.
En s'inspirant de la denition syntaxique de la lasse NP , Papadimitriou &
Yannakakis ont propose plusieurs lasses de problemes, en parti ulier Max{SNP .
De nombreux travaux on essaye depuis de on ilier la vision syntaxique et algo-
rithmique, onduisant au theoreme 4 que nous avons admis.
9.1 La lasse stri t NP
Fagin a montre que la lasse NP pouvait ^etre denie purement syntaxique-
ment, 'est a dire qu'un probleme  appartient a NP ssi il admet un enon e
de la forme. . .La forme de l'enon e repose sur la logique du deuxieme ordre.
Rappelons que la logique d'ordre 0 est simplement la logique des predi ats. La
logique du premier ordre fait intervenir les quanti ateurs 8 et 9 sur un univers
U des \variables". La logique du se ond ordre fait intervenir les quanti ateurs
sur des stru tures : une stru ture sera pour nous un symbole relationnelle d'arite
onstante sur l'univers U .
Propriete 7 La lasse NP est l'ensemble des problemes  admettant un enon e
de la forme :
9S 8x 9y '(x; y; G; S )

31
 8
>> ' un predi at xe
><
G = fG1 ; : : : ; Gp g un ensemble ni de stru tures
ave
>> x; y des \objets" sur un univers U
>:
S un symbol relationnel d'arite xee
Un probleme  est ainsi deni par la donne de ' et de G, et l'arite de S .
Une instan e est alors donnee par un univers U , et les symboles relationnels
GU1 ; : : : ; GUp , haque GUi etant un symbole relationnel sur U k de m^eme arite que
Gi , ou k est une onstante representant l'arite maximale des stru tures de G et
S . Le probleme  de de ision pour l'instan e est alors : existe-t-il un symbole
relationnel S U de m^eme arite que S tel que 8x 2 U k ; 9y 2 U k ; '(x; y; GU ; S U ).
Prenons l'exemple de Sat. Une instan e de Sat sera representee par un uni-
vers U ontenant m symboles 1 ; : : : ; m et n symboles x1 ; : : : ; xn . G ontiendra
deux relations binaires et une relation unaire :
C ( ) true ssi represente une lause.
P L(x; ) true ssi le litteral x apparait dans .
NL(x; ) true ssi le litteral x apparait dans .
On her he alors une stru ture S unaire, orrespondant a une assignation de
verite des variables. Le probleme Sat s'enon e :
9S 8 2 U 9x 2 U :C ( ) _ (P L(x; ) ^ S (x) _ NL(x; ) ^ :S (x))
Cette denition serait adaptable a 3Sat. Cependant, haque lause ompor-
tant 3 variables, on peut representer la stru ture de 3Sat en utilisant 8 relations
d'arite 3 sur l'univers U des variables : C000 (x1 ; x2 ; x3 ) est true ssi il existe la
lause x1 _ x2 _ x3 , . . ., C111 (x1 ; x2 ; x3 ) est true ssi il existe la lause x1 _ x2 _ x3 .
Une instan e de 3Sat s'enon e alors :

9S 8x = (x1 ; x2 ; x3 ) 2 U 3 C000 (x1 ; x2 ; x3 ) ) (:S (x1 ) _ :S (x2 ) _ :S (x3 ))

^ :::
^ C111 (x1 ; x2 ; x3 ) ) (S (x1 ) _ S (x2 ) _ S (x3 ))
La dieren e ave Sat est que l'enon e de 3Sat n'utilise pas de symbole exis-
tentiel 9y. Contrairement a Sat, Max3Sat appartient a la lasse stri t NP :
Denition 23 La lasse stri t NP est l'ensemble des problemes admettant un
enon e :
9S 8x '(x; G; S )
9.2 La lasse Max{SNP
Les problemes  de stri t NP onsistent a de ider l'existen e d'une relation
S satisfaisant '(x; G; S ) pour tout x sur U k . Papadimitriou et Yannakakis ont
propose de onsidere la version de maximisation de , onsistant a trouver une
relation S maximisant le nombre de ve teurs x de U k veriant '(x; G; S ).

32
Denition 24 La lasse Max{SNP est onstituee de l'ensemble des problemes
d'optimisation tel que la mesure de leur optimum s'enon e :
max
S
jfx 2 U k j '(x; G; S )gj
Propriete 8 Les problemes Max3Sat et MaxCut appartiennent a Max{SNP
Montrons i i l'appartenan e a Max{SNP pour MaxCut. Rappelons que
l'enon e lassique de e probleme est :
MaxCut
Instan e : Un graphe G = (V; E )
Solution : Une partition y = A [ B de V
Mesure : m G; y( ) = jf(u; v) 2 E j u 2 A ^ v 2 B gj
Optimisation : max

Pour une instan e de MaxCut, l'univers U represente les nuds du graphe,

G est simplement la relation binaire E representant ses ar^etes, et S une relation
unaire representant l'un des ensemble de la partition. Pour x = (u; v) 2 U 2 , le
predi at ' est deni par
'((u; v ); E; S )) = E (u; v ) ^ S (u) ^ :S (v )
La lasse Max{SNP est sans au un doute in luse dans NPO : de par sa
denition, l'arite maximale k des relations etant xee, la mesure de l'optimum
est toujours bornee par jUjk , qui est polynomial en la taille de l'instan e. Seuls
don les problemes polynomialement bornes peuvent appartenir a Max{SNP .
Papadimitriou & Yannakakis ont demontre l'in lusion suivante :
Propriete 9 Max{SNP  APX P B
Cette in lusion signie que tout probleme de Max{SNP admet un algo-
rithme d'approximation de garantie onstante. La demonstration est alquee
sur elle de la garantie de 2 de l'algorithme greedy-SAT pour MaxSat, que
nous detaillons maintenant. Si C = fC1 ; : : : ; Cm g sont les lauses d'une instan e
de Sat, portant sur les variables X = fx1 ; : : : ; xn g, l'algorithme greedy-SAT
ommen e par onsiderer arbitrairement une variable y 2 X . Parmi les lauses
de C , on peut onstituer l'ensemble Cy des lauses satisfaites si y est assigne
a true, 'est a dire elles ontenant le litteral y, et l'ensemble des lauses Cy
satisfaites si y est assigne a false. On peut onsiderer que ses deux ensembles
sont disjoints, une lause appartenant a l'interse tion ayant a la fois le litteral
y et y et etant don satisfaite par toute assignation des variables. L'algorithme
greedy-SAT est le suivant :

Tant que C 6= ;
- Choisir arbitrairement y 2 X
- Si jCy j  jCyj Alors y vrai ; Sinon y false
- C C n (Cy [ Cy) ; X X n fy g
Fin Tant que

Cet algorithme est une 2{approximation, mais possede en fait une propriete
plus forte :

33
Propriete 10 L'algorithme greedy-SAT satisfait toujours au moins la moitie
des lauses de toute instan e de MaxSat.

Le theoreme suivant est une version beau oup plus faible du theoreme 4 :
Theoreme 5 Le probleme Max3Sat est Max{SNP { omplet pour la E-redu tion,
i.e. tout probleme de Max{SNP admet une E-redu tion vers Max3Sat.
Nous ne detaillons pas i i la preuve, qui peut ^etre trouvee dans l'arti le de
Papadimitriou & Yannakakis [11℄. Donnons pour on lure le theoreme 6 dont
on pourra trouver la preuve dans [8℄. Ce theoreme etablit que la fermeture
de la lasse Max{SNP , 'est a dire l'ensemble des problemes admettant une E-
redu tion vers un probleme de Max{SNP , est exa tement l'ensemble APX{PB,
les problemes polynomialement borne admettant une approximation de garantie
onstante. Le theoreme 4 est un orrollaire de e theoreme et du theoreme 5 :
Theoreme 6 Pour la E-redu tion, Max{SNP = APX{PB

10 Algorithmes Probabilistes
Le modele d'algorithme que nous avons adopte (la ma hine de Turing) per-
met d'exprimer les algorithmes deterministes et non-determistes. Une lasse im-
portante d'algorithmes, les algorithmes randomises, ou probabilistes, tels Monte
Carlo ou Las Vegas, n'entrent pas dans e formalisme [9℄. Un algorithme rando-
mise est un algorithme deterministe ayant a es a une sour e de bits aleatoires,
'est a dire apable de jouer a pile ou fa e. Le determinisme signie que pour un
m^eme tirage de bits aleatoires, l'algorithme possede la m^eme exe ution. Un algo-
rithme deterministe est dit non-adaptatif si il ee tue tous les tirages aleatoires
en \debut" d'exe ution, 'est a dire sans avoir a es a l'instan e, mais unique-
ment a sa taille. Un tel algorithme randomise non-adaptatif omporte 2 phases :
une phase de tirage d'un ve teur  de bits aleatoires, jj = f (jxj), suivie de
l'exe ution d'un algorithme deterministe prenant en entree l'instan e x et le
tirage .
La formalisation des algorithmes randomises par une ma hine de Turing ode
simplement la sour e de bits aleatoires par une bande en le ture seule :
Denition 25 Une PTM (Probabilisti Turing Ma hine) est une ma hine de
Turing deterministe possedant un etat parti ulier qR et une bande supplementaire
(sur f0; 1g) en le ture seule, representant la sour e de bits aleatoire. Cette bande
n'est a essible que depuis l'etat qR , qui lit alors le symbole ourant et depla e
la t^ete de le ture vers la droite.
L'exe ution d'une PTM etant probabiliste, on distingue 2 lasses dierentes
d'algorithmes :
{ La variable aleatoire est le resultat de l'algorithme, 'est a dire qu'il donne
une reponse ave une ertaine probabilite . On parle d'algorithmes Monte
Carlo.
{ L'algorithme delivre toujours la reponse exa te, mais son temps d'exe ution
est une variable aleatoire. On parle d'algorithmes Las Vegas.

34
10.1 Algorithmes de Monte Carlo
La lasse PP est la lasse la plus general des langages \de ides" par un
algorithme de Monte Carlo :
Denition 26 La lasse PP (Probabilisti Polynomial Time) est la lasse des
langages L admettant une PTM polynomiale M telle que :

x2L ) P r[ M a epte x ℄ > 1=2

x 2= L ) P r[ M rejete x ℄ > 1=2
Les probabilites sont prises sur tous les tirages uniformes de bits aleatoires (
et non sur une distribution des instan es du probleme). Un temps polynomiale
pour une PTM signie qu'il existe un polynome p tel que pour toute instan e
x et pour tout tirage aleatoire , le temps d'exe ution est borne par p(jxj).

On peut se demander i i si nalement ma hine de Turing probabiliste et

non deterministe ne sont pas equivalentes. En parti ulier si NP = PP ? Si l'on
revient sur la denition de NP , plut^ot que d'introduire les NDTM, nous pouvons
ara teriser NP par la notion de veri ateur de preuve, sur laquelle nous allons
revenir dans la hapitre suivant. Cette ara terisation dit simplement que NP
est onstitue des langages de de isions pour lesquels il existe un erti at de
vera ite (une \preuve" ) onsi e (de taille polynomiale). Un veri ateur est
simplement une DTM prenant en entree 2 mots, x et  :
Propriete 11 La lasse NP est la lasse des langages L admettant un veria ateur
V polynomiale tel que :
x2L ) 9x ; jx j  p(jxj); V a epte (x; x )
x 2= L ) 8; jj  p(jxj); V rejete (x; )
ou p est un polynome.
Une NTDM re onnaissant L onsiste simplement a \deviner" la bonne preuve
x pour une instan e x 2 L et a la fournir en entree du veri ateur. Un algo-
rithme randomise peut suivre la m^eme demar he, en tirant p(jxj) bits aleatoires
pour proposer une preuve . En fait une PTM est plus puissante qu'une NDTM
au sens suivant :
Propriete 12 On a les in lusions NP  PP, et NP 6= PP si NP 6= o-NP
Cependant, si la probabilite d'a eptation de la PTM est tres pro he de 1=2,
par exemple 1=2 1=2jxj, un nombre exponentiel d'exe utions independantes de
la PTM sont ne essaires pour obtenir une probabilite suÆsamment pro he de
1. Des algorithmes de Monte Carlo beau oup plus utiles en pratiques sont eux
ommettant une erreur seulement d'un \ ote" (a eptation ou rejet) :
Denition 27 La lasse RP (Randomized Polynomial Time) est la lasse des
langages L admettant une PTM polynomiale M telle que :

x2L ) P r[ M a epte x ℄  1=2

x 2= L ) P r[ M rejete x ℄ = 1

35
 La lasse o-RP est denie lassiquement omme [L2RP  n L, 'est a dire :
Denition 28 La lasse o-RP est la lasse des langages L admettant une
PTM polynomiale M telle que :

x2L ) P r[ M a epte x ℄ = 1
x 2= L ) P r[ M rejete x ℄  1=2

10.2 Algorithmes de Las Vegas

Les algorithmes de Las Vegas sont les algorithmes randomisees fournissant
toujours une reponse exa te (zero side error), mais dont le temps d'exe ution
est une variable aleatoire dependant du tirage. On denit ainsi la lasse ZPP :
Denition 29 La lasse ZPP est la lasse des langages L admettant une PTM
de idant en L en temps espere polynomiale.
Les lasses RP et o-RP orrespondant a des algorithmes one side error. Si
un langage est dans les 2 lasses, il semble naturel de pouvoir transformer 2 PTM
polynomial one side error en une PTM zero side error d'esperan e polynomiale.
On a ee tivement la propriete :
Propriete 13 ZPP = RP \ o-RP
Les algorithmes randomises onstituent une alternative tres souvent plus
simples (et presque aussi souvent plus eÆ a es) que les algorithmes d'approxi-
mation pour les problemes d'optimisation. Il existe de plus des te hniques generales
de derandomisation pour les onvertir en des algorithmes deterministes sans
perdre ex essivement sur leurs performan es.

11 Le PCP Theoreme
Nous avons vu qu'une ara terisation possible de NP est l'ensemble des
problemes de de ision admettant pour tout mot du langage un erti at on is
d'appartenan e, 'est a dire :
L 2 NP ssi il existe un veri ateur V polynomial tel que :
x2L ) 9x ; jx j  p(jxj); V a epte (x; x )
x 2= L ) 8; j j  p(jxj); V rejete (x; )
En d'autre terme, le veria teur lit toute la preuve, puis suivant ette le ture
repond en tant polynomial si le mot appartient au language ou non. Plut^ot que
de prendre omme veri ateur une DTM polynomiale, que se passe-t-il si nous
nous ontentons d'une PTM polynomiale, 'est a dire si nous permettons (ave
une ertaine probabilite) au veri ateur de preuve de se tromper !
Rappelons que les entrees d'un veri ateur sont onstituees d'un mot x dont
l'appartenan e a un langage L doit ^etre verier et d'un mot , la preuve d'ap-
partenan e de x a L. Un veri ateur randomise (PTM) a ede de plus a un

36
ve teur  de bits aleatoires, et a epte ou rejete (x; ) ave une ertaine proba-
bilite d'erreur, probabilite prise sur les tirages uniformes de .
L'utilisation d'un veri ateur randomise va nous donner une nouvelle a-
ra terisation, assez surprenante, de NP . En ontrepartie du \droit" a l'erreur,
nous pourrions penser a exiger d'un tel veri ateur un temps moindre que poly-
nomiale. Cependant, a priori, il lui faut lire ses entrees x et , qui sont en elles-
m^emes de taille polynomiale en jxj ! L'idee du theoreme PCP est pre isement de
n'autoriser le veri ateur a ne lire qu'une partie de la preuve. . .Ce i est formalise
par la denition d'un (r(n); q(n))-veri ateur :
Denition 30 Un (r(n); q(n))-veri ateur V est une PTM polynomiale non-
adaptative dont l'exe ution sur une entree (x;  ) est la suivante :
1. V ommen e par a eder a un ve teur  de bits aleatoires, de taille jj 2
O(r(jxj)).
2. A partir de , V al ule l'ensemble des bits qu'il va a eder dans la preuve
. Cet ensemble est de taille q 2 O(q (jxj))
3. V se omporte alors omme un veri ateur deterministe (DTM) ave omme
entrees x et  , le sous-mot de  restraint aux adresses al ulees a la phase
2.
On peut alors denir la lasse PCP[r(n); q(n)℄ admettant de tels veri ateurs :
Denition 31 La lasse PCP[r(n); q(n)℄ est la lasse des langages L admettant
un (r(n); q (n))-veri ateur V tel que :

x2L ) 9x ; P r[V a epte (x; x )℄ = 1

x 2= L ) 8; P r[V rejete (x;  )℄  1=2

Pour un mot x n'appartenant pas a L, le veri ateur V rejete quelle que soit
la preuve  pour en moins la moitie des ve teur de bits  possibles, jj  : log jxj
( une onstante). A l'inverse il existe une preuve parti uliere d'appartenan e
x pour laquelle V a epte pour tout ve teur de bits  lorsque x 2 L.
Il est lair que l'on a NP = [k PCP[0; nk ℄. Cependant ette ara terisation
n'utilise pas vraiment la puissan e des algorithmes randomises! Arora [1, 3℄ a
montre une ara terisation beau oup plus puissante de NP :
Theoreme 7 [PCP theorem℄ NP = PCP[log n; 1℄
Pour un langage de NP , il existe don une preuve x pour haque mot x
pour laquelle il suÆt de lire un nombre onstant (3,10,100) de bits pour repondre
si x appartient ou non au langage.. .Cette ara terisation est sans doute l'un des
plus importants resultats de es dernieres annees. Le PCP theoreme a onduit
a de nombreux resultats d'inapproximabilite : l'une de es onsequen e dire te
est donne par le orrollaire suivant :
Corollaire 1 Si P 6= NP , Max3SAT 2= PTAS

37
Referen es
[1℄ S. Arora. Probabilisti he king of proofs and the hardness of ap-
proximation problems. PhD thesis, UC Berkeley, 1994. Available at
www. s.prin eton.edu/~arora.
[2℄ S. Arora. The approximability of NP-hard problems. In ACM Symposium
on Theory of Computing, STOC'98, pages 337{348, 1998. Available at
www. s.prin eton.edu/~arora.
[3℄ S. Arora and M. Safra. Probabilisti he king of proofs : A new hara te-
rization of NP. Journal of ACM, 1 :70{122, 1998.
[4℄ G. Ausiello, P. Cres enzi, G. Gambosi, V. Kann, A. Mar hetti-Spa amela,
and M. Protasi. Complexity and Approximation : Combinatorial Optimi-
zation Problems and their Approximability. Springer Verlag, 1999.
[5℄ Jean-Lu Chabert and al. Histoire d'algorithmes. Regards sur la S ien e.
Belin, 1993.
[6℄ M. Garey and D. Johnson. Computers and Intra tability : A Guide to the
Theory of NP - ompletness. W.H. Freeman & Co, 1979.
[7℄ D. Ho hbaum, editor. Approximation Algorithms for NP-hard Problems.
PWS Publishing, 1996.
[8℄ S. Khanna, R. Motwani, M. Sudan, and U. Vazirani. On syntati versus
omputational views of approximability. SIAM Journal on Computing,
28(1) :164{191, 1998.
[9℄ R. Motwani and P. Raghavan. Randomized Algorithms. Cambridge Uni-
versity Press, 1995.
[10℄ C. Papadimitriou. Computational Complexity. Addison-Wesley, 1994.
[11℄ C. Papadimitriou and M. Yannakakis. Optimization, approximation and
omplexity lasses. Journal of Computer and System S ien es, 43 :425{440,
1991.
[12℄ D. Shmoys and E. Tardos. Handbook of Combinatori s, hapter 29 Com-
putational omplexity, pages 1599{1645. Graham et al. editeurs, North
Holland, 1995.
[13℄ P. Wolper. Introdu tion a la al ulabilite. Dunod, 2001 (2nde edition).
[14℄ N.H. Xuong. Mathematiques dis retes et Informatique. olle tion LMI,
Masson, 1992.

38