GRET Cooperer21 Évaluer

Les documents de travail
de la Direction scientifique
mars 2001
Cooprer aujourdhui no 21
Daniel Neu (Ple EDR)
valuer : apprcier
la qualit pour faciliter
la dcision
Six notes pour contribuer lefficacit des valuations
Lvaluation, enfin considre comme un outil irremplaable pour amliorer la qualit des
actions, devient une pratique courante dans les milieux du dveloppement. Mais elle reste
un exercice dlicat, et gnre souvent plus de frustrations que de progrs.
Comment en accrotre lefficacit ? En sadressant la fois aux commanditaires dvaluations,
aux valuateurs et aux valus, pour quils se comprennent mieux, malgr les enjeux qui parfois les opposent, pour quils partagent le langage et les mthodes de lvaluation, et surtout
pour quils sapproprient plus compltement cet outil. Ils doivent lutiliser sur mesure en
fonction des spcificits de laction value, loppos dun exercice acadmique reproduit
indpendamment de son contexte. Mais le sur mesure nexclut pas certaines rgles.
Groupe de recherche et dchanges technologiques
valuer : apprcier la qualit pour faciliter la dcision
Sommaire
Rsum .............................................................................................................................. 5
INTRODUCTION ........................................................................................................................... 7
1.
2.
Pour contribuer lefficacit des valuations ............................................................ 7

Six petites notes.......................................................................................................... 7
NOTE N 1 SE REPRER DANS LA DIVERSIT

I.
DES DMARCHES VALUATIVES .......................... 9
LE SCHEMA GENERAL DES DEMARCHES EVALUATIVES............................... 9

1.
2.
Proposition dune dfinition : apprcier la qualit pour faciliter la dcision ............. 9

Schma gnral : une dmarche trois acteurs principaux qui se droule en cinq
temps ........................................................................................................................ 10
LA DIVERSIT .......................................................................................................................... 10
1.
2.
3.
La diversit des dmarches valuatives.................................................................... 10

Tentative de synthse, entre les longues et les rondes .................................. 17
La diversit des usages et des mcanismes luvre .............................................. 19
NOTE N 2 APPRCIER LA QUALIT POUR FACILITER LA DCISION : QUELQUES

TRAITS COMMUNS AUX VALUATIONS ..................................................................................... 25
I.
VALUER APPRCIER LA QUALIT ET DONC DONNER DE LA VALEUR .............................. 25

1.
2.
valuer cest (presque toujours) produire une image de la ralit pour la

comparer une rfrence .................................................................................... 25
Valeur dusage, valeur dchange ............................................................................ 26
II. VALUER, METTRE UN JUGEMENT ............................................................................ 26

1.
2.
Au minimum, une apprciation synthtique............................................................. 26

Les deux usines jugement, soi et les autres. Mais aider formuler un jugement
ou recueillir une opinion sont deux exercices bien diffrents .................................. 27
III. VALUER, SE SITUER DANS DES ENJEUX DE POUVOIR ....................................................... 27

1.
2.
Des enjeux dont lvaluateur doit tre conscient...................................................... 27

Des mthodes adapter au systme de pouvoir des commanditaires ...................... 28
IV. VALUER, AVANT TOUT COMMUNIQUER .......................................................................... 28

1.
2.
Des exigences pour lvaluateur en termes de rendu et de conclusion .................... 28

Savoir couter, savoir se faire comprendre .............................................................. 29
Direction scientifique Gret Document de travail n 21
V. VALUER, UNE PRATIQUE PROFESSIONNELLE .................................................................. 30

1.
2.
Rpondre une commande ...................................................................................... 30

Quelques aspects de dontologie.............................................................................. 30
ANNEXE 1 DE LA NOTE N 2 LES DIFFRENTES TAPES DUNE VALUATION .......................... 32

1.
2.
3.
4.
5.
Avant la prparation ................................................................................................. 32

La prparation de lvaluation.................................................................................. 32
Lvaluation proprement dite ................................................................................... 32
La conclusion de lvaluation................................................................................... 33
Laprs valuation .................................................................................................... 33
NOTE N 3 DES DOMAINES DE QUALIT AU BON USAGE DES INDICATEURS ............................. 35

I.
LEXEMPLE CALAMITEUX DE LA BAGNOLE DOCCASION ................................................. 35

1.
Ursuline, Suzy, Arthur, Gatan et la voiture de Jean-Jacques.................................. 35
II. QUELQUES RFLEXIONS PARTIR DE CET EXEMPLE LAMENTABLE ................................ 37

1.
2.
3.
Lvaluation commence par une question de valeurs ......................................... 37

Des domaines de qualit lutilisation des indicateurs, une chane plus ou moins
longue ....................................................................................................................... 38
Grandeur, misre et qualit des indicateurs.............................................................. 42
NOTE N 4 LES PRINCIPAUX CRITRES DE LVALUATION DE PROJETS .................................. 45

I.
LES PRINCIPAUX CRITRES UTILISS POUR LVALUATION DE PROJETS ......................... 45

1.
2.
La dmarche projet en quelques lignes et un schma (pour les nophytes) ....... 45

Les six grands critres de lvaluation de projet ................................................ 48
ANNEXE LA NOTE N 4 CADRE DANALYSE ET PLAN DES RAPPORTS DVALUATION

DEMANDS PAR LUNION EUROPENNE ................................................................................... 65
NOTE N 5 PRPARER DES TERMES DE RFRENCE................................................................. 71
I.
LA COMMANDE DUNE PRESTATION SUR MESURE ............................................................ 71

1.
2.
Quoi ? Qui ? Quand ? et Pourquoi ?......................................................................... 71

Un document organis en trois grandes parties........................................................ 72
II. LES PRINCIPAUX LMENTS DES TERMES DE RFRENCE................................................ 73

1.
2.
3.
La prsentation gnrale des constituants de lvaluation........................................ 73

Des prcisions sur le contenu de la commande : les questions valuatives, et les
lments de mthode ................................................................................................ 76
Les aspects pratiques ................................................................................................ 80
III. COMMENT RDIGER DES TERMES DE RFRENCE ............................................................ 81

1.
2.
3.
1re tape, formuler des objectifs cohrents qui rpondent vos attentes................. 82
2me tape : une prsentation des constituants de lvaluation claire et cohrente
avec vos objectifs ..................................................................................................... 83
Dernires tapes, le dtail du contenu et les aspects pratiques................................. 84
NOTE N 6 RDIGER UNE NOTE MTHODOLOGIQUE................................................................ 85

I.
UNE RPONSE UNE COMMANDE ET SA PREPARATION .................................................... 85

1.
2.
Qui et Quand, pourquoi et comment ? ..................................................................... 85

Quatre grandes parties .............................................................................................. 86
II. LES PRINCIPAUX LMENTS DUNE NOTE MTHODOLOGIQUE ......................................... 87

1.
2.
3.
4.
5.
La comprhension des termes de rfrence.............................................................. 87

La problmatique...................................................................................................... 88
La mthodologie....................................................................................................... 90
Le droulement prvu............................................................................................... 91
Le budget .................................................................................................................. 93
Rsum
Par Elizabeth Paquot
Ce document est organis en six notes, chacune mettant laccent sur un aspect important du
processus dvaluation.
La dmarche dvaluation sarticule autour dun systme de pouvoir, dun objet valuer et
dun dispositif danalyse qui permet au commanditaire de dresser un bilan et de prendre des
dcisions. Les rsultats attendus sont trs variables. A lextrme, ils peuvent se limiter des
termes qualificatifs (bon ou mauvais) ou vont permettre de tirer des leons sans pour autant
forcment donner de point de vue ou de solution. Certaines commandes incluent un conseil
post valuation et dans ce cas, celui-ci doit tre valid par le commanditaire.
Le processus de lvaluation consiste en la mise en place dune animation permettant
daboutir un jugement collectif. Les valuations permettent de rajuster la communication
interne des organisations ou de valoriser leurs analyses. Mais ceci nest possible que si les
interlocuteurs de lorganisation value ont t intgrs la dmarche dvaluation et se sont
appropris leurs rsultats pour rajuster leurs analyses.
Lvaluation consiste bien souvent se situer dans les enjeux de pouvoir. Cest pourquoi
lvaluateur a intrt dcrypter assez tt les conflits afin danticiper les ractions que ses
conclusions vont susciter. Lvaluateur doit donc prparer le terrain avec les acteurs et ses
conclusions doivent tre accessibles, crdibles, psychologiquement acceptables et organises
pour faciliter la prise de dcision. Lexercice dvaluation est un exercice interculturel et sa
russite dpend en grande partie de la capacit de lvaluateur communiquer. Ce dernier doit
travailler dans la transparence et respecter la commande quil a reue.
Le droulement dun projet dpend des principaux acteurs chargs de sa mise en uvre et
donc dune ensemble dlments : lorganigramme, la procdure, le systme de reporting, les
mthodes de travail, le leadership, les ressources humaines, la gestion, les mthodes daction,
etc. Dans le travail dvaluation, cest aussi lapprciation du rsultat par les diffrents acteurs
qui permet lvaluateur de remonter lefficience, la cohrence et la pertinence du projet.
Cette apprciation aide aussi lvaluateur poser les bonnes questions.
Lvaluation peut prendre plusieurs formes; elle peut tre quotidienne, se reporter un vnement donn ou tre ponctuelle. On parle dvaluation ex ante pour dsigner celle qui se
fait avant le lancement dun projet (tude de faisabilit). Mais lvaluation peut aussi se faire
mi parcours , la fin du projet ou bien aprs la mise en place du projet : cest alors une
valuation ex-post . Lvaluation interne se fait par un membre de la structure qui la
commandite, lvaluation externe, par un valuateur extrieur et lvaluation endogne, par le
commanditaire. Il existe des valuation longues qui se ralisent loin du commanditaire et
daprs des normes prtablies, et des rondes , qui se font partir dun systme de pouvoir
proche de lobjet valu.
Deux facteurs assurent la russite dune valuation : la clart de la demande faite par le commanditaire et la prparation de la dmarche par lvaluateur.
La premire tape dun travail de commande dvaluation consiste laborer un dossier de
termes de rfrence. La responsabilit du dossier des termes de rfrence repose sur le commanditaire et son quipe qui doivent les exprimer de faon claire, complte et cohrente. Les
termes de rfrence clairent lvaluateur sur plusieurs aspects fondamentaux : les constituants
de lvaluation, le contenu de la commande, les aspects pratiques de lvaluation, les
contraintes et la composition de lquipe. Le commanditaire doit prciser ses attentes, les
hirarchiser et vrifier la cohrence entre les objectifs et les moyens disponibles pour
lvaluation. L valuateur y rpond par une note mthodologique o il explique au commanditaire la dmarche quil va appliquer.
La relation entre termes de rfrence et note mthodologique peut se faire par le biais de
lappel doffres commercial ou par celui de lchange amical, mais dans tous les cas elle doit
tre valide noir sur blanc. La note mthodologique sert de document de pilotage, de garantie
du bon droulement de lvaluation sans parler du fait que cest elle qui permet au commanditaire de choisir son valuateur.
La note mthodologique se subdivise en quatre parties : la comprhension des termes de rfrence, la problmatique, la mthodologie et le droulement prvu. Elle permet en outre
lvaluateur de montrer au commanditaire si et comment il a compris son sujet. La problmatique sattarde expliquer aux commanditaires les grandes questions auxquelles lvaluation
doit apporter une ou des rponses. Lvaluateur explique rapidement les lments de mthode
qui lui permettront davancer. Lvaluateur doit par la suite construire les grands axes qui vont
structurer son travail. Ceux-ci sont dclins en trois ou quatre grandes questions tayes par
des petites questions. Lvaluateur annonce pour finir comment il va rpondre ces questions
en indiquant les critres quil va utiliser et en prcisant la qualit des rponses quil recherche.
La mthodologie quant elle dtaille les moyens mis en uvre pour lvaluation (enqutes,
documentation), ses grandes tapes ainsi que lquipe choisie pour la mener bien. Le budget fait lobjet de la dernire partie du dossier de rponse.
Evaluer, cest produire une image de la ralit pour la comparer une rfrence, un modle,
une moyenne, une prvision, une attente. Mais quelle que soit la rigueur de la dmarche de
lvaluateur, ce dernier se rfre forcment ses propres critres. Lvaluation est une dmarche sur mesure qui doit tre adapte aux valeurs du commanditaire de ltude. L'valuation
dpend de lobjet qui va permettre de dfinir lapproche. Sil existe des repres mthodologiques gnraux, chaque secteur, question, etc. ncessite dappliquer des indicateurs adapts. La
qualit des indicateurs choisis par lvaluateur dtermine celle des conclusions de lvaluation.
Six critres sont les plus communment utiliss dans les valuations de projets : la pertinence,
la cohrence, lefficience, lefficacit, limpact et la durabilit. Ils ne constituent pas un systme universel de mesure de la qualit des projets mais ils permettent de structurer la rflexion
du commanditaire et de lvaluateur.
Introduction
1.
Pour contribuer lefficacit des valuations
La place de lvaluation dans le domaine de la coopration au dveloppement a volu au

cours de ces dernires annes. Ctait une denre rare, elle est presque devenue monnaie courante. Chacun saccorde dsormais sur son importance, dans un milieu o les mcanismes de
rgulation et de sanction des erreurs sont extrmement tnus.
Mais la pratique de lvaluation commence dcevoir, en mme temps quelle se gnralise.
Les valus se sentent parfois flous. Les valuateurs ont souvent le sentiment dcrire dans le
dsert. Les commanditaires prennent frquemment leurs dcisions sans tenir compte des
conclusions des valuations.
Chaque valuation est un cas particulier. Ces dceptions peuvent donc avoir de multiples origines. Mais elles sont trs souvent amplifies par les difficults que les trois groupes de protagonistes dune valuation prouvent communiquer ensemble.
Les interventions pour le dveloppement sont, avant tout, des affaires de citoyens. Elles mettent contribution de multiples acteurs. Elles ont un caractre global qui implique systmatiquement plusieurs disciplines techniques ou scientifiques. Les valuer ncessite la collaboration entre une grande diversit de non spcialistes de cet exercice et des valuateurs de
mtier. Cette collaboration est souvent difficile. Elle serait facilite si les premiers possdaient
un minimum de notions qui leur permettent de dialoguer avec les seconds, et si ces derniers
avaient un minimum dexprience de praticien qui leur permette de se mettre la place de
leurs interlocuteurs.
2.
Six petites notes
Les six petites notes qui suivent nont donc que deux ambitions :
elles doivent permettre aux botiens de lvaluation de dialoguer plus facilement avec
les spcialistes de cet exercice ;
elles doivent faciliter le passage lacte de praticiens du dveloppement qui voudraient se
lancer dans lvaluation, des valuateurs dbutants en quelque sorte.
Ouvrage de vulgarisation , elles feront peut-tre hurler les vrais professionnels . (Nous
esprons quils resteront polis et courtois dans les reproches quils voudront bien nous transmettre pour nous permettre damliorer la prochaine version de ce document). Elles
natteindront finalement leur but que si leurs premiers lecteurs nous font lamiti de nous faire
part de leurs critiques.
Ces textes matrialisent le contenu dune srie de sessions de formation conues pour ce
mme type de public, et notamment des formations internes destines aux chargs de mission
et aux responsables de programmes du Gret.
Ces notes sont conues pour que lecteurs ayant dj quelques notions en matire dvaluation
puissent les lire indpendamment les unes des autres. Elles sont donc parfois un peu redondantes :
1. La premire de ces notes doit aider les dbutants Se reprer dans la diversit des
dmarches valuatives . Il en existe de nombreuses formes, chaque commanditaire doit
pouvoir choisir celle qui rpond ses besoins.
2. La seconde choisit une des dfinitions possibles de lvaluation : Apprcier la qualit
pour faciliter la dcision . Cette formule permet de dfinir un certain nombre de traits
communs aux dmarches valuatives, qui peuvent guider le travail des apprentis valuateurs comme des apprentis commanditaires.
3. La troisime prsente la dmarche qui va Des domaines de qualit la mesure des
indicateurs . Elle fournit ainsi quelques lments de mthode qui peuvent tre utiles aux
diffrents protagonistes dune valuation.
4. La quatrime indique quels sont Les principaux critres utiliss pour lvaluation de
projet . Ils font partie de la bote outils des matres douvrage et des matres duvre
des projets.
5. La cinquime explique en dtail comment Prparer les termes de rfrence dune
valuation. Elle sadresse plutt aux commanditaires dbutants.
6. La sixime propose un canevas pour Rdiger une note mthodologique . Elle est
plutt destine aux apprentis valuateurs.
Une septime, On the fields , se risquera donner quelques conseils pratiques ces apprentis valuateurs. Elle sera rdige courant 2001.
Ces six notes, sous leur version actuelle, ont t finalises fin janvier 2001 et nont pas la qualit ncessaire pour tre publies. Elles forment un document interne au Gret, mais peuvent
tre diffuses, la demande, accompagnes des commentaires dusage.
Note n 1
Se reprer dans la diversit
des dmarches valuatives
Lvaluation sefforce dapprcier la qualit dun objet pour faciliter des
dcisions qui vont tre prises son gard. Cette proposition de dfinition
recouvre une vaste gamme de dmarches, mises en uvre dans des contextes extrmement varis.
Cette premire note propose quelques lments pour se reprer dans cette
diversit. Elle sadresse notamment aux futurs commanditaires dvaluations. Elle espre leur tre utile en leur permettant de choisir le mode
dvaluation qui conviendra leur organisation, et leurs objectifs.
I.
LE SCHEMA GENERAL DES DEMARCHES EVALUATIVES
1.
Proposition dune dfinition : apprcier la qualit pour faciliter la

dcision
Il existe un grand nombre de dfinitions de lvaluation.

Cette abondance traduit une ralit : lvaluation recouvre une grande diversit de dmarches. Celles-ci peuvent tre mises en uvre dans des circonstances varies, pour rpondre
des finalits trs diffrentes, et porter sur une gamme quasi infinie dobjets valuer.
La multiplicit des dfinitions proposes pour ce terme reflte galement la volatilit du vocabulaire utilis pour aborder le sujet. Lacadmie de lvaluation, qui imposera ses propres dfinitions au petit monde qui la pratique, nest pas encore cre. Chacun peut encore inventer la
sienne. Ne boudons pas ce plaisir et ajoutons la ntre la longue liste des prcdentes :
VALUER, CEST APPRCIER LA QUALIT POUR FACILITER LA DCISION
Cette dfinition, probablement contestable, sous-tend lensemble des six notes de ce petit fascicule. Celles-ci ne prtendent pas fixer les canons dune vritable valuation. Elles
sattachent, au contraire, prserver cette diversit, pour permettre chacun de fabriquer
loutil qui convient ses besoins. Cette approche nest pas contradictoire avec le rappel de
quelques points fixes qui conditionnent lefficacit des valuations.
2.
Schma gnral : une dmarche trois acteurs principaux qui se

droule en cinq temps
La plupart des dmarches valuatives mettent en scne trois grands rles, un systme de pouvoir, un objet valuer et un dispositif danalyse, et elles se jouent en cinq actes :
1.
2.
3.
4.
5.
le systme de pouvoir sinterroge propos de lobjet ;

il commandite un dispositif danalyse ;
celui-ci apprcie la qualit de lobjet ;
puis rend compte de ses apprciations au systme de pouvoir ;
qui les utilise pour prendre des dcisions qui concernent lobjet valu.
Chaque type de dmarche valuative se diffrencie selon la nature :

des systmes de pouvoir qui lutilise ;
des objets sur lesquels porte lvaluation ;
des dcisions auxquelles elle doit contribuer ;
et des mthodes danalyse quelle met en uvre. Ces dernires sont largement prdtermines par les trois points prcdents.
Le schma gnral qui figure page suivante connat donc de nombreuses variantes. Les trois
grands rles, par exemple, ne sont pas toujours jous par des acteurs diffrents. Mais, globalement ce schma peut servir de fil directeur la description de la plupart des exercices
dvaluation.
On retiendra particulirement limportance du premier acte de ces exercices,
linterrogation du commanditaire propos de lobjet valu. Il est trs rare quune valuation
soit utile et russie, si elle ne rpond pas un minimum de curiosit initiale, et si elle ne
sintgre pas dans une perspective de prise de dcision, ou au minimum de changement. La
gnralisation des valuations comme un exercice oblig, intgr aux procdures de transferts
financiers, ne garantit pas toujours quelles rpondent cette exigence minimum.
II.
LA DIVERSITE
1.
La diversit des dmarches valuatives
1.1 Dans le temps
Exercice quasi quotidien ou valuation vnement

Les dmarches valuatives se distinguent par leur rythme ou leur frquence. Certains auteurs
utilisent le terme dvaluation pour dsigner lenregistrement et lexploitation continus de
donnes relatives la bonne marche dun projet ou dune institution. Dautres parlent de
suivi-valuation pour dsigner ce type doutil de pilotage quotidien. Ils rservent le terme
valuation des interventions plus exceptionnelles, destines par exemple, vrifier et
modifier la stratgie dune organisation, rorienter, poursuivre ou interrompre un partenariat,
un projet ou un programme.
10
Schma n 1
Le schma gnral des valuations : trois acteurs principaux, cinq temps
Un systme de pouvoir
-
La direction dune entreprise

Un gouvernement
Un parlement ou un groupe dlus
Un bailleur de projets de dveloppement
Une institution reprsentative dintrts
particuliers
Le Conseil dadministration dune ONG ou
dune OP
5) Prend des dcisions propos

de lobjet
2) Commandite un dispositif
danalyse
1) Sinterroge propos de lobjet
4
4) Rend compte de ses observations
Un dispositif danalyse
-
Dispositif de contrle
Dispositif de suivi-valuation
Mission permanente
dvaluation
Mission ponctuelle daudit
Mission ponctuelle dvaluation
Un objet
-
Un processus de fabrication
industriel ou artisanal
Un systme de comptabilit et
de gestion
Une politique publique, ou des
lments dune politique
publique
Une institution
Un projet
Etc.
3
3) Observe, compare une rfrence,
et qualifie
11
Ces deux types dexercices, quotidiens ou singuliers, sont complmentaires. Il existe une
gamme continue qui va de lun lautre. Lvaluation vnement dun projet ou dun programme a souvent besoin de sappuyer sur des informations rcoltes tout au long du droulement de celui-ci. La conduite dune opration de dveloppement implique diffrents outils
de rgulation qui fonctionnent sur le mode du bilan/ajustement, des rythmes diffrents.
Avant, pendant, juste aprs, ou longtemps aprs

Les valuations vnement sont en gnral programmes. Elles interviennent, par exemple, la fin dune phase importante dune action, au terme dun projet, ou lors de lchance
dun plan daction. Mais elles peuvent aussi tre dclenches la suite dune crise institutionnelle ou de dysfonctionnements graves.
Certains auteurs parlent dvaluation ex ante pour dsigner les tudes pralables au lancement dun projet. Dautres prfrent les termes d identification et dtudes de faisabilit . Les premires concernent lanalyse du contexte dun futur projet et le choix de ses
grandes lignes dintervention. Les secondes aboutissent la dfinition prcise de son contenu.
Le terme valuation est alors rserv lanalyse dune action en cours ou passe.
Les matres douvrage des projets de dveloppement mettent souvent en uvre des
valuations mi-parcours qui permettent dajuster leur stratgie dintervention.
Lvaluation finale est, en gnral, ralise dans les derniers mois dun projet pour en
faire le bilan et en prvoir les suites.
Lapprciation de limpact dune action de dveloppement ncessite des dlais plus longs. Il
faut attendre que ses effets se confirment et se diffusent, que les institutions nouvellement
cres fassent leurs preuves, que les nouvelles techniques introduites soient effectivement
intgres par ceux auxquels elles taient destines. Certains rservent donc le terme
dvaluation ex post des exercices raliss plusieurs mois, voire annes aprs la fin
dune opration, et gnralement destins en apprcier limpact.
Le dmarrage

La prparation
du projet

valuation
ex ante ou
identification
La fin de
lexcution

UN PROJET CONU EN DEUX PHASES DISTINCTES
valuation
mi-parcours
valuation
finale

Evaluation
ex post
Schma n 2
Lvaluation diffrentes phases dun projet
12
Mission courte ou investigations pousses

La dimension dune valuation est trs variable. Elle dpend videmment de la complexit des
objets valuer, de la nature des dcisions clairer, et, bien sr, des moyens qui lui sont
consacrs. Elle peut se limiter une mission dune dizaine dhommes/jour : un seul expert
limite alors ses investigations des apprciations qualitatives et aux traitements de donnes
existantes. A linverse, une valuation peut runir des quipes de quatre ou cinq consultants
sur plusieurs mois en leur donnant les moyens de mettre en uvre des processus danalyse
quantitative significatifs.
Historiquement, les premires valuations de projets de dveloppement ralises au Sud ont
t commandites par des bailleurs du Nord et confies des experts du Nord. Les mthodes
alors utilises ont t en partie dtermines par les contraintes de ces commanditaires loigns
du terrain, et de ces valuateurs qui ne pouvaient travailler que par missions de courte ou
moyenne dure. En dehors de ces circonstances particulires, de nombreux types
dvaluations mriteraient dtre conduits sur des rythmes moins intensifs et plus continus.
Les valuations institutionnelles et lensemble des dmarches participatives, en particulier,
saccommodent mal de missions courtes . La dcentralisation des centres de dcision des
bailleurs et la monte en puissance de lexpertise des valuateurs du Sud contribuent heureusement diversifier les approches de lvaluation des projets de dveloppement 1.
1.2 Dans le jeu des acteurs
Dmarches intimes ou processus multiacteurs

Une valuation peut tre une dmarche limite un nombre rduit de protagonistes ou la mise
en jeu de multiples acteurs.
Pour reprendre le schma n 1, le systme de pouvoir et le dispositif danalyse peuvent ne
concerner que quelques personnes, et lobjet valu ntre effectivement quun objet. Les
trois protagonistes de lexercice peuvent mme appartenir une seule et mme institution de
petite dimension, sans que cela nuise forcment la rigueur de leur dmarche.
A linverse ils peuvent constituer chacun un assemblage complexe dacteurs diffrents). La
commande dune valuation dun projet de grande dimension peut ainsi associer diffrents
services dun bailleur (le service thmatique, gographique, le service valuation du sige, ses
reprsentants sur le terrain) et les diffrentes administrations locales associes la matrise
douvrage de lopration. Loprateur dun projet peut tre une fdration qui regroupe de
multiples organisations locales. Les principaux acteurs dun projet (matre douvrage, matre
duvre, partenaires, bnficiaires) sont associs aux diffrentes tapes des valuations dites
participatives . Il nest pas toujours ais de concevoir une dmarche valuative cohrente
qui rponde de multiples attentes, ni ensuite den piloter le droulement au sein dun systme dacteurs particulirement complexe.
Externe/interne, exogne/endogne
En termes de vocabulaire, la plupart des auteurs parlent :
1
Mais il est probable que ces contraintes initiales expliquent encore pourquoi des projets de dveloppement
territoriaux ou sociaux sont valus selon des processus si diffrents au Sud et au Nord, alors quils obissent
aux mmes logiques.
13
dvaluation interne, quand lvaluateur appartient la structure qui commandite

lvaluation, et dvaluation externe quand il sagit dune personne indpendante ;
dvaluation endogne, quand le commanditaire de lvaluation et le matre duvre de
laction value (ou lobjet valu lui-mme) sont la mme personne morale, o appartiennent la mme personne morale. (Lexpression valuation exogne est plus rarement employe dans le cas inverse) ;
dauto-valuation, quand une institution svalue ou value ses actions sans recourir un
intervenant extrieur, et dauto-valuation assiste, quand celui-ci intervient dans un tel
processus, non pas comme valuateur, mais comme animateur, formateur (et) ou conseiller-mthode ;
Schma n 3
Exogne/endogne ; interne/externe
OE
valuation exogne
OE
valuation endogne
Le commanditaire et lobjet Le commanditaire et lobjet

valuer sont loigns
valuer sont proches
valuation interne
OE
OE
valuation externe
Le commanditaire et
Le commanditaire et
lvaluateur appartiennent lvaluateur appartiennent
deux institutions
la mme institution
diffrentes
dvaluation participative quand, quels que soient les acteurs, ils utilisent des mthodes
du mme nom toutes ou certaines tapes du processus.
Entre animation et contrle

Au-del de ces termes, la gamme des valuations inclut des exercices qui vont du contrle
externe lanimation.
Les premiers sefforcent de comparer la ralit dune action des normes trs prcises, dfinies au pralable de son excution. Les acteurs proches de lobjet valu ne sont alors, pour
lvaluateur, que des sources dinformation possibles.
Les seconds visent faciliter llaboration dun jugement collectif. Le rle de lvaluateur est
daider les acteurs les plus impliqus dans une action, porter une apprciation commune et
objective sur celle-ci, sur sa conception, son droulement ses rsultats.
Toutes les combinaisons et les solutions intermdiaires sont possibles entre ces deux extrmes.
Ils sont parfois opposs au nom de philosophies contradictoires de laction. Il sagit en fait
14
doutils destins valuer des objets de natures diffrentes pour des systmes de pouvoir diffrents.
Certains auteurs rservent le terme daudit au premier et d auto-valuation au second.
1.3 Dans le type de dmarche danalyse induite
Des dmarches modeles par leur objet

La diversit des valuations tient videmment la diversit de leur objet. En matire de coopration au dveloppement, on value notamment :
des politiques ou des lments de politique ;
des procdures dintervention ;
des programmes ou des processus ;
des institutions ;
des projets.
Chacune de ces familles dobjets renvoie des ensembles doutils et de mthodes spcifiques.
Des dmarches parfois trs normes, souvent sur mesure

Selon leur objet et leur commanditaire, les valuations peuvent tre des exercices trs codifis,
ou, au contraire, des dmarches sur mesure . Certains bailleurs de fonds institutionnels ont,
par exemple, dfini des rgles et des procdures trs prcises pour rendre plus homognes et,
espraient-ils, plus efficaces les valuations quils commanditent.
Certains commanditaires et praticiens de lvaluation, spcialiss sur un champ particulier,
dfinissent progressivement des lments de mthode qui deviennent des rgles spcifiques
dans leur domaine dintervention. Il existe ainsi des critres, des indicateurs, des modes
demploi de ces indicateurs2 propres au secteur de la sant publique, des projets dominante
conomique, des actions de formations, etc.
Sans que cela soit forcment contradictoire avec ces efforts de normalisation, lvaluation
dune intervention de dveloppement est encore, la plupart du temps, un exercice sur mesure . Deux pralables conditionnent le succs de ce type dexercice : son commanditaire doit
tre capable dexprimer une commande cohrente et conforme ce quil veut ; lvaluateur
doit pouvoir laborer une dmarche qui rponde effectivement cette attente, aux spcificits
de lobjet valuer et de son contexte. La rdaction des termes de rfrence par le premier,
puis la ngociation de la note mthodologique prpare par le second, sont donc deux moments-cls dans une valuation3.
1.4 Dans leur rle daide la dcision
Contrle qualit systmatique trs en amont dune dcision, ou lment dune stratgie de
changement dj en cours
Une valuation peut correspondre une dmarche qualit systmatique, dcide sans a priori
particulier. Elle fonctionne alors sur le mode des bilans de sant rguliers conseills, titre
2
Cf. note n 3 ci-aprs Des domaines de qualit au bon usage des indicateurs , et note n 4 Les principaux
critres de lvaluation de projets .
Cf. les notes ci-aprs n 5 Prparer des termes de rfrence , et n 6 Rdiger une note mthodologique .
15
prventif, par les mdecins leurs patients. On peut les comparer aux rvisions priodiques,
tous les cinquante mille kilomtres, recommandes par les constructeurs automobiles leurs
clients.
Une valuation peut au contraire rpondre une attente prcise, dtermine, par exemple, par
une chance importante, ou par des doutes sur le bon droulement de laction, ou par
lapparition de premiers symptmes de dysfonctionnements.
Elle peut aussi sintgrer une dmarche de changement dj labore, clairer des enjeux
dj reprs, valider ou infirmer des hypothses dj formules pour la poursuite dun programme ou llaboration dun plan daction.
Les valuations du premier type vont donc tre conduites sur le mode du bilan systmatique.
Elles sattachent vrifier un large panel de critres de qualit communment utiliss dans le
domaine o elles interviennent. Leur contexte institutionnel est rarement contraignant.
Les secondes vont, au contraire, comporter des investigations trs cibles, et utiliser des critres de qualit spcifiques choisis en fonction des symptmes ou des attentes relevs par le
commanditaire. Elles doivent tenir compte des contraintes des processus de dcision dans lesquels elles sintgrent.
Des conclusions limites des constats ou incluant des explications et des

recommandations
Certains auteurs et certains commanditaires limitent le travail de lvaluateur un constat. Les
conclusions de ce dernier doivent se borner, selon cette conception, lapprciation de la qualit de lobjet valu (bonne ou mauvaise, conforme ou non aux attentes, au cahier des charges, au document-projet, etc.).
Pour dautres, sa mission inclut lexplication de lorigine de cette qualit. Elle doit permettre
de tirer des leons et de guider ultrieurement laction. Mais la distance ou la neutralit
que doit garder lvaluateur ne lautorise pas, selon ce deuxime point de vue, faire des propositions. Ces dernires impliquent des choix politiques et une vision globale, et on considre
alors que lvaluateur na ni la lgitimit ncessaire aux premiers, ni forcment le point de vue
indispensable la seconde.
Certains commanditaires, au contraire, jugent lvaluateur la pertinence de ses propositions.
Ils attendent que celles-ci clairent les dcisions quils doivent prendre dans un champ bien
dlimit lavance. Ils se rservent, bien sr, la possibilit de suivre ou non lavis de
lvaluateur, et gardent videmment la responsabilit de leurs dcisions.
Pour la plupart des partisans de cette troisime conception, le rle de lvaluateur sarrte la
remise de son rapport dfinitif, approuv par son commanditaire. La dontologie de son mtier
lui interdit daller au-del et dintervenir dans lapplication de ses propres recommandations :
lvaluation et lappui doivent rester deux exercices spars.
Du simple diagnostic laccompagnement du changement

Tous nont pas cette conception. Certaines commandes incluent la fois un travail
dvaluation et laide la mise en uvre des dcisions qui en sont issues. Par exemple, une
institution peut demander la fois lvaluation qui doit contribuer llaboration de son plan
daction, et lappui la mise en uvre de ce plan. Certains bailleurs associent dans le mme
appel doffres lvaluation finale dun projet et ltude de faisabilit de ses prolongements.
16
Cette faon de faire a des avantages et des inconvnients. Elle valorise linvestissement de
lvaluateur et sa comprhension de lobjet valu. Elle contribue la cohrence dune dmarche de changement, dont lvaluateur devient le vritable matre duvre. Mais dans certains
cas, le rle de ce dernier risque de devenir trop prminent. Les comptences et la posture
requises pour lvaluation et laccompagnement du changement ne sont pas toujours identiques. Lvaluateur est plus libre de son jugement quand sa mission sarrte lexpression de
celui-ci. Il risque, dans le cas inverse, de limiter les changements quil propose ceux quil
sait accompagner.
Pour limiter ces risques, ces dmarches, incluant valuation et accompagnement du
changement, doivent tre conues comme des processus, dont chaque tape doit tre valide
avant que la suivante ne soit engage. Par exemple, les conclusions de lvaluation doivent
tre approuves avant que ne soient labores les lignes directrices des changements proposs.
Ces dernires doivent leur tour tre agres pour, ensuite, commencer planifier, puis
mettre en uvre les premires phases dun plan daction, ou ltude de faisabilit dun
nouveau projet.
2.
Tentative de synthse, entre les longues et les rondes
2.1 Les longues et les rondes
En schmatisant, on peut proposer de reprer une dmarche valuative en la situant entre deux
modles types thoriques et opposs. Nous appelons ces deux modles, les longues et les
rondes , en faisant rfrence au schma n 1, qui reprsente les trois protagonistes dune
valuation au sommet dun triangle.
Les Longues
Les commanditaires des valuations longues sont des systmes de pouvoir dont les centres
de dcision sont physiquement loigns de lobjet valu. Ils fonctionnent selon un mode de
prise de dcision hirarchis et trs codifi. Ils privilgient une apprciation de la qualit fonde sur la comparaison entre la ralit et des normes, ou des prvisions quils ont eux-mmes
dfinies. Ils imposent des procdures dvaluation dtailles et rigides. Ils attendent de
lvaluateur des informations prcises et objectives sur une ralit quils connaissent mal. Ces
informations doivent leur tre prsentes selon leur propre norme. Ils se mfient dune ventuelle collusion entre lvaluateur et les acteurs proches de lobjet valu. Le travail de
lvaluateur doit donc sarrter la remise de ses conclusions.
Les conclusions quon attend de lui sont des constats. Les valuations commandites par les
bailleurs institutionnels, lorsquelles privilgient des questions de respect de procdures, sont
proches de ce type thorique d valuations longues .
Les rondes
Les valuations rondes , au contraire, sont commandites par des systmes de pouvoir
dont les centres de dcision sont proches de lobjet valu. Ces systmes fonctionnent
moins sur le mode de lautorit hirarchique que sur celui du consensus. Ce consensus repose
sur un sentiment identitaire fort, lui-mme fond sur une idologie commune affirme. Les
commanditaires de ces valuations prfrent faire appel des valuateurs proches de leur courant de pense, avec lesquels ils ont dj tabli une relation de confiance. Ils ne demandent pas
de lvaluation des informations nouvelles sur lobjet valu. Ils croient bien le connatre. Ils
17
attendent un regard extrieur pour faire le point, prendre de la distance, largir leurs rfrences, renouveler leurs dbats internes. Ces dbats doivent permettre de confirmer ou de rajuster une stratgie dintervention qui doit rester fonde sur un large consensus interne. Peu procduriers, ils sont nanmoins logiquement attentifs aux mthodes valuatives. Ces dernires
doivent permettre la participation du plus grand nombre llaboration et la validation des
conclusions finales de lvaluation pour produire effectivement un consensus. La mission de
lvaluateur ne sarrte pas la remise de son rapport, mais elle inclut sa participation au processus final qui permet linstitution commanditaire de sapproprier, au moins en partie, ses
conclusions.
Schma n 4
Les rondes et les longues
C : LE COMMANDITAIRE
C
2 Commandite
1 Sinterroge
E : LVALUATEUR
OE : LOBJET EVALU
EVALU
5 Dcide
4 Rend
compte
E
OE
3 Apprcie
C
LES LONGUES
LES RONDES
OE
OE
18
2.2 Entre les deux
Dans la ralit les valuations ne sont ni tout fait rondes , ni tout fait longues . Leurs
termes de rfrence sont, de plus, souvent le fruit de ngociations et de compromis entre plusieurs commanditaires, positionns diffremment par rapport aux objets valus. Les institutions au gouvernement trs hirarchis prennent conscience de lintrt des dmarches
valuatives qui associent les diffrents acteurs dun projet ou dune organisation. Le schma
n 5 ci-aprs, fait figurer les principaux critres noncs au chapitre prcdent, qui permettent
de classer les valuations plutt du ct des rondes , ou plutt du ct des longues .
3.
La diversit des usages et des mcanismes luvre
La multiplicit des dmarches valuatives nest pas seulement une question dcole. Dans le
domaine de la coopration internationale, elle correspond une diversit dattentes et
dusages. Elle traduit galement la varit de mcanismes luvre dans les changements
associs aux valuations. Le chapitre qui suit na pas la prtention de dresser un panorama
complet de cette diversit des usages et des mcanismes. Il ne traite que des valuations
vnements . Il se limite aux principaux usages de ce que nous avons appel des
valuations endognes . Il insiste ensuite sur le fonctionnement qui est le plus couramment
en jeu dans celles que nous avons appel des valuations plutt rondes .
19
Schma n 5
Les diffrents types dvaluations : ltoile 16 branches
Pilotage rgulier
Evaluation institutionnelle
Dmarche cible, Outil dune stratgie
Dmarche cible, outil dune stratgie
Exercice
Exercice normatif
normatif exexhaustif
Multi acteurs
Multiacteurs
Accompagnement du changement
Accompagnement du changement
Evaluation constat
Evaluation constat
animation
Animation
contrle
Contrle
Simple production
Simple production
dinformations
objectives
dinformations objectives
Evaluation explicative
Evaluation explicative
Dmarche intime
Dmarche intime
Dmarche exhaustive, analyse

qualit systmatique
Sur mesure
Temps fort
Du ct des rondes
Evaluation de projets, de
dispositifs, de politiques
Du ct des longues
3.1 Les usages multiples des valuations endognes : de la conduite des actions
lajustement des stratgies institutionnelles
La conduite des projets-processus

La plupart des acteurs de terrain qui conduisent des actions de dveloppement doivent rflchir et travailler sur deux chelles de temps la fois. Ils tentent de concilier la dure ncessaire au processus de changement social quils sefforcent de susciter, avec des rythmes plus
courts, imposs par les outils dont ils disposent pour financer leurs interventions. Ils essaient
dinscrire dans des perspectives long ou moyen terme, des enchanements de projets, de
budget-programme, ou de plans daction grs sur deux, trois ou quatre ans. Ils recherchent
des impacts concrets et immdiats, tout en poursuivant des objectifs plus institutionnels ,
20
comme, par exemple, le dveloppement des capacits dacteurs locaux appels relayer et
amplifier, dans la dure, les rsultats de leurs interventions.
Leur attente la plus frquente en matire dvaluation est donc de tirer les leons de ces phases
daction de deux ou trois ans, au regard de finalits poursuivies sur des pas de temps plus
longs, parfois sur des territoires plus vastes que ceux de leurs actions initiales. Lvaluation
doit donc apprcier les qualits dun projet ou dun programme, un moment particulier de
son droulement, pour contribuer aux orientations dun processus plus long et plus vaste. Elle
porte la fois sa mise en uvre et ses rsultats4. Elle est loccasion dajuster des outils de pilotage, de rviser des stratgies, de prendre en compte les volutions du contexte local, de
valider des acquis de mthode ou dorganisation. Elle introduit un temps de dbat partir des
premires conclusions, des doutes, parfois des divergences que partagent ou qui divisent des
quipes de terrain, de supervision et de pilotage.
Lajustement des stratgies

Lvaluation nest pas seulement lvaluation outil de pilotage de projets-processus . Les
organisations de dveloppement sen servent galement pour clairer leurs rflexions et leurs
dcisions stratgiques. Ce type dobjectif tait, par exemple, trs largement majoritaire parmi
la trentaine dONG du Sud qui ont rpondu lappel projets lanc par la Fondation de
France en 1998 et 1999. Cette opration intitule lvaluation participative, outil du dveloppement avait pour objectif de financer des valuations librement dcides et conues par
des ONG. Les ONG bnficiaires ont majoritairement mis en uvre des valuations qui devaient dabord les aider redfinir leurs orientations stratgiques. Elles taient motives parfois par des situations de tensions institutionnelles et des rythmes normaux de plans
dactions pluriannuels. Plus souvent ces ONG avaient le sentiment quelles devaient voluer
en profondeur pour sadapter aux changements de leur environnement. Lvaluation a mis
en vidence lintrt, la fois dun regard extrieur et dune analyse sans complaisance de
lactivit, et de lorganisation dune institution pour lui permettre de mettre en perspective son
propre dveloppement, et de redfinir ses objectifs. Limpact de lvaluation tient alors autant
lapport effectif de lvaluateur, quau temps de dbat et de recul pris, quelle introduit un
moment donn de la vie dune institution.
Le perfectionnement des mthodes et des outils dintervention

Le dveloppement est un mtier difficile. Les organisations qui sy consacrent sefforcent de
rester dans une posture permanente de recherche. Elles essaient continuellement de
perfectionner leurs approches et leurs outils dintervention. Elles peuvent utiliser lvaluation
de leurs projets pour en tirer des enseignements en termes de mthodes et de stratgies
dintervention, pour valider ce quelles peroivent comme des acquis originaux, ou pour
formaliser des pratiques quelles veulent mieux thoriser, reproduire ou diffuser. Cet aspect
peut ntre quun sous-produit , attendu un peu accessoirement, dune valuation de projet.
Il peut devenir lobjectif principal dune valuation transversale, ou demeurer une question
rcurrente pose aux diffrents valuateurs de plusieurs projets conduits par une mme
institution.
Cf. ci-aprs la note n 4 Les principaux critres de lvaluation de projets .
21
La communication et le dbat interne

La mise en dbat des conclusions dune valuation au sein de linstitution commanditaire peut
ntre quune des conditions ncessaires la mise en uvre de ses recommandations.
Lenrichissement du dbat et de la communication interne peut aussi tre un des objectifs (secondaires) dune valuation. Cela implique alors une conception particulire.
La communication et la crdibilit externe

Les projets et les processus de dveloppement mettent toujours en jeu de multiples acteurs.
Les organisations qui les conduisent doivent convaincre des bailleurs de les financer,
sassocier dautres institutions locales, dialoguer avec des structures bnficiaires ou relais,
collaborer avec des autorits politiques ou administratives, etc.
En rgle gnrale, ils ne peuvent pas faire limpasse sur les rpercutions que peut avoir
lvaluation de leurs actions sur ces multiples relations. Ils peuvent souhaiter quelle soit
loccasion de renouveler le dialogue quils conduisent avec leurs divers partenaires, et par
exemple, associer certains dentre eux lensemble de la dmarche ou, au moins, ses phases
de restitution. Cela implique que les rgles du jeu de cette participation soient clairement dfinies au pralable entre le commanditaire et lvaluateur.
Par exemple, une ONG qui commandite une valuation endogne , espre souvent que ses
rsultats vont contribuer renforcer sa crdibilit auprs de ses bailleurs habituels. Lorsque
cette attente est explicite, lvaluateur doit la fois en tenir compte dans sa mthode5, mais
sans droger sa dontologie et son objectivit dans ses conclusions. Lexercice au final est
parfois prilleux. Lvaluateur reste responsable de ce quil crit. Il doit absolument respecter
la confidentialit des rapports dvaluation, dont le contenu nappartient qu celui qui la
commandit.
3.2 Le mcanisme deux ressorts des valuations plutt rondes : le regard
extrieur et la valorisation des dbats et des jugements internes
Les mcanismes luvre dans les changements provoqus par une valuation endogne sont
varis. Ils dpendent largement de la posture initiale de lorganisation qui commandite ellemme son valuation ou celle de son projet. Lvaluation elle-mme cre rarement elle seule
une dynamique de changement. Au mieux, elle exploite et amplifie une attitude initiale qui
conjugue curiosit et culture de la qualit. Le fait de dcider une valuation endogne est souvent, mais pas toujours, la fois la preuve de cette attitude et le signe dun certain niveau global de qualit .
Les impacts de ces valuations sont minoritairement provoqus par les apprciations originales portes par lvaluateur, ou par des informations nouvelles issues de son travail. Ils sont
majoritairement dus la valorisation danalyses dj en cours au sein de lorganisation, la
fois commanditaire et value. Les dmarches trs cibles sur des questions valuatives prcises, o celles qui ont un fort contenu technique, font cependant parfois exception cette rgle.
22
Il peut en tenir compte en incluant dans les critres dvaluation, ceux auxquels ses bailleurs sont particulirement sensibles (le respect de leurs propres procdures, la qualit de lorganisation comptable et de la gestion, la
fidlit des rapports qui leurs sont destins, la fidlit au document-projet initial, la prise en compte de leurs
propres objectifs politiques, etc. ).
La valorisation dobservations et danalyses prexistantes

Lvaluation marche souvent parce quelle introduit un temps de rflexion et parfois de
traitement de linformation au sein dquipes ou dinstitutions qui fonctionnent flux tendus dans laction. Frquemment, sur une mission relativement courte lvaluateur intervient
plus efficacement en amliorant lexploitation de donnes dj accumules par lvalu ,
plutt quen collectant une masse dinformations nouvelles.
Les personnes impliques directement sur un projet, ou dans le fonctionnement dune institution, ne sont pas toujours objectives son gard. Mais elles sont rarement toutes stupides et
incomptentes, et peu motives. Elles connaissent bien la ralit de leurs interventions.
Lvaluation fonctionne surtout en mettant jour, en validant par la critique et en lgitimant des observations et des ides dj prsentes au sein des quipes oprationnelles ou de
suivi, comme de leurs partenaires directs.
Mais ce mcanisme implique que lvaluateur puisse confronter ses propres apprciations,
mme rapidement labores, celles de ses interlocuteurs. Elles ne sont pas toujours explicites, ni clairement formules. Elles sexpriment rarement spontanment sur les points faibles,
les questions conflictuelles et les sujets qui fchent . Dans ce type dvaluation, le travail
de lvaluateur est aussi un travail daccoucheur. Il utilise son propre diagnostic pour faire
accoucher celui de ses interlocuteurs, qui leur tour enrichissent le sien.
Le recul et la mise en perspective

Cet accouchement se produit souvent lorsque lvaluation permet une petite quipe focalise
sur les rsultats immdiats de son action, de resituer ses interventions dans une perspective
plus large. Cest un des rles de lvaluateur de laider se repositionner par rapport ses
objectifs initiaux, prendre en compte des chances plus lointaines, et les volutions de son
contexte, ou faire des comparaisons avec des interventions analogues menes par dautres
quipes, dans dautres contextes.
La lgitimation et la mise en ordre pour laction

Il ne suffit pas que les apprciations avances ou mises en valeur par lvaluation soient justes
pour quelles apportent du changement. Elles natteignent cet objectif que si ceux auxquels
elles sadressent se les approprient. Trois conditions facilitent cette appropriation :
plus les personnes qui vont tre directement concernes par les dcisions qui vont suivre
lvaluation sont associes llaboration de ses conclusions, et plus elles ont de chances
de se les approprier ;
plus ces conclusions font lobjet dun dbat collectif au sein de lorganisation et plus elles
paratront lgitimes ;
plus ces conclusions sont hirarchises entre elles et mieux elles sont expliques, et plus
elles facilitent la prise de dcisions.
Lvnement qui facilite la dcision et le passage lacte

Le ressort de limpact dune valuation endogne ne tient pas seulement au contenu de ses
conclusions. Linnovation quelle apporte ne se situe pas forcment au niveau de la
nouveaut des apprciations, ou de leur appropriation. Elle peut rsider principalement
dans les vnements quelle suscite et qui entranent la prise de dcision ou le passage lacte.
La formalisation noir sur blanc , lexpression en runion publique, ou la mise en dbat au
sein dune assemble, dides dj partages par la majorit des acteurs importants dune ins-
23
titution ou dun projet, peuvent tre le ressort principal des changements apports par une
valuation. Le rle de lvaluateur nest pas celui danimer ou de mettre en scne cet vnement, mais de contribuer crer les conditions qui vont le faciliter (il peut mme arriver que
lhostilit dclenche lencontre des conclusions de lvaluateur soit lorigine des vnements qui suscitent le passage laction).
Impact direct, impact secondaire, impact dcal

Sauf exception, une organisation ou une quipe ne peux dcider et mettre en uvre immdiatement quun nombre limit de changements importants. Limpact direct, immdiat, dune
valuation ne peut dpasser la mise en uvre de deux ou trois grands chantiers . Le choix
de ces chantiers, partir des conclusions de lvaluation, est un enjeu important. La restitution
de ces conclusions doit permettre aux commanditaires-valus de hirarchiser eux-mmes
constats et propositions. (Limpact direct dune valuation nest pas forcment dans la droite
ligne des conclusions de lvaluateur.)
En dehors de ces ventuels grands chantiers , lvaluation fonctionne aussi quand elle ouvre de nombreuses pistes secondaires damliorations, plus ou moins accessoires. Elle peut
alors amplifier des dynamiques ponctuelles de changements et contribuer lvolution de
certaines pratiques, lamlioration de certains volets de laction ou de lactivit de
lorganisation. Elle joue ce rle en valorisant des points de vue cibls sur des dtails ou sur des
points secondaires et en sefforant de traiter des questions dacteurs particuliers. Il ne sagit
pas de porter des apprciations et de surtout faire des propositions, mais de relever une srie
de remarques, dinterrogations et de suggestions. Cette srie doit pouvoir fonctionner comme
une shopping list dans laquelle les acteurs ne reprendront et dapprofondiront que ce qui
les intressent.
Une partie de limpact dune valuation endogne russie se manifeste souvent plusieurs mois
aprs lvaluation : les capacits dinnovation instantane dune organisation sont limites ; la
mise en uvre de certains changements est longue mettre en place ; les conclusions dune
valuation se digrent lentement, surtout quand elles sont critiques De plus, les valuations
endognes les plus russies ne sont pas forcment celles qui proposent leur commanditairevalu des bonnes solutions mettre en uvre rapidement. Ce sont parfois celles qui leur
permettent de se poser les bonnes questions, et dy apporter eux-mmes progressivement, les
bonnes rponses.
Lvaluation met en scne trois grands rles : le commanditaire, lvaluateur et lobjet
valu. La trame de son scnario ne varie gure : le premier sinterroge au sujet du troisime, il demande au second den apprcier la qualit pour clairer les dcisions quil
doit prendre.
Mais, au-del de ces points communs, le mot valuation recouvre un grand nombre de
dmarches et de pratiques diffrentes, selon la nature du pouvoir qui les commandite, les
objets sur lesquels elle porte, le type de dcision quelle prpare
Face cette grande varit, il semble vain de vouloir dfinir la vritable valuation .
Mieux vaut tenter den connatre les grandes variantes pour adapter au mieux lexercice
lusage que lon veut en faire.
Pour se reprer dans cette diversit, on peut opposer deux formes dvaluations selon
quelles sadressent des commanditaires proches ou loigns de laction, fonctionnant
selon des systmes trs hirarchiques ou trs consensuels. Cet article les a appeles les
longues et les rondes .
24
Note n 2
Apprcier la qualit pour faciliter
la dcision : quelques traits
communs aux valuations
Apprcier la qualit pour faciliter la dcision . Cette dfinition de
lvaluation sert galement de fil directeur cette seconde note. Mais il
sagit cette fois de cerner les principaux points communs aux diffrentes
dmarches valuatives. Ceux-ci permettent de donner un premier clairage
sur la pratique de lvaluation.
Cet clairage peut tre utile de futurs valuateurs qui cherchent mieux
connatre les contours de leur mission.
I.
EVALUER APPRECIER LA QUALITE ET DONC DONNER DE LA VALEUR
1.
valuer cest (presque toujours) produire une image de la ralit

pour la comparer une rfrence
La dmarche gnrale de lvaluation sapparente celle de lanalyse de la qualit. Elle

consiste produire une image de lobjet valu et comparer celle-ci une rfrence. Cette
rfrence peut-tre une norme, un modle, une moyenne, une prvision, une attente, limage
dune autre ralit (avant/aprs, ici/ailleurs).
La dfinition de la rfrence, le choix des critres de comparaison, et llaboration des instruments qui permettent cette comparaison, sont des enjeux majeurs de la mthode valuative6.
Ils ncessitent en gnral un travail sur mesure , sauf dans des domaines trs codifis, ou
pour des exercices de simple comparaison (prvisions/rsultats, normes/ralit) qui les prdterminent.
Cette laboration dune mthode sur mesure est la premire tape du travail de
lvaluateur. Ses rsultats vont tre dterminants pour la suite de lvaluation. Le
Cf. note n 3 ci-aprs Des domaines de qualit au bon usage des indicateurs .
25
commanditaire a intrt sassurer que les choix qui lui sont alors proposs sont conformes
ses attentes7.
Quelle que soit la rigueur de leur dmarche, les apprciations des valuateurs ne sont pas toujours fondes sur des indicateurs mesurables, ni en rapport avec des rfrences explicites. (Ils
sen rendent vraiment compte quand ils lisent les rapports des autres). Ils se rfrent invitablement leurs propres expriences, et leur propre conception de la qualit , surtout lorsquils disposent de peu de temps pour qualifier des objets complexes. Ces rfrences ne sont
pas forcment illgitimes, mais elles devraient toujours tre le plus explicite possible. (Nous
croyons souvent que notre jugement est le fruit du bon sens et de lexprience, quand parfois
les autres estiment quil nexprime quun point de vue idologique, ou quune conception particulire).
2.
Valeur dusage, valeur dchange
Sans trop jouer sur les mots, ni relire Marx, on retiendra quune boue de sauvetage a une grande
valeur pour lhomme en train de se noyer, quelle que soit lvolution de lindice du prix de cette
denre au niveau du commerce de dtail. Autrement dit, la valeur dun objet dpend aussi du point
de vue et du contexte do on lobserve. Les points de vue du commanditaire de lvaluation,
comme celui de lvaluateur sont lgitimes. Ils ne sont pas forcment les seuls. Et encore une fois,
ils sont dautant plus comprhensibles par autrui quils sont explicites.
II.
EVALUER, EMETTRE UN JUGEMENT
1.
Au minimum, une apprciation synthtique
En rgle gnrale8, le commanditaire dune valuation attend quelle se conclue par un

jugement de lobjet valu, ou si le mot effraie, au moins par une apprciation synthtique
de la qualit de ce dernier. Cette apprciation synthtique lui est indispensable pour faciliter
ses dcisions ultrieures. Elle nest forcment manichenne, (bon/mauvais, stop ou encore).
Mais elle qualifie clairement lobjet et prsente ses principales qualits.
Il faut insister sur cet aspect du travail de lvaluateur. Il apparat dabord comme un travail
danalyse. Cest en fait avant tout un travail de hirarchisation et de synthse9.
7
8
9
26
Cf. notes n 5 ci-aprs Prparer des termes de rfrence , et n 6 Rdiger une note mthodologique .
Mais pas toujours, cf. la note n 1 Se reprer dans la diversit des dmarches valuatives .
Les perfectionnistes doivent retenir cela : si au cours dune mission courte dvaluation, ils narrtent pas assez
tt leurs dmarches dinvestigation pour commencer laborer et tester leur synthse, leur rapport risque
dtre une catastrophe littraire et financire.
2.
Les deux usines jugement, soi et les autres. Mais aider formuler
un jugement ou recueillir une opinion sont deux exercices bien
diffrents
Lvaluateur peut soit produire lui-mme son propre jugement sur lobjet valu, soit le faire produire par dautres. Il peut aussi combiner ces deux familles de mthodes. La deuxime de ces deux
mthodes est incontournable pour certains objets (les politiques publiques), ou certaines questions
valuatives pour lesquelles lessentiel de la lgitimit de la rponse est lie la qualit de ceux qui
la construisent (lus, membres, citoyens, utilisateurs dun service public, etc.). Il sagit alors de
fournir un groupe les moyens dlaborer un jugement en laccompagnant dans le choix de ses
critres, de ses rfrences, et de ses mthodes. Cest une dmarche trs diffrente de celle qui
consiste recueillir lopinion dun groupe de personnes ou dune population, et se donner les
moyens de le comprendre et de linterprter. Lopinion des utilisateurs, des bnficiaires, est un
lment indispensable pour apprcier la qualit dun service ou dun projet . Mais le jugement
de cette qualit ne se rsume pas cette opinion.
III.
EVALUER, SE SITUER DANS DES ENJEUX DE POUVOIR
1.
Des enjeux dont lvaluateur doit tre conscient
Lvaluateur va tre amen porter un jugement sur un objet qui est bien souvent un enjeu de
pouvoir, ou qui est plac au centre dintrts divergents. Ses conclusions seront rarement neutres vis--vis des rapports de force, et des jeux dopposition et dalliance constitus autour de
ces enjeux. Il a intrt dcrypter ces derniers assez tt, la fois pour interprter les informations et les opinions quil va recueillir, et pour pouvoir ensuite anticiper les ractions que ses
conclusions vont susciter.
Il arrive souvent que les commanditaires aient des ides a priori bien arrtes sur les conclusions quils attendent dune valuation. Ils ne la diligentent que pour faire justifier par un expert indpendant des dcisions quils ont eux-mmes dj arrtes.
Lanalyse rapide du jeu des acteurs concerns par lvaluation et lcoute attentive de leurs
attentes (vis--vis de celle-ci) est souvent une tape pralable utile. Lvaluateur a intrt
bien expliquer, chacun de ses interlocuteurs, comment il se situe par rapport ces enjeux.
(Parfois, il est alors amen dire quil est neutre, indpendant, au-dessus de la mle, mais
pay par le bailleur du projet quil value On ne le croit pas toujours). Il russit rarement
dsarmer toutes les craintes, les animosits, et les anticipations que suscite sa mission. Il peut
cependant y contribuer en expliquant clairement la dmarche quil va suivre. En dehors dun
contexte particulirement conflictuel, la transparence est une bonne arme pour dsarmer la
mfiance. Il peut tre utile lvaluateur de prvoir et dannoncer un temps qui permette aux
principaux acteurs concerns par le projet de ragir ses conclusions, avant quelles ne deviennent dfinitives.
27
2.
Des mthodes adapter au systme de pouvoir des commanditaires
Les diffrentes conceptions de la dmarche valuative refltent le fonctionnement des

systmes de pouvoir qui les commanditent. Toute une tradition de lvaluation vient de
systmes hirarchiss (lentreprise, ladministration publique). Les mthodes adaptes des
systmes de pouvoir plus partag sont plus rcentes. Quand on a le choix, mieux vaut adapter
la mthode dvaluation au systme de dcision qui exploitera ses conclusions. Selon cette
affirmation il serait un peu vain de mettre en uvre des dmarches dvaluation participative,
quand au final, les dcisions ne seront pas prises sur un mode participatif En tout cas, on
peut en dbattre.
IV. EVALUER, AVANT TOUT COMMUNIQUER
1.
Des exigences pour lvaluateur en termes de rendu et de

conclusion
Lvaluation est donc un outil daide la dcision. Cela implique que les conclusions dun tel
exercice soient :
accessibles ceux auxquels elles sadressent ;

crdibles ;
psychologiquement acceptables pour ceux qui vont les couter et ventuellement les
utiliser ;
organises pour faciliter la prise de dcision.
Cest une vidence que les rendus des valuations ne respectent pas toujours dans la ralit.
Laccessibilit : Au risque de paratre trivial, il est ncessaire dinsister sur la qualit des
rapports crits. Ils doivent systmatiquement comporter synthse, rsum, table des
matires, annexes Ces rapports sadressent souvent des dcideurs presss, ou parfois
des lecteurs pour qui lexercice de la lecture nest pas familier.
La crdibilit est une question de mthode, de cohrence et de rigueur, on y reviendra ciaprs. Elle implique, en tout cas, que les mthodes et les raisonnements qui sont lorigine
des affirmations de lvaluateur soient explicites, comme les rfrences sur lesquelles il
fonde sont jugement (cf. ci-dessus). Ces rfrences doivent tre cohrentes avec celles
utilises par les dcideurs auxquels sadresse le rendu de lvaluation.
Tous ceux qui ont dj subit des valuations doprations quils mettaient eux-mmes en
uvre savent quel point il est insupportable dentendre un valuateur porter un jugement
critique sur son propre travail : voil un individu qui se permet, aprs quelques jours
denqute seulement, de juger luvre sur laquelle vous travaillez avec acharnement
depuis plusieurs annes ! Cest insupportable ! Le jugement de lvaluateur doit tre
mesur et argument quand il sadresse aux personnes fortement impliques dans laction
value. Souligner les points forts et les qualits nest quune faon de rendre la critique
plus audible et plus digeste. Les conclusions inaudibles par ceux auxquels elles sadressent
ne servent rien. Les mthodes participatives, qui permettent aux acteurs de contribuer
28
activement llaboration des jugements ports sur leurs actions, sont, de ce point de vue,
efficaces. Leurs conclusions ont plus de chance dtre entendues, que les jugements
strictement externes et assns de faon premptoire.
Trois autres conditions (aux moins) sont ncessaires pour que les conclusions dune valuation produisent du changement :
ses conclusions sont claires et cohrentes avec les attentes de ceux qui ont commandite
lvaluation : moins dintenses efforts pdagogiques, il ne sert rien de rpondre
des questions dimportance secondaire que son interlocuteur na pas souleves, surtout
tant quon na pas rpondu aux questions quil vous avait pralablement poses10 ;
ses conclusions sont hirarchises et prsentes de faon cohrente avec des niveaux de
dcisions diffrents : Elles distinguent lessentiel du dtail, le stratgique du ponctuel,
le certain du probable11 ;
ses conclusions intgrent les contraintes du systme de pouvoir auquel elles
sadressent. Lvaluateur peut se faire plaisir en imaginant la suite du projet quil vient
dvaluer, avec Dieu le Pre comme matre douvrage, et une arme de petits Jsus
comme matre duvre Une telle simulation est agrable et facile construire. Mais
elle ne sert rien car elle ne se concrtise que trs rarement. Les recommandations ne
sont utiles que si ceux auxquels elles sadressent peuvent se les approprier.
2.
Savoir couter, savoir se faire comprendre
Lexercice dvaluation, dans le domaine de la coopration au dveloppement, est souvent un

exercice interculturel qui place lvaluateur entre des groupes de personnes ou des institutions
aux cultures et aux langages diffrents. Il est, en outre, souvent peru comme lil du bailleur
ou de la hirarchie, ou, pour le moins, comme quelquun susceptible de dranger les quilibres
tablis. Sa russite ou son chec dpendent donc en grande partie de sa capacit communiquer. Au-del des techniques qui permettent de librer la parole et de linterprter, il faut
se mfier des incomprhensions tout au long de la dmarche, de linterprtation des termes de
rfrence lexpos des recommandations.
Lvaluateur doit donc aussi parler, expliquer sa mission, rpter ce quil entend pour vrifier
quil le comprend, exprimer ses hypothses au fur et mesure, essayer diffrentes formulations avec diffrents interlocuteurs, tester les mots quil emploie pour reprer lavance ceux
qui vont entraner une confusion.
10
11
Cela ne signifie videmment pas quil faille taire des questions importantes rvles par lvaluation, en dehors
de celles explicitement poses par le commanditaire.
Avouons-le lexercice est difficile (et pas toujours demand cf. ci-dessus).
29
V.
EVALUER, UNE PRATIQUE PROFESSIONNELLE
1.
Rpondre une commande
Une vidence est toujours bonne rappeler : une valuation consiste excuter une commande. Elle a plus de chances de russir quand :
la commande est claire et comprhensible ;
elle est cohrente, et quand notamment les moyens quelle mobilise sont en phase avec les
ambitions quelle poursuit12 ;
elle est comprise par ceux qui lexcutent ;
son excution fait lobjet dun contrat.
Une partie importante se joue donc dabord lors de llaboration de la commande (et donc de
lcriture des termes de rfrence), puis ensuite dans les ngociations qui suivent entre commanditaires et valuateurs. Ces ngociations sont largement facilites lorsque ces derniers
produisent une note mthodologique suffisamment dtaille13.
2.
Quelques aspects de dontologie
Lvaluateur contribue des dcisions, parfois importantes quil ne prend jamais lui-mme. Il
assume donc une responsabilit particulire vis--vis des dcideurs qui coutent ses propositions, comme des valus qui parfois en subissent les consquences. Il doit en contrepartie
respecter un minimum de dontologie professionnelle : Il doit (selon nous) :
2.1 Travailler dans la transparence
Son positionnement, ses mthodes et ses conclusions doivent tre transparents aux yeux de ses
commanditaires, comme des acteurs les plus lis lobjet valu.
La transparence du positionnement initial de lvaluateur vis--vis des protagonistes et de
lobjet de lvaluation nous semble une notion plus oprationnelle que celle, bien abstraite, de
son ventuelle neutralit :
la neutralit absolue nexiste pas ;
la proximit nest pas toujours incompatible avec lobjectivit ;
les valuateurs ne seront jamais des instruments de mesure parfaits. Mieux vaut que leurs
utilisateurs ne recherchent pas une illusoire perfection, mais connaissent les biais ventuels de ceux quils utilisent pour mieux interprter les apprciations qui leur sont livres.
Le fait que les personnes proches de lobjet valu aient au minimum accs aux conclusions
de lvaluation est une exigence opposable aux valuateurs, comme aux commanditaires.
12
13
30
Il ne faut pas croire les publicits tlvises qui prtendent quon peut avoir trois barils dvaluation pour le
prix dun.
Do limportance des deux notes ci-aprs destines faciliter ces deux tapes.
2.2 Prserver son indpendance
Lvaluateur est responsable de ses crits et de ses conclusions. Il ne lest pas des dcisions
qui peuvent tre prises par la suite par son commanditaire. Cette distinction, fondamentale,
selon nous, ne fonctionne que si lvaluateur prserve son indpendance et garde sa libert de
conclure vis--vis de son commanditaire et de son environnement :
cest parfois moins facile respecter qu dire. (Avouons-le, part peut-tre lauteur de
ces lignes, les valuateurs ne sont pas de purs esprits). Ils vivent de leur mtier et donc
des commandes que leur confient les donneurs dordres. Dans le domaine de la coopration, les bailleurs institutionnels reprsentent la plus grosse part de leur march ; leur indpendance commerciale nest pas toujours absolue. En rgle gnrale, pour la prserver,
sauf si son mandat initial le prvoit au dpart, lvaluateur vite de contribuer la mise en
uvre de ses propres recommandations ;
dexprience, on peut dire que la capacit dun valuateur prserver sa libert de
conclure dpend de son habilet critiquer sans heurter. Mais cet exercice videmment
ses limites.
2.3 Respecter une commande
Les valuateurs doivent se mfier deux-mmes. Ils ont parfois tendance confondre les attentes de leur commanditaire avec leurs propres sujets de recherche et leurs propres travaux.
Certains finissent par reproduire leur approche trs personnelle de lvaluation quel que soit
lobjet quils valuent, dautres ne les considrent que comme une illustration supplmentaire
de leur thorie du dveloppement.
Les valuateurs sont soumis lobligation de rserve. Leurs rendus crits appartiennent leurs
commanditaires. Ils ne peuvent les diffuser ou les utiliser pour leurs propres travaux, sans
lautorisation de ces derniers.
Lvaluation cest apprcier la qualit. Au-del des questions de mthode, lexercice pose
donc aussi la question du choix des rfrences et des valeurs utilises pour cette apprciation. Ce choix nest pas seulement laffaire de lvaluateur.
Lvaluation prpare des dcisions. Elle est donc souvent au cur de conflits dintrts et
de pouvoir.
Cest la fois un travail danalyse, de synthse et de restitution, et donc avant tout un
exercice de communication.
Cest enfin une pratique professionnelle, qui consiste rpondre une commande sur
mesure , en respectant un certain nombre de rgles dontologiques.
31
Annexe 1 de la note n 2
Les diffrentes tapes dune valuation
Le schma ci-aprs dtaille les diffrentes tapes dune valuation externe de projet.
1.
Avant la prparation
La russite dune valuation commence se jouer avant mme sa prparation. Elle va

dpendre des outils de suivi-valuation mis en place, et plus globalement de la posture des
diffrents protagonistes du projet, de leur ouverture, de leur esprit critique et de recherche, de
leur curiosit et de leur srnit.
2.
La prparation de lvaluation
Une fois la dcision prise par le commanditaire de lvaluation, la prparation de lvaluation

dbute, en gnral, par une phase de concertation entre les diffrents acteurs impliqus dans
le projet valu. Cette concertation peut tre plus ou moins pousse : le commanditaire, souvent le matre douvrage ou le bailleur du projet, peut se contenter de les informer. Il peut les
associer troitement la rdaction collective des termes de rfrence.
Ceux-ci prcisent les attentes que lvaluation doit satisfaire, les questions valuatives poses,
les contraintes matrielles prendre en compte. Ils sont rdigs sous la responsabilit du
commanditaire qui les adresse ensuite, en gnral plusieurs valuateurs possibles. Chacun
dentre eux rdige une note mthodologique. Ils y exposent la mthode quils comptent suivre et les conditions quils proposent pour raliser lvaluation.
Le commanditaire effectue le choix de lvaluateur en comparant les diffrentes propositions
contenues dans la note mthodologique. Son choix exprime une prfrence. Il ne signifie pas
forcment quil avalise compltement la mthode qui lui est propose. Il peut ngocier la note
mthodologique quil a retenue avec son auteur, pour sassurer que lvaluation rpondra
bien ses attentes. La prparation matrielle de lvaluation peut commencer quand le
commanditaire et lvaluateur se sont mis daccord sur la mthode, puis sur son droulement
prvisionnel.
3.
Lvaluation proprement dite
Chaque valuation est diffrente. Mais sur le terrain, lvaluateur commence par se faire une
image globale du projet quil doit valuer, et par structurer cette image en fonction des
questions qui lui sont poses. Il a besoin de cette tape pour ajuster sa mthode en fonction
de la ralit quil dcouvre. Il peut ensuite commencer la collecte, puis le traitement des
donnes. Ce travail lui permet de construire progressivement son jugement. Il mne en
gnral toutes ces tapes en dialoguant avec lquipe du projet valu et ses partenaires.
32
4.
La conclusion de lvaluation
Lvaluateur rend compte de ses premires conclusions ses interlocuteurs, en fin de mission,
au cours dune restitution orale qui donne lieu un dbat. Il rdigera ensuite un rapport
provisoire quil soumettra son commanditaire. Celui-ci doit le valider et faire part de ces
critiques avant que lvaluateur nen tienne compte (sans forcment changer son jugement)
dans son rapport dfinitif.
5.
Laprs valuation
Mais lvaluation ne produira effectivement du changement, ou ne permettra effectivement

dclairer des dcisions, que si ses commanditaires sapproprient ses conclusions. Cette appropriation demande en gnral un vrai travail, auquel les autres acteurs du projet devraient
tre associs.
33
Schma n 6. Les diffrentes tapes de lvaluation
La dcision
AVANT LA
Souvent, la
concertation
DCISION
Llaboration des
termes de rfrence
La rdaction de
la note mthodologique
La prparation
matrielle de
lvaluation
La ngociation de
la note mthodologique
Le choix des
valuateurs
La structuration
de lobjet valuer
Lajustement de
la mthode
La collecte des
donnes
Le traitement
des donnes
Llaboration
des hypothses
de jugement
Les restitutions
Lutilisation des
conclusions de
lvaluation
La rdaction du
rapport dfinitif
La validation
La rdaction du
rapport
provisoire
LGENDE
Le commanditaire
Le commanditaire et
lvaluateur
34
Lvaluateur
Lvaluateur avec lvalu
Les trois protagonistes
Note n 3
Des domaines de qualit
au bon usage des indicateurs
Comment apprcier la qualit ? Ce nest pas si facile expliquer.
Cette troisime note essaie dillustrer le cheminement qui va des domaines
de qualit lutilisation de la mesure des indicateurs, en utilisant un exemple calamiteux, celui de la voiture de Jean-Jacques. Elle tente den
conclure quelques indications de mthode.
Elle pourra peut-tre tre utile aux apprentis valuateurs, mais aussi aux
rdacteurs dbutants de termes de rfrence, qui ont besoin den savoir
davantage sur loutil quils sapprtent commander.
I.
LEXEMPLE CALAMITEUX DE LA BAGNOLE DOCCASION
Lauteur demande tous ceux qui ont horreur de la bagnole , tous ceux qui jugent que
lexcs dautomobiles est un des flaux majeurs de ce vingt et unime sicle, de bien vouloir
lexcuser. Il promet de trouver un exemple moins calamiteux dans une prochaine version de
cette note.
1.
Ursuline, Suzy, Arthur, Gatan et la voiture de Jean-Jacques
1.1 Les valeurs dUrsuline, Suzy, Arthur et Gatan en tant quautomobilistes
Ursuline a une famille nombreuse avec laquelle elle fait souvent de longs voyages, elle est
professeur de musique, elle joue de la contrebasse. Suzy est une fonceuse qui naime que la
vitesse, et elle est pleine aux as. Au contraire, Arthur, est la fois radin et prudent. Gatan lui
est un dragueur, il ne pense quaux filles.
Ils veulent tous changer de bagnole. Jean-Jacques leur propose la sienne. Chacun va valuer
les qualits de cette voiture avant de se dcider : vont-ils lacheter ou non ?
35
1.2 Les domaines de qualit
Ursuline veut pouvoir transporter sa petite famille et son instrument de musique prfr. Elle
est attentive avant tout lhabitabilit et au confort. Seule la performance compte pour Suzy.
La voiture dArthur doit tre conomique et sre. Celle de Gatan doit plaire aux filles.
Jean-Jacques veut tre honnte sur ltat de la voiture quil vend et ne pas se faire rouler sur le
prix.
1.3 Les critres de qualit
Quand Ursuline parle dhabitabilit, elle veut dire trois choses : le nombre de places assises,
mais aussi le volume et le ct pratique. Elle aussi doit imprativement pouvoir transporter sa
contrebasse.
Pour Suzy les performances cest la vitesse, les acclrations et la tenue de route.
Arthur va dabord regarder le cot dacquisition, la consommation, le cot de lentretien. Il
sintressera ensuite la prsence ou labsence des principaux accessoires de scurit : ABS,
air-bag, etc.
Avant de se dcider Gatan aimerait bien connatre lopinion des jeunes filles de moins de
vingt ans, surtout des brunes aux yeux bleus, sur les diffrents modles de voiture, et sur celle
de Jean-Jacques en particulier.
Jean-Jacques ny connat rien en mcanique. Il a lu que le prix de vente dpend du modle, de
lge, du kilomtrage et de ltat gnral de la voiture.
1.4 Les indicateurs
Question habitabilit, Ursuline regarde dabord le nombre de places et le volume de

lhabitacle. Pour le coffre ce nest pas seulement une question de volume, mais aussi de longueur et de largeur. Elle doit pouvoir y ranger son instrument de musique. Ct confort et aspect pratique, elle verra a au feeling : il faut quelle se sente bien dans la voiture.
Suzy a deux indicateurs pour apprcier la vitesse : la vitesse de pointe et la vitesse moyenne,
et deux autres pour lacclration, le cent mtres dpart arrt et le quatre cents mtres lanc.
Arthur ne se complique pas la vie avec le prix dachat. Pour la consommation, il considre le
prix du carburant utilis aux cent kilomtres, sur route, vitesse stabilise 90 km/h. Il sest
constitu un panel de pices dtaches et a fabriqu un indice du cot dentretien partir du
prix dachat de ces pices. Question scurit, il a tabli une liste dquipements quil a classs
en utiles et en indispensables .
Gatan prpare un questionnaire compliqu.
1.5 La mesure des indicateurs
Pour Ursuline, le nombre de places cest simple, il figure sur la carte grise. Elle veut pouvoir
comparer le volume de la voiture de Jean-Jacques celui dautres modles dont elle a lu les
essais dans lAuto journal . Cette revue spcialise cite deux chiffres, exprims en mtres
cubes, le volume de lhabitacle et celui du coffre bagage. Mais pour le coffre, Ursuline veut
faire un essai : la contrebasse rentre ou ne rentre pas. Pour apprcier si elle se sent bien ou pas
36
dans son ventuelle future voiture, elle doit la conduire sur un parcours mixte ville-campagne,
en vitant les jours de pluie. Elle a toujours le cafard les jours de pluie.
Suzy ne croit ni aux journaux, ni aux moyennes tablies pour un modle donn par son constructeur. Elle se fait chronomtrer elle-mme, Montlhry, au volant des bolides qui la tentent, Elle compare ses propres performances obtenues avec des voitures diffrentes.
Arthur, cest le contraire, il se rfre la cote de lArgus , un autre journal spcialis, pour
connatre la consommation du modle de voiture que propose Jean Jaques, et comparer son
prix de vente dautres vhicules analogues. Il utilise des catalogues de revendeurs pour calculer son indice du cot dentretien. Pour la scurit, il vrifie si la voiture est quipe ou non
des quipements de sa liste. Il note + 1 ou + 5 quand ils sont prsents, selon limportance quil
leur accorde.
Gatan imagine tester son questionnaire compliqu sur une trentaine de jeunes femmes brunes
aux yeux bleus. Mais il ne sait pas encore bien comment il exploitera les rponses quil obtiendra.
Jean-Jacques a fait faire le contrle technique de sa voiture et a calcul sa cotation laide
dune revue spcialise.
1.6 Lutilisation de la mesure
La voiture de Jean-Jacques doit remplir deux conditions pour quUrsuline lachte. Elle doit
offrir six places assises et sa contrebasse doit se loger facilement dans le coffre. Ces deux
conditions remplies, Ursuline se fiera son instinct. La voiture lui plaira ou pas.
Suzy se dcidera en comparant les performances de la voiture de Jean-Jacques au bolide
quelle pilote actuellement.
Arthur, un scientifique dcidment, se dcidera dabord en utilisant un indice synthtique qui
tient compte du prix dachat, de la consommation et de son propre indice du cot dentretien.
Il comparera la valeur de cet indice calcul pour la voiture de Jean-Jacques celles quil a
calcules pour trois modles de rfrence. Si la comparaison est favorable, il utilisera la mme
mthode avec son systme de notation des quipements de scurit.
Pendant que jcrivais ces lignes Gatan a test son questionnaire avec ma femme. Ils sont
partis dans sa vieille Citron pourrie. Comme ils ne sont toujours pas revenus, je ne sais pas ce
quil en a conclu.
Jean-Jacques essaiera de vendre sa voiture au prix quil a calcul, selon son systme de cotation. Il prfre la garder plutt que de la cder moins de 15 % de ce prix.
II.
QUELQUES REFLEXIONS A PARTIR DE CET EXEMPLE LAMENTABLE
1.
Lvaluation commence par une question de valeurs
Ursuline, Suzy, Arthur et Gatan valuent tous les quatre le mme objet, la voiture de JeanJacques. Ils veulent clairer la mme dcision : lachtent-ils ou pas ? Mais en fonction de
37
lusage quils comptent en faire et de leur personnalit , ils ne vont pas du tout sattacher au
mme domaine de qualit , ni forcment utiliser les mmes critres pour explorer ces domaines.
Il ne faut pas trop forcer le trait, il y a aussi des valuations standard comme celle laquelle
procde Jean-Jacques. Mais on peut retenir que lvaluation est souvent une dmarche sur
mesure , qui doit tre adapte aux valeurs du commanditaire de ltude. Le choix des
critres dvaluation nest pas universel . Il nest pas strictement technique. Le commanditaire a son mot dire. Lvaluateur ne peut guider ce choix que sil a une connaissance minimum du contexte de lvaluation et des rfrences de son commanditaire14.
2.
Des domaines de qualit lutilisation des indicateurs, une chane

plus ou moins longue
Lexemple calamiteux de la bagnole doccasion illustre le cheminement logique, qui va des

domaines de qualit lusage des indicateurs :
il passe par le choix des critres, puis par celui des indicateurs et la dfinition du mode de
mesure de ceux-ci ;
il implique de dfinir galement des systmes de seuil ou de comparaison qui permettent
dutiliser les rsultats de ces mesures pour clairer la dcision ;
la relation directe entre la valeur de multiples indicateurs ncessite un systme de synthse , indicateur synthtique, hirarchisation successive, minima ou maxima qui dtermine des interdits
Schma n 7. Larbre de la mesure de la qualit
Critre 11
Domaine de
qualit n 1
etc.
Critre 21
Lobjet
valuer
Domaine de
qualit n 2
Critre 22
Critre 23
Indicateur 221
Indicateur 222
Indicateur 223
Domaine de
qualit n 3
Critres 311
etc.
14
38
Do limportance des termes de rfrence, puis de la ngociation de la note mthodologique, cf. notes ciaprs.
Cette dmarche qui va des domaines de qualit la mesure des indicateurs, est une dmarche
trs gnrale. On peut la symboliser par le schma prcdent.
Cette dmarche peut sappliquer quel que soit lobjet dont on cherche apprcier la qualit,
quil sagisse du gruyre ou dun projet de dveloppement villageois
Selon cet objet, elle sera plus ou moins longue, on passera plus ou moins vite du premier indicateur de qualit aux critres. Mais peu importe le nom donn chaque case , pourvu que
la dmarche suive un cours logique et aboutisse la dfinition dindicateurs.
Le cot
La texture
Le
gruyre
La pte
Louverture
La couleur
La prsentation
Le nombre de
trous
La taille des
trous
La rpartition
des trous
Shma n 8. Lexemple du gruyre
39
Schma n 9
Exemple des domaines de qualit possibles dun projet
de dveloppement villageois
La qualit
technique des
ralisations
Les
ralisations
physiques
Celui des
coles
Leur usage
social
Leur appropriation
Un projet de
dveloppement
local
Celui des centres

de sant
Celui des
infrastructures
hydrauliques
Lvolution de
leurs capacits
institutionnelles
Lvolution
des matres
douvrages
locaux
Celle de leurs
comptences en tant
que matre douvrage
Lvolution
des relations entre
acteurs locaux
40
Le dernier schma ci-avant traite de la qualit dun projet de dveloppement villageois qui
aurait aid techniquement et financirement des collectivits, ou des associations locales,
raliser des infrastructures collectives. Il propose deux grands domaines de qualit. Dune part
celui des infrastructures elles-mmes, et dautre part lvolution des capacits de ces matres
douvrage locaux. Il propose de dtailler ce premier domaine de qualit en trois parties : les
qualits techniques de ces ralisations (par exemple le cot et la qualit des constructions),
leur usage social, et leur appropriation (comment et par qui sont-elles gres et entretenues,
comment seront pris en charge leurs frais rcurrent ?). Lapprciation de leur usage social
dpend de leur nature : centres de sant, coles, infrastructures hydrauliques, etc. Les domaines de qualit ainsi dtaills, restent dfinir des critres et choisir des indicateurs.
Le schma ci-dessous propose ce que pourraient tre ces critres dans lexemple dun projet
dcoles.
Schma n 10
Exemple de la dmarche qui va des domaines de qualit aux indicateurs
pour un projet de dveloppement villageois (suite)
Chez les jeunes

garons
Lvolution du taux
de scolarisation
Chez les jeunes
filles
En termes de
scolarisation
Limpact
immdiat
Lvolution de la
dure de la
scolarisation
Chez les jeunes

garons
Chez les jeunes filles
En termes de conditions
denseignement
Lusage social
des coles
Limpact diffr
41
3.
Grandeur, misre et qualit des indicateurs
3.1 Les principaux critres dapprciation des indicateurs
La qualit des indicateurs choisis dtermine en partie celle des conclusions de lvaluation.
Lvaluateur sachant valuer sinterroge donc sur les critres de qualit des indicateurs (le
bougre adore appliquer lui-mme et son travail les lments de son art). On peut lui rappeler trois vidences :
Les moyens ncessaires la mesure de lindicateur, la collecte, au traitement des donnes, doivent tre en rapport avec ceux dont dispose la mission dvaluation ou le dispositif de suivi-valuation. Ils doivent tre en rapport avec lutilit espre des donnes traites. Cest, en quelque sorte, la faisabilit, le rapport qualit/prix de lindicateur. On peut
parler defficience.
Il doit exister une corrlation forte et indiscutable entre lutilisation de lindicateur et le
critre quil est cens mesurer. On peut appeler cela la pertinence. Elle sapprcie deux
niveaux. Elle implique :
que lindicateur soit adquat, et quil exprime bien le critre quil est cens mesurer ;
et que sa mesure et son utilisation soient effectivement significatives.
Par exemple, lvolution du rendement nest pas un indicateur adquat pour mesurer
limpact de lintroduction dun nouvel itinraire technique sur les conditions de vie des
paysans. Pour approcher cet impact, il faudrait, au minimum, raisonner en termes
dvolution du revenu et, ou, de la productivit du travail. En admettant que lvolution de
la productivit du travail soit thoriquement un bon indicateur, il resterait trouver le
moyen de mesurer cette volution et de sassurer que cette mesure est bien significative15.
Les donnes, collectes selon un protocole prcis, ne doivent pas varier en fonctions des
conditions de cette collecte et en particulier des personnes charges de celle-ci. On peut
parler de fiabilit.
3.2 Etre rigoureux dans la mesure des indicateurs qualitatifs. Ce nest pas
toujours la porte de lvaluateur, qui dpend souvent des chiffres des
autres
Arthur, prtendument le plus scientifique des quatre acheteurs intresss par la voiture de
Jean-Jacques, est aussi celui qui dpend le plus des chiffres des autres. Il est apparemment
rigoureux. Mais en fait il fait une confiance aveugle aux publications spcialises.
Lvaluateur est souvent dans cette mme posture au cours dune mission courte, il travaille
avec les donnes des autres. Il est parfois surprenant de lire quel point certains peuvent tre
premptoires partir de chiffres, sans sinterroger sur lorigine et la qualit de ces derniers.
3.3 Limprialisme et les limites des indicateurs quantitatifs
Limpact des donnes chiffres sur les dcideurs est encore plus important. Mmes errones
ou invrifiables, elles les rassurent plus que des apprciations qualitatives nuances. En tho15
42
On retrouvera l les questions classiques de lanalyse quantitative, les techniques dchantillonnage, le

traitement statistiques des donnes
rie, tout peut tre mesur objectivement. En ralit cest plus compliqu, comme le montrent
Ursuline et Gatan.
La premire ne peut se fier qu une apprciation qualitative du critre se sentir bien dans sa
future voiture , ce qui nest pas contradictoire avec la recherche de lobjectivit. Elle doit
effectuer cette apprciation en respectant certaines conditions, viter les jours de pluie.
Le second tente de quantifier la sduction quopre un modle de voiture particulier sur les
jeunes femmes brunes aux yeux bleus. Il choue lamentablement. Mais il a tent un exercice
courant et difficile de lvaluation : apprcier puis utiliser lopinion des bnficiaires dun
projet ou dun service, ou des clients potentiels dun produit. Il existe des mthodes pour cela.
Elles ntaient pas la porte de Gatan.
Cest vrai, Ursuline ne fait pas beaucoup defforts. Elle pourrait imaginer un systme plus
scientifique pour mesurer si elle se sent plus ou moins bien dans une voiture. Mais Ursuline
est mre de famille et musicienne. Elle a bien dautres choses faire que de se prendre la
tte pour acheter une bagnole . Elle fait des choix. Cest une pragmatique. Elle est en fait
dans la posture dun valuateur qui travaille en temps limit.
Le compromis des systmes de notation

Si Ursuline voulait essayer et comparer un grand nombre de voitures doccasion, elle pourrait
adopter un systme analogue celui qua imagin Gatan, celui de la notation. Elle pourrait :
dtailler les raisons qui font quelle se sent bien dans une automobile, la position de
conduite, le bruit, la direction ;
noter de 1 a 5 (ou 0, + et -) ses impressions sur chacun de ces lments aprs chaque
essai ;
calculer une note de synthse par voiture essaye, en utilisant ventuellement un systme
de coefficient.
Cela ne serait pas encore vraiment scientifique . Lapprciation finale dpendrait encore de
la subjectivit dUrsuline. Un autre valuateur pourrait aboutir une toute autre conclusion.
Certes, ce systme de notation facilite la synthse dapprciations qualitatives, mais il ne produit quune opinion argumente et non un fait dmontr . Lvaluateur peut fonder une
partie de ses conclusions sur une telle opinion en arguant de son mtier . Mais il na pas le
droit de la faire passer pour une vrit prouve.
Il ne faut pas pousser trop loin lexemple de la voiture de Jean-Jacques . Cela nous
rappelle que la qualit dun objet nest pas une valeur absolue, mais quelle dpend de
son utilisateur , et des valeurs de ce dernier.
Les attentes de celui-ci dterminent la dmarche de lvaluation Cette dmarche commence par le choix des angles de vue sous lesquels on va considrer lobjet valu, ou
des domaines de qualit qui vont tre apprcis. Cette apprciation implique de choisir des critres, puis des indicateurs. Il convient ensuite de dfinir la faon dont on va mesurer ces indicateurs et comment on va utiliser cette mesure pour conclure.
Ces indicateurs doivent tre efficients, fiables et pertinents.
Les indicateurs quantitatifs paraissent sduisants aux yeux de beaucoup. Mais ils demandent une rigueur qui nest pas toujours la porte des valuateurs en mission courte. Tout
nest pas aisment quantifiable.
43
Lvaluation reste un exercice pragmatique, contraint par les moyens mis sa disposition. Au final lvaluateur doit veiller bien informer ses auditeurs et ses lecteurs sur la
nature de ses apprciations qui oscillent toujours entre faits dmontrs et opinions
argumentes .
44
Note n 4
Les principaux critres
de lvaluation de projets
Cette note prsente les six critres les plus communment utiliss dans les
valuations de projets : la pertinence, la cohrence lefficience, lefficacit,
limpact, et la durabilit. Elle tente den faciliter lusage plutt que den
chercher des dfinitions exactes, ce qui ncessite de rappeler brivement ce
quest le cycle des projets .
Compte tenu de la mode actuelle, cette bote outils devient indispensable
aux commanditaires dvaluations de projets, comme aux valuateurs dbutants.
I.
LES PRINCIPAUX CRITERES UTILISES POUR LEVALUATION DE

PROJETS
Les valuations de projets ou de programmes de dveloppement recourent en gnral six

grandes familles de critres. Les deux premires, la pertinence et la cohrence visent pour
lessentiel leur conception. Lefficience porte sur leur mise en uvre. Lefficacit concerne
leurs rsultats immdiats. Lapprciation de ces derniers demande galement lexamen de leur
impact et un pronostic sur leur viabilit ou leur reproductibilit.
Le discours sur ces critres nest pas tout fait unifi. Il en existe des dfinitions assez dissemblables. En Europe, de plus en plus, les normes de la Commission europenne lemportent
sur les autres. On trouvera donc en annexe le format impos par cette dernire.
Mais ces six critres sont avant tout des outils. Leur dfinition acadmique importe moins que
leur mode demploi. Ce chapitre na donc pas lambition den proposer des dfinitions dfinitives, mais simplement den faciliter lusage.
1.
La dmarche projet en quelques lignes et un schma (pour les

nophytes)
Ces six critres se rfrent la dmarche projet ou au cycle des projets , dont il existe galement de multiples prsentations. Chaque cole a la sienne. Les lecteurs de cette note
connaissent probablement bien cette dmarche. Ils peuvent donc, en majorit, passer directe-
45
ment au chapitre suivant. Les nophytes pourront sen faire une petite ide partir de cette
prsentation trs simplifie.
1.1 En quelques lignes
Un projet de dveloppement se propose de faciliter ou dorienter lvolution dune

ralit . Il va prendre en compte le contexte immdiat de son intervention et le cadre
plus global dans lequel il se situe. Il intervient en appui des dynamiques sociales qui se
caractrisent par des acteurs et des jeux dacteurs. Sa conception et sa mise en uvre vont
mobiliser un ensemble de rfrences reconnues dans les domaines daction quil va se
choisir. On va appeler cet ensemble ltat des rgles de lart .
La plupart des projets commencent par une phase quon peut qualifier de mrissement
durant laquelle ses principaux protagonistes vont se rencontrer, apprendre se connatre,
puis faire voluer leurs ides dactions. Ils vont progressivement partager un diagnostic
initial, des axes dintervention ou des objectifs prcis, puis des perspectives dactions
concrtes. Ce processus se droule selon une succession dtapes plus ou moins formalises. On distingue souvent lidentification et ltude de faisabilit. La premire formalise
lanalyse du contexte et, en fonction de celle-ci, les axes dintervention possibles. La seconde dfinit les stratgies susceptibles de concrtiser ces grands axes ; elle prcise ensuite les moyens ncessaires la mise en uvre de ces stratgies.
On aboutit une conception formalise sous la forme dun document-projet . En gnral celui-ci rappelle lanalyse du contexte et les orientations politiques du matre douvrage
qui, thoriquement, lui servent de fil directeur. Il dfinit ensuite, une logique
dintervention , une stratgie daction , et une prvision oprationnelle 16 :
la logique dintervention : elle explicite la finalit, les principaux objectifs du projet et
les grands principes qui vont guider sa conception, puis sa mise en uvre ;
la stratgie daction : elle dfinit les mthodes, les choix dingnierie sociale et les
solutions techniques qui vont tre utilises. Elle prcise les objectifs et les rsultats intermdiaires qui vont tre viss ;
la prvision oprationnelle : elle prvoit notamment les moyens mobiliser, les actions entreprendre et les rsultats finaux attendus. Elle fixe des dlais au-del desquels
ces rsultats devront tre atteints.
Cette conception doit parfois voluer et donner lieu plusieurs documents-projets successifs avant que lensemble des partenaires concerns, notamment les partenaires financiers,
ne saccordent sur le projet. Commencent alors la mise en uvre, la mobilisation des
moyens, la ralisation des actions.
Celle-ci va produire des rsultats conformes, ou non, aux prvisions oprationnelles.
Ces rsultats vont avoir des effets directs et indirects sur la ralit, des impacts, qui
correspondront, ou non, aux objectifs initiaux du projet.
16
46
Tous les auteurs ou toutes les grilles utilises pour rdiger des documents projets nutilisent pas ces trois termes, logique dintervention, stratgie daction, prvision oprationnelle. Mais on peut presque toujours les lire
sous ces trois angles successifs.
1.2 En un schma
Schma n 11. Le schma (simplifi) du cycle des projets
La phase de mrissement
La rencontre et lvolution des
relations entre les acteurs
Un contexte
local
Un contexte
global
Un processus didentification
Ltude de faisabilit
La ralit transformer
Des acteurs
Des rgles
de lart
La conception
Une logique dintervention
Une stratgie daction
Une prvision oprationnelle
Les effets
des rsultats
Des moyens
Des rsultats
Des actions
Des dlais
Les effets directs

indirects
La mise en oeuvre
induits
Les
rsultats
Lapplication de la stratgie
Le management dune quipe
La mobilisation des moyens
La ralisation des actions
1.3 En ralit
Cette description sous la forme dtapes bien distinctes qui se succdent sur un mode linaire,
tout au long de cycles successifs est bien thorique. Dans la ralit, les interventions de dveloppement prennent souvent la forme dembotements de projets diffrents et donc de cycles
qui se tlescopent. Tous les projets ne sont pas conus en dtail avant leur lancement, comme
le laisse supposer ce schma. Certains procdent sur un mode itratif. Leur conception initiale
se limite un cadre relativement souple. Leur stratgie et leurs prvisions oprationnelles
voluent dtape en tape. Elles peuvent tre ngocies au fur et mesure entre plusieurs partenaires, qui eux-mmes voluent avec lavancement du projet. On les dsigne parfois comme
des projets-processus. Lvaluation de ces derniers, et celle des projets plus rigoureusement
47
planifis font appel des mthodes qui utilisent diffremment les six grands critres. (La prsentation qui suit est plus adapte lvaluation des projets planifis).
2.
Les six grands critres de lvaluation de projet
2.1 La pertinence
La notion de pertinence
Ce que voulait faire ce projet tait-il intelligent ?
Il sagit, selon le schma ci-avant, dapprcier sa logique dintervention , sa finalit, ses
principaux objectifs et principes, au regard de la ralit quil se proposait de transformer.
On peut, par exemple se demander :
si la finalit et les principaux objectifs correspondent aux priorits des acteurs locaux ;
si cette logique est approprie au contexte local ? Prend-elle en compte ses caractristiques
spcifiques ? Est-elle susceptible de valoriser ses atouts particuliers ou de combler les
handicaps majeurs son dveloppement ?
si elle tient suffisamment compte du contexte gnral (les donnes macroconomiques, les
politiques nationales et rgionales, etc.) ;
si elle est en phase avec les rgles de lart qui prvalent dans ce domaine
dintervention ;
si elle est susceptible de sinscrire dans un processus de dveloppement ;
etc.
48
valuer :Schma
apprcier lanqualit
pourpertinence
faciliter la dcision
12. La
La conception
La ralit
transformer
Une stratgie
Les effets des

rsultats
La mise en oeuvre
Les rsultats
Lapprciation de la pertinence
On peut suivre plusieurs pistes ou mthodes pour apprcier la pertinence dun projet :
On peut sinterroger de faon cartsienne sur ladquation entre sa logique et la
ralit transformer , en dclinant classiquement des questions valuatives de plus en
plus prcises et en tentant dy rpondre. Cela implique souvent de commencer par reformuler cette logique, par revisiter lanalyse du contexte, et actualiser sa perception de
ltat de lart .
La faon dont a t conu un projet explique souvent des dfauts de pertinence. Des
conceptions trop rapides, ou trop prdtermines par les ides reues dun bailleur,
lidologie dune ONG, le savoir-faire initial dun oprateur, peuvent tre lorigine de
logiques dintervention qui ne tiennent pas assez compte des caractristiques de leur
contexte.
De ce point de vue, lanalyse des tudes pralables la conception du projet est souvent
rvlatrice. Elles sont souvent incompltes, parce que ralises selon un angle technique
prdtermin. Lanalyse sociologique est souvent le parent pauvre des tudes
didentification et de faisabilit ; les logiques dintervention font alors limpasse sur les
fonctionnements sociaux des populations auxquelles elles sont supposes sadresser.
La qualit de la conception dun projet se rvle en gnral au cours de sa mise en uvre.
Elle dtermine en partie son droulement et ses rsultats. Lapprciation de la pertinence
dun projet peut donc aussi procder de lexplication de ses autres qualits. Les difficults
de mise en uvre ou la modicit des rsultats obtenus sont parfois les rvlateurs des dfauts de pertinence.
La restitution de lapprciation de la pertinence

Une certaine humilit simpose.
En dehors des erreurs manifestes de conception, les apprciations portes par les valuateurs
sur les questions de pertinence relvent plus souvent dopinions argumentes, que de faits
avrs. Elles rvlent parfois des diffrences entre les valeurs des commanditaires, des
valus et des valuateurs, et mritent dtre traites avec subtilit. Plus que pour un autre
49
critre, les valuateurs doivent expliciter les rfrences qui fondent leurs apprciations : leur
propre analyse du contexte, leur comprhension de la logique dintervention, leur perception
de ltat de lart
Dans certains cas, le manque de pertinence constat la fin dun projet, nest pas forcment
lexpression dun dfaut de conception. Il peut tre d une volution imprvue, ou difficilement prvisible, du contexte (crise ouverte, arrive (ou dpart) dautres projets, phnomne
climatiques majeurs et exceptionnels). Il faut tre prudent dans la critique a posteriori de
limprvision17.
2.2 La cohrence
La notion de cohrence
La manire de faire du projet a-t-elle t conue de faon logique ?
Toujours selon notre schma du cycle du projet, lapprciation de la cohrence consiste
examiner la stratgie du projet et sa prvision oprationnelle au regard :
dune part, de sa logique dintervention, cest la cohrence interne ;
et dautre part, en fonction de la ralit et de son contexte, cest la cohrence externe.

La cohrence interne peut se dcliner par le type de questions suivantes :

La stratgie prvue permettra-t-elle datteindre les objectifs fixs ?
Cette stratgie est-elle conforme aux principes dintervention ?
La prvision oprationnelle va-t-elle permettre dappliquer la stratgie prvue ?
Cette prvision est-elle cohrente avec les objectifs ?
Les diffrents lments de cette prvision sont-ils cohrents entre eux ?
etc.
Par exemple, on rencontre des projets qui annoncent des principes participatifs et prvoient
une programmation dtaille qui nest plus ngociable avec ceux quon prtend associer leur
pilotage. Les dlais imposs peuvent tre trop courts pour atteindre des objectifs qui ncessitent des volutions sociales trs lentes. Les ambitions annonces sont disproportionnes au
regard des moyens prvus. Le projet prvoit la collaboration de nombreux acteurs, sans avoir
les moyens de les mobiliser et de les coordonner...
Les questions qui prsident lexamen de la cohrence externe peuvent tre les
suivantes :
La stratgie, lingnierie sociale et les solutions techniques prconises, sont-elles
adaptes leur contexte politique, conomique et social et aux contraintes de leur environnement ?
Les choix techniques et les mthodes prconises tenaient-ils compte de ltat de
lart ?
17
50
La critique serait parfois adresser, non pas la conception du projet lui-mme, mais aux procdures trop
rigides de certains bailleurs.
La prvision oprationnelle, (les moyens, le calendrier) tait-elle cohrente avec

lenvironnement et le milieu dintervention du projet ?
etc.
Les dfauts de cohrence externe peuvent provenir derreurs danalyse (une mauvaise apprciation des ressources hydrauliques aboutit des amnagements inadapts). Ils peuvent tre la
consquence dapproches trop technicistes qui, par exemple, sous-estiment limportance des
questions foncires, ou ngligent les tudes de march et les contraintes conomiques. Ils traduisent une mconnaissance des rgles de lart ou du contexte (une prvision trop optimiste des dlais, faute dapprcier les contraintes logistiques, dapprovisionnement, de recrutement et de mobilisation des ressources humaines, aboutit un mauvais phasage du projet).
Schma n 13. La cohrence externe

La conception
La ralit
transformer

Une stratgie
Les effets des

rsultats
La mise en oeuvre
Les rsultats
Schma n 14. La cohrence interne

La conception
La ralit
transformer
Une stratgie
Les effets des

rsultats
La mise en oeuvre
Les rsultats
51
Lapprciation de la cohrence et sa restitution

La pertinence et la cohrence, notamment la cohrence externe, sont deux notions trs proches18. Les dmarches danalyse se ressemblent. Lhistoire de la conception et, pour la cohrence, des phases de dmarrage du projet, est bien souvent instructive. La cohrence se lit
souvent comme une des explications des caractristiques de la mise en uvre et des rsultats.
Lexamen de la cohrence rvle parfois des dfauts incontestables : illogismes vidents,
choix techniques errons, ou des relations causales avres entre des erreurs de conception et
des dysfonctionnements ultrieurs. Elle peut aussi donner lieu des dbats sur la mthode :
Lvaluateur peut estimer raisonnablement quune autre approche, que dautres choix
techniques auraient t possibles, voire prfrables pour atteindre les objectifs que stait fix
le projet valu. Ces remarques sont lgitimes dans une valuation, si elles sont exprimes en
tant que telles, sur le mode de lopinion fonde. Les remarques sur la cohrence, comme sur la
pertinence, doivent prendre en compte le contexte et les contraintes qui prvalaient au moment
de la conception du projet.
2.3 Lefficience
La notion defficience
Les moyens mobiliss pour raliser le projet ont-ils t utiliss de faon optimum ? Cette
question peut tre interprte dune manire trs restrictive ou trs large :
on peut la limiter lanalyse du rapport entre les cots des moyens mobiliss, les actions
menes et les rsultats obtenus ;
on peut la concevoir comme lapprciation globale de la mise en uvre.
La notion defficience-cot est assez facile concevoir pour les volets des projets qui
visent des ralisations physiques (btiments, amnagements) et pour des actions normes
(en soins de sant, en formation). Elle sapplique plus difficilement aux volets des projetsprocessus qui sattachent lvolution des capacits et de lorganisation des acteurs
locaux.
Lapprciation plus globale de la mise en uvre renvoie des grilles danalyse, des
sries de questions diffrentes selon la nature et le type de montage des projets valus. Il
peut sagir, par exemple, dapprcier le management dune grosse quipe-projet dun
oprateur, ou dune petite quipe dune ONG. Le caractre plus ou moins oprationnel
dun montage entre de multiples acteurs, parfois le fonctionnement dune association
matre douvrage/matre duvre, ou bien encore celui dun couple sige/quipe terrain
dune ONG
18
52
Finalement, si lvaluateur les confond, ce nest pas dramatique, pourvu quil pose les bonnes questions et
porte les bonnes apprciations sur la conception du projet.
Schma n 15. Lefficience
La ralit
transformer
La conception
La mise en uvre
Les effets
des rsultats
Les rsultats
Lapprciation de lefficience
En thorie lapprciation de lefficience-cot est simple. Il sagit de calculer des cots
unitaires et de les comparer une rfrence. En ralit ce type danalyse est difficile
tablir : il implique des modes de calcul identiques entre les deux termes de la
comparaison et des chiffres labors dans des contextes et avec des structures de cots
comparables. En mission courte, lvaluateur dpend largement des donnes disponibles
son arrive. Ses rsultats vont dpendre des modlisations quil adopte pour traiter ces
donnes.
Lhonntet demanderait parfois de ne pas donner de chiffres, dont les commanditaires
sont pourtant si friands. Lthique professionnelle implique, en tout cas, de dtailler ses
mthodes de calcul.
Lapprciation globale de la mise en uvre dpend donc largement du type de montage et
de la nature des principaux acteurs chargs de cette mise en uvre. Lanalyse dune mise
en uvre confie une quipe-projet, relativement autonome, distingue en gnral (liste
non exhaustive) :
son organisation (organigramme, procdure, systme de reporting, rythme et mthode
de ses squences de bilan/dfinition des objectifs de la priode/planification, etc.) ;
son leadership ;
ses ressources humaines et ses capacits les faire voluer ;
sa gestion et lorganisation de sa gestion ;
ses mthodes daction, volet par volet ;
53
ses outils de suivi-valuation. Il sagit dun point crucial pour le bon fonctionnement
des projets19.
ses relations extrieures (son ouverture , sa politique de communication, son
image).
Cette apprciation est souvent dlicate, puisquelle amne parfois lvaluateur critiquer ses
interlocuteurs directs. Lexercice est diffrent selon la nature de la structure value. Les quipes-projets importantes et exclusivement ddies leur projet sont, en gnral, obliges par
leur taille et leur environnement immdiat de formaliser trs explicitement leur organisation,
leurs procdures et leurs mthodes. Les petites quipes ONG qui grent souvent leur dure par
de multiples sources de financement, fonctionnent souvent sur un mode moins formalis.
Sauf exception, les structures projets et les ONG nont pas beaucoup de mmoire et les dysfonctionnements dquipes laissent peu de traces crites. Lapprciation de lefficience est
plus facile conjuguer au prsent ou au pass proche. Elle est bien alatoire dans les valuations ex post.
La restitution de lapprciation de lefficience

Lapprciation de lefficience est intressante dans les valuations de fin de projet pour tirer
des leons pour la prochaine fois . Elle lest aussi et surtout pour amliorer la mise en uvre en cours, lors dune valuation mi-parcours. Lexercice de restitution peut alors tre dlicat. Il implique dtre prcis sur la nature des apprciations portes :
dans certains cas lvaluation met en vidence des dysfonctionnements vidents : des rgles communment admises, ou dictes par la structure-projet elle-mme ne sont pas respectes, ou encore, par exemple, les procdures adoptes sont clairement contradictoires
avec le respect des dlais envisags, ou avec la scurisation minimum de lemploi des
fonds ;
dans dautres cas, lvaluateur est dans un exercice de gestion de projet compare et
ses remarques sont au mieux des invitations la rflexion susceptibles dapporter des perfectionnements.
Il importe videmment de bien distinguer ces deux types de remarques.
2.4 Lefficacit
La notion defficacit
Les ralisations sont-elles conformes aux prvisions ? Ont-elles rpondu ce quon attendait delles ? Ces deux questions refltent deux conceptions un peu diffrentes de
lefficacit.
Selon la premire, lexamen de lefficacit se limite une comparaison
prvisions/ralisations. Elle est adapte aux projets qui ne prvoient, pour lessentiel,
que des ralisations physiques normes. Son utilisation abusive, strictement quantitative,
aboutit parfois des conclusions paradoxales : un projet serait un bon projet quand
toutes les ralisations physiques programmes ont t ralises dans les dlais voulus et
19
54
Attention toutefois, les valuateurs ont parfois tendance confondre le systme de suivi-valuation, parfait
dont ils auraient besoin pour russir lvaluation parfaite dont ils rvent, et loutil pratique adapt la fois
aux besoins et aux moyens de lquipe-projet.
avec le budget prvu quels que soient la qualit, lusage, lappropriation, et limpact de
ces ralisations.
Selon la seconde lefficacit quivaut la qualit des rsultats. Cette qualit sapprcie
non seulement au regard des prvisions oprationnelles, mais aussi de la logique du projet
et des critres spcifiques aux types dactivits ou de ralisations vises : les btiments
usage social sont-ils appropris et utiliss, et si oui par qui ? Les amnagements hydroagricoles peuvent-ils effectivement tre mis en valeur comme prvu ? Les services dappui
aux entreprises ou aux organisations locales sont-ils effectivement utiliss ? Les
formations servies ont-elles des chances davoir les effets escompts.20
Schma n16. Lefficacit dans un sens plus large :

Les qualits des rsultats / la logique dintervention
La conception
La mise en oeuvre
Une logique et une stratgie
Des moyens
Des actions
Des rsultats
Des dlais
Les rsultats
Les effets des rsultats
20
Mais alors, sexclameront les lecteurs avertis, o finit lapprciation du rsultat et o commence celle de
limpact (cf. pour les autres le suivant). Cest une bonne question thorique. En pratique il semble difficile de
ne pas inclure dans lanalyse du rsultat, des lments dimpact immdiat. Le rsultat peut tre dfini
comme ce qui se voit immdiatement aprs laccomplissement de laction ou de la ralisation. Il sapprcie
donc non seulement en fonction de la prvision oprationnelle (souvent restrictive du point de vue de la qualit), mais aussi au regard de la logique dintervention et de la stratgie qui dfinissent en gnral des objectifs
plus globaux, donc plus qualitatifs.
55
Schma n 17
Lefficacit au sens restrictif : ralisation / prvision oprationnelle
La conception
La mise en oeuvre
Une logique et une stratgie
Des moyens
Des actions
Des rsultats
Des dlais
Les rsultats
Les effets des rsultats
Lapprciation de lefficacit et la restitution de lefficacit

Lapprciation du rsultat est souvent llment central dune valuation. Ce nest pas forcment le plus important (limpact est plus signifiant). Mais cest celui qui structure le plus le
travail. Cest partir de cette apprciation que lvaluateur peut construire des hypothses
explicatives qui vont le guider pour lanalyse de la pertinence, de la cohrence et de
lefficience. Cette apprciation laide galement, souvent, formuler les bonnes questions qui
vont guider ltude dimpact.
Cette apprciation est relativement aise quand la logique, la stratgie, et la prvision oprationnelle sont claires et suffisamment prcises. Elle devient plus dlicate dans le cas inverse,
qui est assez souvent celui de ce que nous avons appel des projets-processus. Lvaluateur a
alors souvent besoin de proposer sa propre vision rtrospective de ces lments.
Au-del des conclusions brutes (rsultat atteint/pas atteint), lapprciation du rsultat implique
dexpliquer ce premier niveau dobservation, en prenant en compte les volutions du contexte.
(Les bons documents-projets identifient les conditions dvolution du contexte qui vont
peser sur la qualit de leurs rsultats : lvolution des prix, de la situation politique, des autres
projets environnants).
Le point de vue des partenaires, ou des bnficiaires, ou selon les projets des usagers, est un
lment incontournable de lanalyse des rsultats. Le recueil de ce point de vue est souvent un
lment important de la mthodologie dvaluation21. Lvaluateur est donc souvent amen
21
56
Rappelons ce sujet la distinction propose dans la note n 2 Apprcier la qualit pour faciliter la dcision .
Les processus qui permettent un groupe de construire un jugement, et ceux qui peuvent tre utiliss pour recueillir lopinion dune population, ne sont pas de mme nature. Le rsultat des deux dmarches na pas la
utiliser ce point de vue pour btir ses propres apprciations. La rigueur voudrait quil restitue
cette utilisation aux intresss.
2.5 Limpact
La notion dimpact
Quels sont les effets des ralisations du projet sur la ralit quil se proposait de transformer ? Quels sont les changements quelles ont directement ou indirectement induits ?
Comment peut-on les caractriser ? Correspondent-ils la logique de lintervention et plus
particulirement aux objectifs initiaux du projet ?
La notion dimpact est simple percevoir. Elle est au cur des projets de dveloppement
censs accompagner des dynamiques de changement. Mais elle ouvre un champ particulirement vaste. Ces changements peuvent tre conomiques, sociaux, environnementaux,
institutionnels, politiques, culturels
Schma n 18. Limpact

La conception
La ralit
transformer

Une stratgie
Les effets des

rsultats
La mise en oeuvre
Les rsultats
mme valeur et ne devrait pas tre incorpor de la mme faon dans lapprciation finale de lvaluateur.
En toute rigueur, selon nous, le label valuation participative devrait impliquer le premier et ne pas se
contenter des seconds.
57
Lapprciation et la restitution de limpact

1. On peut distinguer les impacts attendus et les impacts inattendus :
Les premiers sont videmment ceux qui taient explicitement prvus par les objectifs initiaux du projet, et les effets prvisibles dun type donn dintervention dans un contexte
donn. Ces effets attendus ne sont pas toujours au rendez-vous et nont pas toujours
lampleur escompte. Leur analyse commence sur le mode de llaboration, puis de la vrification dhypothses. Lapprciation des rsultats (cf. prcdent) est souvent le point
de dpart de ce jeu dhypothses.
Les seconds nont pas t prvus ou anticips22. Ils peuvent cependant tre tout fait rels
et importants. Leur apprciation commence comme une enqute sans indice : une observation et une coute attentive, sans ide prconue, permettent de reprer dventuels
changements importants susceptibles dtre lis au projet. Il sagit ensuite de vrifier,
dune part la ralit et lampleur de ces changements, et dautre part surtout, le lien
causal qui va du projet aux changements constats. On ne devrait pas se contenter de la
simultanit, ou de la proximit entre le changement identifi et le projet, pour conclure
que le premier est un effet du second.
2. La mesure de limpact devrait tre en thorie une comparaison de la ralit
avec projet / sans projet toutes choses gales par ailleurs :
Dans la ralit, presque toujours, rien nest gal par ailleurs. Lvaluateur travaille donc
souvent, soit en comparant ici avec projet / ailleurs sans projet , soit ici avant projet / ici aprs projet . Dans les deux cas il devra corriger les biais de ces comparaisons :
ici et ailleurs ne sont pas identiques, un projet est trs rarement le seul facteur de changement dans le milieu (le climat et lvolution des prix ont parfois plus dinfluence sur la
production agricole que le travail des agronomes ; les acteurs locaux ne seraient sans doute
pas rests immobiles et inertes en labsence du projet). De ce point de vue les questions
poses par la mesure de limpact diffrent fortement selon la nature des projets : il ny a
gure de substitut la construction dune infrastructure majeur (route pont). Les projets de
vulgarisation technique dans certains milieux, acclrent la diffusion dinnovations, plus
quils ne la crent.
Pour faire des comparaisons avant/aprs , lors dune valuation faite aprs le projet
mieux vaut avoir des mesures faites avant Dune faon gnrale, lvaluateur charg
dapprci limpact dun projet, surtout sil dispose de peu de temps, est largement dpendant de donnes collectes par autrui, et notamment de la qualit des outils de suivivaluation mis en place par le projet. La vrification de la qualit de ces donnes externes devrait tre un pralable systmatique leur utilisation23, plus particulirement
dans certains domaines24.
22
23
24
58
Les projets mal conus ont souvent des effets la fois prvisibles du point de vue de lvaluateur, et inattendus
du point de vue du document-projet.
Dans les rgions pour lesquelles les donnes sont rares et les bibliographie squelettiques, il suffit quun premier
expert invente un chiffre par inadvertance et le publie dans un rapport, pour que les suivants citent et utilisent
assez systmatiquement ce chiffre sans toujours prciser do il provient. Figurant ainsi dans la plupart des
rapports srieux sur la rgion, le chiffre en question devient une donne incontestable comme une parole
dvangile.
La mesure et lutilisation de la mesure du rendement agricole dans lvaluation des projets de dveloppement
agricole mriterait une petite note elle seule.
Schma n 19
Avant/aprs, avec/sans : quelle dfinition de limpact
avec
avec
limpact
sans
limpact
sans
avant
aprs
avant
aprs
3. Les interventions pour le dveloppement sadressent en gnral directement un premier

cercle de personnes (les bnficiaires immdiats des actions et des ralisations effectues,
ou les partenaires directs des innovations testes et diffuses). Lvaluation de limpact de
ces interventions sapprhende par leurs rsultats et leurs effets sur le premier cercle. On
peut structurer la mesure de limpact. Elle peut ensuite se dvelopper en distinguant
limpact direct, limpact indirect, limpact induit :
les impacts directs sont les effets induits directement auprs de ce premier cercle par les
seules actions et rsultats, dans les domaines explicitement viss par le projet ;
les impacts indirects sont le produit des prcdents, tel quon peut les observer sans
quitter ce premier cercle ;
les impacts induits sont les effets du projet qui interviennent en dehors du champ de ces
bnficiaires directs.
Un projet de dveloppement agricole a, par exemple, voulu diffuser un nouvel itinraire
technique auprs dun groupe dagriculteurs. Cette innovation devait permettre daccrotre
la productivit de leur travail :
lapprciation de limpact direct porte sur lappropriation de cette innovation par les
agriculteurs de ce groupe et sur son effet effectif sur la productivit de leur travail ;
si cette appropriation est confirme et si lamlioration de la productivit du travail
paysan est relle et importante, celle-ci devrait entraner dautres changements, comme
lvolution des systmes de production, le dveloppement des cultures commercialises
ou laccroissement des activits non agricoles, qui leur tour peuvent en susciter
dautres Lapprciation de limpact indirect va consister identifier et analyser
ces changements, qui sont la consquence du premier, lamlioration de la productivit
du travail ;
les effets dune innovation russie ne se limitent ceux qui lont adopte. Les voisins
peuvent galement sen inspirer. Dautres personnes peuvent en avoir indirectement
profit ou pti. Elle peut entraner des modifications de lenvironnement de ces agriculteurs. Elle peut contribuer faire voluer lattitude du milieu envers les promoteurs
de cette innovation Ces diffrents effets sont autant dimpacts induits possibles.
59
Schma n 20
Effets directs, indirects, induits
Les effets directs, dus lvolution

dans le temps des premiers changements induits (amplification, dissolution)
Des changements immdiats

Chez les interlocuteurs
directs du projet
Dans les domaines
viss par son intervention
Les effets induits auprs dautres acteurs, ou

et dans leur environnement.
Des effets indirects, chez

ces mmes interlocuteurs,
mais dans dautres domaines.
4. La mesure de limpact ncessite que certaines conditions soient remplies :

On ne peut souvent mesurer limpact dune action de dveloppement quaprs un certain
dlai. (Il est par exemple difficile dapprcier lautonomie et la solidit des partenaires
appuys par un projet, tant que celui-ci est encore en activit ; la diffusion des innovations
techniques demande du temps et doit parfois tre apprcie dans des conjonctures climatiques ou conomiques contrastes et, ou, suffisamment longtemps aprs la fin des ventuelles incitations matrielles qui en ont facilit la mise au point). Lvaluation de
limpact est donc souvent une valuation ex post25.
Les projets-processus ont besoin dapprcier leur impact, mme approximativement pour
dterminer leur stratgie dune phase lautre. Les dlais qui sparent la fin dun projet de
son valuation ex post sont parfois trop courts pour statuer avec certitude sur lampleur et
la durabilit de leurs effets. Lapprciation de limpact implique toujours, ou presque, un
25
60
Cf. note n 2 La diversit .
travail de prospective et une estimation de lvolution probable des effets constats au

moment de lvaluation.
Sauf exception, la mesure de changements conomiques ou sociaux ncessite des dispositifs de collecte de donnes relativement lourds et exigeants. Ils sont hors de porte des
missions hlicoptre aux cours desquelles un des petits groupes dexperts se promne
pendant une ou deux semaines sur le terrain.
Lvaluation de limpact dun projet dpend donc largement du dispositif de suivi-valuation quil aura lui-mme mis en place, ds son dmarrage.
Une valuation dimpact consquente ncessite de faire appel des disciplines diffrentes.
5. La mesure de limpact conomique, qui est parfois llment prpondrant dune valuation, implique des choix de donnes, de mthodes, de modlisations. Lvaluateur doit
systmatiquement accompagner ses rsultats de lorigine de ses sources, de la description
sommaire de sa mthode, et des commentaires qui permettent dinterprter ses chiffres.
2.6 La durabilit ou la reproductibilit
La notion de durabilit ou de reproductibilit

La durabilit et la reproductibilit sont des critres particuliers, utiliss pour apprcier la qualit des mthodes, des rsultats et des impacts dun projet. Ils revtent une telle importance en
matire de dveloppement, quils mritent dtre traits part, en tant que tels :
Ces notions impliquent de considrer les effets dun projet sur un mode prospectif :
lanalyse de ses impacts directs, indirects et induits ne doit pas se limiter leur apprciation un instant donn. Elle doit inclure lestimation de leurs transformations au cours des
mois et des annes qui vont suivre.
De mme, lexamen de la durabilit demande de sinterroger sur lvolution probable
des qualits attribues aux rsultats du projet lors de lvaluation. Lexercice diffre largement en fonction de la nature de ces rsultats (cf. ci-dessous).
Lapprciation de la reproductibilit sintresse aux outils et aux mthodes mis au point
par un projet, et utiliss ou diffuss dans un contexte particulier. (Il peut sagir de techniques destines aux artisans ou aux paysans, de formes dorganisations nouvelles, prvues
pour faciliter laccs aux services essentiels, de mthodes dintervention et des outils pdagogiques susceptibles dtre rutiliss par des organismes dappui locaux). Il sagit de
vrifier si ces derniers vont pouvoir tre rutiliss dans dautres contextes et par dautres
acteurs, si ils vont tre diffuss spontanment dans le milieu o ils ont t dvelopps, sil
vont rester efficaces et utilisables aprs la fin du projet.
Lapprciation de la durabilit des rsultats

Lapprciation de la durabilit des rsultats dun projet dpend de leur nature. En simplifiant,
on peut les regrouper, de ce point de vue, en cinq grandes familles. La liste qui suit nest
quune illustration. Incomplte, elle peut quand mme donner penser :
La construction dinfrastructures et linstallation dquipements. Leur durabilit dpend dabord de leurs qualits initiales : un btiment mal construit, un amnagement mal
conu, un quipement sous-dimensionn ont peut de chances de durer. Elle dpend ensuite
de la capacit et de la volont de leur propritaire les entretenir. Cest une question conomique : les activits lies ces infrastructures ou ces quipements gnrent-elles, directement ou indirectement, les ressources qui permettent de couvrir leur entretien. Cest
61
aussi une question de rapports sociaux : ces propritaires ont-ils un intrt dans cet entretien ? Ont-ils, dans le cas de propritaires collectifs, la cohsion sociale ncessaire ? La
rponse ces questions dpend en grande partie de la faon dont ces propritaires, individuels et collectifs, se sont appropris ces ralisations26.
Lmergence dorganisations ou dinstitutions nouvelles, ou la consolidation
danciennes. Le pronostic sur lvolution ultrieure dune institution ncessite, en thorie,
des outils danalyse spcifiques, difficiles prsenter en quelques lignes27. Ils ne sont pas
forcment indispensables pour apprcier les principaux critres qui peuvent dterminer la
solidit dune organisation (cependant certains sont plus lisibles que dautres) : la qualit de son leadership, sa cohsion, la cohrence entre sa nature et sa mission, dans certains
cas, la qualit de sa gestion et lvolution probable de ses recettes et de ses dpenses.
La diffusion de techniques, de connaissances, ou de savoir-faire. Qui a adopt ou acquis ces techniques ou ces connaissances ? Comment se les ont-ils appropries ? Quels
bnfices tirent-ils de leur emploi ? Pourquoi les emploient-ils ? Quelles sont les conditions de leur emploi ?
La durabilit, ou la reproductibilit, ou encore la diffusion spontane des techniques et des
savoir-faire proposs par un projet, dpend largement des rponses ces questions.
Lamlioration de laccs des services essentiels aux populations. Lorganisation
dun service (sant, accs leau potable, ducation, crdit, etc.) se rsume souvent la
gestion dquipements et dinfrastructures, par des institutions nouvelles ou transformes,
dont les responsables ou les agents utilisent parfois des techniques et des savoir-faire nouveaux. Lanalyse de la durabilit dun service cr ou transform renvoie donc aux lments prcdents. Elle doit galement prendre en considration lutilisation effective de ce
service et lapprciation que portent sur lui ses utilisateurs.
Lvolution des comportements et des faons de penser. L encore, il est difficile de
faire court, dtre pertinent et gnral dans ce domaine important et dlicat qui recouvre une grande diversit de situations28.
Par ailleurs, En dehors dchecs ou de russites vidents, lapprciation de la durabilit et de
la reproductibilit est une question de pronostic. Lexercice commence souvent par
lidentification des conditions favorables et dfavorables la durabilit, que lon sefforce de
prvoir. Il se poursuit en essayant destimer les chances et les chances de ces conditions. La
prospective ncessaire lapprciation de la durabilit dun objet doit porter, non seulement
sur lobjet et le jeu des acteurs qui lentourent, mais aussi sur son contexte local et global.
Evidemment, les conclusions de cet exercice de pronostic, doivent tre restitues comme
telles.
26
27
28
62
Cette appropriation dpend au moins de trois lments :

la faon dont ils ont t associs aux choix qui ont conduit ces ralisations ;
leur participation et notamment leur participation financire ;
la nature des relations entre ces propritaires et le projet.
Lanalyse des institutions fera lobjet dune petite note ultrieure sur le format des six premires disponibles dans ce recueil. Elle figurera dans la version 2 qui devrait sortir mi-2001.
Avouons-le, cette difficult nest pas seulement due au sujet, mais aussi aux limites des comptences de
lvaluateur gnraliste auteur de ces lignes. Une lacune peut-tre rvlatrice que ce sujet est souvent maltrait,
la fois dans les termes de rfrence, et par un certain type dvaluateurs.
Les six angles de vue ou critres, la pertinence, la cohrence, lefficience, lefficacit,

limpact et la durabilit, ne sont pas un systme universel de mesure de la qualit des
projets. Leur ensemble ne constitue pas un outil prcis et polyvalent, appliquer systmatiquement quels que soient le contexte de lvaluation et la nature du projet valu.
Chaque angle de vue fonctionne plutt comme une bote outils qui permet de fabriquer des critres prcis et adapts des usages particuliers.
Lensemble permet de structurer la rflexion qui conduit llaboration des termes de rfrence, mais les six angles de vue nont pas le mme intrt en fonction des attendus
de lvaluation.
Ils ne forment donc pas un kit prt lemploi , mais ils font partie de lquipement indispensable du commanditaire, comme de lvaluateur qui se lance dans une nouvelle
valuation.
63
Annexe la note n 4
Cadre danalyse et plan des rapports dvaluation
demands par lUnion Europenne
Remarque importante : cadre logique et valuation
Le Consultant devra dvelopper les analyses pertinentes pour lvaluation en suivant le format de
base ci-dessous, ainsi que la mthode de Gestion du cycle des projets (voir manuel de la Commission). Cependant, sur la base de son exprience et des conditions spcifiques de l'tude, il y a lieu
pour le consultant d'largir ou de mieux cibler l'objet de l'analyse.
Les liens entre les diffrents niveaux d'intervention seront schmatiss par le consultant sous
forme de cadre logique du programme, ventuellement articul sous forme de plusieurs cadres
logiques en cascade . Toutefois ce cadre logique sera seulement annex au rapport, dans le
sens qu'il servira comme outil de travail, sans pour autant dterminer rigidement la structure du
rapport.
Cadre danalyse et rapport dvaluation
0 PREAMBULE (500-600 mots au maximum)

Le prambule dcrira brivement :
(i)
les caractristiques principales du projet/programme au moment de l'valuation (y

compris ses objectifs, ses composants, son lieu d'excution, les engagements/dboursements financiers, les chances importantes, le calendrier) ; et
(ii)
les objectifs et le plan de travail de l'tude d'valuation elle-mme (noms des valuateurs, dates et principales mthodologies employes).
1. RESUME (approximativement 1 500 mots)

Le rsum doit se suffire lui-mme et couvrir le contenu des chapitres 2-10.
2. PRPARATION ET CONCEPTION DU PROJET
Ce chapitre value la phase de planification et de conception du projet, de l'ide initiale du projet,
jusqu' la proposition de financement finale. Il dcrit les activits prparatoires, les acteurs et la
manire dont les rsultats de ces activits (tudes de pr-faisabilit et de faisabilit, etc.) ont t
incorpors dans le document de projet final et porte une apprciation sur la cohrence interne du
projet, tel quil ressort de la phase de prparation et conception.
Identification et processus de formulation (origine de l'ide du projet, participation des

bnficiaires, groupes d'intrt, tudes)
65
Le degr d'analyse effectu dans cette section variera selon la dimension du projet. Elle peut
se limiter une simple description des activits ou aller jusqu' une apprciation qualitative
du processus de prparation et des tudes (mise en vidence de lacunes ventuelles).
Cohrence et ralisme de la conception du projet

Cette section porte une apprciation sur la proposition de financement en fonction des rubriques applicables de la mthode du cadre logique . Quand le cadre logique n'a pas t appliqu aux documents de prparation, le consultant procde une reconstruction ex post de la
logique d'intervention, en dcrivant :
objectifs gnraux ;
objectif(s) spcifique(s) du projet ;
rsultats ;
activits ;
hypothses / conditions pralables ;
la matrice du cadre logique d'origine et la matrice ventuellement mises jour devront
tre annexes au rapport.
3. PERTINENCE DU PROJET
Ce chapitre value la relation entre les problmes rsoudre et les objectifs du programme, en
rapport avec leur environnement physique et politique, c'est--dire les caractristiques principales de la situation macroconomique et sectorielle du pays et les politiques (explicites et implicites) des diffrents acteurs tels que les gouvernements, IVE, les autres bailleurs de fonds et les
groupes d'intrt. L'volution du contexte dans le temps et ses consquences pour le droulement
du programme devront galement tre passes en revue.
Contexte gnral
Caractristiques structurelles et dynamiques du secteur ; liens avec les autres secteurs.
Politiques du gouvernement (cohrence des politiques macroconomiques et sectorielles, attitude envers les initiatives du secteur priv) et engagement politique vis--vis du secteur
(parts relatives dans les dpenses publiques).
Programme indicatif national et objectifs globaux du projet.
Contexte spcifique
Problmes rsoudre, bnficiaires et acteurs du projet : paramtres de diagnostic technique,
socioconomique, institutionnel... prsents, si possible, sous forme d'un arbre des problmes
(une attention particulire sera accorde au rle des femmes et facteurs socioculturels, et aux
aspects environnementaux). L'valuation devra faire le bilan des problmes pris en compte
par le projet et indiquer ceux qui ne le sont pas, ou d'autres apparus au cours de la mise en
uvre du projet. Autres interventions du gouvernement, de la Commission ou d'autres bailleurs ayant une relation directe ou indirecte avec le projet
Le consultant devra valuer la pertinence de la stratgie et de l'approche globale, ainsi que le

degr d'attention accorde aux solutions alternatives.
4. EFFICIENCE
Ce chapitre concerne, d'aprs la terminologie du cadre logique la relation activits-rsultats
du programme. Il est consacr l'valuation de l'efficacit avec laquelle les activits ont t menes pour obtenir les rsultats du projet. Les moyens mis disposition et les activits mises en
66
uvre ont-ils permis d'obtenir des rsultats de manire efficace ? Pourrait-on atteindre les mmes
rsultats ou des rsultats semblables des plus faibles cots ? Cela exige une valuation des diffrents facteurs qui influent sur l'efficience :
Moyens et cots
Cette section contient une analyse cots-efficacit du projet (cots unitaires, moindres cots).
Elle peut galement couvrir des analyses comparatives avec les indicateurs de cots de projets
visant les mmes objectifs, tout en tenant compte des diffrences de contexte. L'adquation du
budget du projet aux moyens mettre en uvre devrait tre value.
Organisation, gestion, suivi

Cette section rsume et analyse en premier lieu le cadre relatif l'organisation gnrale du
projet (structures, responsabilits, rle de lOrdonnateur national, de la Commission, etc.),
l'organisation spcifique du projet lui-mme (l'unit de gestion du projet, ministres concerns, cadre institutionnel national, structures bnficiaires, assistance technique, etc.). Elle
value galement ce cadre et les actions effectivement menes par les diffrent acteurs chaque stade du cycle de projet par rapport aux activits et rsultats prvus et raliss, ainsi que
la capacit des gestionnaires s'adapter aux variations de l'environnement.
L'analyse traitera (sans s'y limiter) les questions suivantes : programme des activits, calendrier, gestion financire/systme budgtaire, phases, dispositions internes de contrle, assistance technique, coordination avec d'autres bailleurs de fonds, risques, capacits institutionnelles et culture, mesures daccompagnement oprationnelles prises par le gouvernement.
Mthodes d'intervention
Il s'agit d'apprcier la dmarche et les mthodes utilises pour la mise en uvre : prendre en
compte le degr d'implication (participation) des bnficiaires dans la ralisation des activits
du projet ; aurait-on pu envisager d'autres modes de faire pour un rsultat quivalent ou
meilleur ? Examiner par exemple dans ce cadre les mthodes de vulgarisation, l'importance
donne la formation et les approches retenues, les formes et mthodes d'appui technique, la
problmatique des interventions de substitution...
Suivi et valuation
Il s'agit d'examiner le suivi effectu au niveau du programme par le gouvernement et par la
Commission. Le suivi de la Commission sera examin aussi sous langle plus ample du suivi
des conditionnalits et du suivi d'impact. Des commentaires seront mis sur la prparation et
la suite donne aux rapports de suivi/valuation.
5. EFFICACITE
Ce chapitre concerne, d'aprs la terminologie du cadre logique , la relation rsultatsobjectif(s) spcifique(s) du projet. Il doit dterminer dans quelle mesure les rsultats du programme ont contribu la ralisation des objectifs spcifiques et si on peut s'attendre, sur la base
des rsultats actuels, ce qu'il y ait une telle contribution dans l'avenir (les rsultats non planifis
devront galement tre analyss). Une attention particulire devra tre porte sur les bnficiaires
du programme. Les questions suivantes devront tre traites, en se basant dans la mesure du possible, sur des indicateurs objectivement vrifiables :
Quels sont les rsultats et qui en bnficie ? (comparer les rsultats rels aux rsultats prvus) ?
67
Dans quelle mesure ces rsultats ont-ils contribu la ralisation des objectifs spcifiques du
projet ? Peut-on s'attendre ce qu'ils y contribuent dans l'avenir ?
Y a-t-il eu des rsultats imprvus ou des bnficiaires imprvus ?
Les hypothses ncessaires pour traduire les rsultats en objectifs spcifiques ont-elles t
ralises ? Sinon, pourquoi et quelles rpercussions cela a-t-il eu sur le projet ? Les hypothses seront-elles ralises l'avenir ou devront-elles tre rvises ?
Quelles mesures politiques d'accompagnement les gouvernements doivent-ils ou auraient-ils

d prendre ?
6. IMPACT
Ce chapitre, applicable dans le cas de programmes termins ou dj en cours depuis quelques
annes, value l'impact du projet dans un contexte plus large (relation objectif(s) spcifique(s) objectifs globaux). L'analyse doit tre qualitative et, si possible, quantitative. Une comparaison
sans/avec ou avant-aprs programme devrait tre effectue ce stade.
partir des objectifs spcifiques du projet et du degr d'efficacit ralis (chapitre 5), ce chapitre
analyse les effets globaux (macroconomiques et sociaux) du programme, qu'ils soient positifs ou
ngatifs, prvus ou imprvus. Dans un premier temps, le chapitre analysera les contributions du
(des) objectif(s) spcifique(s) aux objectifs globaux. Dans un deuxime temps, l'analyse ira audel des objectifs globaux tels que dfinis dans la proposition de financement, et valuera l'impact
du programme sur les objectifs gnraux prioritaires pour l'Union europenne.
Contribution des objectifs spcifiques effectivement atteints aux objectifs globaux de dveloppement du projet ou du programme
Contribution du projet ou programme aux objectifs gnraux des politiques communautaires

de dveloppement (s'ils ne sont pas explicits dans l'objectif global) :

Lutte contre la pauvret (distribution des revenus, emploi)
Intgration dans l'conomie mondiale
Dveloppement conomique et social durable
Appui au respect des droits de l'homme, de la dmocratie et de l'Etat de droit. Dveloppement des ressources humaines
Protection de l'environnement
Dveloppement de l'initiative prive
7. ANALYSE ECONOMIQUE ET FINANCIERE

Lorsque cela est possible et appropri, les consultants devront prsenter les rsultats de leur analyse conomique et financire sous forme d'une analyse des cots et bnfices, sur une priode
adquate pouvant tre la priode actuelle (anne en cours), l'anne de croisire ou la totalit,
de la dure du projet, allant donc au-del de la priode d'intervention de la Commission. L'analyse financire valuera pour chacun des acteurs impliqus dans le projet la solvabilit la durabilit et la rentabilit, tandis que l'analyse conomique portera sur le compte consolid (agrg) et
s'intressera, outre lefficacit conomique globale, aux effets de rpartition de revenus ainsi
qu'aux incidences macroconomiques et budgtaires.
8. VIABILITE/REPLICABILITE
Ce chapitre value la viabilit/rplicabilit des activits et, ventuellement, des rsultats du projet.
L'valuateur devra tout d'abord donner une apprciation globale des perspectives de viabilit, sur
la base dune approche de la viabilit pour le projet valu (la pondration des six facteurs prin-
68
cipaux de viabilit repris ci-dessous dpendra de la nature du projet). Il sera par ailleurs utile
d'examiner la manire dont la ngligence ou une attention particulire donne l'un ou lautre
des facteurs considrs affectent l'obtention de rsultats durables. La rplicabilit de rsultats
positifs devra galement tre analyse. Une attention particulire sera accorde :
Mesures d'accompagnement

Cohrence entre les priorits des bailleurs de fonds et du pays bnficiaire

Engagement du pays bnficiaire l'gard du projet (aux niveaux du budget, des politiques des prix et subsides, des politiques rgionales et communautaires, des priorits sectorielles.
Evolution des priorits et politiques globales. (comment ces volutions affectent-elles le
projet ?)
Degr de consensus sur les objectifs
Appui de la part des organisations pertinentes (politiques, publiques, d'affaires, etc.)
Volont d'apporter des ressources financires et humaines)
La viabilit conomique et financire

L'valuation devra examiner l'volution des flux financiers rsultant des contributions des bnficiaires ou du gouvernement, et de la diminution de l'appui de la CE pour les cots rcurrents. Les systmes de rcupration des cots ont-ils t suffisamment bien tablis ? Le projet
est-il viable pour la collectivit ? (cf. Ch 8)
L'Intgration socioculturelle - rle de la femme

Il s'agit de vrifier si les aspects socioculturels et les questions relatives au rle des femmes ne
risquent pas de mettre en danger la viabilit des interventions pendant la mise en uvre du
projet, plus particulirement aprs le retrait de l'aide du bailleur de fonds. La question de
l'appropriation des activits du projet par les diffrents groupes bnficiaires et les agents
de mise en uvre, doit galement tre examine.
Viabilit technologique
Les choix technologiques sont-ils adapts la situation (problmes rsoudre, environnement
technologique. niveau de matrise technique des bnficiaires et des services d'appui technologique...) ? En particulier les bnficiaires des projets pourront-ils adapter et assurer l'entretien de ces acquis technologiques en l'absence de l'aide accorde par le biais du projet ?
Protection de l'environnement
Il faut valuer si les effets sur l'environnement des activits et des rsultats du projet constituent des contraintes telles qu'elles peuvent remettre en cause la viabilit du projet lui-mme,
et/ou atteindre des niveaux non acceptables pour la protection et la gestion de l'environnement long terme.
Capacits institutionnelles et de gestion (publiques et prives)

On devra apprcier l'engagement de toutes les parties concernes, tel que le gouvernement
(par exemple, appui politique ou budgtaire), les institutions locales concernes et les bnficiaires. A quel degr les activits du projet ont-elles t intgres dans les structures institutionnelles locales pour assurer leur viabilit ? Les homologues locaux ont-ils t convenablement prpars pour reprendre le projet, ou assurer la continuation des activits du projet (du
point de vue technique, financier et de la gestion) ?
69
9. CONCLUSIONS ET RECOMMANDATIONS
Sous cette rubrique l'valuateur doit, en se basant sur les conclusions, rsumer les rsultats globaux et formuler des propositions pour les actions futures. Les conclusions devront couvrir tous
les aspects importants qui requirent une action future telles que identifies sous les points 2 8.
A chaque conclusion devra correspondre une recommandation oprationnelle. Les points suivants
feront l'objet d'une attention particulire :
9.1 Rsultats globaux
Quels sont les principaux succs et checs du projet ? Quels facteurs ont t les plus dterminants ?
Les effets/impacts identifis justifient-ils les cots ?
Les objectifs ont-ils t raliss dans les dlais et dans les limites budgtaires prvues ?
9.2 Viabilit
Il s'agit d'mettre des conclusions et de formuler des recommandations sur les lments-cls de la
viabilit du projet :
L'entretien de linfrastructure et l'appui aux structures institutionnelles pourront-ils tre

convenablement financs et excuts aprs le projet ?
L'environnement politique est-il susceptible d'assurer la durabilit des effets positifs du projet ?
9.3 Alternatives
Pourrait-on atteindre les mmes effets/impact des cots plus faibles. Existe-t-il d'autres
moyens pour atteindre les mmes rsultats ?
Le projet doit-il tre rorient ? Plus spcifiquement les activits doivent-elles toutes tre
poursuivies ? Sinon, dcrire la manire dont le projet devra tre rorient et rsumer la
proposition sous forme de cadre logique.
10. LEONS A TIRER

Quelle leons peut-on tirer du projet en matire politique, d'organisation (pour lUE par
exemple) et d'oprationnalit ?
Quelles conditions pralables pourraient tre recommandes avant de dcider du financement

d'autres projets semblables ?
Quelles leons gnrales pourraient tre tires de l'valuation par rapport, par exemple, aux
politiques de dveloppement, aux instruments et aux stratgies sectorielles, nationales et rgionales ?
70
Note n 5
Prparer des termes de rfrence
Cette petite note est destine aider celles et ceux qui doivent contribuer
llaboration des termes de rfrence dune valuation. La diversit des
dmarches valuatives, de leur objet et de leur contexte, rend un peu illusoire llaboration dun texte gnraliste adapt tous les cas de figure. Celui qui suit se rfre surtout des dmarches dvaluation externe
doprations de dveloppement. Ces valuations, ralises sous la forme de
missions de quelques semaines, impliquent trois acteurs : un commanditaire, un valuateur et un matre duvre de lopration value.
I.
LA COMMANDE DUNE PRESTATION SUR MESURE
1.
Quoi ? Qui ? Quand ? et Pourquoi ?
On appelle gnralement termes de rfrence le document de quelques pages qui permet

au commanditaire dune valuation de passer commande un valuateur, et de lui expliquer ce quil veut et pourquoi il le veut29.
Une fois la dcision de lvaluation prise, la rdaction de ce document est la premire tape
de la dmarche. Elle prpare la seconde, llaboration de la note mthodologique 30. Cette
dernire sera rdige par lvaluateur (ou par les candidats valuateurs dans le cas dun appel
doffres). Elle permettra ce dernier dexpliquer en dtail au commanditaire la mthode et la
dmarche quil compte utiliser pour raliser le travail qui va lui tre confi.
Mme dans le cas dune auto-valuation31, mieux vaut sparer llaboration des termes de
rfrence et la rdaction dune note mthodologique. La distinction entre le quest-ce quon
veut faire et le comment va-t-on le faire est une rgle mthodologique assez saine.
La responsabilit de llaboration des termes de rfrence incombe donc au commanditaire de lvaluation. Cest souvent un des matres douvrage de lopration value. Il peut y
associer dautres acteurs, le matre duvre, ses partenaires, les acteurs locaux impliqus. La
prparation des termes de rfrence devient alors un exercice collectif parfois complexe. Cet
29
30
31
Cf. le schma gnral n 1 des valuations (note 1).

Cf. le schma n 6 Les diffrentes tapes dune valuation (note 2).
Cf. la note n 1 Se reprer dans la diversit des dmarches valuatives .
71
exercice sera une des tapes-cls des valuations dites participatives32. En thorie, le futur
valuateur ne doit pas intervenir ce stade. Si le commanditaire a besoin daide, cette prparation demande quelques notions sur lvaluation, il peut faire appel un autre
professionnel . La dontologie interdit alors ce dernier de participer directement
lvaluation.
La rdaction des termes de rfrence doit permettre au commanditaire dtre lui-mme au
clair sur ce quil attend de lvaluation, et de communiquer avec les futurs valuateurs.
Comme toute commande dun service sur mesure , les termes de rfrence doivent tre
clairs, complets, et cohrents :
clairs, lvaluateur doit videmment pouvoir comprendre la commande pour la satisfaire ;
complets, les termes de rfrence doivent contenir tous les lments ncessaires pour btir
une note mthodologique de qualit ;
cohrents, les objectifs dune valuation doivent tre cohrents entre eux et cohrents
avec les moyens prvus pour la raliser. Les termes de rfrence pchent souvent par
manque de cohrence :
les commanditaires pluriels ne russissent pas toujours faire la synthse des objectifs et des points de vue divergents des diffrentes catgories de personnes ou
dinstitutions quils rassemblent. Ils se contentent souvent den faire la somme. Cette
somme na aucune raison dtre spontanment cohrente ;
pluriels ou singuliers, les commanditaires prouvent souvent des difficults choisir
leurs priorits et valuer le temps de travail ncessaire pour satisfaire leur commande.
Ils fixent alors aux valuations des objectifs contradictoires avec les moyens dont ils
disposent.
La qualit dune valuation dpend 50 % de celle de ses termes de rfrence. , dit-on
souvent. Ceux-ci vont tre dterminants dans le dialogue commanditaire/valuateur. Ils constituent le principal, voire le seul lment dont lvaluateur va disposer pour laborer sa mthode et sa dmarche. Il sera souvent choisi en fonction de ses ractions aux termes de rfrence, notamment dans le cas dappel doffres.
2.
Un document organis en trois grandes parties
Pour satisfaire son commanditaire, lvaluateur a dabord besoin de comprendre globalement

le travail qui lui est demand, ensuite de connatre en dtail les attentes quil doit satisfaire,
enfin et pouvoir tenir compte des contraintes qui lui seront imposes.
Les termes de rfrence sont donc, en gnral, organiss en trois grandes parties, mme si la
diversit des projets et des modes dvaluation ne permet pas de proposer un plan type .
Une prsentation gnrale des constituants de lvaluation

la prsentation rapide du contexte et donc de la nature de lvaluation commandite ;
une description de lobjet valuer ;
une prsentation des attentes du commanditaire et des objectifs de lvaluation ;
32
Le caractre participatif dune valuation commence ds la dcision et llaboration des termes de rfrence.
72
les rfrences constitutives de lvaluation (la finalit et les objectifs poursuivis par
lintervention, les valeurs de linstitution qui la porte, les conceptions de laction
laquelle elle se rfre, les normes quelle adoptes, etc.).
Des prcisions sur le contenu de la commande (les questions valuatives, les lments
de mthodes)
les principales questions valuatives, et ventuellement les principaux critres
utiliser ;
les indications sur les mthodes souhaites ;
les attentes particulires en termes de restitution et de rendu.
Des prcisions sur les aspects pratiques de lvaluation

lorganisation de linterface commanditaire/valu/valuateur (interlocuteurs, ventuels
comit de pilotage) ;
les principales contraintes (dure totale, dure des diffrentes phases, contraintes de
calendrier) ;
la composition de lquipe dvaluation (nombre et profil des valuateurs) ;
le budget disponible ;
les rendus attendus (le contenu des rapports, leurs caractristiques techniques, leur processus de validation) ;
dventuelles prcisions contractuelles (qui peuvent constituer un document part dans
le cas dappel doffres).
Des annexes peuvent tre jointes aux documents rdigs pour apporter plus de prcisions sur
lobjet valu.
II.
LES PRINCIPAUX ELEMENTS DES TERMES DE REFERENCE
1.
La prsentation gnrale des constituants de lvaluation
Pour tre complte, cette prsentation devrait comporter quatre courts paragraphes.
1.1 Lintroduction : la prsentation synthtique du contexte et de la nature de
lvaluation
En quelques lignes, ce chapitre va situer lvaluation et en prsenter succinctement les principaux lments. Ceux-ci seront ensuite dcrits plus en dtail.
Le commanditaire
Selon le contexte et la personnalit du commanditaire il peut tre ncessaire quil commence
par se prsenter trs succinctement.
Lobjet valu, sa nature et ses principales caractristiques

Lvaluation peut porter sur un projet, une institution, un programme, un dispositif, des lments de politique, etc.
73
Cet objet peut tre caractris rapidement par sa localisation, son antriorit, son ge, ses diffrents protagonistes, son cadre institutionnel, ses diffrentes phases, leurs dures et leurs
budgets, etc.
Un vnement, une finalit, quelques objectifs, ou des enjeux majeurs, expliquent souvent une
grande partie de sa personnalit .
Le contexte, le positionnement, les protagonistes de lvaluation

Lvaluation peut sinsrer dans un processus prvu lavance, correspondre une pratique
systmatique, ou au contraire avoir t dclenche pour faire face un vnement imprvu.
Elle peut se drouler pendant, la fin, quelques temps aprs un projet ou un programme. Elle
peut intervenir une tape particulire dun processus, ou correspondre un tournant dans la
vie dune institution ou du dveloppement dun dispositif.
Elle peut correspondre la volont dun seul commanditaire, ou traduire une dcision collective, de plusieurs acteurs diffremment situs par rapport laction (cofinanceur, matre
douvrage, matre duvre), ou linstitution value (ils en sont membres, associs,
clients).
Les attentes et caractristiques principales de lvaluation

Une valuation peut tre commandite pour guider des dcisions oprationnelles (larrt, la
poursuite, la rorientation dune intervention). Elle peut sinsrer dans une dmarche de capitalisation ou de rflexion stratgique. Elle peut tre dclenche pour apporter des amliorations trs cibles ou des clairages prcis sur les aspects particuliers dun projet, ou du fonctionnement dune institution33.
En fonction de ce contexte ou de ses attentes, le commanditaire peut exprimer, ou non, des a
priori sur les mthodes (plus ou moins participatives, impliquant la participation telle tape
de tel partenaire, etc.). Il peut y avoir des contraintes majeures (de dates, de collaboration, de
mode de validation).
1.2 La dfinition prcise de lobjet valuer et du champ de lvaluation
Les termes de rfrence doivent fournir lvaluateur les informations indispensables pour
prparer son travail et rdiger sa proposition mthodologique. Ce paragraphe doit donc dtailler les lments de la prsentation initiale, par exemple : La gographie, les objectifs, les
acteurs, lhistoire, la stratgie, les moyens, lorganisation, les grandes phases, les principaux
rsultats
Le commanditaire doit, par ailleurs, dfinir prcisment le champ de lvaluation. Une ligne
suffit quand ce champ est vident, lorsquil correspond un objet aux limites prcises : un
projet, une institution Mais ce nest pas toujours le cas. Lobjet en question peut comporter
de multiples facettes (quand une valuation porte sur un processus de dveloppement , ou
sur un programme constitu dun montage complexe de diffrents projets). Lvaluation peut,
au contraire, tre circonscrite un seul aspect de lobjet valuer, ou lexamen de celui-ci
sous un angle particulier.
33
74
La note n 1 Se reprer dans la diversit des dmarches valuatives peut aider un commanditaire dcrire
le type dvaluation quil souhaite.
La dfinition du champ de lvaluation (ce que lvaluateur devra rellement considrer pour
faire son travail danalyse) demande donc parfois quelques prcisions supplmentaires (ce
champ, bien videmment, devra tre cohrent avec les moyens mobiliss pour lvaluation et
ltendue des questions valuatives poses).
1.3 Les objectifs dtaills de lvaluation et les attentes de lvaluateur
Les objectifs et les attentes

Le premier chapitre prsentation synthtique aura dcrit de faon trs succincte lobjectif
de lvaluation. Lvaluateur a besoin den savoir plus. Les objectifs du commanditaire ne
seront atteints que sils sont explicitement noncs dans les termes de rfrence. Au-del de
cette lapalissade, il est difficile de guider la rdaction de la prsentation dtaille de ces objectifs. En gnral les valuations de projets ou de programmes rpondent trois types de proccupations :
une apprciation gnrale de la qualit du travail accompli et des rsultats obtenus ;
des proccupations oprationnelles : quelles suites donner laction ?
des proccupations stratgiques : quelles leons en tirer pour amliorer les stratgies
dintervention des institutions concernes ?
La rdaction de ce court paragraphe ressemble un exercice darbre objectifs de
lvaluation. Il sagit de dtailler un, deux ou la rigueur trois objectifs principaux en
quelques objectifs spcifiques.
Il peut arriver que le contexte de lvaluation soit trs spcifique et trs contraignant, et quil
soit dterminant pour en comprendre les tenants et les aboutissants. Il est alors ncessaire de le
dcrire plus en dtail que dans la brve introduction.
Et quelques prcisions
Dautres informations peuvent figurer dans ce paragraphe :
Lvaluateur sera plus mme dclairer des choix ou des dcisions sil connat les processus
de dcision dans lesquels vont intervenir ses conclusions. Ces processus peuvent donc tre
voqus dans les termes de rfrence.
Le commanditaire peut prciser aux valuateurs la nature des conclusions quil attend deux :
il peut se contenter danalyses ou dopinions argumentes, exiger des jugements , attendre
des recommandations dorientations, vouloir des propositions stratgiques, demander des propositions trs concrtes sur quelques points prcis.
Les commanditaires peuvent faire part de leurs hypothses ou de celles quils ont dj recueillies, sur les qualits de lobjet valuer. Il est rare que les personnes associes la prparation de lvaluation dune opration, quelles soient impliques dans sa conduite ou son suivi, ne formulent pas, consciemment ou inconsciemment, des hypothses ou des doutes sur ses
dfauts, ses qualits, ses enseignements. Lexplicitation de ces hypothses ne gnera pas les
valuateurs, au contraire34.
34
Cette opinion nest pas forcment partage par tous les professionnels de lvaluation.
75
1.4 Lexplicitation des rfrences utiliser pour apprcier la qualit de lobjet

valu
Lexercice dvaluation consiste, pour une bonne part, produire des images de lobjet valu
et comparer celles-ci des rfrences 35. Le commanditaire a, selon nous, son mot dire
dans le choix de ces rfrences . Il peut sagir, selon lobjet, la nature et le domaine de
lvaluation, des normes spcifiques une organisation ou un domaine professionnel (les
rgles de lart ). Elles peuvent tre des valeurs propres une ou plusieurs institutions,
ou des paramtres initiaux dune intervention.
Par exemple, lvaluation dun projet, dun processus ou dune politique implique souvent de
comparer lanalyse de ses rsultats et de son impact, sa finalit proclame, ses objectifs,
ses principes annoncs et certains lments de sa prvision. Cette finalit, ces objectifs, principes et lments de prvision font alors partie des rfrences utilises pour lvaluation de
ces objets.
Lvaluateur ne pourra pas inventer ces rfrences qui devront donc tre mentionnes, ou
au moins voques dans les termes de rfrence. Ainsi, selon nous, le cadre logique ou,
au moins larbre des objectifs , dun projet ou dun programme doivent figurer quasi obligatoirement dans les termes de rfrence de leur valuation (ou en annexe de ceux-ci)36.
Quand ce cadre na pas t labor lors de la prparation du projet, il est impratif de reconstituer larbre des objectifs a posteriori (en mentionnant quil ne sagit que dune restitution). Llaboration de cette rfrence doit tre faite sous la responsabilit du commanditaire. Elle ne devrait pas tre confie lvaluateur37.
2.
Des prcisions sur le contenu de la commande : les questions

valuatives, et les lments de mthode
La premier chapitre des termes de rfrence a dfinit les objectifs de lvaluation et apport les
lments qui permettent de les comprendre. Le second doit donner des indications plus prcises sur le processus quelle doit suivre. Deux types de travaux, ou de dmarches permettent de
passer des objectifs au processu. Il faut :
1. Traduire les objectifs gnraux de lvaluation en questions valuatives, ou en domaine
de qualit de plus en plus prcis, puis en critres ou en hypothses, puis en indicateurs38.
35
36
37
38
76
Cf. les notes n 2 Apprcier la qualit pour faciliter la dcision : quelques traits communs aux valuations
et n 3 Des domaines de qualit au bon usage des indicateurs .
Ce petit paragraphe qui stipule que le cadre logique est un lment constitutif des rfrences dune valuation
de projet, quil doit figurer obligatoirement dans les termes de rfrence dune telle valuation, et quil doit
mme tre reconstitu sous la responsabilit du commanditaire sil ne figurait pas dans le document projet initial, est un point de vue personnel qui nest pas forcment partag par tous les valuateurs. Il nous semble
nanmoins incontournable.
Ce dernier pourra, au cours de son travail, tre critique vis--vis de cette rfrence construite a posteriori,
(comme dailleurs vis--vis de toutes les rfrences utilises par le commanditaire). Mais par exprience,
les conclusions dune lvaluation sont souvent plus claires et mieux comprises quand elles distinguent, dune
part lapprciation de la qualit de lobjet valu en fonction des rfrences utilises par le commanditaire
et, dautre part la critique de ces rfrences, en fonction de celles de lvaluateur.
Cf. la note n 3 Des domaines de qualit au bon usage des indicateurs .
2. Dfinir des mthodes de collecte et de traitement de linformation, puis de restitution et de

validation des conclusions de ltude.
Qui doit concevoir ces deux dmarches ? Dans ce travail de conception, o finit le travail du
commanditaire rdigeant les termes de rfrence, o commence celui de lvaluateur prparant
sa note mthodologique ?
Tout est possible. Le commanditaire peut dfinir des indicateurs et choisir dans le dtail les
mthodes quil dsir voir mettre en uvre, jusqu transformer lvaluateur en simple enquteur. Il peut se contenter de cinq ou six questions valuatives et dindications mthodologiques
succinctes, et faire confiance lintuition et au professionnalisme de son prestataire. Il peut se
situer entre les deux, et cest le mieux.
Il a intrt fixer lui-mme les grandes lignes de ces deux dmarches pour avoir la certitude
que les valuateurs vont bien rpondre ses attentes. Mais il ne doit pas aller trop loin dans la
prcision pour profiter des deux qualits attendues des valuateurs, la comptence et
lindpendance.
Le commanditaire doit par ailleurs proposer des termes de rfrence cohrents. Ses attentes
doivent tre en rapport avec ses moyens. Il ne peut pas, en gnral, vrifier cet lment de
cohrence sans sinterroger sur les mthodes et les dmarches qui permettront aux valuateurs
de rpondre aux questions valuatives quil a lui-mme formules.
2.1 Lexplicitation des attentes en questions valuatives ou en domaines de
qualit , la dclinaison de celles-ci, jusquaux principaux critres
dvaluation
Des objectifs et des attentes aux questions valuatives

Le commanditaire doit dtailler ses objectifs et ses attentes et les traduire en questions valuatives ou en domaines de qualit .
Comment ? La gamme des valuations est trop tendue pour imaginer une mthode universelle qui permette de choisir et de formuler les bonnes questions valuatives.
Mme si les interventions pour le dveloppement ne sont pas toutes des projets construits sur
une thmatique unique, et mme si chacun est un cas particulier, il faut commencer par se
reporter aux expriences acquises en matire dvaluation par grands types de projets
(microfinance, projets productifs, projets dappui institutionnel).
Mais en dernier ressort, la mthode dpend avant tout des attentes du commanditaire, comme
lillustrent les trois exemples ci-dessous :
1. Le commanditaire peut avoir des attentes prcises : les conclusions de lvaluation doivent
clairer la suite de laction, enrichir une rflexion stratgique en cours, sintgrer dans une
dmarche de capitalisation construite. Il na alors qu dcliner ses propres interrogations
ou hypothses. Rien ne lui interdit de passer la commande dune valuation trs cible. Il
peut, dans cette configuration, partir des points de vue des acteurs et observateurs les plus
impliqus dans laction ou dans ces dmarches. Il recueillera ces points de vue et les
cultivera au cours de rapides brain storming runissant, si possible, quelques personnes positionnes trs diffremment par rapport lobjet de lvaluation.
2. Le commanditaire veut plutt mesurer la qualit globale de laction, sans attente trs prcise a priori. Il dcline les grands critres habituellement appliqus pour valuer ce
77
type daction en rfrence son cadre logique initial : pertinence, cohrence, efficience etc.39. Il sinterroge sur la faon dexaminer ces critres en fonction des spcificits
de lobjet valu.
3. Il peut essayer de combiner ces deux approches. Il peut essayer de dfinir des grands axes
en sinterrogeant partir dune reprsentation synthtique de lobjet valu. Un projet
peut sapprcier selon cinq points de vue :
1 Les six critres habituels

Pertinence Cohrence Efficience
Efficacit ou Rsultat Impact
Viabilit
2 Des centres dintrt a priori

Genre Bonne Gouvernance
Environnement Innovation
Lutte contre la pauvret Lvolution
des acteurs de la socit civile
3 Une combinaison dobjectifs diffrents

Impacts matriels concrets Processus
institutionnels Acquis mthodologiques
reproductibles Inflexion des politiques locales
4 Une organisation et un dispositif
Des volets thmatiques Des publicscibles diffrents Des approches techniques Des zones gographiques
Lorganisation dune quipe-projet Diffrents acteurs assumant diffrentes fonctions
5 Lenchanement et le contenu de diffrentes

tapes
La maturation lidentification et
la faisabilit la conception et la dfinition de la stratgie La mise en uvre
(et ses diffrents lments) Diffrentes
phases successives
Chaque point de vue correspond une grille de lecture. Le commanditaire peut commencer
par sinterroger sur les lments quil souhaite privilgier au sein de chacune de ces grilles,
pour ensuite les combiner au sein de questions valuatives spcifiques.
Par exemple, si le commanditaire attend surtout la validation de ses choix de stratgie ou de
mthode lors dune valuation mi-parcours, il privilgiera les questions de pertinence et de
cohrence (grille 1). Ce choix amnera souvent revisiter les tapes de conception du projet
(grille 5). Si lvolution des acteurs de la socit civile est son principal centre dintrt (grille
2), il fera porter plus spcifiquement lvaluation sur les objectifs institutionnels (grille 3) et
sur les volets (grille 4) les plus directement lis cette catgorie dobjectifs.
Cet exercice de combinaison des priorits de lecture sera plus facile et plus rapide, il donnera
des rsultats plus cohrents, sil sappuie sur une prsentation synthtique des objectifs, des
principaux choix stratgiques et des grands lments de lorganisation du projet. Thoriquement un cadre logique , ou plutt un arbre des objectifs bien fait, permet une telle prsentation, do lintrt de partir de cet outil, quitte le reconstituer a posteriori.
39
78
Cf. note n 4 Les principaux critres utiliss pour lvaluation de projets .
Le choix des critres et des indicateurs qui permettent de rpondre aux questions
valuatives
Le commanditaire peut indiquer les hypothses, les critres et indicateurs40 quil souhaite voir
privilgier dans la faon de rpondre aux questions valuatives quil a poses. Il peut aussi laisser
ce travail lvaluateur et attendre la note mthodologique de celui-ci.
2.2 La mthodologie
Un minimum de prcisions est indispensable

Les indications mthodologiques qui figurent dans les termes de rfrence rpondent en gnral plusieurs objectifs :
informer les valuateurs des sources dinformations disponibles (documents et personnes
ressources) et sassurer quils vont les utiliser ;
veiller ce que tous les interlocuteurs politiquement importants seront bien concerns
par lvaluation ;
insister pour donner un caractre participatif lvaluation, si ncessaire ;
insister sur des objectifs spcifiques qui impliquent des mthodes qui ne sont pas directement induites par les questions valuatives (le transfert de comptences en matire de suivi valuation, lappropriation des rsultats par certains acteurs) ;
cadrer le travail de lvaluateur : il y a parfois des vidences entre les questions valuatives et des lments de mthode ;
vrifier ladquation entre les moyens prvus et les objectifs assigns lvaluation. (En
prparant ses termes de rfrence, le commanditaire doit souvent estimer lui mme, grossirement, la dure des diffrentes phases de lvaluation, pour vrifier la cohrence de
son budget. Il a intrt faire part de ses estimations pour permettre lvaluateur dy ragir).
Les principaux lments de mthode

Les commanditaires proposent en gnral la nature et la dure des principales tapes de
lvaluation (une phase dtude bibliographique et de contacts au sige, la rencontre des principaux partenaires dans la capitale, la phase de terrain, une phase de restitution dans la capitale, etc.).
Lorsque lobjet valuer est vaste, les termes de rfrence peuvent prciser les rductions
quils souhaitent voir appliquer par lvaluateur (deux pays sur trois, un village sur quatre, un
partenaire de tel catgorie sur trois). Lvaluateur pourra ragir sur la pertinence de ces propositions.
Ils peuvent indiquer leur prfrence pour certaines catgories de mthodes (plus ou moins
participatives), souhaiter connatre lopinion de certains de leurs partenaires, exiger certaines
donnes quantitatives
40
Idem cf. la note n 3 Des domaines de qualit au bon usage des indicateurs .
79
3.
Les aspects pratiques
3.1 Lorganisation de linterface commanditaire/valu/valuateur
Une valuation se droule souvent selon un processus itratif : vrification des attentes du
commanditaire, premier travail bibliographique, structuration de lobjet dtude , ajustement de la mthode prvue, chantillonnage et laboration dun guide dentretien, etc. Lors
dvaluations importantes, le commanditaire peut souhaiter matriser ce processus en prvoyant une srie de rendez-vous, en dsignant clairement des interlocuteurs au sein de son
organisation, en prvoyant des processus de validation des tapes intermdiaires du travail.
(Cela implique de constituer un comit de pilotage lorsque le commanditaire est pluriel, ou
(et) lorsque la dmarche suivie doit tre participative).
3.2 Les principales contraintes (dure totale, dure des diffrentes phases,
calendrier)
La dure prvue doit tre cohrente avec les lments de mthodologie imposs par les termes
de rfrence. Le calendrier doit tenir compte des contraintes du projet (disponibilit des quipes, contraintes particulires climatiques (possibilits de dplacements, calendriers agricoles,
calendrier hydraulique), et de celles du commanditaire (calendrier des prises de dcisions,
dlais de mise en uvre de lvaluation).
Ce calendrier peut prciser les priodes et la dure des grandes phases prvues pour
lvaluation : lancement, phase terrain, runions avec les pilotes de lvaluation (lancement,
bilan intermdiaire, restitution finale), date de remise des rapports provisoires et dfinitifs.
3.3 La composition de lquipe dvaluation
La nature de lobjet valuer, parfois sa gographie, souvent des questions valuatives particulires dterminent les comptences quil est ncessaire de runir au sein de lquipe
dvaluation. La diversit de ces comptences et le rapport entre le volume de travail (exprim
en homme/mois ou homme/semaine) et la dure optimum de la mission, fixent le nombre de
consultants runir. Des objectifs particuliers (dmarches participatives, transferts de comptences) annexs lvaluation peuvent ajouter des contraintes la dfinition de la composition
de lquipe.
Attention force de chercher des moutons cinq pattes41, on se retrouve souvent avec des
moutons qui ne marchent que sur trois pattes. Les moutons cinq pattes sont par ailleurs rarement disponibles du jour au lendemain.
3.4 Le budget disponible
Il est rare que les commanditaires ne fixent pas un budget plafond aux valuations quils
commanditent (ils ne lannoncent pas toujours dans le cas dappel doffres en esprant tirer les
prix vers le bas). Ce plafond doit videmment tre cohrent avec le volume de travail attendu.
41
80
Les cinq pattes de lvaluateur : des comptences techniques dans le domaine dintervention du projet (1), et en
ingnierie sociale (2), la connaissance du contexte rgional (3), lexprience de lvaluation (4), de la conduite
de projets (5), et la connaissance souvent ncessaire des procdures du bailleur principal du projet (5bis). Le
choix du commanditaire se situe souvent entre un profil dvaluateur gnraliste (4) et (5), et celui dun technicien (1), la connaissance du contexte tant toujours un lment important.
Pour tre parfaitement claires, les indications budgtaires doivent prciser qui du projet valu
ou de la mission dvaluation prendra en charge certains frais (les transports locaux, les frais
de runions lis aux restitutions).
3.5 Les rendus attendus
Les commanditaires fixent souvent la nature des documents quils attendent des valuateurs,
un ou plusieurs rapports ou notes de synthse selon le droulement, la dure et la complexit
de lvaluation. Ils peuvent exiger certaines annexes. Ils prcisent en gnral la faon dont il
vont valider le rapport dvaluation, exigeant souvent un rapport provisoire quils commenteront pour obtenir ensuite un rapport dfinitif.
Ils exigent parfois des notes dtape pour marquer les principaux rendez-vous entre les valuateurs et les instances de pilotage de lvaluation. Une telle note est souvent exige lors de la
restitution de ltape de terrain. Ces notes sont souvent bien utiles, notamment lorsque les enjeux de lvaluation sont importants. Ses diffrents protagonistes ont alors intrt mettre noir
sur blanc leurs conclusions intermdiaires.
Les commanditaires institutionnels donnent souvent des indications formelles assez prcises, y
compris sur le plan des rapports quils attendent42. Dans la mesure ou un rapport dvaluation
doit faciliter un processus de dcision, ils exigent logiquement la fois une synthse et un
rsum.
Les termes de rfrence peuvent galement fixer des modalits de restitution intermdiaire, en
fin de mission, la remise du rapport provisoire Ces restitutions peuvent se drouler en petit
comit de dcideurs, ou faire lobjet dune vritable animation qui permet aux diffrents partenaires dun projet de ragir aux conclusions des valuateurs.
3.6 Dventuelles prcisions contractuelles
Les termes de rfrence peuvent galement contenir des prcisions sur le contrat ou les modalits de contractualisation entre le commanditaire et lvalu. Mais ces questions font souvent
lobjet dun document part.
Lorsque le commanditaire procde par appel doffres restreint pour choisir son valuateur, ce
document doit donner des indications sur le contenu de la note mthodologique quil attend
des candidats.
III.
COMMENT REDIGER DES TERMES DE REFERENCE
Premier conseil : rdiger vos termes de rfrence comme vous le sentez et mfiez vous des
recettes toutes faites, y compris de celle qui vous est propose ci-aprs. Celle-ci ne vaut que
pour des valuations externes conue sous la forme classique dune ou deux missions
courtes. Elle a le tort de prsenter lexercice comme du prt porter , alors, quencore une
fois, il sagit dun travail sur mesure .
42
Ces plans types leur facilitent la lecture et la synthse de plusieurs rapports. Mais ils reprsentent une
contrainte difficile concilier pour faire ressortir les conclusions spcifiques de lvaluation, do limportance
des synthses.
81
La recette qui suit vous propose de rdiger des termes de rfrence selon le plan prsent cidessus. Mais elle propose une chronologie dcriture diffrente de lordre de prsentation des
diffrents chapitres. Elle sadresse une personne charge de cette rdaction. Elle ne traite
donc pas la question, souvent fondamentale, de lorganisation de la concertation initiale entre
les diffrents acteurs dun projet, qui doit avoir lieu en amont de cette rdaction finale.
1.
1re tape, formuler des objectifs cohrents qui rpondent vos

attentes
1.1 aboutir une premire version des questions valuatives, aprs avoir formul
clairement vos attentes et vos objectifs
a) Commencez par bien clarifier les attentes de votre organisation par rapport cette valuation. Vrifiez que ces attentes sont cohrentes avec une dmarche valuative, et avec celle
que vous envisagez.
b) Traduisez ces attentes en rdigeant les objectifs que vous assignez cette valuation. Evitez den rdiger un trop grand nombre. Au-del de quatre objectifs vous courez le risque
dune dmarche peu cohrente. Efforcez vous de rdigez chaque objectif en cinq, dix lignes maximum. Si vous tes plus long, vous risquez de ne pas tre clair.
Vous tes trop long ? Cest peut-tre que vous intgrez dj vos questions valuatives dans
la dfinition de vos objectifs Ce nest pas trs grave, mais vous serez plus clair en distinguant les deux.
c) Hirarchisez ces objectifs.
d) Dclinez chacun dentre eux sous la forme de questions valuatives, en suivant si possible
la mme rgle : pas trop de questions valuatives par objectif, pas plus de quelques lignes
par questions valuatives.
1.2 Vrifiez la cohrence entre cette premire version de vos objectifs et les
moyens dont vous disposez pour lvaluation
e) Vrifiez lordre de grandeur des moyens dont vous disposez ; traduisez approximativement le budget dont vous disposez, en nombre de jours ou de semaines dvaluateurs selon
deux ou trois hypothses (valuateurs Nord , valuateurs Sud ).
f) A partir de vos questions valuatives, imaginez rapidement le droulement de
lvaluation : qui les valuateurs devront-ils rencontrer, enquter ou faire enquter ? Que
devront-ils visiter, quelles donnes devront-ils collecter ? Quelles sont les sources disponibles ? Mme si vous ntes pas un spcialiste de lvaluation, vous pouvez btir un ou
deux scnarios grossirement cohrents.
g) Estimez trs grossirement le temps ncessaire aux valuateurs selon ces scnarios. Fixez
vous une fourchette assez large.
h) Comparez vos deux estimations (cf. e) et g) ci-dessus) :
si toutes les deux se situent dans le mme ordre de grandeur, vous avez gagn le droit
de passer ltape suivante ;
82
sinon, vous devez retourner aux tapes b) et c). Reformulez vos objectifs ou laisser
tomber les moins importants dentre eux, selon la hirarchie que vous avez dj tablie.
Ajustez vos ambitions vos moyens.
2.
2me tape : une prsentation des constituants de lvaluation claire

et cohrente avec vos objectifs
Vous avez donc dj rdig le point 13 du plan que nous vous proposons de suivre. Il vous
reste crire les points 11 lintroduction, 12 la description de lobjet valuer et
14 les rfrences de lvaluation .
Mieux vaut commencer la rdaction par le 12.
2.1 La prsentation de lobjet valuer
Les objets valuer et les objectifs des valuations sont si divers quil serait bien prsomptueux de proposer une recette adapte tous les cas de figure.
En rgle gnrale, mfiez-vous de labus de lusage de la fonction copier-coller . Vous avez
souvent dj de multiples documents de prsentation de votre projet, le document initial qui
vous a permis de convaincre des partenaires financiers, des comptes rendus dactivits annuels
ou de fin de phase, ncessaires la supervision de laction. Mais chacun a t crit pour un
objectif bien prcis. Aucun ne la t pour un valuateur. Celui-ci aura besoin de comprendre
rapidement la logique du projet. Il devra disposer des principales informations ncessaires
pour prparer une note mthodologique qui lui permette de traiter vos objectifs. Tout cela ne
devra pas tre trop long lire. Une douzaine ou une quinzaine de pages semble tre le bon
format pour des termes de rfrence. La prsentation de lobjet valuer ne doit pas occuper,
en ordre de grandeur, plus de la moiti de ces douze ou quinze pages. Plus, cest souvent
trop Mais lexception peut confirmer la rgle.
Un petit travail spcifique est donc ncessaire :
i)
Rdigez une prsentation courte et synthtique de lobjet valuer (si cest un projet : son
contexte, son histoire et les acteurs concerns, larbre objectifs , des lments de budget, les principales phases, le dispositif, les activits, les rsultats).
j) Identifiez les lments spcifiques ncessaires lvaluateur en fonction de vos objectifs

et des premires formulations de vos questions valuatives. Certains lments quantitatifs
sont parfois indispensables (le nombre de partenaires, laire gographique concerne, le
volume des ralisations). Si lvaluation porte sur un projet-processus qui sest droul
sur une longue priode il est souvent ncessaire de mettre en exergue les grandes phases
de son volution (et celles de son contexte). Les contraintes imposes par le montage financier dun projet sont souvent des lments dterminants de sa comprhension.
k) Dveloppez la prsentation gnrale que vous venez de rdiger en fonction de ces lments, ou compltez-l par les paragraphes ncessaires (voire une ou deux annexes
quantitatives ).
2.2 Lintroduction et vos rfrences
l)
Lintroduction doit tre courte (une page environ). Elle doit permettre aux lecteurs dentrer
rapidement dans le sujet et de comprendre la logique de la dmarche valuative. Sa rdac-
83
tion ne pose pas de difficults particulires (cf. plan propos ci-dessus). Cest un exercice
de synthse classique .
m) Lexplicitation des rfrences utiliser lors de lvaluation doit tre limite aux informations indispensables. Les principes fondateurs et la philosophie dintervention de votre
Organisation, les principaux axes qui ont guid la conception du projet, peuvent faire partie de ces rfrences . Mais un document prparatoire une valuation nest pas un outil de communication destin diffuser ces principes et cette philosophie.
3.
Dernires tapes, le dtail du contenu et les aspects pratiques
Vous avez donc rdig la premire partie de vos termes de rfrence et dcrit les constituants
de lvaluation. Chemin faisant, vous avez dj formul au moins au brouillon , vos principales questions valuatives et les lments essentiels de la mthode que vous suggrerez
lvaluateur.
Le plus dur est donc fait.
n) Avant daller plus loin, si vous tes en avance sur votre planning, faites relire cette premire partie par une autre personne. Un il extrieur est souvent bien utile pour vrifier la
clart et la cohrence dun texte, et mieux vaut sassurer de ces qualits avant de dtailler
la suite.
o) La suite ne prsente pas de difficults de rdaction particulires, sauf si vous souhaitez
dcliner trs en dtail les questions valuatives, et faire des propositions de critres et de
mthodes dtailles vos futurs valuateurs. Il vous faut alors un minimum de connaissances sur les dmarches valuatives43.
p) Les aspects pratiques que vous devez dtailler pour prvoir lorganisation de lvaluation
ne sont pas trs diffrents de ceux que vous avez prvoir pour nimporte quelle autre
mission dappui ou de suivi. Vous avez dj lordre de grandeur de votre budget (cf. point
e) ci-dessus) (gardez-vous une petite marge de ngociation). Les scnarios grossiers que
vous avez ci-dessus (cf. point f) peuvent vous aider identifier vos contraintes de logistique et de calendrier.
43
84
Les notes n 3 Des domaines de qualit au bon usage des indicateurs et n 4 Les principaux critres pour
lvaluation de projets , peuvent, peut-tre, vous tre utiles.
Note n 6
Rdiger une note mthodologique
Cette petite note est destine aux valuateurs dbutants . Elle espre leur
faciliter la rdaction dune note mthodologique destine prparer une valuation. La encore, la diversit des dmarches valuatives rend un peu illusoire
cet exercice ; il ny a gure de thorie ou de vrit en la matire. Les quelques
recommandations qui suivent, qui ne sont issues que de la pratique, pourront
tre utiles, condition que le lecteur sen inspire pour ses futures rdactions,
sans jamais les suivre la lettre.
I.
UNE REPONSE A UNE COMMANDE ET SA PREPARATION
1.
Qui et Quand, pourquoi et comment ?
Le commanditaire fait appel en gnral plusieurs valuateurs. Il leur adresse les termes
de rfrence quil a prpars44. Les valuateurs intresss y ragissent en lui faisant

parvenir une note mthodologique (ou un projet de note)45. Ils expliquent par ce court
document la dmarche quils comptent appliquer pour conduire lvaluation demande. Le
commanditaire va choisir lvaluateur auquel il confiera finalement le travail, en
comparant les diffrentes notes quil aura reues.
Les deux partenaires pourront ensuite discuter cette note pour finaliser leur accord sur la
mthode qui va tre utilise et sur le droulement de lvaluation. Ils pourront ainsi
saccorder sur les modalits concrtes de lvaluation46.
La relation commanditaire/valuateur peut se nouer sur de multiples modes, de lappel
doffres commercial lchange amical de services entre personnes proches. Mais, dans la
plupart des cas, les deux parties ont intrt sentendre noir sur blanc , en validant ensemble une note mthodologique prpare par lvaluateur qui sera en quelque sorte le
document-projet de lvaluation.
44
45
46
Cf. la note n 5 Prparer des termes de rfrence .

Certains emploient plutt lexpression proposition technique .
Cf. le schma Les diffrentes tapes dune valuation .
85
Cette note mthodologique :
permet au commanditaire de vrifier que lvaluateur a bien compris ses attentes et quil
va bien les prendre en compte ;
elle va faciliter les changes entre lvaluateur et son commanditaire qui sont ncessaires
au premier pour bien caler son travail et sa mthode ;
cest une pice contractuelle importante en cas de conflits entre les deux parties. Une
valuation est souvent au centre denjeux de pouvoir, et son bon droulement implique en
gnral la collaboration dun grand nombre dacteurs. Il est bon davoir un document qui
facilite la rpartition des responsabilits quand une valuation se passe mal ;
sans parler de conflits, cette note va servir de document de pilotage lvaluation. Un tel
document est particulirement utile quand lvaluation mobilise une quipe importante,
quand le contexte de lvaluation est tendu, ou quand lvaluation se droule longtemps
aprs les premires ngociations commanditaire/valuateur47 ;
enfin, noublions pas que la qualit de cette note est souvent dterminante lorsque le
commanditaire doit choisir entre plusieurs valuateurs possibles, notamment en cas
dappel doffres.
Le projet de note mthodologique devrait toujours faire lobjet dune discussion, voire
dune ngociation, au moins entre le commanditaire et lvaluateur. Cette ngociation peut

intervenir mme en cas dappel doffres : la meilleure des notes mthodologiques retenue
peut alors ntre que la moins mauvaise.
Dans le cas dune valuation participative, la note mthodologique devrait tre discute et
ajuste avec tous les acteurs supposs y participer .
Une valuation peut reprsenter deux ou trois semaines de travail pour un seul valuateur
ou plusieurs mois pour une quipe de trois ou quatre experts , selon les dimensions de
lobjet valuer. Le format de la note mthodologique varie dans des proportions
analogues. Le contenu ci-aprs correspond une valuation consquente de plusieurs
hommes/mois .
Lobjet valuer peut tre relativement simple et impliquer des dmarches valuatives trs
normalises ou trs standardises. La note mthodologique se contente alors de rappeler
les rgles communment utilises en la matire et de les adapter aux particularits de
lobjet. A linverse, lvaluation peut porter sur un objet complexe ou trs original. La note
mthodologique doit alors proposer une dmarche sur mesure .
2.
Quatre grandes parties
Il y a donc autant de modles de notes mthodologiques possibles que de types dvaluation

imaginables. Le plan type prsent ci-aprs nen est donc pas un. Il nest quun mode de prsentation du contenu habituel dune note mthodologique. Ce paragraphe est rdig en se
plaant dans la perspective dun appel doffres. Il faut alors convaincre de la qualit de sa proposition, tout en respectant strictement un minimum de dontologie professionnelle.
47
86
On a donc intrt faire des notes mthodologiques suffisamment dtailles.
Ce qui suit est dautant moins un plan type que les commanditaires donnent parfois des
indications prcises sur les informations et le plan quils attendent des valuateurs, ce premier stade de la ngociation.
On peut proposer un plan type, en quatre grandes parties :
la comprhension des termes de rfrence ;
la problmatique ;
la mthodologie ;
le droulement prvu.
II.
LES PRINCIPAUX ELEMENTS DUNE NOTE METHODOLOGIQUE
1.
La comprhension des termes de rfrence
1.1 Les objectifs de cette premire partie
Cette premire partie doit dabord permettre lvaluateur et aux commanditaires de vrifier
quils se sont mutuellement bien compris. Il nest donc pas forcment inutile pour lvaluateur
de rsumer, sa faon, les principaux constituants48 de lvaluation. Cette prcaution est
indispensable quand ces derniers paraissent obscurs ou incohrents. Plus les termes de rfrence semblent clairs, complets et cohrents lvaluateur et plus cette premire partie sera
courte. Dans le cas inverse, il ne faut pas hsiter la dvelopper.
En dehors des valuations trs strotypes, lvaluateur va tre amen proposer des choix
de problmatiques, puis de mthodes. Ses choix vont tre fonds sur sa lecture personnelle des
termes de rfrence, et sur les lments quil lui semble ncessaire de privilgier. Cette premire partie doit permettre lvaluateur de faire part de sa comprhension des termes de rfrence. Il asseoit ainsi la cohrence de sa dmarche, et annonce les choix quil va proposer.
Lorsque les termes de rfrence sont particulirement mal conus, il importe de le souligner
ds le dpart, (avec la plus grande diplomatie possible, mais aussi avec prcision). La note
mthodologique amorce le dialogue entre le commanditaire et lvaluateur qui va permettre, si
besoin est, de prciser certains lments de la commande.
Enfin, en cas dappel doffres, les premiers dveloppements de la note mthodologique sont
aussi loccasion pour lvaluateur de montrer quel point il connat son sujet, la problmatique et le contexte du projet. Il commence l prouver quil est vraiment le meilleur candidat
possible pour faire cette valuation.
1.2 Un plan dtaill possible pour cette premire partie
Le plus simple est de reprendre lenchanement des termes de rfrence49.
48
49
Cf. La note n 5 Prparer des termes de rfrence .

Idem.
87
Le contexte de lvaluation demande et de lobjet valuer

Il commande thoriquement la logique de lvaluation. Il importe donc de montrer quon est
bien en phase.
Lobjet valu
Lvaluateur peut profiter de ce court paragraphe pour restructurer la prsentation de lobjet
sa manire. Le dcoupage quil va utiliser annonce thoriquement sa problmatique et sa
mthode.
Il peut aussi faire part, dans ce paragraphe, des interrogations que suscite la description propose par les termes de rfrence [dfinition imprcise du champ de lvaluation, incohrence
entre ltendue de celui-ci et les moyens prvus (budget, dure)], ou la mthodologie recommande.
Les attentes du commanditaire

Lvaluateur doit tre attentif bien comprendre les attentes du commanditaire. Elles lui livrent la cl des termes de rfrence. Lincomprhension entre commanditaires et valuateurs
sur ce point est une cause frquente dchec. Les objectifs du commanditaire doivent toujours
tre le fil directeur de lvaluateur50.
2.
La problmatique
Les termes de rfrence ont, en gnral, prcis les grandes questions valuatives auxquelles lvaluation doit apporter des rponses. Dans sa note mthodologique, lvaluateur
doit expliquer comment il va traiter ces questions : quelles sont ses hypothses initiales ?
comment va-t-il dfinir les grands domaines de qualit qui correspondent lobjet valuer ? Comment va-t-il dcliner les questions poses en une srie de questions plus prcises ?
Quels sont les critres et ventuellement les indicateurs quil va utiliser ?
Le plan dtaill de cette deuxime partie dpend largement des termes de rfrence, qui peuvent eux-mmes dfinir de faon assez prcise cette problmatique, ou se contenter de trois ou
quatre grandes questions valuatives.
Les quelques indications donnes ci-aprs correspondent plutt cette dernire hypothse. Le
plan de cette partie problmatique dpend videmment de lobjet valuer. On peut traiter
globalement le champ de lvaluation selon une progression qui va de la problmatique gnrale aux critres. On peut aussi distinguer des grands domaines de qualit, les uns aprs les
autres, puis suivre cette mme dmarche pour chacun pris sparment.
2.1 Quelques lments de problmatique gnrale
Lvaluation dun projet est certes un exercice sur mesure . Mais la plupart des projets se
rattachent des domaines dintervention ou des problmatiques connues. Ces domaines ou
ces problmatiques ont en gnral dj donn lieu des analyses et des valuations, et ces
exercices ont permis de dfinir un ensemble de rfrences : des lments de mthode, des
points-cls, parfois des grilles danalyse. Ils ont ventuellement suscit des dbats dcole.
50
88
Cf. la note Les dmarches valuatives, quelques repres, entre le triangle et la sphre .
Lvaluateur va construire sa dmarche sur cet ensemble dacquis qui lui sont indispensables
pour tre pertinent. Il peut tre utile de les rappeler succinctement en introduction du chapitre
problmatique :
ce rappel facilitera la comprhension de sa dmarche ;
il lui permettra dintroduire une partie des rfrences quil va utiliser durant lvaluation
(les rgles de lart) ;
accessoirement, dans le cas dun appel doffres commercial, ce court chapitre lui fournira
loccasion de montrer quil connat bien le sujet quil va traiter (attention ne pas en faire
trop).
2.2 Les principaux axes retenus pour lvaluation
En croisant les rgles de lart quil vient de rappeler, les principales caractristiques de
lobjet valuer et les trois ou quatre attentes majeures du commanditaire, lvaluateur doit
pouvoir construire les grands axes qui vont structurer son travail.
Ce paragraphe est un peu superflu pour les valuations trs courtes ou trs strotypes. Il ny
a alors gure dalternative dapproche et de mthode. Il est inutile den inventer. Cette construction autour de quelques axes est nanmoins utile pour les valuations plus complexes. La
dfinition de la bonne problmatique est alors dterminante dans la russite de
lvaluation.
On est donc bien l dans le domaine du pur sur mesure , o il est difficile de donner des
repres. La construction de ces grands axes peut suivre deux dmarches diffrentes :
Les termes de rfrence peuvent tre centrs autour de deux ou trois questions majeures.
Ils traduisent alors des attentes prcises, soit en termes de dcisions oprationnelles, soit
en termes de rflexion mthodologique. Pour rpondre une telle demande, lvaluateur
cherchera a laborer un petit nombre dhypothses. Elles guideront alors une dmarche
danalyse assez classique, construite pour les valider ou les infirmer.
A linverse les termes de rfrence peuvent tre trs analytiques. Ils font alors rfrence
aux principaux critres utiliss en valuation de projet. Ils attendent de lvaluateur une
apprciation globale sur la qualit de lobjet valu. Les enjeux de la dmarche valuative
se posent moins en termes dhypothses et plus en termes de bonnes coupures et
dangles dobservation : comment dfinir les domaines de qualit de lobjet valuer ?
Selon quel point de vue faut-il en apprcier la qualit ?
2.3 La dclinaison en questions valuatives de plus en plus prcises
Le chapitre prcdent aura formul une srie dhypothses, ou divis lobjet valuer en
grands domaines de qualit. Lvaluateur doit ensuite numrer les bonnes questions qui
vont lui permettre dexaminer ces hypothses ou dapprcier la qualit de ces domaines. Il
procde en gnral par couches successives , en commenant par formuler quatre ou cinq
grandes questions quil dtaillera ensuite par une srie de questions plus prcises. Selon
lampleur et la complexit de lvaluation (et du temps dont on dispose) deux, trois couches
ou plus sont ncessaires. Lvaluateur ne perd pas son temps (sil est sr davoir le march) en
allant assez loin dans le dtail ce stade, car il commence l la prparation effective de son
travail de terrain. Il pourra ainsi tre plus ractif et plus efficace en dbut de mission, pendant
les quelques jours souvent dterminants pour la qualit de son travail.
89
2.4 Les principaux critres susceptibles dtre utiliss
Une fois les questions valuatives dtailles, lvaluateur annonce enfin comment il va y rpondre, et il indique en particulier les critres quil va utiliser. Il sappuie en gnral sur les
critres communment utiliss dans son domaine dintervention spcifique.
Il peut galement indiquer l, la qualit des rponses quil vise. Sur certains points il ne pourra
apporter que des illustrations, sur dautres des synthses dopinions. Il ne pourra sappuyer sur
des faits avrs que pour certaines questions. Cette prcaution est souvent utile. Elle permet
dviter des malentendus ultrieurs. Elle est dontologiquement correcte.
3.
La mthodologie
La partie consacre la problmatique a permis de dfinir les questions prcises auxquelles

lvaluateur va sefforcer de rpondre et les critres quil va utiliser. Il doit maintenant expliquer comment il va sy prendre sur le terrain : quels sont les principaux outils dinvestigation
quil va utiliser ? Qui va-t-il interroger ? Comment ? Quelles vont tre ses dmarches
dchantillonnage ? etc.
3.1 Des grands choix de mthodes
Les caractristiques de lobjet valuer et les contraintes de lvaluation dterminent souvent

des grands choix de mthodes :
en mission courte on travaillera souvent dire de personnes ressources , faute davoir
le temps de travailler systmatiquement par enqutes directes ;
lvaluation des vieux projets dots de bons systmes de suivi-valuation, commence
par des phases relativement longues danalyses documentaires ;
sur certaines questions-cls, il ne faut pas faire lconomie denqutes relativement lourdes qui impliquent le recrutement et la formation denquteurs ;
si les termes de rfrence sont peu cohrents, ou sils ne prsentent pas les lments quantitatifs qui permettent de dfinir la mthode dvaluation lavance, cette dernire commencera par une phase dlaboration et de validation mthodologique ;
les projets trs tendus qui travaillent avec de nombreux partenaires impliquent des dmarches initiales de typologie et de zonage ;
selon les termes de rfrence, lanalyse du contexte, la rtrospective des actions,
lvaluation des ralisations physiques, lanalyse institutionnelle des diffrents partenaires,
vont occuper des places plus ou moins importantes dans ltude ;
etc.
3.2 Les grandes phases de ltude
Ces grands choix de mthodes vont dterminer le dcoupage de la mission dvaluation en

trois ou quatre grandes phases successives.
Il importe de les annoncer et den prciser sommairement le contenu pour que le commanditaire ait un aperu gnral du droulement prvu de lvaluation, et des moyens quelle va
mobiliser. (Chacune de ces grandes tapes sera dtaille ultrieurement).
90
Cest particulirement indispensable pour des valuations complexes. Celles-ci peuvent demander une organisation en plusieurs missions ou en plusieurs tapes itratives, impliquant
des choix intermdiaires. Elles prvoient dans ce dernier cas la runion dinstances de pilotage
et des restitutions partielles aux tapes-cls.
3.3 Le dtail des phases-cls
Certaines phases-cls peuvent mriter des informations plus dtailles. Elles impliquent des
choix de mthodes spcifiques (dmarche dchantillonnage, type denqute et dentretien,
mode de traitement des donnes), ou elles ncessitent la mobilisation de moyens particuliers,
ou encore la participation active de certains acteurs.
4.
Le droulement prvu
4.1 Lquipe dvaluation
On propose ici une rapide synthse des comptences ncessaires pour russir lvaluation,
Cette synthse doit videmment tre cohrente avec la problmatique et la mthodologie proposes (et avec les ventuelles recommandations faites ce sujet dans les termes de rfrence).
Le rsum en quelques lignes des CV des valuateurs suit cette synthse (ces CV devront figurer obligatoirement en annexe de la note mthodologique. Attention certains commanditaires imposent des plans types pour la prsentation de ces CV). Ce rsum montre quel point
les qualits des valuateurs sont bien conformes aux comptences et lexprience ncessaires
pour russir lvaluation.
4.2 Le dtail du droulement
On peut dcrire les diffrentes tapes de lvaluation laide du cadre ci-aprs. Ces diffrentes
tapes sont regroupes selon les grandes phases dfinies au 3.2 ci-avant.
Ce dtail permettra dlaborer rapidement le calendrier, lorganisation et le budget de la mission. Pour lvaluateur, il facilitera lajustement final de sa proposition (On commence souvent par proposer une dmarche trop longue et trop sophistique, qui ne cadre pas avec les
contraintes budgtaires imposes. Il faut donc ensuite limiter sa proposition pour la faire rentrer dans le cadre prvu, tout en restant cohrent.)
Les commanditaires apprcient souvent ce dtail qui leur permet de comprendre le budget qui
leur est propos.
Enfin, cette prcision est souvent utile pour piloter par la suite des quipes de plusieurs valuateurs
91
Le titre de ltape
Objectifs
A quoi sert-elle ? A quoi doit-elle aboutir ?
Mthode /
Contenu
Etude documentaire (quels documents), entretien avec quelques personnes-ressources (quelles

catgories), diffrents types dentretiens ou denqutes auprs de quels publics, laboration de
documents intermdiaires, etc.
Rendus attendus
Dans certains cas on indique l les rendus auxquels donnera lieu ltape : documents de
synthse, outils mthodologiques, fiches denqutes, rapports intermdiaires, etc. On prcise
alors la diffusion de ces documents (usage interne pour lquipe, outils de restitution
intermdiaire, lments du rapport final, etc.).
Consultants,
dure
Dans le cas dune quipe, on prcise l qui fait quoi, et pendant combien de jours.
Lieux
Ce lieu peut-tre le sige du commanditaire ou de loprateur au Nord, la capitale du pays, un

des terrains, etc.
Attention, sauf exception on devient illisible et trop long si on dtaille lvaluation en plus
dune douzaine dtapes
4.3 La synthse de la proposition
Le calendrier des diffrentes phases

Au-del dune certaine dure, mme lorsque le commanditaire ne lexige pas (ce qui est rare),
lvaluateur a intrt prsenter le calendrier prvisionnel de son travail. Il peut alors utiliser
le tableau suivant, en soulignant bien quil ne sagit que dune prvision. (Cette dernire pourra lui tre utile sur le terrain, o le rajustement dun calendrier initial, mme malmen par la
ralit, facilite la gestion du temps).
Les Phases et les tapes
En semaines partir du dmarrage de la mission

1
10
11
12
re
1 Phase
1
2
3
4
5
2me Phase
6
7
3me Phase
8
9
10
11
La rpartition du travail entre les diffrents experts

Quand lquipe dvaluation runit plus de trois personnes, il peut tre utile de proposer un
rcapitulatif du temps prvu pour chacun deux. Le tableau qui dtaille le temps pass selon
les lieux de travail (France, capitale du pays o se droule lvaluation, terrain), facilite
92
llaboration du budget (honoraires et per diem). Ce tableau peut, en effet, tre fait sous Excel
et li la feuille Excel du budget.
Les Phases et les tapes
Expert A Expert B Expert C Expert D Expert E
TOTAL
P C T PC T P C T P C T P C T P C T
1
2
3
4
5
Total phase 1
6
7
Total phase 2
8
9
10
11
Total phase 3
Total
P Paris, C dans la capitale, T sur le terrain, au Total
5.
Le budget
En cas dappel doffres, le budget propos par lvaluateur doit tre adress sparment de la
note mthodologique. Les commanditaires imposent souvent leur mode de prsentation budgtaire. Quand il ne le font pas, mieux vaut leur proposer un descriptif dtaill.
93
Cooprer aujourdhui
est disponible sur le site du Gret : www.gret.org/ressources en ligne
Le monde change, les faons de travailler en coopration aussi. Au Sud comme au Nord, effervescence associative, libralisation conomique et dcentralisations administratives renouvellent le paysage institutionnel. Les revendications lgitimes des citoyens plus de prises sur
leurs conditions de vie amnent inventer des articulations originales entre dmocratie participative et dmocratie lective. Pour rompre les logiques dexclusion, pour assurer un accs quitable aux services et aux opportunits conomiques, de nouvelles articulations entre tat, march et socit civile sont crer, et consolider institutionnellement et juridiquement.
La lgitimit dactions de solidarit internationale est dy contribuer, aux cts des acteurs locaux engags dans de telles dmarches. Mais le systme daide favorise trop souvent les
modes, les impositions de problmatiques, les solutions toutes faites. Cooprer aujourdhui implique de travailler en phase avec les dynamiques sociales, politiques et institutionnelles locales, avec une exigence accrue en termes de qualit et defficacit long terme.
Publie par la Direction scientifique du Gret, cette srie souhaite contribuer au renouvellement
de la rflexion stratgique et mthodologique sur lintervention de dveloppement et les pratiques
de coopration, partir dune rflexion critique sur les pratiques. Principalement issue des travaux
et actions menes au Gret, elle accueille volontiers des textes externes.
Derniers titres parus

no 17. Regards sur les enqutes et diagnostics participatifs : la situation denqute comme
interface (Philippe Lavigne Delville, Gret/Direction scientifique, octobre 2000, 24 pages).
no 18. Dvelopper le march du conseil aux PME africaines : dmarches et enjeux. Les conditions dun accs des petites entreprises des prestations dappui-conseil appropries (Michel
Botzung [ple EFP], Gret/Direction scientifique, janvier 2001, 30 pages).
no 19. Identification des oprateurs locaux de dveloppement : lments mthodologiques pour
un reprage pralable un projet en collaboration (Ludovic Houssard [ple EFP / Madagascar],
Gret/Direction scientifique, fvrier 2001, 31 pages).
no 20. Regards sur la culture dveloppementiste : reprsentations et effets non intentionnels :
une lecture de textes rcents en anglais (Elsa Faugre, Gret/Direction scientifique, fvrier
2000, 24 pages).
Groupe de recherche et dchanges technologiques

211-213 rue La Fayette 75010 Paris, France
Tl. : 33 (0)1 40 05 61 61. Fax : 33 (0)1 40 05 61 10
gret@gret.org - http://www.gret.org

GRET Cooperer21 Évaluer

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

GRET Cooperer21 Évaluer

Hochgeladen von

Copyright:

Verfügbare Formate

Les documents de travail

Daniel Neu (Ple EDR)

Groupe de recherche et dchanges technologiques

valuer : apprcier la qualit pour faciliter la dcision

Pour contribuer lefficacit des valuations ............................................................ 7

NOTE N 1 SE REPRER DANS LA DIVERSIT

DES DMARCHES VALUATIVES .......................... 9

LE SCHEMA GENERAL DES DEMARCHES EVALUATIVES............................... 9

Proposition dune dfinition : apprcier la qualit pour faciliter la dcision ............. 9

La diversit des dmarches valuatives.................................................................... 10

NOTE N 2 APPRCIER LA QUALIT POUR FACILITER LA DCISION : QUELQUES

VALUER APPRCIER LA QUALIT ET DONC DONNER DE LA VALEUR .............................. 25

valuer cest (presque toujours) produire une image de la ralit pour la

II. VALUER, METTRE UN JUGEMENT ............................................................................ 26

Au minimum, une apprciation synthtique............................................................. 26

III. VALUER, SE SITUER DANS DES ENJEUX DE POUVOIR ....................................................... 27

Des enjeux dont lvaluateur doit tre conscient...................................................... 27

IV. VALUER, AVANT TOUT COMMUNIQUER .......................................................................... 28

Des exigences pour lvaluateur en termes de rendu et de conclusion .................... 28

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision

V. VALUER, UNE PRATIQUE PROFESSIONNELLE .................................................................. 30

Rpondre une commande ...................................................................................... 30

ANNEXE 1 DE LA NOTE N 2 LES DIFFRENTES TAPES DUNE VALUATION .......................... 32

Avant la prparation ................................................................................................. 32

NOTE N 3 DES DOMAINES DE QUALIT AU BON USAGE DES INDICATEURS ............................. 35

LEXEMPLE CALAMITEUX DE LA BAGNOLE DOCCASION ................................................. 35

Ursuline, Suzy, Arthur, Gatan et la voiture de Jean-Jacques.................................. 35

II. QUELQUES RFLEXIONS PARTIR DE CET EXEMPLE LAMENTABLE ................................ 37

Lvaluation commence par une question de valeurs ......................................... 37

NOTE N 4 LES PRINCIPAUX CRITRES DE LVALUATION DE PROJETS .................................. 45

LES PRINCIPAUX CRITRES UTILISS POUR LVALUATION DE PROJETS ......................... 45

La dmarche projet en quelques lignes et un schma (pour les nophytes) ....... 45

ANNEXE LA NOTE N 4 CADRE DANALYSE ET PLAN DES RAPPORTS DVALUATION

LA COMMANDE DUNE PRESTATION SUR MESURE ............................................................ 71

Quoi ? Qui ? Quand ? et Pourquoi ?......................................................................... 71

II. LES PRINCIPAUX LMENTS DES TERMES DE RFRENCE................................................ 73

La prsentation gnrale des constituants de lvaluation........................................ 73

III. COMMENT RDIGER DES TERMES DE RFRENCE ............................................................ 81

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision

NOTE N 6 RDIGER UNE NOTE MTHODOLOGIQUE................................................................ 85

UNE RPONSE UNE COMMANDE ET SA PREPARATION .................................................... 85

Qui et Quand, pourquoi et comment ? ..................................................................... 85

II. LES PRINCIPAUX LMENTS DUNE NOTE MTHODOLOGIQUE ......................................... 87

La comprhension des termes de rfrence.............................................................. 87

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision

Pour contribuer lefficacit des valuations

La place de lvaluation dans le domaine de la coopration au dveloppement a volu au

Six petites notes

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision

LE SCHEMA GENERAL DES DEMARCHES EVALUATIVES

Proposition dune dfinition : apprcier la qualit pour faciliter la

Il existe un grand nombre de dfinitions de lvaluation.

Direction scientifique Gret Document de travail n 21

valuer : apprcier la qualit pour faciliter la dcision