B A N Q U E M O N D I A L E : D PA R T E M E N T D E L V A L U A T I O N D E S O P R A T I O N S R E N F O R C E M E N T D E S C A PA C I T S D V A L U A T I O N

B A N Q U E

M O N D I A L E

SUIVI

1818 H Street, N.W. Washington, D.C. 20433, U.S.A. Tlphone : 202-477-1234 Fax : 202-477-6391 Tlex : MCI 64145 WORLDBANK MCI 248423 WORLDBANK Internet: www.worldbank.org Dpartement de lvaluation des oprations Programmes Partenariat et Gestion des connaissances (OEDKE) Courriel : eline@worldbank.org Tlphone : 202-458-4497 Fax : 202-522-3125

& VALUATION :
Quelques outils, mthodes et approches

SUIVI

& VALUATION :
Quelques outils, mthodes et approches

Banque mondiale Washington www.worldbank.org/oed/ecd/

Remerciements
La premire dition de ce rapport avait t prpare par Mari Clark et Rolf Sartorius (Impact social). Ces derniers tiennent remercier les membres des services de la Banque mondiale qui ont largement contribu sa prparation, notamment Franois Binder, Osvaldo Feinstein, Ronnie Hammad, Jody Kusek Linda Morra, Ritva Reinikka, Gloria Rubio et Elizabeth White. Cette deuxime dition contient un examen plus dtaill de la question de lvaluation de limpact prpar par Michael Bamberger (consultant). Keith Mackay tait le chef du projet de mise au point de ce rapport.

Copyright 2004 Banque internationale pour la reconstruction et le dveloppement/BANQUE MONDIALE 1818 H. Street, N.W. Washington, D. C. 20433, tats-Unis dAmrique Tous droits rservs. Fait aux tats-Unis dAmrique Les opinions exprimes dans le prsent rapport ne refltent pas ncessairement les vues de la Banque mondiale ou des tats qui en sont membres. La Banque mondiale ne garantit pas lexactitude des donnes qui y figurent et naccepte aucune responsabilit quant aux consquences de leur utilisation. Les frontires, couleurs, dnominations et toute autre information figurant sur lune quelconque des cartes incluses dans cette publication nimpliquent de la part du Groupe de la Banque mondiale aucun jugement sur le statut juridique dun territoire quelconque, ni lapprobation ou lacceptation desdites frontires.

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

Table des matires

Vue densemble du S&E . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Indicateurs de performance . . . . . . . . . . . . . . . . . . . . . . . . 6 Cadre logique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 valuation base sur la thorie . . . . . . . . . . . . . . . . . . . . .10 Enqutes formelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12 Mthodes dvaluation rapide . . . . . . . . . . . . . . . . . . . . . .15 Mthodes participatives . . . . . . . . . . . . . . . . . . . . . . . . . . .17 Enqutes de suivi des dpenses publiques . . . . . . . . . . . . . .19 Analyse cots-avantages et cot-efficacit . . . . . . . . . . . . . .21 valuation de limpact . . . . . . . . . . . . . . . . . . . . . . . . . . .23 Ressources additionnelles sur le S&E . . . . . . . . . . . . . . . . .26

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

VUE DENSEMBLE DU S&E

QUELQUES OUTILS, MTHODES ET APPROCHES POUR LES ACTIVITS DE SUIVI ET DVALUATION

Le suivi et lvaluation (S&E) des activits de dveloppement donnent aux pouvoirs publics, aux gestionnaires du dveloppement et la socit civile de meilleurs moyens de tirer les leons de lexprience, damliorer la prestation des services, de planifier et daffecter les ressources, et de rendre compte aux principales parties prenantes en faisant tat des rsultats obtenus. Cest notamment parce que la communaut du dveloppement fait une place pri-vilgie lobtention de rsultats que les activits de suivi et dvaluation suscitent de plus en plus dintrt. Cependant, on note souvent une certaine confusion quant leurs tenants et aboutissants. La prsente Vue densemble vise prciser ce quimpliquent ces activits afin de faire mieux comprendre et apprcier tout lintrt du S&E. La prsente brochure dcrit brivement certains des outils, mthodes et approches qui peuvent tre utiliss, rsume leurs objectifs et leurs applications, leurs avantages et leurs inconvnients, leur cot, les comptences requises et le temps ncessaire, et signale aussi dimportantes sources dinformation leur sujet. Le lecteur y trouvera en particulier des indications sur plusieurs mthodes de collecte des donnes, cadres danalyse et types dvaluation et dexamen. Les questions abordes sont les suivantes :

OBJECTIF

Indicateurs de performance Cadre logique valuation base sur la thorie Enqutes formelles Mthodes dvaluation rapide Mthodes participatives Enqutes de suivi des dpenses publiques Analyse cots-avantages et cot-efficacit valuation de limpact

Cette liste nest pas et ne se veut pas exhaustive. Certains des outils et approches qui y figurent sont complmentaires et dautres interchangeables. Leur champ dapplication peut tre trs large, ou au contraire trs troit. Le choix de la formule qui conviendra le mieux dans un contexte donn dpendra de diverses considrations, comme les objectifs viss, les principales parties prenantes concernes par les rsultats du S&E, le cot et le degr de rapidit souhait.

Indicateurs de performance

De quoi sagit-il ?
Les indicateurs de performance sont un moyen dapprcier les divers aspects dun projet, programme ou stratgie de dveloppement : ressources, processus, produits, rsultats et impacts. Lorsquils sappuient sur un solide travail de collecte de donnes (par exemple, au moyen denqutes formelles), puis danalyse et de diffusion de ces informations, ces indicateurs permettent aux gestionnaires de suivre lavancement de laction entreprise, den dterminer les rsultats, et de prendre les mesures correctives qui amlioreront la prestation des services. Il est important dassocier les principales parties prenantes la dfinition des indicateurs, car il y aura ainsi plus de chances que celles-ci sachent les comprendre et les utiliser pour la prise de dcision.

Quelles sont les applications possibles ?

Fixer des objectifs de performance et mesurer les progrs accomplis vers leur ralisation ; Dtecter les problmes laide dun systme dalerte rapide, afin de pouvoir dcider de mesures correctives ; Dterminer sil est ncessaire de procder une valuation ou un examen approfondi.

AVANTAGES : Moyen efficace de mesurer les progrs accomplis vers la ralisation des objectifs ; Il sera plus facile de procder des comparaisons entre diffrents services, districts et poques. INCONVNIENTS : Des indicateurs mal dfinis ne permettront pas de mesurer correctement les progrs ; La tendance retenir un trop grand nombre dindicateurs, ou choisir des indicateurs pour lesquels on naura pas accs des sources de donnes, peut rendre le systme coteux et difficile appliquer, de sorte quil sera probablement sous-utilis ; Il arrive souvent que lon doive arbitrer entre lidal et le possible en renonant aux indicateurs optimaux ou souhaits pour se contenter de ceux que les donnes accessibles permettront de mesurer.

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

COT : Le cot peut tre faible ou lev, selon le nombre des indicateurs retenus, la priodicit de la collecte de donnes et la qualit des informations recherches, et le champ couvert par le systme. COMPTENCES REQUISES : Plusieurs jours de formation sont recommands afin damliorer laptitude des personnels concerns dfinir des indicateurs pratiques. La mise en uvre de systmes de suivi de la performance exige des comptences en matire de collecte, danalyse et de diffusion des donnes et de systmes dinformation de gestion (SIG). TEMPS NCESSAIRE : De plusieurs jours plusieurs mois, selon lampleur du processus participatif retenu pour dfinir les indicateurs et selon la complexit du programme. La mise en uvre dun systme de suivi de la performance peut prendre de six douze mois.

P O U R

P L U S

D I N F O R M A T I O N S :

Banque mondiale (2000). Key Performance Indicator Handbook. Washington. Hatry, H. (1999). Performance Measurement: Getting Results. The Urban Institute, Washington.

Cadre logique
De quoi sagit-il ?
Cette approche aide dfinir plus clairement les objectifs de tout projet, programme ou politique et dterminer les liens de causalit escompts la logique du programme entre les divers lments de la chane des vnements devant conduire lobtention de rsultats : apports de ressources, modalits de mise en uvre, produits (y compris le degr de couverture des groupes bnficiaires), rsultats, et impact. Elle conduit la dfinition dindicateurs de performance pour chaque maillon de la chane et lidentification des risques qui pourraient entraver la ralisation des objectifs. Le cadre logique permet aussi dassocier les partenaires la dfinition des objectifs et la conception des activits. Au stade de la mise en uvre, cest un moyen utile de suivre lavancement des activits et de prendre des mesures correctives.

Quelles sont les applications possibles ?

Amliorer la qualit de la conception des projets et programmes en imposant la dfinition dobjectifs clairs, lutilisation dindicateurs de performance, et lvaluation des risques ; Synthtiser la conception dactivits complexes ; Faciliter la prparation de programmes oprationnels dtaills ; Fournir une base objective pour lexamen, le suivi et lvaluation des activits.

AVANTAGES : Garantit que les dcideurs se poseront les questions fondamentales et analyseront les hypothses et les risques ; Implique les parties prenantes dans le processus de planification et de suivi ; Utilis de manire dynamique, constitue un outil de gestion efficace pour guider la mise en uvre, le suivi et lvaluation. INCONVNIENTS : Utilis de manire rigide, peut touffer la crativit et linnovation ; En labsence dactualisation au cours de la mise en uvre, peut ntre quun outil statique qui ne refltera pas lvolution des conditions ; Exige souvent des activits de formation et de perfectionnement.

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

COT : Faible moyen, selon lampleur et la complexit du processus participatif utilis lappui de cette approche. COMPTENCES REQUISES : Formation dau moins trois cinq jours pour les facilitateurs ; pour la planification et la gestion participatives, comptences supplmentaires en matire de facilitation. TEMPS NCESSAIRE : De plusieurs jours plusieurs mois, selon lampleur et la complexit du processus participatif.

P O U R

P L U S

D I N F O R M A T I O N S :

Banque mondiale (2000). The Logframe Handbook, Banque mondiale : http://wbln1023/OCS/Quality.nsf/Main/MELFHandBook/$File/LFhandbook.pdf GTZ (1997). ZOPP Planification des projets par objectifs : http://www.unhabitat.org/cdrom/governance/html/books/zopp_e.pdf

10

valuation base sur la thorie

De quoi sagit-il ?
Ce type dvaluation prsente des similitudes avec le cadre logique, mais il permet dapprhender de manire bien plus approfondie le fonctionnement dun programme ou dune activit la base thorique du programme ou la logique du programme . En particulier, il ny a pas supposer de simples relations linaires de cause effet. Par exemple, lorsque les pouvoirs publics cherchent amliorer le taux dalphabtisme par le recrutement denseignants supplmentaires, la russite de ce programme peut dpendre de multiples facteurs, comme la disponibilit de salles de classe et de manuels, la raction probable des parents, des directeurs dcole et des lves, la comptence et ltat desprit des enseignants, le lieu daffectation des enseignants supplmentaires, la fiabilit du financement public, etc. En dfinissant les facteurs dterminants jugs importants pour le succs du programme, et les interactions possibles entre ces divers lments, il devient possible de dcider des activits qui devront tre suivies au cours de la mise en place du programme pour vrifier quil en va bien ainsi dans les faits. Cela permet didentifier les conditions de russite critiques. Si les donnes recueillies montrent que ces conditions ne sont pas runies, il est raisonnable den tirer la conclusion que le programme a moins de chances datteindre ses objectifs.

Quelles sont les applications possibles ?

Guider la conception dactivits complexes. Amliorer la planification et la gestion.

AVANTAGES : Permet de savoir rapidement ce qui marche ou ne marche pas, et les raisons pour lesquelles il en va ainsi ; Permet de prendre des mesures correctives ds quun problme se pose ; Facilite lidentification des effets secondaires inattendus du programme ; Aide classer par ordre de priorit les questions qui mritent des recherches plus pousses, peut-tre par un ciblage plus troit de la collecte de donnes ou par lutilisation de techniques de S&E plus complexes ; Peut servir de base lvaluation des impacts probables des programmes.

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

11

INCONVNIENTS : Peut facilement devenir trop complexe sil sagit dactivits de grande envergure ou si lon retient une srie exhaustive de facteurs et dhypothses ; Les parties prenantes peuvent ne pas tre daccord sur les facteurs dterminants jugs importants, et la rsolution de cette difficult peut prendre longtemps. COT : Moyen Le cot est fonction du degr dapprofondissement de lanalyse, et en particulier du degr de dtail des donnes runies pour tudier le fonctionnement du programme. COMPTENCES REQUISES : Formation dau moins trois cinq jours pour les facilitateurs. TEMPS NCESSAIRE : Trs variable Le temps ncessaire est fonction de la profondeur de lanalyse, de la dure du programme ou de lactivit, et du degr de dtail du travail de S&E entrepris.

P O U R

P L U S

D I N F O R M A T I O N S :

Weiss, Carol H. (1998). Evaluation. Prentice Hall, New Jersey, deuxime dition. Weiss, Carol H. (2000). Theory-based evaluation: theories of change for poverty reduction programs dans O. Feinstein et R. Picciotto (dir. de publication) Evaluation and Poverty Reduction. Dpartement de lvaluation des oprations, Banque mondiale, Washington. Mayne, John. (1999). Addressing Attribution Through Contribution Analysis: Using Performance Measures Sensibly. Office of the Auditor General of Canada working paper, Ottawa: http://www.oag-bvg.gc.ca/domino/other.nsf/html/99dp1_e.html

12

Enqutes formelles
De quoi sagit-il ?
Cet instrument peut servir runir des donnes normalises sur un chantillon soigneusement slectionn dindividus ou de mnages. Ces enqutes visent souvent la collecte dinformations comparables auprs dun nombre relativement lev de personnes appartenant des groupes cibles particuliers.

Quelles sont les applications possibles ?

Fournir la base de rfrence qui permettra de mesurer la performance de la stratgie, du programme ou du projet ; Comparer diffrents groupes un moment donn ; Comparer les changements intervenus au sein dun mme groupe au cours dune priode donne ; Comparer la ralit aux objectifs dfinis lors de la conception du programme ou du projet ; Dterminer la situation dune communaut ou dun groupe particulier ; Fournir des lments dinformation essentiels en vue de lvaluation formelle de limpact dun programme ou projet ; valuer les niveaux de pauvret en vue de la prparation de stratgies de rduction de la pauvret.

AVANTAGES : Les conclusions tires des rponses fournies par lchantillon interrog peuvent tre appliques lensemble du groupe cible ou de la population ; On peut tablir des estimations chiffres de lampleur et de la distribution des impacts. INCONVNIENTS : Sauf dans le cas des CWIQ (questionnaire sur les grands indicateurs du bien-tre), les rsultats ne sont souvent pas disponibles avant longtemps ; Le traitement et lanalyse des donnes peuvent constituer un goulet dtranglement majeur pour les enqutes de grande envergure, mme si lon dispose dordinateurs ; Les tudes de mesures des niveaux de vie et les enqutes sur les mnages cotent cher et prennent du temps ; Il est difficile dobtenir de nombreux types dinformation dans le cadre dentrevues formelles.

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

13

Divers types denqute

Enqute objectifs multiples sur les mnages (appele aussi tude de mesure des niveaux de vie) : enqute intgre permettant de runir des donnes sur plusieurs aspects des conditions de vie pour clairer la prise de dcision. Les informations recherches couvrent les dpenses, la composition du mnage, lducation, la sant, lemploi, la fcondit, la nutrition, lpargne, les activits agricoles et autres sources de revenus. Les enqutes objectif unique tudient de faon plus approfondie un moins grand nombre de questions. Questionnaire sur les grands indicateurs du bien-tre (CWIQ) : enqute sur les mnages visant mesurer la variation de certains indicateurs sociaux pour diffrents groupes de population ces indicateurs portant en particulier sur laccs aux services sociaux et conomiques, lutilisation de ces services, et le degr de satisfaction des clients. Cest un moyen efficace et rapide damliorer la conception des activits, de cibler les services sur les pauvres et, lorsque lenqute est rpte chaque anne, de suivre la performance

des activits. Les rsultats prliminaires peuvent tre disponibles dans les trente jours suivant ladministration du questionnaire. Enqute sur la satisfaction des clients (ou sur la prestation des services) : on utilise ce type denqute pour valuer la performance des services publics en demandant leur avis aux clients de ces services. Ces enqutes fournissent des indications sur les contraintes auxquelles se heurtent les clients pour accder aux services publics, permettent de savoir ce quils pensent de la qualit et de ladquation des services et de dterminer la capacit dadaptation de ladministration. Elles sont normalement effectues par un ministre ou un organisme public. Feuilles de note : instrument utilis par les ONG et les centres de rflexion de plusieurs pays. Ce type dvaluation, similaire aux enqutes sur la prestation des services, a galement servi mesurer le degr de corruption auquel sont exposs les citoyens ordinaires. La vaste diffusion des informations recueillies constitue lune des principales caractristiques de cet instrument.

14

COT : Le cot va denviron 30 60 dollars par mnage pour les CWIQ 170 dollars par mnage pour les tudes de mesure des niveaux de vie. Il peut tre nettement plus lev sil nexiste pas de base de sondage pour le pays. COMPTENCES REQUISES : Solides comptences techniques et analytiques pour la conception de lchantillon et du questionnaire, le traitement et lanalyse des donnes. TEMPS NCESSAIRE : Variable selon la taille de lchantillon. Le dlai peut tre de deux mois pour les CWIQ, et les tudes de mesure des niveaux de vie prennent gnralement de 18 24 mois.

P O U R

P L U S

D I N F O R M A T I O N S :

Sapsford, R. (1999). Survey Research. Sage, Newbury Park, Californie. Questionnaires sur les grands indicateurs du bien-tre : http://www4.worldbank.org/afr/stats/cwiq.cfm tudes de mesure des niveaux de vie : http://www.worldbank.org/lsms/ Enqutes sur le degr de satisfaction des clients : http://www4.worldbank.org/afr/stats/wbi.cfm#sds Feuilles de note : http://lnweb18.worldbank.org/ESSD/sdvext.nsf/60ByDocName/ CitizenReportCardSurveysANoteontheConceptandMethodology/$FILE/CRC+SD+note.pdf

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

15

Mthodes dvaluation rapide

De quoi sagit-il ?
Ces mthodes constituent un moyen rapide et peu coteux de consulter les bnficiaires et autres parties prenantes pour fournir aux dcideurs les informations dont ils ont besoin.

Quelles sont les applications possibles ?

Fournir rapidement les informations ncessaires la prise des dcisions de gestion, surtout au niveau dun projet ou dun programme ; Porter une apprciation qualitative sur des changements socioconomiques complexes, des situations sociales fortement interactives, ou les valeurs, motivations et ractions de la population ; Situer dans leur contexte et interprter les donnes quantitatives runies au moyen de mthodes plus formelles.

AVANTAGES : Cot faible ; Rapidit ; Instrument souple pour explorer de nouvelles ides. INCONVNIENTS : Les observations ne concernent gnralement quune communaut ou une localit particulire il est donc difficile den tirer des conclusions gnrales ; Instrument moins valide, fiable et crdible que les enqutes formelles.

COT : Faible moyen, selon le champ dapplication des mthodes retenues. COMPTENCES REQUISES : Comptences dans les domaines suivants : entrevues non directives, facilitation de groupes, observations sur le terrain, prise de notes, et statistiques de base. TEMPS NCESSAIRE : De quatre six semaines, selon le nombre de personnes interroges, la localisation et le nombre des sites observs.

16

Mthodes dvaluation rapide

Consultation des principales sources dinformation la mthode consiste poser une srie de questions ouvertes des individus choisis en raison de leur connaissance et exprience dun sujet particulier. Les entrevues qualitatives, approfondies et semi-structures sont fondes sur un guide dentretien contenant la liste des sujets ou des questions. Groupe dexpression cette mthode consiste faciliter des changes de vues entre plusieurs participants (de 8 12) soigneusement choisis pour avoir un profil similaire. Ces participants peuvent tre slectionns parmi les bnficiaires ou le personnel du programme, par exemple. Le facilitateur utilise un guide de discussion. Dautres personnes enregistrent les commentaires et observations. Consultation dun groupe communautaire cette mthode consiste poser une srie de questions et faciliter le dbat au cours dune runion ouverte tous les membres de la communaut. Lenquteur suit un questionnaire soigneusement prpar. Observation directe cette mthode consiste consigner sur un formulaire dtaill ce qui a t vu et entendu sur les lieux de ralisation dun programme. Les informations peuvent concerner les activits en cours, les procdures, les discussions, les interactions sociales et les rsultats observables. Mini-enqute cette mthode repose sur lutilisation dun questionnaire structur pour poser un nombre limit de questions fermes un groupe de 50 75 personnes. Le choix des enquts peut tre alatoire ou raisonn (par exemple, interview de parties prenantes en un lieu tel quun dispensaire dans le cas dune enqute sur les soins de sant).

P O U R

P L U S

D I N F O R M A T I O N S :

USAID. Performance Monitoring and Evaluation Tips # 2, 4, 5, 10. http://www.usaid.gov/pubs/usaid_eval/#02 K. Kumar (1993). Rapid Appraisal Methods. Banque mondiale, Washington.

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

17

Mthodes participatives
De quoi sagit-il ?
Les mthodes participatives permettent dassocier activement la prise de dcision les parties prenantes au projet, programme ou stratgie, et de les amener souscrire pleinement aux rsultats et recommandations du S&E.

Quelles sont les applications possibles ?

Mieux connatre la situation, les perspectives et les priorits de la population locale, afin de mettre au point des interventions mieux adaptes qui auront de plus grandes chances dtre durables ; Dtecter les problmes et leur apporter une solution au cours de la mise en uvre ; valuer un projet, programme, ou politique ; Amliorer les connaissances et les comptences afin de renforcer les moyens daction des pauvres.

AVANTAGES : Prise en compte des questions pertinentes grce la participation des principales parties prenantes au processus de conception ; Cration de partenariats et appropriation locale des projets ; Amlioration de lapprentissage, de la capacit de gestion et des comptences de la population locale ; Production dinformations actuelles et fiables pour la prise des dcisions de gestion. INCONVNIENTS : Ces mthodes sont parfois considres comme moins objectives ; Pour tre valable, limplication des principales parties prenantes prend du temps ; Risque de voir certaines parties prenantes monopoliser le processus pour servir leurs propres intrts.

COT : Faible moyen. Trs variable, selon le champ dapplication et le degr de dtail recherch et selon la valeur attribue aux contributions locales. COMPTENCES REQUISES : Formation dau moins plusieurs jours pour les facilitateurs.

18

TEMPS NCESSAIRE : Trs variable, selon le champ dapplication et le degr de dtail recherch.

Instruments participatifs couramment utiliss

Analyse des parties prenantes : point de dpart de la plupart des valuations sociales et des activits participatives. Lobjectif est de comprendre les rapports de force entre les diverses personnes associes une activit, leur influence et leurs intrts respectifs, afin de dterminer lesquelles devraient participer, et quel stade. valuation rurale participative : mthode de planification fonde sur le partage du savoir entre la population locale, tant urbaine que rurale, et lextrieur. Elle permet aux gestionnaires de dveloppement et la population locale dvaluer et de programmer des interventions appropries de manire collaborative, souvent laide de techniques visuelles
P O U R

de sorte que les illettrs puissent aussi participer. valuation par les bnficiaires : consultation systmatique des bnficiaires des projets et dautres parties prenantes pour identifier et concevoir des activits de dveloppement, diagnostiquer les obstacles la participation, et obtenir les informations en retour qui permettront damliorer les services et les activits. S&E participatif : mthode consistant associer les parties prenantes diffrents niveaux lidentification des problmes, la collecte et lanalyse de linformation et llaboration de recommandations.

P L U S

D I N F O R M A T I O N S :

Guijt, I. and J. Gaventa (1998). Participatory Monitoring and Evaluation. Institute of Development Studies, University of Sussex, Brighton, U.K. http://www.ids.ac.uk/ids/bookshop/briefs/brief12.html http://www.worldbank.org/participation/partme.htm

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

19

Enqutes de suivi des dpenses publiques

De quoi sagit-il ?
Ces enqutes visent suivre lutilisation des fonds publics et dterminer dans quelle mesure ces ressources atteignent effectivement les groupes cibles. Il sagit de dterminer de quelle manire, quelle date, et pour quels montants, ces fonds sont mis la disposition des diffrents chelons de ladministration, en particulier les services responsables de la fourniture de services sociaux comme la sant et lducation. Cet instrument est souvent utilis dans le cadre de plus vastes enqutes sur les services et quipements centres sur la qualit des services, les caractristiques des quipements, leur gestion, la structure des incitations, etc.

Quelles sont les applications possibles ?

Diagnostiquer en les quantifiant les problmes qui se posent en matire de prestation de services ; Runir des lments dinformation sur les retards, les dperditions , et la corruption.

AVANTAGES : Cet instrument facilite le contrle lorsque lon dispose de peu dinformations financires ; Il amliore la gestion en signalant les goulets dtranglement bureaucratiques dans lacheminement des fonds destins la prestation de services. INCONVNIENTS : Les organismes publics peuvent rpugner ouvrir leurs livres comptables ; Le cot est substantiel.

COT : Le cot peut tre lev tant que le pays ne dispose pas de capacits suffisantes pour se charger des enqutes. Par exemple, en Ouganda, la premire enqute de ce type a cot 60 000 dollars pour le secteur de lducation et 100 000 dollars pour le secteur de la sant.

20

COMPTENCES REQUISES : Solides comptences techniques et analytiques pour la conception de lchantillon et du questionnaire, le traitement et lanalyse des donnes ; et bonne comprhension du secteur valuer. TEMPS NCESSAIRE : De cinq six mois (un deux mois pour la seule enqute).

P O U R

P L U S

D I N F O R M A T I O N S :

http://www1.worldbank.org/publicsector/pe/trackingsurveys.htm

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

21

Analyse cots-avantages et cot-efficacit

De quoi sagit-il ?
Ce type danalyse vise dterminer si les rsultats et les impacts dune activit en justifient le cot. Les analyses cots-avantages mesurent les ressources et les rsultats en termes montaires. Dans le cas danalyses cot-efficacit, les ressources sont mesures en termes montaires et les rsultats en termes non montaires (par exemple, les progrs des lves en lecture).

Quelles sont les applications possibles ?

clairer les dcisions sur laffectation des ressources qui sera la plus efficiente ; Identifier les projets dont le rendement sera le plus lev.

AVANTAGES : Bon moyen destimer lefficience de programmes ou projets ; Possibilit dexpliciter des hypothses conomiques qui sinon pourraient rester implicites ou tre ngliges au stade de la conception ; Moyen utile de convaincre les dcideurs et les bailleurs de fonds que les avantages attendre dune activit en justifient le cot. INCONVNIENTS : Analyses relativement techniques, exigeant la disponibilit de ressources humaines et financires suffisantes ; Les donnes ncessaires au calcul des cots et des avantages peuvent ne pas tre disponibles, et les rsultats prvisionnels dpendre fortement des hypothses retenues ; Les rsultats doivent tre interprts avec soin, en particulier dans le cas des projets dont les avantages sont difficiles chiffrer. COT : Trs variable, selon le champ de lanalyse et les donnes disponibles.

22

COMPTENCES : Dans les deux cas, les mthodes danalyse sont souvent hautement techniques. Elles exigent des comptences dans le domaine de lanalyse conomique et la disponibilit de donnes conomiques et financires pertinentes. TEMPS NCESSAIRE : Trs variable, selon le champ de lanalyse et les donnes disponibles.

P O U R

P L U S

D I N F O R M A T I O N S :

Belli, P. et al. (2000). Economic Analysis of Investment Operations: Analytical Tools and Practical Applications. Banque mondiale, Washington.

EXEMPLES DE BONNES PRATIQUES EN MATIRE DANALYSE COTS-AVANTAGES : http://kms.worldbank.org/edunet/TEN_DIMENSIONS/DIM_4/cb_ce.htm

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

valuation de limpact
De quoi sagit-il ?
Lobjectif est didentifier systmatiquement les effets positifs ou ngatifs, voulus ou non dune activit de dveloppement donne, par exemple un programme ou un projet, sur les mnages, les institutions et lenvironnement. Lvaluation de limpact aide mieux comprendre la mesure dans laquelle les activits atteignent les pauvres et lampleur de leurs effets sur le bien-tre de la population. Elle sappuie sur des outils de portes trs diverses : un extrme, les enqutes par sondage de grande envergure permettent de comparer la situation des populations touches par le projet et de groupes tmoins avant et aprs la ralisation du programme et, dans certains cas, divers stades de son excution ; lautre extrme, des valuations rapides et des examens participatifs de porte limite sont effectus par le biais dentrevues de groupes ou dintervenants majeurs, dtudes de cas et de la collecte des donnes secondaires disponibles qui, conjointement, permettent dtablir des estimations de limpact du projet ou programme.

23

Quelles sont les applications possibles ?

Mesurer les rsultats et les effets dune activit et les isoler de ceux qui tiennent dautres facteurs, extrieurs lactivit considre ; Aider dterminer si les cots de lactivit sont justifis ; clairer la prise de dcision quant lopportunit de dvelopper, modifier ou liminer un projet, un programme ou une politique ; Tirer de lexprience les leons qui permettront damliorer la conception et la gestion des activits futures ; Comparer lefficacit de diverses interventions ; Rendre les responsables davantage comptables des rsultats.

AVANTAGES : Permet destimer lampleur des rsultats et des impacts pour diffrents groupes dmographiques, diverses rgions ou diverses poques. Fournit des lments de rponse certaines des questions les plus fondamentales en matire de dveloppement : dans quelle mesure notre action fait-elle une diffrence ? Quels sont les rsultats sur le terrain ? Comment faire mieux ? Le caractre systmatique de lanalyse et la rigueur de lvaluation peuvent accrotre le degr de confiance des autorits et des gestionnaires dans la prise de dcision.

INCONVNIENTS : Certaines mthodes dvaluation sont trs coteuses et prennent du temps bien que lon ait aussi recours des mthodes plus rapides et moins onreuses ; Leur utilit est moindre lorsque les dcideurs ont besoin dinformations rapides ; Il est difficile didentifier des situations/groupes tmoins appropris.

24
COT : Un certain nombre des valuations de limpact faites par la Banque mondiale ont cot entre 200 000 et 900 000 dollars, selon la taille et la complexit du programme et selon les informations requises. Il est possible de raliser des valuations dimpact plus simples et plus rapides pour un montant sensiblement infrieur 100 000 dollars, voire mme dans certains cas, pour un montant compris entre 10 000 et 20 000 dollars. COMPTENCES REQUISES : Solides comptences techniques en sciences sociales pour la conception et la gestion des recherches, lanalyse et la diffusion des donnes. Lidal est dquilibrer comptences quantitatives et qualitatives parmi les membres de lquipe dvaluation. TEMPS NCESSAIRE : Jusqu deux ans, voire davantage. Les valuations rapides peuvent souvent tre ralises en moins de six mois. EXEMPLES DE MODLES DVALUATION DE LIMPACT : Les modles dvaluation alatoires, qui donnent lieu la collecte dinformations auprs de groupes touchs par le projet et de groupes tmoins au moins deux dates diffrentes, produisent les analyses statistiques des effets du projet et de la contribution dautres facteurs les plus rigoureuses. Toutefois, il est rarement possible demployer ces modles en pratique pour des raisons de cot, de temps et de difficults mthodologiques ou thiques. La plupart des valuations de limpact sappuient donc sur des modles moins onreux mais moins rigoureux. Le tableau ci-aprs dcrit quatre types dvaluation de limpact utiliss dans le domaine du dveloppement. Le premier est un modle dvaluation alatoire, le deuxime est un modle quasi-exprimental qui donne lieu la constitution dun groupe tmoin non quivalent mais prsentant des caractristiques aussi proches que possible de celles de la population touche par le projet ; la troisime mthode consiste comparer les donnes relatives la population du projet et les donnes relatives un groupe tmoin non-quivalent une fois le projet excut ; enfin la quatrime est une valuation rapide qui repose la fois sur des entrevues de groupes ou dintervenants majeurs, des tudes de cas et des donnes secondaires. Le passage dun modle au suivant se caractrise par une perte de rigueur mthodologique qui a pour contrepartie une baisse sensible des cots et du temps requis.
P O U R

P L U S

D I N F O R M A T I O N S :

Baker, J. (2000). Evaluating the Poverty Impact of Projects: A Handbook for Practitioners. Banque mondiale, Washington. http://www.worldbank.org/poverty/library/impact.htm World Bank website on impact evaluation: http://www.worldbank.org/poverty/impact/ Roche, C. (1999). Impact Assessment for Development Agencies: Learning to Value Change. Oxfam, Oxford.

B A N Q U E

M O N D I A L E

D P A R T E M E N T

D E

L V A L U A T I O N D E S

D E S

O P R A T I O N S N

R E N F O R C E M E N T

C A P A C I T S

D V A L U A T I O N

25

Quatre modles dvaluation de limpact

Modle
1. Modle dvaluation alatoire avant-aprs

Mthode
Les sujets (familles, coles, communauts, etc..) sont affects sur une base alatoire au groupe du projet ou au groupe tmoin. Des questionnaires et autres moyens de collecte de donnes (mesures anthropomtriques, rsultats aux tests daptitude scolaires, etc.) sont utiliss pour les deux groupes avant et aprs le projet. Des observations supplmentaires peuvent aussi tre recueillies durant lexcution du projet. Lorsquil nest pas possible demployer une mthode alatoire, le groupe tmoin est compos de manire prsenter des caractristiques aussi similaires que possible celles de la population concerne. Il arrive que les catgories de communauts do proviennent les participants slectionns soient retenues. Lorsque les projets sont excuts en plusieurs tapes, les participants slectionns pour les phases ultrieures peuvent servir de groupe tmoin pour la premire phase. Des donnes sont collectes a posteriori sur le groupe des participants au projet et un groupe tmoin non-quivalent est slectionn comme dans le modle 2. Les donnes ne sont recueillies qu lissue de lexcution du projet. On procde souvent une analyse plusieurs variables pour liminer leffet des diffrences entre les attributs des deux groupes dans lanalyse statistique. Certaines valuations ne donnent lieu qu lexamen des groupes touchs par le projet tandis que dautres utilisent des groupes tmoins correspondants. Il est possible demployer des mthodes participatives pour permettre aux groupes didentifier les changements associs au projet, ceux qui en ont bnfici et les autres, et les points forts et faibles du projet. La mthode de triangulation permet de comparer les informations produites par le groupe aux opinions de sources dinformation majeures et dinformations secondaires. Il est possible de raliser des tudes de cas au niveau dindividus ou de groupes pour mieux comprendre le processus de changement.

Exemple
Projets dapprovisionnement en eau et dassainissement ou fourniture dautres services tels que logements, quipements collectifs, lorsque la demande est suprieure loffre et que les bnficiaires sont slectionns par une mthode dchantillonnage par loterie. Exemple : Fonds social bolivien Ce modle a t utilis par la Banque mondiale dans le cadre de ses projets de logements bon march en El Salvador, en Zambie, au Sngal et aux Philippines.

Cot et temps indicatifs

Un cinq ans, selon le temps requis pour quun impact puisse tre dtect. Cot pouvant aller de 50 000 1 million de dollars selon lampleur et la complexit du programme examin.

2. Modle quasi exprimental avec comparaison avant-aprs de la population touche et dun groupe tmoin

Cot et dure similaires ceux du modle prcdent.

3. Comparaison a posteriori dun groupe touch par le projet et dun groupe tmoin nonquivalent

valuation de limpact des programmes de microcrdit au Bangladesh. On a compar, dune part, les villages dans lesquelles les programmes de microcrdit taient oprationnels et, dautre part, les villages ne bnficiant pas de tels programmes. valuation de projets dapprovisionnement en eau grs par les communauts en Indonsie.

50 000 dollars et plus. Une tude ralise par cette mthode cote gnralement entre un tiers et la moiti de ce quelle coterait si le modle un ou deux tait employ.

4. valuation rapide de limpact a posteriori

25 000 dollars et plus (ltude mene en Indonsie a cot 150 000 dollars). Certaines tudes peuvent tre acheves en un ou deux mois ; dautres peuvent prendre un an ou plus.

26

Ressources additionnelles sur le suivi et lvaluation

Sites web

Banque mondiale : valuation, suivi et amlioration de la qualit : http://www.worldbank.org/evaluation/ Renforcement des capacits de suivi et dvaluation : http://www.worldbank.org/oed/ecd/ Informations sur le suivi et lvaluation : http://www.mande.co.uk/