Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.

ne/rense, Mai 2003

International Program Development Evaluation Training

Module 3 : Nouvelles approches à l’évaluation de

développement

Introduction

Une variété d’approches et de stratégies a été élaborée pour répondre aux

conditions en mutation d’évaluation du développement. Des actions peuvent
être mise en œuvre dans des localités différentes et de façon différente afin
de répondre aux conditions locales. Afin de répondre à la demande
d’évaluations rapides, flexibles et participatives, on utilise des approches qui
sont un peu différentes des approches traditionnelles. On doit toujours
procéder par les mêmes étapes de planification en termes d’élaboration des
questions d’évaluation, de la précision des mesures, de la collecte et de
l’analyse des données et de la présentation et de l’utilisation des
constatations.

Appréciation de l’évaluabilité

L’appréciation de l’évaluabilité est une brève étude préliminaire qui permet

de déterminer s’il est utile et faisable de faire une évaluation. Ce type
d’étude préliminaire peut également aider à préciser le but de l’évaluation, à
identifier les parties prenantes clés et à clarifier l’évaluation. Cela permet de
faire des économies de temps et aider à éviter des erreurs.

Les étapes dans le processus comprennent :

o L’examen des documents
o La précision des modifications à l’action
o Les entretiens avec les responsables et le personnel sur les finalités et
les objectifs
o Les entretiens avec les parties prenantes
o Les observations de l’action
o L’élaboration du modèle d’évaluation
o L’identification des sources de données
o L’identification des personnes et des organisations qui peuvent mettre
en œuvre toute recommandation possible à partir de l’évaluation

La décision à prendre ici est s’il faut faire une évaluation ou non. Il y aura du
travail à faire avant de commencer l’évaluation. Par exemple, disons qu’une
évaluation axée sur les finalités est proposée, il se pourra qu’elle soit
problématique si les finalités et les objectifs du programme ne sont pas
suffisamment bien clarifiés ou s’il manque un accord mutuel parmi toutes les
parties prenantes. Parfois les mesures ne sont pas disponibles et doivent être
élaborées au préalable, ou les données ne sont pas accessibles.
L’appréciation de l’évaluabilité peut également servir un deuxième but dans
la mesure où cela peut aider à refocaliser les finalités et à élaborer des

1
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

indicateurs de performance afin de permettre la réalisation éventuelle de

l’évaluation.

Evaluations multi-sites

Au lieu d’examiner une seule action, il est parfois utile d’examiner les actions
mise en œuvre dans plusieurs localités. Il se peut que la mise en œuvre ait
été la même dans toutes les localités ou un peu différente dans chaque
localité. Ce type d’évaluation fournit des renseignements sur l’expérience
globale de l’action ainsi qu’une compréhension approfondie sur les différents
aspects de la mise en œuvre. Quels sont les aspects de la mise en œuvre qui
sont les mêmes dans chaque localité ? Quels sont les aspects qui varient et
pourquoi ? Les différences entre les réalisations sont-elles dues à ces
variations ? Bien sûr, il sera difficile de déterminer si les différences sont
dues à ces variations. Parfois des actions ont des impacts différents à cause
de contextes différents comme, par exemple, le caractère fort du directeur
de projet ou le caractère dynamique des citoyens d’une communauté
donnée.

L’évaluation doit capter le climat politique des actions ainsi que les
différences culturelles qui auront un effet sur les variations d’expériences et
de réalisations. La participation des parties prenantes est importante
puisqu’elles peuvent aider l’évaluateur à mieux comprendre la situation
locale.

L’avantage d’une évaluation multi-site est que la planification doit être

normalement plus importante que celle de l’évaluation d’une seule action
dans une seule localité. Une évaluation multi-site peut dégager des
généralisations plus crédibles à travers une plus grande population parce que
l’échantillon est plus important et les contextes des actions sont plus
diverses. Les constatations globales, ainsi que les constatations cohérentes à
travers plusieurs actions, fournissent des preuves plus fortes de l’efficacité de
l’action. Faire des comparaisons des actions dans leurs contextes fournira
une gamme d’enseignements tirés et de stratégies pour confronter une
variété de situations. De meilleures pratiques peuvent également émerger
d’une évaluation mulit-site.

L’exécution des évaluations multi-sites pose des défis uniques.

Premièrement, la collecte de données doit être aussi normalisée que possible.
Les mêmes données collectées plus ou moins de la même façon sont
nécessaires pour faire des comparaisons valables. Cela demande du
personnel bien formé, l’accès à tous les sites et suffisamment de
renseignements en avance afin de pouvoir élaborer les outils de collecte de
données. Cela suppose également que les mêmes données seront disponibles
sur chaque site. En plus, les données doivent être collectées de façon à ce
que les différences de chaque action et de sa communauté soient
compréhensibles.

2
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Cependant, chaque localité est différente. Certains indicateurs peuvent être

comparables (tels que le montant de ressources investi, le taux de mortalité
infantile, la fréquence de maladies infectieuses, des taux de fertilité,
l’utilisation des ressources de soins de santé), mais chaque site peut avoir un
point focal un peu différent. Lorsqu’on compare plusieurs pays, les contextes
politiques, sociales, économiques et historiques sont des facteurs importants
dans la planification de l’évaluation, comme on le verra dans l’étude de cas :
Investir dans la santé : l’efficacité du développement dans les secteurs de la
santé, la nutrition et la population1 (voir boîte ci-dessous).

Résumé de l’étude de cas : Investir dans la santé

Après trente ans d’appui aux projets dans les secteurs de la santé, la
nutrition et la population (SNP) dans plus de 92 pays, quel est l’impact global
du financement de ces efforts et quels sont les enseignements tirés pour
l’avenir ? Cette évaluation a employé des données disponibles à partir des
documents des donateurs et sur les résultats des études de cas dans quatre
pays (le Brésil, l’Inde, le Mali et le Zimbabwe). L’accent des projets n’est plus
sur les services de base ; il est sur l’amélioration des politiques de santé et
sur la promotion des réformes du secteur de la santé.
Trois questions :
1. Les projets et les politiques ont-ils été pertinents dans la promotion des
réalisations améliorées et sur la performance du système de santé (les
actions qui ont été mise en œuvre ont-elles été correctes?)
2. Les interventions ont-elles été effectives et efficaces (les actions ont-elles
été mise en œuvre de façon correcte ?)
3. L’action a-t-elle été effective dans le renforcement des institutions de soin
de santé et ont-elles été durables du point de vue financier et institutionnel ?

Etude de cas : Santé, nutrition et la population (SNP)

1
Johnston, Timothy and Susan Stout. « Investing in Health : Development in Health, nutrition and population sector »,
The World Bank, Operations Evaluation Department. 1999. www.worldbank.org/html/oed.

3
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Figure 1-1 La réalisation des changements en SNP

Comportement des personnes

et des ménages

Bien-être social et
économique

Performance du Réalisations sur le statut

système de santé sanitaire
Efficacité du Fertilité
dispensaire Mortalité
Accès et équité Morbidité
Qualité Statut nutritionnel
Satisfaction des
clients
Efficience
Environnement
Macro-économique

Structure Capacité
d’accouchements Institutionnelle
Immobilier/équipeme Cadre juridique
nt Règlements
Personnel Information Dépenses et finances
et éducation Planification et budget
Services aux clients
Gouvernance Responsabilité de
rendre compte
Primes

Projets et conseils sur les

politiques

Performance globale :
Sur les 7 projets de SNP complétés entre AF75 et AF98, 64% ont été classés
comme satisfaisants ; 79% de ceux complétés en AF97/98 ont été classées
comme satisfaisants.
Durabilité des projets : 50% de ceux complétés entre AF75 et AF98 ont été
classées comme durables, 66% de ceux complétés en AF97/AF98 ont été
classés comme durables
Niveau de développement institutionnel : 22% de ceux complétés entre AF75
et AF98 ont été classés comme ayant atteint un niveau considérable de
développement institutionnel ; 25% de ceux complétés en AF97/98 ont été

4
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

classés comme ayant atteint un niveau de développement institutionnel. Ceci

est bien en dessous du niveau moyen de 36% de la Banque pendant la
même période.

Etude de cas : La santé, la nutrition et la population

Quatre études de cas

Le Brésil : 10 projets qui se focalisent sur la facilitation de l’accès par les

pauvres, sur l’amélioration de l’efficience et de l’efficacité du système de
soins de santé et sur le contrôle des endémies.
Constatations : La nutrition et la santé des enfants : Amélioration du taux de
mortalité infantile et de la hauteur selon l’âge des enfants sur les tableaux,
mais des inégalités graves existent toujours, en rapport avec la pauvreté et
le milieu rural. La santé des femmes : la fertilité a diminué. Les
dispensaires : le taux de croissance des constructions est lent ; les groupes
ciblés ont révélé un manque de satisfaction avec la qualité des services. Les
endémies : la réussite mitigée mais le taux d’infection par la TB et la lèpre
augmente. Le paludisme est un problème dans la zone de l’Amazone. Plus de
groupes démographiques sont infectés par le SIDA.

L’Inde : 23 projets de la SNP ont été financés.

Constatations : En Inde, les taux de mortalité et d’handicap sont plus élevés
que dans d’autres pays. La pauvreté, des problèmes de livraison de services
et une mauvaise répartition des ressources sont parmi les causes de la
mauvaise performance en termes de réalisations de santé. Le projet intégré
de nutrition de Tamil Nadu a focalisé sur l’alimentation des mères et de leurs
jeunes enfants. Les mères ont tenu des carnets de suivi du poids des enfants
pour les suivre en même temps qu’ils ont bénéficié des activités de formation
scolaire, des soins de santé et de l’alimentation supplémentaire selon les
besoins. Bien que l’action ait réussi dans la prévention de la malnutrition
sévère, le gouvernement n’a pas continué l’action. Une action tentée plus
tard n’a pas pu fournir les biens et les services, bien que d’autres pays aient
utilisé le modèle intégré avec réussite. Des efforts pour contrôler les
maladies ont eu un peu de succès. Des projets de réforme de la santé
semblent prometteurs mais il sera nécessaire d’améliorer le suivi et les
actions d’évaluation déjà en place.

Le Mali : Le nombre de projets financé ne figure pas dans le rapport. Le

premier projet a commencé en 1983, suivant une enquête sur l’utilisation par
les villageois des services de santé. Eventuellement, les projets de soins de
santé ont appuyé des dispensaires communautaires.
Constatations : Les taux de fréquentation sont un peu plus élevés dans les
dispensaires communautaires que dans les autres ressources du secteur,
mais ils sont très en dessous du taux moyen attendu d’une visite par an. Il
est trop tôt pour déterminer l’impact de certains de ces changements sur les
indicateurs de santé. Le taux de mortalité infantile a diminué un peu, ainsi
que le pourcentage de femmes enceintes ayant visité le dispensaire au moins

5
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

pendant leur grossesse, augmentant de 33% en 1987 à 50% en 1995. Mais

le taux de malnutrition chez les enfants est approximativement 23% et ses
effets – le retard de croissance l’atrophie - continuent d’augmenter.

Le Zimbabwe : Le nombre de projets financés ne figure pas dans le rapport.

Constatations : Le taux de mortalité infantile avait diminué mais il commence
à augmenter encore, ainsi que le taux des infections opportunistes telles que
la TB. Le nombre de décès des enfants de moins de cinq ans augmente
également. Le rapport se focalise sur les défis, notant que les donateurs ont
en général « effectué des actions correctes » mais n’a pas toujours « effectué
ces actions correctement ». Le Zimbabwe fait face à des défis financiers
sévères et une épidémie grandissante du SIDA. Les efforts de Zimbabwe
pour combattre le SIDA ne correspondent pas à l’envergure du problème. La
crise du budget a contribué à aggraver le problème, y compris le paiement
de l’intérêt sur la dette nationale qui s’élève à 25% de son budget. Le
rétrécissement du budget du gouvernement dans le secteur de la santé a
aggravé davantage le problème et a eu pour résultat une insuffisance du
personnel et une réduction de la formation pour les professionnels de la
santé.

Evaluations groupées

Les évaluations groupées ressemblent aux évaluations multi sites mais

l’intention est différente. Comme les évaluations multi sites, les évaluations
groupées se focalisent sur les actions qui ont la même mission, stratégie et
population cible. Cependant, l’évaluation groupée ne cherche pas à
déterminer si l’action marche ou si la responsabilité de rendre compte est
assurée. L’évaluation groupée ne cherche pas à évaluer la réussite ou l’échec
des actions individuelles et elle ne cherche pas non plus à identifier les
actions à terminer. Son intention est d’apprendre ce qui s’est passé à travers
des actions groupées et d’en tirer les enseignements. Les renseignements
sont présentés sous forme agrégée afin d’éviter l’identification des projets
particuliers. De la même façon que les évaluations multi sites, la participation
des parties prenantes est un élément clé. Les évaluations groupées sont
différentes des évaluations multi sites dans la mesure où les évaluations
groupées ne visent pas la généralisation ou la réplication des actions. Les
variations entre les projets sont considérées comme un aspect positif parce
que les projets individuels ont été adaptés à leurs contextes et l’accent est
mis sur l’apprentissage au lieu des conclusions globales tirées sur la qualité
ou la valeur du programme.

Il n’y a pas de méthodologie spécifique, mais les évaluations groupées se

servent le plus souvent des approches qualitatives afin de compléter des
données quantitatives collectées. Il est possible de considérer ce type
d’évaluation comme des études de cas ; le partage de renseignements à
travers les différents cas par le moyen de conférences de « networking » est
une caractéristique importante de cette approche. Comme toutes les
évaluations, il faut préciser les questions d’évaluation, déterminer les

6
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

mesures adaptées, élaborer des stratégies de collecte de données, analyser

et interpréter les données et présenter les constatations aux parties
prenantes.

Evaluation participative

L’évaluation participative (et le suivi participatif) est une approche différente

de l’évaluation. La notion de l’implication des parties prenantes est ramenée
à un niveau plus élevé. Les responsabilités de la planification, la mise en
œuvre et la présentation du rapport sont partagées. Non seulement les
parties prenantes participent dans la définition des questions d’évaluation et
dans l’examen du rapport, elles participent également dans la collecte de
données, dans l’analyse et dans l’élaboration du rapport. On peut leur
demander de tenir des agendas personnels sur leurs propres expériences
pendant l’action. En plus, elles peuvent aider à faire des entretiens avec
d’autres parties prenantes ou de tenir des séances de groupes ciblés. Elles
peuvent également faire l’analyse des données et participer dans
l’élaboration des recommandations.

Le processus est donc différent. Il y a plus de réunions. Les décisions de

planification, telles que l’élaboration des questions, des mesures et des
stratégies de collecte de données, se font ensemble. C’est un processus
conjoint au lieu d’un processus traditionnel d’imposition par le haut.

Cette approche augmente normalement la crédibilité des résultats aux yeux

du personnel du programme et il est plus probable que ces résultats seraient
utilisés. En plus, les partisans de cette approche la considèrent comme un
outil qui permet aux participants de s’approprier le processus et de renforcer
les capacités au niveau local afin de promouvoir leur engagement dans le
processus de développement.

Cependant, l’évaluation participative pose des défis. Rencontrer tout le

monde et assurer que tout le monde comprenne les attentes demandent
beaucoup de temps. Aussi il faut une subtilité non négligeable pour aider le
groupe à clarifier les rôles, les responsabilités et le processus. Les groupes
ont tendance à traverser des périodes de résolution de différ ences entre les
membres et l’élaboration des normes pour le groupe avant que le groupe
puisse se focaliser sur le travail à faire. 2 Il y aura quelques défis dans la
création d’une équipe égalitaire dans des cultures où les différents membres
de la communauté font partie des hiérarchies ou des strates différentes.
L’évaluateur doit disposer donc des compétences en facilitation, en
collaboration et en gestion de conflits (où doit faire appel à quelqu’un qui
dispose de ces compétences). En plus, le facilitateur doit pouvoir dispenser
de la formation à titre de « juste à temps » sur de nombreuses compétences

2
Ce processus de dynamique de groupe est parfois connu comme la formation, l’orage, normalisation et la
performance. Après avoir été formé, il est tout à fait normal pour le groupe de traverser une période de conflit. Si le
groupe arrive à traverser ces conflits, des accords spécifiques sur la façon de travailler seront établis. Une fois ces
accords établis, le groupe peut s’atteler au travail.

7
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

et techniques associées à l’évaluation et aux processus de groupe qui font

partie intégrale de la participation.

Les évaluateurs formés aux techniques traditionnelles auront le point de vue

que l’évaluation participative ne donnera pas des résultats objectifs. Il y a le
risque que ceux qui sont les plus proches à l’action ne peuvent pas voir ce
qui se passe si ce n’est pas conforme à leurs attentes. Les part icipants
peuvent hésiter à avancer des points de vue négatifs, parce qu’ils craignent
d’être écartés, ou que l’action soit terminée. Gardant une perspective
d’apprentissage dans les évaluations participatives peut diminuer ces
craintes, mais il faut quand même confronter ces questions. Les évaluateurs
doivent prendre au sérieux le degré de compromis de la crédibilité (du point
de vue des personnes externes) en choisissant l’approche participative au
lieu de l’approche indépendante.

Appréciation rapide

Les appréciations rapides utilisées en évaluation du développement peuvent

être appelées les appréciations rapides rurales ou (si elles impliquent des
parties prenantes de manière extensive), les appréciations rapides
participatives. On emploie ces appréciations pour répondre à la demande
d’évaluations rapides et peu coûteuses. Dans des pays en voie de
développement, parfois il n’est pas possible ou cela ne vaut pas le coût de
faire une étude sur la base des techniques formelles de sciences sociales. Par
exemple, les données nécessaires à l’établissement des bases de références
ne sont pas disponibles ou il n’existe pas de listing de toute la population, ou
le niveau d’analphabétisme est très élevé, ce qui exclue les questionnaires,
ou il existe très peu d’enquêteurs compétents. La collecte et l’analyse des
données prennent si longtemps que le régime a changé et les données ne
sont plus utiles.
Il n’y a pas de définition fixe de l’appréciation rapide, mais elle est souvent
décrite comme un mélange de techniques formelles et non formelles de
collecte de données : une approche « relativement rapide et relativement
propre » par rapport à une approche qui est « rapide et sale ». Cette
approche peut être considérée comme systématique si des techniques semi
structurées sont employées. Cette approche est utilisée sur le terrain,
normalement par les équipes d’évaluateurs. Idéalement, l’équipe doit être
composée de personnes ayant des spécialités diverses afin de refléter une
variété de perspectives.

Elle est mieux indiquée pour l’évaluation des processus et des problèmes. En
général, elle vise la collecte des renseignements les plus essentiels – les
« doit savoir » par rapport aux « intéressants à savoir » - et emploie des
techniques quantitatives et qualitatives. Son orientation fondamentale en
évaluation du développement est de « chercher à comprendre » parce qu’une
approche sans préjugés aura plus de chances à inspirer des conversations
ouvertes et honnêtes. L’observation de l’action dans son contexte peut
fournir des indications sur sa réussite. Il est essentiel d’écouter. Une tâche

8
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

clé est d’identifier les personnes ayant une diversité d’expériences et de

perspectives, surtout celles qui seront probablement écartées pendant une
évaluation. Un groupe restreint d’informateurs très divers peut être très
efficace dans l’élaboration d’une perspective holistique de la situation.

Les appréciations rapides doivent faire appel à plus d’une seule source de
renseignements. Des sources multiples augmentent la crédibilité, diminuent
la subjectivité et fournissent une perspective holistique. Les appréciations
rapides emploient les mêmes méthodes de collecte et d’analyse de données
que d’autres évaluations. La seule différence se trouve normalement dans
l’envergure. Les appréciations rapides sont d’habitude d’une envergure
limitée : quelques personnes enquêtées lors des entretiens face-à-face et
dans quelques localités. Des données déjà disponibles (des rapports et des
études, des archives et des documents) peuvent compléter et confirmer des
données collectées par observation, par entretien et par des groupes ciblés.
On peut également faire des enquêtes.

Etant donné que des méthodes qualitatives sont utilisées, il est important de
faire des notes claires et pertinentes. Il est également utile pour l’évaluateur
de tenir un agenda personnel afin de noter ses observations, ses sentiments,
ses intuitions, ses interprétations ainsi que des incidents pendant la mission
sur le terrain.

Une appréciation rapide n’est pas limitée à une méthode particulière, mais il
serait utile de respecter quelques principes. Il faut étudier les données
secondaires avant d’aller sur le terrain. Une fois sur le terrain : observer,
converser et noter. La prise de notes pendant tout le processus est utile non
seulement pour l’élaboration du rapport final mais également pour la
compréhension logique de ce que vous avez appris. Voici quelques stratégies
et enseignements tirés pendant l’exécution des appréciations rapides 3 :

• Employer une équipe multidisciplinaire

o Recruter des hommes et des femmes dans l’équipe
o Recruter des personnes internes, qui connaissent l’action et la
région d’intervention, ainsi que des personnes externes, qui
apporteront de nouvelles perspectives
• Employer des équipes restreintes au lieu de grandes équipes, afin de
maximiser les interactions
• Répartir le calendrier judicieusement entre la collecte des données et
son interprétation
• Aller là où il faut : aux champs, aux marchés, à l’écart de la route
principale

3
Rapid Rural Appraisal: http://www.fao.org/docrep/W3241E/w3241e09.htm

9
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

• Rester flexible et adaptable puisque des nouveaux renseignements

peuvent nécessiter des modifications au plan d’évaluation original.
Cartographie
Une approche utile pour une évaluation communautaire est la cartographie.
Cette approche rassemble les membres de la communauté afin de mieux
comprendre la communauté et comment l’action cadre (ou non) au sein de la
communauté. Cette approche peut être intégrée dans toutes les approches si
elle est adaptée aux questions d’évaluation. C’est un outil utile pour les
évaluations participatives ou toute approche impliquant les parties prenantes
parce qu’elle fournit un moyen de travailler ensemble. En même temps, cette
approche permet à tout le monde de mieux comprendre la communauté. Il
se peut que la communauté soit aperçue de façon différente par des
personnes différentes, selon leur position dans la société et leur expérience.
Le processus de cartographie est en réalité un dessin de la communauté sur
laquelle on situe les ressources et les biens actifs. Il est vrai que ce
processus est mieux indiqué pour la planification des actions et pour
promouvoir l’engagement des citoyens dans un processus qui leur permet de
créer une vision ultime pour l’avenir, conformément à leurs souhaits, et
d’élaborer une stratégie pour réaliser les changements nécessaires, mais on
peut employer ce processus dans les évaluations aussi. Il permet de voir si
les membres de la communauté sont au courant du projet ; si le projet n’est
pas aperçu comme étant un bien actif de la communauté, des questions
doivent être posées. Il serait utile également de comprendre si le projet est
localisé dans la région du plus grand besoin ou comment le projet est localisé
par rapport aux autres ressources de la communauté. Si le projet est localisé
à proximité des autres ressources, est-ce qu’elles travaillent ensemble de
façon collaborative ? Sinon, quels sont les obstacles ?

Deux approches à la cartographie sont la cartographie des ressources et la

cartographie des biens actifs. Ces deux approches se ressemblent. Les deux
fournissent un moyen pour les membres de comprendre leur communauté.
Les ressources sont souvent définies de façon très précise en termes de
ressources institutionnelles tandis que la cartographie des biens actifs a
tendance à inclure les biens des particuliers dans la communauté. Les deux
approches supposent que ceux qui sont les plus proches à la communauté
comprennent comment elle marche et pourquoi. La cartographie des biens
vise l’intention explicite de se servir de ce processus dans la réalisation des
changements.

Des ressources et des biens peuvent inclure :

o Des biens individuels : des compétences, des talents, des réseaux, de
l’argent, etc.
o Des biens civiques : des associations religieuses, des clubs, des
groupes sociaux, etc.
o Des biens institutionnels : des boutiques et autres affaires
commerciales, des écoles, des services de santé, des bureaux de
planification et de développement économiques, des services sociaux,

10
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

des services agricoles, du transport public, des institutions culturelles

et caritatives, des fondations, d’autres bureaux du gouvernement, etc.
o Des biens environnementaux : des parcs, de l’eau et de l’air propres,
des routes, du terrain agricole, des logements, etc.

Le processus de cartographie peut nécessiter l’observation des aspects

spécifiques de la communauté ou de faire des entretiens avec des membres
de la communauté, surtout pour identifier des biens des particuliers.
Alternativement, la cartographie peut s’effectuer lors de réunions de groupes.
Un procédé est de demander aux participants de dessiner leur communauté
en termes de comment ils passent la journée ou en termes des localités
auxquelles ils rendent visite pendant l’année. On donne à chaque participant
une grande feuille de papier et des marqueurs ou des crayons en couleurs.
Chaque carte est affichée sur le mur et le groupe entier discute des éléments
en commun ainsi que les différences. Ensemble, ils dessinent une plus
grande carte. Il est normal que les cartes aient des apparences différentes.
Dans certaines localités, la carte dessinée par les femmes sera différente que
la carte dessinée par les hommes parce qu’elles ont des expériences et des
vies quotidiennes différentes. Dans d’autres localités, les cartes varient selon
la formation scolaire et le métier de la personne qui l’a dessine.

Synthèse des évaluations

Une synthèse des évaluations est une approche utile dans des situations où
beaucoup d’évaluations sur une action donnée ont déjà été effectuées. Une
synthèse est mieux indiquée pour l’examen des actions similaires qui
adressent des questions ou des thèmes similaires. Elle est utile lorsqu’on
cherche à découvrir l’efficacité globale d’une action.

Afin d’effectuer une synthèse des évaluations, il faut :

o Obtenir toutes les études pertinentes
o Etablir les critères de qualité pour les évaluations
o Choisir uniquement les évaluations de qualité supérieure
o Conjuguer les résultats : tracer les études sur un tableau selon la
qualité et la mesure clé d’impact de chaque étude (voir figure 3 -1)

Par exemple, bon nombre d’actions ont été mises en œuvre dans beaucoup
de pays afin de diminuer le taux de mortalité infantile. Une évaluation
individuelle peut fournir des renseignements utiles sur une action spécifique,
normalement elle ne suffit pas à elle seule pour faire des généralisations sur
l’impact de l’action (et même sur la politique).

Disons que huit études ont été effectuées sur une action pré natale dont la
mesure clé de réalisation est la pesée des enfants à la naissance. Sur la base
de notre critère, nous devons inclure cinq de ces études dans notre synthèse
des évaluations. Quatre de ces cinq études montrent qu’il y avait comme
réalisation une augmentation du poids à la naissance. Nous pouvons conclure
donc que globalement l’action pré natale a eu un impact positif.

11
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Un des avantages d’une synthèse des évaluations est que cette approche
repose sur la recherche d’informations déjà disponibles et elle est donc peu
coûteuse. Une synthèse permet de créer une plus grande base pour
l’appréciation de l’impact de l’action : plus de participants et plus de
données. Il est possible d’être plus confiant dans l’élaboration des
généralisations sur l’impact.

Les défis se trouvent dans la localisation de toutes les études pertinentes et

dans la recherche de l’autorisation de se servir des données. Il y a également
le risque de subjectivité dans la sélection des études. Le critère de sélection
doit être présenté explicitement.

Figure 3-1 : Augmentation moyenne du poids à la naissance

Source : Fake Data, 2001

Une synthèse des évaluations peut être qualitative aussi. En 1997, une étude
d’évaluation sur l’impact des actions des ONGs ainsi que des méthodes
d’évaluation a été publiée. 4 Le but de cette étude a été d’apprécier l’impact
des actions de développement (la composante de synthèse des évaluations
de l’étude) et d’apprécier les méthodes d’évaluation et des approches
utilisées (une composante de méta évaluation, c'est-à-dire, l’évaluation des
évaluations). Les chercheurs faisaient face à plusieurs défis. Ils ont supposé
qu’il serait possible d’obtenir toutes les évaluations, ce qui n’était pas le cas.
Il n’y avait pas de base de données sur toutes les évaluations. Certaines
actions n’ont pas été évaluées ; d’autres ont été évaluées mais il n’y avait
aucune documentation. Lorsqu’ils ont examiné certains rapports sélectionnés,
ils ne contenaient pas de réponses fermes à leurs questions. Par exemple,
une des questions d’évaluation a été : « quel était l’impact de cette action

4
OCDE/DAC. Searching for Impact and Methods: NGO Evaluation Synthesis Study. 1997.

12
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

sur la vie des bénéficiaires ? » Ils ont conclu dans leur rapport que ce n’était
pas possible de répondre à leurs questions à cause de l’insuffisance en
qualité et en quantité des données de la plupart de rapports. Certains
rapports parlaient de l’impact mais les données conclusives pour prouver
l’impact cité n’ont pas été présentées. Bien que l’étude ne pouvait pas fournir
des réponses sur l’impact (la question de la synthèse des évaluations), elle a
quand même fournit une compréhension globale sur les questions
transversales de l’exécution des évaluations du développement (la question
de la méta évaluation).

Appréciation sociale

Une appréciation sociale est l’outil principal utilisé pour assurer la prise en
compte des impacts sociaux des projets de développement. Elles sont
utilisées pour comprendre des questions et des risques sociaux et pour
déterminer les impacts sociaux sur les différentes parties prenantes. En
particulier, le but des appréciations sociales est de déterminer la probabilité
d’impacts (adverses) d’un projet donné. Des stratégies peuvent être mises
en place afin de mitiger ces impacts adverses et ces stratégies de mitigation
peuvent être suivies et appréciées dans le cadre de l’évaluation. Voir le cas
ci-dessous pour une vue d’ensemble d’une appréciation sociale. Voici les
quatre piliers de l’appréciation sociale :

1. Questions de développement social

v Préciser les impacts sociaux adverses
2. Institutions
v Apprécier les capacités
3. Participation
v Qualité d’indigène, genre, structures familiales, relations sociales
4. Suivi et évaluation
v Mesures de mitigation (appréciation de la réussite des actions qui
visaient la mitigation de tout impact adverse de la politique, du
projet ou du programme).

Des outils et des approches d’appréciation sociale :

v L’analyse des parties prenantes
v L’analyse du genre
v L’appréciation rurale participative
v L’observation, les entretiens, les groupes ciblés
v La cartographie, l’analyse des tâches, la hiérarchisation des biens
v Les ateliers : la planification des projets axée sur les objectifs, des
équipes

13
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Etude de cas : Projet de crédit et de développement agricole en Azerbaïdjan

Le projet de privatisation agricole a été mis en œuvre. Une action visait la fourniture des prêts plus flexibles
et plus adaptés. Son objectif était de rendre les régions agricoles d’Azerbaïdjan aussi productives qu’avant.
Le projet devait se focaliser sur la documentation des terrains agricoles, sur le développement des marchés
des parcelles et la fourniture des prêts et des renseignements à un plus grand groupe de femmes et
d’hommes surtout ceux disposant de faibles revenus.
Le but de l’appréciation sociale a été d’assurer que le projet proposé reposait sur la propriété des parties
prenantes et que les bénéfices attendus seraient acceptés par la société. Les renseignements produits
devaient aider dans le processus de suivi/évaluation participatif.

La première phase de l’appréciation sociale couvrait plusieurs zones dans lesquelles le projet de
privatisation agricole a été mis en œuvre. La collecte de données a eu lieu entre novembre 1997 et l’été
1998. Les approches utilisées comprenaient :

Un examen des données secondaires, y compris des appréciations antérieures, l’appréciation du

niveau de pauvreté de 1995 et des expériences du projet
Des enquêtes sur des ménages (un échantillon de 900 ménages sélectionnés au hasard) et 210
femmes dans trois des six zones suivant les résultats d’une appréciation rapide qualitative
Des entretiens semi structurés des particuliers (des cultivateurs, des gestionnaires des exploitations
agricoles, des travailleurs au chômage, des chefs des communautés, des associations locales, des
techniciens, des responsables du gouvernement)
Des observations sur le site par le personnel (un des membres de l’équipe vivait avec une famille
de cultivateurs afin d’observer de près l’impact de la privatisation agricole)
Cinq groupes ciblés composés de groupes homogènes de parties prenantes
Des consultations avec des décideurs et des administrateurs, des ONGs locales et internationales
Des discussions avec des ex-gestionnaires des exploitations agricoles de l’état et des chefs des
communautés
Un séminaire pour les parties prenantes

L’appréciation a été organisée autour de ces quatre piliers :

Développement social : Des préoccupations clés se focalisent sur la pauvreté, sur le genre et sur
l’exclusion sociale

Institutions : La base du pouvoir en milieu rural est en flux, et il est donc difficile d’identifier
les parties prenantes clés. Il y a également un manque de recherche sur les
organisations sociales et un manque d’analyse sur les impacts de migration
rurale
Participation : La confusion et des ambiguïtés dans le processus de réforme foncière ont été
constatées. La répartition des terres a eu pour résultat la réduction de la pauvreté
et la limitation de l’influence des ex-gestionnaires de l’Etat et a aidé le processus
d’appropriation de la population rurale

Suivi/évaluation : Des indicateurs de performance sont utilisés pour suivre la mise en œuvre. Les
indicateurs lient les intrants et les activités du projet aux mesures quantifiées
d’extrants et d’impacts.
Intrants : des fonds bancaires, des co-financements, des subventions
Processus : coût/efficacité, niveaux de participation
Extrants : l’augmentation du nombre des prêts, des pratiques agricoles
améliorées, la diminution du taux d’infection des maladies infectieuses,
l’augmentation du nombre de parcelles privatisées

14
 Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice d’Application
Description des Approches

Instructions :

Supposer que vous travaillez avec un groupe de parties prenantes et vous

essayez d’expliquer une des approches décrites dans ce module. A l’aide des
exemples de cas dans ce module, préparez une présentation de 5 minutes à
l’attention des parties prenantes. La présentation doit comprendre les
éléments suivants :

o Une description de l’approche : qu’est-ce que c’est, les avantages et

les défis.
o Une description de l’application de l’exemple.
o Pourquoi cette approche pourra être utile ou pas, dans l’évaluation de
votre projet.

15
Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Mission : Votre projet

1. Parmi ces approches, lesquelles seront utiles étant donné vos questions
d’évaluation ? Pourquoi ou pourquoi pas ?

1. Multi-site
2. Groupée
3. Participative
4. Appréciation rapide
5. Cartographie
6. Synthèse des évaluations
7. Appréciation sociale

2. Quelles sont les raisons que vous citerez à votre chef afin de le
convaincre qu’une de ces approches est la plus adaptée pour l’évaluation
de votre action ? Quelles seront ses préoccupations probables et comment
répondrez-vous ?

16
Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice d’application : cartographie

Dans la région où vous résidez, quels sont les éléments à l’actif de cette
région géographique ? Dessinez une carte de la région. Menez des
entretiens avec les informateurs clés, observez les résidents, la
circulation, les types de commerce, etc.

17
Traduit pat le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Lectures et ressources supplémentaires :

Cousins, J.B. and Earl, L.M. (Eds.) (1995). Participatory evaluation in

education. Bristol, P.A: Falmer Press.

Light, R.J. and Pillemer, D.B. (1984). Summing up: The science of
reviewing research. Cambridge, MA: Harvard University Press.

McKnight, J. (1992). Asset mapping. Evanston, Il: Northwestern

University.

Patton, M.Q. (2002) Qualitative research and evaluation methods (3rd

ed.). Thousand Oaks, CA: Sage.

Sanders, J.R. (1998). Cluster evaluation. In E. Chelimsky et W.R.

Shadish, Jr. (Eds.) Evaluation for the 21st Century: A resources book.
Thousand Oaks, CA: Sage.

Scriven, M. (1991). Evaluation Thesaurus (4th ed.). Thousand Oaks, CA:

Sage.

Smith, M.F. (1989). Evaluability assessment: a practical approach.

Boston: Kluwer Academic Press.

Turpin, R.S. and Sinacore, J.M. (Eds.) (1991). Multisite evaluations. New
Directions for Program Evaluation, No; 50. San Francisco, CA: Jossey-
Bass.

Sites Web:

IUCN (The World Conservation Union). Sustainability assessment:

http://www.iucn.org/themes/eval/sustassess.htm

NSF’s user-friendly Handbook for Mixed-method evaluations:

http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm

The World Bank. Social assessment:

http://Inweb18.worldbank.org/essd/essd.nsf/SA/Home

18