Traduction par le Réseau nigérien The World Bank Group

de suivi et évaluation (ReNSE) Carleton University

Western Michigan University

International Program for Development Training

Le renforcement des capacités pour

l’évaluation des actions de développement

Module 5. Le Plan d’ évaluation

Mai 2003
 Module 5 Vue d’ensemble

 Une fois les questions sélectionnées, le plan peut

être élaboré:
 Des questions descriptives
 Des questions normatives
 Des questions sur l’impact

 Des éléments du plan d’évaluation sur l’impact:

 Des mesures d’avant et d’après
 Des groupes de comparaison
 L’attribution au hasard
 Des variables de contrôle
 Des différences naturelles
 Dépistage des causes
Module 5 Vue d’ensemble

 Les types de plan:

 Expérimental
 Sémi-expérimental
 En corrélation
 Non expérimental
 Etude de cas

 Les points clés sur le plan

La collecte des données à partir des questions

 Rappeler les trois types de questions d’évaluation

 Des questions descriptives
 Des questions normatives
 Des questions sur l’impact

 Chacun de ces trois types nécessite une approche

différente sur le plan d’évaluation
Des stratégies pour des questions descriptives

 Il y a beaucoup d’options disponibles:

– Des entretiens structurés ou non
– Des groupes ciblés
– L’analyse des documents
– L’observation
– Les enquêtes
– Les données existantes
– Une sélection de ces stratégies et d’autres
Des stratégies pour des questions descriptives

 Pour des actions qui sont très bien comprises, il faut

choisir:
– La collecte de données de façon structurée (c’est-à-dire, des
entretiens structurés, des enquêtes)
 Pour des actions d’innovation et d’expérience, ou des
actions placées dans un contexte très différents, il
faut choisir:
– Des stratégies relativement ouvertes (c’est-à-dire, des
groupes ciblés, l’observation, des entretiens non structurés)
 Dans la plupart des cas, (qui sont partiellement
compris) il faut combiner ensemble:
– Une sélection de stratégies structurées et ouvert
Des stratégies pour des questions normatives

 Pour découvrir « ce qui existe »

– Voir la partie sur les stratégies pour des
questions descriptives

 Pour découvrir « ce qui doit exister »…

– Identifier les finalités/cibles spécifiques
– Mener une enquête sur les besoins afin
de découvrir si les réalisations seraient
« fonctionnelles » ou « adéquates » dans
ce contexte
Des stratégies pour des questions sur
l’impact
 Plus difficiles à résoudre que des questions
descriptives ou normatives

 L’évaluateur doit exclure toute autre explication

pour des changements observés:
– Comment savoir si ces changements ne sont pas
attribuable à quelque chose autre que le programme?
– Comment savoir si ce n’est pas une coïncidence?
Des éléments de questions sur l’impact

 Des mesures d’avant et d’après

 Des groupes de comparaison
 L’attribution au hasard
 Des variables de contrôle
 Des différences naturelles
 Les stratégies pour découvrir les causes
Des mesures avant et après

 L’état des lieux – une mesure après l’action

 Mais les changements ne prouvent pas la causalité –
ils peuvent être dues à…
– L’histoire (les évènements au même moment)
– La maturité progressive des sujets (ils vieillissent)
– Le test (l’apprentissage sur comment faire le test)
– Les instruments (des nouvelles techniques de collecte de
données)
– La régression à la moyenne (équilibrer sur une période de
temps)
– Un biais de sélection (la situation était différente dés le
début)
– L’usure (une tendance spécifique à se retirer)
Les groupes de comparaison

Participants: avant - après

(un grand changement)

Non participants: avant - après

(un petit changement)

Encore une fois, il faut éliminer des explications alternatives avant

de tirer des conclusions
L’attribution au hasard

 L’attribution au hasard…
 permet de comparer les groupes
et a pour résultat des conclusions plus définitives

 est possible plus souvent que vous ne le pensez!

 par exemple, lorsque l’action pourra être
mise en œuvre immédiatement
L’utilisation des variables de contrôle

L’attribution au hasard impossible? – il faut

éliminer des explications alternatives par un
contrôle statistique, c’est-à-dire,

 la performance antérieure ou des niveaux

de prévalence
 le niveau socio-économique
 la qualité antérieure du sol
 le temps/climat
L’utilisation des différences naturelles

 La mise en œuvre est incohérente? Il faut la

transformer en un avantage!

 Des preuves utiles comprennent:

 une mise en œuvre moins extensive – un impact plus
petit (ou aucun)
 une mise en œuvre de meilleure qualité – des résultats
plus positifs et/ou moins d’impacts négatifs
Les stratégies pour découvrir les causes
 Elles reposent sur les principes généraux appliqués
dans l’élaboration des plans expérimentaux
traditionnels et sémi-expérimentaux, mais elles…
 peuvent être appliquées dans des appréciations
rapides
 ne demandent pas d’expertise supérieure en
statistiques
 peuvent être utilisées pour des actions à petite
échelle, où l’analyse statistique n’est pas justifiée
 peuvent être appliquées aux actions d’évaluation
qui comprennent une composante d’évaluation
 demandent plus de travail d’investigation de la
part de l’évaluateur
Les stratégies pour découvrir les causes

 Demandez-vous:
 Quelles décisions seront probablement prises sur
la base des résultats de cette évaluation?
 Quel niveau de certitude faut-il pour tirer des
conclusions?
 Quels renseignements faut-il collecter?
 Quelles sont les informations qui donneront la
certitude?

 N’oubliez pas:
 La liste est un menu de sources possibles de preuves, elle
n’est pas une liste de contrôle d’exigences
Les sources pour découvrir les preuves
des causes
 Les conclusions tirées à partir d’une liste des causes
 Les conclusions tirées à partir du modus operandi
 La préséance temporelle
 La conjonction constante
 Les influences contiguës
 La force d’association
 Le gradient biologique
 La cohérence
 L’analogie
Les types de plan

 Vos options principales

 Expérimentales
 Sémi-expérimentales
 En corrélation
 Non expérimentale
 Etudes de cas

 Des points clés sur le plan

Les plans expérimentaux

 Appelés « la vraie expérience »

 Souvent comprennent des mesures d’avant et
d’après
 Utilisent des groupes de comparaison
 Impliquent l’attribution au hasard

 Désavantage:
 Souvent à petite échelle, donc il sont plus difficile à
généraliser
Les plans sémi-expérimentaux

 Ressemblent à la vraie expérience, mais…

 Pas d’attribution au hasard
 Utilisent des groupes de comparaison naturels
 Demandent plus de données pour éliminer des
explications alternatives

 Des exemples comprennent:

 Des plans de comparaison non équivalents
 Les plans de séries temporelles interrompus
 Les plans de corrélation
Les études de corrélation

 Les études de corrélation

 Répondent aux questions sur les relations
et les associations (mais pas sur la
causalité/impact)
 Des données déjà disponibles sont
souvent utilisées
Les études non expérimentales

 Les plans qui ne sont pas expérimentaux:

 Sont moins forts pour déterminer l’impact
 Peuvent manquer un groupe de comparaison ou des
mesures d’avant et d’après

 Des exemples comprennent:

 Des enquêtes transversales
 Des études de groupes réduits
 Des études longitudinales
 Des études de cadences en série
Les études de cas

 Aident à comprendre en profondeur un processus, un

évènement ou une situation
 Sont souvent plus pratiques qu’une étude nationale
 Peuvent reposer sur des méthodes qualitatives et/ou
quantitatives
 Peuvent comprendre un cas unique ou des cas multiples
 Donnent des bons résultats dans des situations où
l’intention est de comprendre une situation spécifique en
profondeur
Les points clés sur les plans

 Il n’y a pas de plan parfait

 Chaque plan a ses forces et ses faiblesses
 Il y a toujours des trocs en termes de durée, de coût et
des considérations pratiques
 Il faut reconnaître les trocs possibles et les faiblesses
potentiels
 Il faut fournir une appréciation de leur impact probable
sur vos résultats et vos conclusions