Module 6- Méthodes et

techniques de l'évaluation
Comment sera faite
l'évaluation

Questions Méthodes et
et critères techniques

Qualité
Méthodes et techniques de
l'évaluation
Contenu:

1- Méthodes, techniques et outils

2- Méthodes d'évaluation de l'impact

3- Les techniques couramment utilisées

en évaluation

2
Chaque question d'évaluation est
reliée à des techniques particulières
Questions et techniques

• Descriptives Données disponibles

Etude de cas
Enquête statistique

Données disponibles
• Normatives Etude de cas
Enquête statistique
Analyse coûts-bénéfices
Analyse coût-efficacité

• D'impact Recherche de relations causales

Analyses statistiques
Analyses prévisionnelles

3
Chaque question d'évaluation suppose

une démarche particulière au terme

de laquelle l'évaluateur aura rassemblé les
éléments nécessaires à la construction

d'un raisonnement (argumentaire) lui

permettant d'exprimer

un jugement valide (ou convaincant).

4
Exemple de La mise en oeuvre de ce
programme s'est-elle déroulée
question : comme prévu ?

Comment répondre à cette question ?

Analyse documentaire

1) Je vais identifier ce qui était Entretiens avec plusieurs

prévu dans les documents de
départ,
lecture des dossiers d'archive
2) Je vais reconstituer ce qui s'est
passé réellement
responsables pour m'assurer
d'une bonne compréhension
Analyse documentaire,
Entretiens avec des acteurs
des différentes
composantes, des
différentes phases et de
différentes sensibilité

5
Exemple La mise en oeuvre de ce
programme s'est-elle déroulée
suite : comme prévu ?

3) Je vais comparer le plan et la réalité, Etablissement d'un

mettre à jour les différences, vérifier chronogramme rétrospectif
que les opinions recueillies sur ce point
convergent vers les mêmes conclusions Construction de l'argumentaire

4) Il me faudra décider ce qui est un

changement négligeable et ce qui est
Entretiens avec
un changement notable. Je ne signalerai plusieurs acteurs pour
que les changements qui ont eu des vérification de la
conséquences visibles sur les coûts et validité des conclusions
les délais

C'est la démarche que je me propose de

suivre pour répondre à cette question
6
Exemple La mise en oeuvre de ce
programme s'est-elle déroulée
suite : comme prévu ?

Cette démarche prévoit l'utilisation de

différentes techniques qui elle-mêmes
supposent l'usage d'outils ou d'instruments

Techniques Outils/instruments

- Analyse documentaire - Guides d'entretien

- Revue de dossiers - Chronogrammes
- Entretiens individuels
- Groupes de discussion

7
Deuxième Seconde question à choisir avec le
groupe, si possible sur l'efficience
exemple :
Dérouler ensemble le raisonnement :

- Comment répondre à la question (avec

éventuel retour à la formulation même de la
question) ?

- Quelle démarche dérouler ?

- En utilisant quelles techniques et quels outils ?

Comparer avec la démarche précédente

8
 Ensemble de la
Questions
et critères démarche pour
une évaluation

démarche pour répondre

à la question 1
démarche pour répondre à
la question 2

démarche pour répondre à

la question 3

9
 L'ensemble de la
démarche de
l'évaluation est composé
d'outils, de techniques et
d'une méthode

Le terme "méthode" est en général utilisé

pour désigner la démarche qui concerne
l'évaluation de l'impact

10
 Au coeur de l'évaluation, la mesure
des effets
La raison d'être d'un
Finalité Impact programme est de
produire un effet ou
Objectif Effets un impact

Résultats
directs Comment mesurer l'impact
(les effets) d'un programme
Activités
? C'est la principale
questions méthodologique
de l'évaluation
Moyens

11
 Méthodes d'évaluation de l'impact

Deux problèmes sont à résoudre :

1) Dans quelle mesure peut-on identifier un effet (le

revenu augmente, la prévalence d'une maladie diminue,
...)
2) Dans quelle mesure cet effet est-il attribuable au
programme (et non pas à une autre cause).

Pour tenter de responder, du mieux possible, à ces deux

questions, des méthodes qui sont spécifiques à
l'évaluation sont utilisées

12
 Méthodes d'évaluation de l'impact
Question clé de l'évaluateur :

Que ce serait-il passé pour les bénéficiaires

si le programme n'avait pas eu lieu ?

Comment refaire l'histoire ? Comment construire une base

de comparaison ?

L'art de l'évaluation consiste à trouver une solution pour

construire une base de comparaison permettant d'aboutir à
des conclusions crédibles

13
La seule solution indiscutable :
l'expérimentation idéale
Toutes les
autres Le projet ou
Causes possibles la politique
influences

Groupe Groupe
Groupes observés de expérimental
contrôle

Résultats
Résultats de au niveau
l'observation du groupe
(effets) de contrôle Résultats au
niveau du
Résultats nets groupe
(attribuables expérimental
au projet ou à
la politique)

14
L'expérimentation idéale avec groupe
de contrôle équivalent
30
Niveau de revenu

Effet ou
impact =
13
17 Théoriquement, une
seule observation finale
10 est suffisante. Mais le
groupe de contrôle doit
Temps être construit avec de
Programme grandes précautions
Bénéficiaires
pour garantir la
Groupe de contrôle équivalent comparabilité.

15
L'expérimentation idéale avec groupe
de contrôle équivalent

Dans la pratique, il est extrêmement difficile de

construire un groupe de contrôle strictement
comparable :
- problème éthique (condamner un groupe à ne pas
être bénéficiaires)
- difficultés de trouver un groupe équivalent hors projet
- coût

Cette solution n'est donc pratiquement jamais utilisée

16
 Comparaison avec un groupe de
contrôle non équivalent
Niveau de revenu

30
Effet ou impact = 13
21
17 Construction d'une
14 situation de référence.
10 Une grande quantité
d'observations sur les
situations avant et
Temps après est nécessaire.
Bénéficiaires Programme
Groupe de contrôle non équivalent

17
 Comparaison avec un groupe de
contrôle reconstitué a posteriori
Niveau de revenu

30
Effet ou impact = 13
21 Construction d'une
17 situation de référence
14 par choix, dans une
large enquête sur la
10
situation de départ, des
unités hors projet ayant
Temps les caractéristiques des
Programme
Bénéficiaires bénéficiaires.
Large enquête descriptive
18
 Evaluation sans groupe témoin, par
comparaison avant / après
Niveau de revenu

30
Effet ou
21 impact ?
Base Line
17 Study
14 ?
10 La conclusion sur l'impact
manque de précision et
Séries
de solidité. L'existence de
temporelles Temps séries temporelles permet
Programme
d'améliorer la conclusion.
Bénéficiaires
Large enquête descriptive
19
 Evaluation par simple observation
après mise en oeuvre
Niveau de revenu

30 Effet ou
impact ?

La conclusion sur
l'impact est impossible;
Il est possible d'indiquer
que l'objectif a été
atteint (l'effet s'est
produit), mais sans
Temps pouvoir attribuer ce
Programme résultat au programme
Bénéficiaires

20
4 grandes familles de méthodes
d'évaluation
Qualité
Observation

Evaluation sans
apres
après mise en oeuvre -
groupe témoin
Observation avant et
après mise en oeuvre
+
Groupe témoin non
Evaluation par
équivalent ++
comparaison avec
Groupe témoin
un groupe témoin
équivalent
(véritable expérimentation) +++

21
Evaluation par simple observation
-
après mise en oeuvre
Possibilités: Très simple à mettre en œuvre. Est appropriée pour des
évaluations de moyens et de réalisation. Permet de : (i) constater de quelle
manière la politique a été mise en œuvre ; (ii) mesurer ses résultats
immédiats (outputs) (iii) améliorer la compréhension des comportements
des groupes concernés et des instruments ou mécanismes.

Limites: Difficulté d'isoler les effets de la politique des autres facteurs

possibles d'évolution Grand risques de subjectivité. Peut difficilement être
utilisée pour évaluer l'impact ou pour fournir un schéma explicatif des
phénomènes observés. Des liens de causalité peuvent être suggérés, mais
les conclusions tirées à ce niveau demeurent fragiles et leurs possibilités
d'extension à d'autres situations sont limitées.

Techniques utilisées : Examen de dossiers, observation directe, opinion

d'experts, étude de cas, enquêtes statistiques, analyses de données, calculs
de ratios, comparaison avec des normes, ...

22
 Evaluation par comparaison
avant / après +
Possibilités: Très répandue. Correspond à la démarche naturelle
d'évaluation : chercher à vérifier que la période de mise en œuvre de la
politique a coïncidé avec une modification de certains indicateurs. Mêmes
possibilités que ci-dessus. Permet de plus une description plus fine et
quantifiée des effets.

Limitations: Mêmes limitations que la méthode précédente. Mais

possibilité d'utiliser des indicateurs plus précis, de faire de nombreux
recoupements pour éprouver la robustesse des résultats.

Techniques utilisées: Suppose de pouvoir utiliser une bonne description

de la situation de départ (base line) pour tous les indicateurs de résultat
du projet. Examen de dossiers, observation directe, opinion d'experts,
étude de cas, enquêtes statistiques, analyses de données, analyse de
séries temporelles, calculs de ratios, comparaison avec des normes, ...

23
Evaluation par comparaison avec
++
un groupe témoin non équivalent
Possibilités: Comparaison du groupe cible concerné par la politique avec
un groupe témoin dont les caractéristiques ne sont pas complètement
semblables. Permet de (i) mieux cerner l'impact ou les effets externes
d'une politique (sans garantir la relation causale) et (ii) révéler des
mécanismes et des comportements face à des politiques incitatives.

Limitations: Pertinence limitée pour pouvoir déduire sans ambiguïté des

relations causales. Une multiplication des groupes témoins permet de
consolider les conclusions. Lorsqu'un groupe est spécialement constitué
pour l'évaluation sans être toutefois "équivalent" l'utilisation de techniques
statistiques complexes permet parfois d'isoler les biais résultant de la non-
équivalence (cas d'une"quasi-expérimentation").

Techniques utilisées : Étude de cas, enquête statistique, analyse de

données, analyse de séries temporelles, analyse multivariée, modélisation

24
Evaluation par comparaison avec un
groupe témoin équivalent
(véritable expérimentation)
+++
Possibilités: La seule procédure totalement rigoureuse d'évaluation,
utilisée notamment dans le domaine des thérapeutiques (évaluation des
effets d'un traitement médical). Elle permet d'identifier sans équivoque
des relations de causalité et donc les effets propres d'une politique ou
d'un projet.

Limitations: La constitution d'un groupe témoin équivalent, qui doit

avoir lieu avant le démarrage du projet ou de la politique et obéit à des
règles particulièrement strictes, se heurte à de nombreux problèmes de
faisabilité dans le domaine des politiques socio-économiques. Peut-être
contraire à l'éthique.

Techniques utilisées : Enquête statistique, analyse de données, analyse

de séries temporelles, analyse multivariée, modélisation

25
Techniques, outils, instruments ...
Pratiquement toutes les techniques des sciences
économiques et sociales, en particulier les statistiques,
sont utilisables en évaluation:
• Entretiens
• Groupes de discussion
• Recherche documentaire
• Revue des dossiers d'archive
• Enquête par questionnaire
• Etude de cas
• Tests de connaissances ou d'aptitudes
• Enquête d'opinion
• Analyse de contenu
• ...

26
Techniques, outils, instruments ...

Une des qualités de l'équipe d'évaluation

est d'être capable d'identifier/imaginer
les démarches techniques qui
permettront d'aboutir à des conclusions
d'évaluation convaincantes, pour
chacune des questions.

27
Techniques, outils, instruments ...

Il n'est pas possible, dans le cadre de cet atelier,

d'entrer dans le détail de chacune de ces
techniques ou des outils et instruments
utilisables. D'ailleurs un évaluateur ne maîtrise
pas forcèment toutes les techniques et doit
souvent faire appel à des spécialistes

Nous verrons quelques-unes des techniques les

plus courantes dans le cours des exercices

28
Techniques, outils, instruments ...

Pour approfondir, il existe de nombreux manuels,

guides, etc... sur les thèmes suivants :

- Collecte des données

- Entrevues, groupes de discussion
- Observations directes, études de cas
- Analyse des données
- ...

29