Beruflich Dokumente
Kultur Dokumente
Nous renonons aux droits dauteurs relatifs ce Guide dvaluation de projet lintention des
organismes sans but lucratif : Mthodes et tapes fondamentales pour procder lvaluation de projets
au prot de lutilisation non commerciale par des organismes de bienfaisance et bnvoles. Nous
encourageons tous les organismes de bienfaisance et sans but lucratif reproduire et distribuer cette
publication.
ISBN 1-55401-316-X
Cet ouvrage a t rendu possible par la participation du personnel et des bnvoles dorganismes
ayant bnci dun nancement du Centre de soutien communautaire qui ont exprim un dsir
dapprendre sur lvaluation et qui ont mis diffrentes parties de cet outils au ban dessai. En plus
de tous les organismes nancs par le Centre de soutien communautaire qui ont partag avec moi
leurs expriences en matire dvaluation au cours des trois dernires annes, je veux remercier les
organismes suivants dont les rapports ont servi prparer les illustrations de cet outil :
Llaboration de cet outil a t nance par lInitiative canadienne sur le bnvolat (ICB) du ministre
du Patrimoine canadien par le biais du Centre de soutien communautaire.
II
Imagine Canada 2006
PROPOS DE CE GUIDE
Ce guide a t conu pour aider les organismes de bienfaisance et sans but lucratif faire
des valuations de projets prcises et pertinentes, puis prsenter et utiliser les rsultats
efcacement. Son principal objet est dtre utile aux organismes qui voudraient faire leurs propres
valuations de projets laide de leurs ressources internes et les intgrer leur gestion des projets
et leur dveloppement stratgique.
Le guide est le fruit de trois annes passes travailler en collaboration avec des organismes de
bienfaisance et sans but lucratif partout au Canada an dvaluer une grande varit de projets
communautaires nancs par le Centre de soutien communautaire, qui fait partie de lInitiative
canadienne sur le bnvolat (ICB). La plupart des formulaires et des modles qui font partie de ce
guide ont t utiliss dans un premier temps par les organismes ainsi nancs, puis rviss, partir
de leurs ractions et observations, pour les besoins de ce guide.
Les quatre modules de formation dcrits dans ce guide renferment les renseignements essentiels et
les tapes incontournables pour raliser nimporte quel type dvaluation de projets :
Le Module un explique toutes les tapes suivre pour crer un plan dvaluation.
Le Module deux est consacr la mise en place dun plan dvaluation et la collecte
des donnes aux ns dvaluation.
Le Module trois explique lanalyse des donnes et linterprtation des rsultats.
Le Module quatre propose des faons de prsenter et de communiquer les rsultats de
lvaluation.
Vous pouvez suivre les quatre modules pour nimporte quel projet dvaluation, mais vous pouvez
aussi prouver la ncessit dajuster les tapes et les dtails selon le type dvaluation requis ainsi
que le contexte, le budget et les dlais dexcution de votre projet. Par exemple, vous pouvez
rviser la section de la planication (Module un) an de mieux comprendre le contexte, les buts et
lhistorique du projet et la ncessit et le but de lvaluation. partir du travail que vous aurez fait
dans cette section, vous pourrez examiner les autres tapes de ce guide et dterminer celles qui
sappliquent votre projet, celles qui ont besoin dtre davantage modies et rvises et celles que
vous pouvez sauter.
Ce guide est prpar lintention du personnel et des valuateurs internes. Certaines sections
peuvent ne pas sappliquer des valuateurs externes ou des contractuels.
III
Guide dvaluation de projet
INTRODUCTION
Lvaluation est un important outil que votre organisme peut utiliser pour dmontrer quil fait preuve de
responsabilit, pour amliorer son rendement, pour accrotre sa capacit dobtenir des fonds et pour
planier et accomplir les objectifs quil sest x. En communiquant les rsultats de lvaluation, votre
organisme peut aussi tenir son personnel, son conseil dadministration, les utilisateurs de ses services,
ses bailleurs de fonds, le public et dautres intervenants au courant des bienfaits et de lefcacit
de ses services et programmes et expliquer comment les uvres de bienfaisance fonctionnent et
comment elles sont surveilles. Les avantages qui peuvent dcouler dune valuation sont nombreux,
mais si ses rsultats ne sont pas utiliss alors elle naura t quun gaspillage des ressources de
lorganisation.
Le but de lvaluation est de fournir des renseignements permettant de prendre des mesures
comme des dcisions, la planication stratgique, ltablissement de rapports ou la modication de
programmes. Lvaluation de projets vous aide comprendre les progrs, le degr de russite et
defcacit dun projet. Une valuation donne une description complte dun projet, y compris ce quil
faut savoir sur :
Lvaluation de projet dtermine les activits qui doivent permettre deffectuer une tche prcise
dans une priode prcise. Par exemple, un atelier de trois jours sur le bnvolat, un programme de
collecte de fonds dun an, une intervention prventive de trois ans dans la lutte contre la propagation
du VIH, une innovation de cinq ans dans le dveloppement de carrire ou un programme de
formation sur lorientation et lintgration de jeunes nouvellement arrivs au pays sont autant de
projets que vous pouvez valuer.
1 Scriven, M. 1991
IV
Imagine Canada 2006
INTRODUCTION
Lvaluation et la gestion de projet sont des activits troitement lies entre elles. Lvaluation
peut vous aider mener bien un projet, vous donner les preuves de ce qui a russi et de ce qui a
chou, suggrer des faons dapporter des amliorations, et de prendre des dcisions claires sur
lavenir de projets en cours ou en perspective.
Lvaluation de projet est une fonction de responsabilisation. Quand vous valuez un projet,
vous suivez le processus an de veiller ce que les bonnes procdures soient en place pour
permettre dachever le projet dans les dlais, et vous identiez et mesurez les rsultats an de voir
lefcacit et aux ralisations du projet. Tous ces efforts permettent votre organisme de faire
rapport et de rpondre toutes les demandes de renseignements et de se montrer responsable de
ses plans2.
Lobjet de ce guide est daider votre organisme valuer ses projets et se servir des rsultats des
valuations. Les quatre modules de formation vous acheminent dans un processus complet qui va
de la planication, la mise en uvre, lanalyse, jusquau partage des rsultats de lvaluation.
VI
Imagine Canada 2006
MODULE UN
1
MODULE UN
La cration dun plan est la toute premire tape dune valuation. Ce module explique les tapes
essentielles de la planication dune valuation et vous aide crer un plan de travail pour votre
projet. Un plan dvaluation doit rpondre aux questions suivantes :
Quand vous arriverez la n de ce module, vous aurez un plan dvaluation de projet. Vous pouvez
partager ce plan avec des intervenants internes et externes quand vous les invitez participer au
projet ou lvaluation. Votre plan sera un document de travail quil vous faudra priodiquement
rexaminer et mme rviser.
Les besoins auxquels le projet doit rpondre et les objectifs quil doit atteindre;
Le groupe vis qui doit agir dans ce projet;
Le groupe vis qui sera touch par ce projet;
Les rsultats prvus du projet; et
Les activits quil faut entreprendre pour obtenir ces rsultats.
Vous devriez pouvoir trouver ces renseignements dans la proposition du projet ou encore dans
dautres documents comme des rapports et procs-verbaux de runions.
Si vous navez pas sufsamment de renseignements pour achever votre description du projet, parlez
au directeur du projet an de savoir comment il le comprend. Prparez une srie de questions selon
les grandes lignes indiques ci-dessus et demandez aux directeurs dy rpondre.
2
Imagine Canada 2006
CRER UN PLAN DVALUATION
Le but de lvaluation peut aussi dterminer le type dvaluation que vous voulez faire. Si le but est
de dmontrer comment le projet remplit ses objectifs et utilise ses ressources et si des modications
ou des changements doivent tre apports au processus de travail, alors vous devez procder une
valuation des processus. Si le but est dvaluer quel point le projet a touch ses participants ou
son milieu, alors vous devez procder une valuation des rsultats. Les types dvaluation seront
expliqus la rubrique Slectionner les types dvaluation. Lnonc du but vous aidera aussi
rdiger les questions dvaluation appropries, sur lesquelles vous en apprendrez davantage la
rubrique Choisir les questions dvaluation.
Si le but de lvaluation nest pas clair, communiquez avec le directeur du projet et les cadres
suprieurs pour leur demander comment ils peroivent limportance de lvaluation, comment ils
aimeraient utiliser les rsultats et quelle information ils trouveraient utile.
3
Guide dvaluation de projet
MODULE UN
4
Imagine Canada 2006
CRER UN PLAN DVALUATION
Rpertorier les intervenants de lvaluation peut vous aider tablir des relations et des rseaux
dont vous aurez besoin pour mener bien votre valuation. Cela peut aussi vous aider dcider
qui vous voulez aborder, comment vous voulez le faire, et ce que vous devez attendre deux. Un
tel recensement peut aussi vous aider laborer des produits dvaluation (comme des rapports)
rdigs dans le langage qui convient le mieux pour rejoindre vos intervenants.
Lvaluation formative est une valuation continue qui commence ds le dbut dun projet. Elle
value la nature du projet, les besoins auxquels il doit rpondre, ainsi que ses progrs et sa mise en
oeuvre. Elle permet didentier de srieux carts dans le contenu et les aspects du fonctionnement
du projet (autrement dit ce qui a t fait et comment) et elle propose des moyens de les amliorer.
Lvaluation des processus sert suivre les activits du projet an de veiller ce que celui-ci
soit mis en place et ralis selon les raisons pour lesquelles il a t conu et dans les dlais xs.
Lvaluation des processus et lvaluation formative peuvent se complter.3 Bien que la porte dune
valuation formative soit plus grande que celle dune valuation des processus, elles se ressemblent
beaucoup dgards : elles sont toutes les deux axes sur lefcacit du projet et les aspects de son
fonctionnement; toutes deux commencent au tout dbut du projet et elles peuvent tre effectues
par le personnel interne; toutes deux ont besoin dune troite surveillance pour suivre les activits de
fonctionnement et pour recueillir linformation lie au processus (voir Suivre votre projet).
7
Guide dvaluation de projet
MODULE UN
1. Lobjet ou la personne qui est valu (autrement dit le sujet valu) : par
exemple, le projet, lorganisation, le personnel.
8
Imagine Canada 2006
CRER UN PLAN DVALUATION
Les questions dvaluation jouent un rle essentiel dans lanalyse et linterprtation des donnes
que vous recueillez. Pour cette raison vous devriez prvoir assez de temps et de discussions avec
vos principaux intervenants an de les mettre au point et de les slectionner. Il vous faudra peut-
tre aussi revenir sur ces questions et les rviser ou en ajouter dautres au fur et mesure du
droulement du projet.
9
Guide dvaluation de projet
MODULE UN
Exemples de questions dvaluation
10
Imagine Canada 2006
CRER UN PLAN DVALUATION
11
Guide dvaluation de projet
MODULE UN
Comme outils dvaluation on peut recourir des moyens structurs et non structurs. Les moyens
structurs comprennent les groupes de discussion, les entrevues, les questionnaires de sondages et
les tests de connaissances. Les outils dvaluation non structurs comprennent les observations, les
conversations spontanes et les visites sur le terrain.
Selon vos questions dvaluation, vous pouvez avoir besoin dun outil pour vous aider recueillir
des donnes quantitatives en dnombrant, en notant et en classant linformation, ou vous pouvez
avoir besoin dun outil pour vous aider recueillir de linformation qualitative comme des histoires,
des anecdotes ou des opinions sur un aspect particulier du projet. Voir le Module trois pour en savoir
davantage sur les donnes quantitatives et qualitatives et aussi le Tableau 1 pour une liste des outils
dvaluation, leur description et leur type.
6 Voir le Module deux pour plus de dtails sur la mise au point doutils.
12
Imagine Canada 2006
CRER UN PLAN DVALUATION
Les outils suivants ont servi recueillir les donnes dans le dlai du projet :
1. Formulaires dvaluation pour les groupes de discussion avec les
bnvoles, le personnel et les jeunes.
2. Suivi des activits an de reprer les forces et les difcults de chaque
activit, (p. ex. examen de la documentation, entrevues en tte--tte,
Mur de la renomme). Ces renseignements ont t partags avec le
responsable des bnvoles chaque semaine pour avoir sa raction et
faire des ajustements au besoin.
3. Formulaires dvaluation pour les ateliers de la confrence des bnvoles.
4. Enqute sur la satisfaction des bnvoles.
13
Guide dvaluation de projet
14
MODULE UN
Pour dgager les sources dvaluation, vous devez examiner les outils dvaluation ncessaires
pour cette valuation et dcider qui ces outils doivent sappliquer (p. ex. les participants
aux ateliers). Si vous avez un grand nombre de sources et que vous avez besoin de faire un
chantillonnage, vous devez alors expliquer la taille de lchantillon, le processus et les critres de
slection.12
16
Imagine Canada 2006
CRER UN PLAN DVALUATION
Tableau 2 : Exemple de budget pour un projet dvaluation dun an
Nombre Cot
Activit Responsable Cot total
de jours journalier
Gestion et orientation de lvaluation valuateur interne 7 $ Total partiel $
Planication de lvaluation
Communiquer avec les intervenants en vue de constituer
valuateur interne 3 $
un groupe dvaluation
Organiser des rencontres dvaluation avec le groupe
valuateur /groupe interne 2 $
dvaluation
laborer un plan dvaluation prliminaire valuateur interne 2 $
Discuter et rviser le plan dvaluation valuateur interne 1 $
Nbre total de jours : 13 Total partiel $
Mise en place de lvaluation (mettre au point les outils et recueillir les donnes)
Recruter le personnel valuateur interne 3 $
Trouver et organiser les outils existants Personnel 3 $
Mettre au point un systme de suivi valuateur interne 4 $
Mettre en place et maintenir le systme de suivi
Personnel 7 $
(priodiquement)
laborer de nouveaux formulaires dvaluation et des
valuateur interne 2 $
entrevues
Mettre les outils nouvellement labors lessai Personnel 1 $
Mettre en uvre les outils et recueillir les donnes Personnel 7 $
Nbre total de jours : 13 Total partiel $
Analyses de linformation
Prparer les donnes pour lanalyse Personnel 2 $
Analyser les donnes et interprter les rsultats Personnel 5 $
Soutien professionnel et technique (au besoin) Externe 1 $
Interprter les rsultats valuateur interne 2 $
Tenir des runions de discussion avec le groupe
valuateur interne/groupe 1 $
dvaluation
Terminer linterprtation des rsultats Personnel/valuateur interne 1 $
Nbre total de jours : 13 Total partiel $
Communication (prparer le matriel et communiquer)
Prparer et examiner un rapport dvaluation Personnel/valuateur interne 5 $
Prparer une prsentation Personnel 1 $
Prparer dautres documents en rapport avec les mdias Personnel/valuateur interne 5 $
Prsenter les rsultats aux diffrents intervenants valuateur interne 2 $
Nbre total de jours : 13 Total partiel $
Dplacements et runions
Concernant le groupe dvaluation $
Autres $
Total partiel $
Dpenses dexploitation
Photocopies/impression
Messagerie
Tlphone et tlcopieur
Total partiel $
17 Nbre total de jours : 67 Total $
ACHEVER C E M O D U L E
Vous tes maintenant prt pour la dernire tape de ce module : faire la premire bauche
de votre plan dvaluation laide du modle donn lAnnexe 3. Ce plan peut vous
aider mieux communiquer avec vos intervenants internes et externes quand vous les
invitez participer lvaluation. Le plan est un document de travail et il doit tre rvis
priodiquement. la n de lvaluation, vous pouvez vous servir de ce plan pour crer un
rapport dvaluation (voir le Module quatre pour plus de dtails).
18
Imagine Canada 2006
MODULE DEUX
19
MODULE DEUX
Ce module explique la mise en place du plan dvaluation labor dans le Module un. Il couvre des
points essentiels comme :
la n de ce module, vous devriez avoir sufsamment de donnes dvaluation pour faire une
analyse de votre projet dvaluation.
Communiquez avec les personnes que vous avez recenses dans votre plan dvaluation comme
des intervenants et invitez-les participer. Expliquez-leur le rle quils auront jouer et le temps que
vous leur demanderez de consacrer cette tche.
20
Imagine Canada 2006
M E T T R E V O T R E P L A N D VA L U A T I O N E N P L A C E
Comment constituer un groupe dvaluation
Quand vous assemblez votre groupe dvaluation, pensez au moment o il sera appel participer
au projet :
Vous pouvez dcider de recruter un bnvole comptent pour vous seconder. Cherchez aussi
obtenir une certaine documentation de formation ou encore offrir des possibilits dapprentissage
aux membres du personnel intress et disponible qui veut en apprendre davantage sur
lvaluation.
21
Guide dvaluation de projet
MODULE DEUX
Exemples de comptences en valuation
Comprendre le concept et les Cueillette et gestion des donnes;
mthodes dvaluation; Analyse des donnes;
Comprendre la recherche Interprtation des rsultats;
applique; Rexion analytique;
Planication et suivi; Pense critique;
Rdaction de rapports
Faites connatre aux autres membres du personnel les activits entourant lvaluation du
projet et ses activits.
Expliquez clairement les avantages que votre organisme peut tirer en faisant une
valuation de projet et comment une telle valuation peut tre payante.
Expliquez lutilit de lvaluation et comment elle peut faciliter ou amliorer le travail du
personnel.
Crez ou expliquez les liens positifs entre votre valuation de projet et dautres fonctions
de votre organisme (comme recueillir des fonds, faire du marketing, communiquer).
Crez une ambiance dapprentissage autour de lvaluation.
Clariez le but de lvaluation et lutilisation de ses rsultats.
Vous devez :
23
Guide dvaluation de projet
MODULE DEUX
Exemples de questions dthique prendre en considration lors de
la cueillette des donnes
Informez les participants de la raison pour laquelle vous recueillez les donnes, de
lusage que vous voulez en faire et comment vous les analyserez.
Dites aux participants comment les rsultats seront utiliss et informez-les de toute
possibilit de consquences nfastes.
Expliquez aux participants le caractre priv et condentiel des donnes et comment il
sera protg.
Procurez-vous des formulaires de consentement si vous pensez quil pourrait tre
ncessaire didentier un rpondant.
Quand vous analysez ou vous communiquez des donnes qualitatives, faites attention
aux commentaires sensibles ou ceux qui peuvent rvler des identits personnelles.
Obtenez la permission ncessaire avant daborder des enfants, des institutions (comme
des hpitaux, des universits) ou dautres groupes sensibles pour recueillir des donnes.
Cherchez comprendre les normes culturelles des participants avant de les aborder
pour obtenir des donnes.
Envisagez de proposer des encouragements aux participants, quil sagisse de
personnes ou dorganismes. Les encouragements peuvent prendre la forme de
communication ou de sommaire sur les rsultats de lvaluation.
24
Imagine Canada 2006
M E T T R E V O T R E P L A N D VA L U A T I O N E N P L A C E
Les indicateurs peuvent tre de nature quantitative, comme le nombre de participants, le nombre de
visites dun site Web, le taux et le classement dopinions. Ils peuvent aussi tre de nature qualitative,
comme des ractions positives ou ngatives, des problmes, des plaintes et des commentaires.
Vous pouvez aussi vous servir de certains extrants du projet comme indicateurs sils montrent les
progrs raliss par le projet pour atteindre lobjectif x. Par exemple, si un de vos objectifs est
de mettre la disposition des organismes une bote outils pour former des bnvoles, la version
complte de cette bote outils est un extrant qui indique le progrs de votre projet.
Sil y a un grand nombre dindicateurs qui, votre avis, risquent de faire dvier le processus
dvaluation, alors tablissez leur ordre de priorit et slectionnez ceux qui sont les plus utiles pour
les questions dvaluation et les objectifs et qui sont faciles mesurer.
25
Guide dvaluation de projet
MODULE DEUX
Exemples dindicateurs dvaluation
Indicateurs quantitatifs
Taux de rponse une annonce, un avis, etc.
Nombre de visites au site Web du projet
Nombre de demandes de renseignements
Niveau de satisfaction ou dengagement des participants (p. ex. sur une chelle de 1 4)
Frquence des communications
Nombre de ressources utilises
Pourcentage dutilisation des diffrents services
ge ou niveau de scolarit moyen des rpondants une annonce
Notes ou classements de tests des connaissances
Indicateurs qualitatifs
Types de rponses une annonce, un avis, etc.
Types de demandes de renseignements
Rtroaction sur lefcacit des services, les bienfaits dun programme, lintgralit de la
documentation, etc.
Changements observables dans les attitudes, les comportements, les comptences, les
connaissances, les habitudes, etc.
Types de communications
Types de problmes, plaintes propos des services, programmes, etc.
Types de ressources utilises
Perception des programmes, des services, etc. du projet par les participants.
26
Imagine Canada 2006
M E T T R E V O T R E P L A N D VA L U A T I O N E N P L A C E
Objectifs du projet :
1. Cerner les pratiques de gestion des bnvoles adaptes aux ralits des
communauts des Premires nations dans les rgions loignes du Nord.
2. Fournir une ressource conue pour rpondre aux besoins culturels et
rgionaux des communauts du Yukon.
3. Former les communauts la gestion des bnvoles en donnant un
atelier sur le sujet.
4. Mettre la disposition des communauts et organismes partout au
Canada une ressource pratique quils pourront utiliser.
27
Guide dvaluation de projet
MODULE DEUX
Questions dvaluation :
1. Avons-nous bien cern les problmes auxquels les communauts rurales
des Premires nations sont confrontes lorsquelles travaillent avec des
bnvoles? La mthode employe pour recueillir linformation a-t-elle donn
les rsultats escompts?
2. Quelle a t la raction des communauts cibles sur le sujet? taient-elles
prtes?
3. Avons-nous cr une ressource rpondant de manire utile aux besoins
culturels et rgionaux?
4. Latelier convenait-il pour le groupe vis; les participants lont-ils trouv utile?
5. Le manuel contient-il de linformation utile et utilisable sur la gestion des
bnvoles? Les organismes du Yukon utiliseront-ils la ressource?
28
Imagine Canada 2006
M E T T R E V O T R E P L A N D VA L U A T I O N E N P L A C E
Vous pouvez aussi trouver des outils qui ont dj servi des recherches ou des activits
dvaluation dans votre organisme (comme des formulaires dvaluation ou des questionnaires de
sondages) que vous pourrez alors facilement modier et utiliser dans cette valuation.
29
Guide dvaluation de projet
MODULE DEUX
Tableau 3: Outil de suivi : Registre de suivi des activits
Date(s)
Dure 12 jours
Budget 4 200 $
Les dates de tenue des ateliers ont t modies pour tenir compte des
jours fris, des examens et de la charge des cours.
Modications
Des ateliers supplmentaires ont t offerts aux jeunes pour leur faire
prendre conscience des organismes potentiels de bnvolat.
1. Les ateliers ont prot aux jeunes car ils leur ont permis dapprendre
mieux se connatre eux-mmes et les uns les autres.
2. Les ateliers ont forc les jeunes penser au-del de notre projet
Commentaires concernant le bnvolat.
3. Les animateurs ont appris connatre leur style dapprentissage et leurs
personnalits. Ceci a t une bonne chose pour le mentorat des jeunes
an de dterminer un projet leur mesure.
*Information adapte dun projet nanc par le Centre de soutien communautaire, 2003-2004. 30
Imagine Canada 2006
M E T T R E V O T R E P L A N D VA L U A T I O N E N P L A C E
2. LAnnexe 5 contient des conseils sur la faon de mettre au point et dutiliser quatre des
outils dvaluation les plus courants : les groupes de discussion, les questionnaires, les
entrevues et les mthodes de recherche par sondages. Vous pouvez vous en servir si
vous devrez mettre au point un de ces outils.
1. dterminer comment vous devez analyser les donnes qui seront recueillies
laide de ces nouveaux outils et faire une estimation des comptences et du temps
quil vous faudra pour mener cette analyse bien (voir le Module trois pour plus de
renseignements);
2. vrier le contenu des outils et vous assurer quils sont axs de tel sorte vous attirer
linformation dont vous avez besoin;
3. vrier la structure et le langage utiliss dans les outils et faire en sorte quils soient
clairs et simples;
4. vrier les instructions pour les outils et voir ce que tout soit complet;
5. trouver quelquun dans votre organisme (membre du personnel ou bnvole) qui puisse
examiner les outils nouvellement mis au point et vous donner ses impressions; et
6. mettre vos nouveaux outils lessai auprs dun petit nombre de personnes avant de
commencer vous en servir.
31
Guide dvaluation de projet
MODULE DEUX
3 2 2
Haute
Absolument Cela en vaut la peine Envisager dautres options
Priorit
pour les 2 1 1
intervenants Moyenne
Cela en vaut la peine Seulement si on a le temps Seulement si on a le temps
1 1 0
Faible
Seulement si on a le temps Seulement si on a le temps Laisser de ct
Source : Grove, J.T, Kibel, B.M., Haas, T., 2005. EvaluLead: A Guide for Shaping and Evaluating Leadership Development
Programs, p. 20. The public Health Institute, Oakland, California.
32
Imagine Canada 2006
M E T T R E V O T R E P L A N D VA L U A T I O N E N P L A C E
Comment rendre la collecte des donnes plus prcise
Si vous avez des gens qui vous aident recueillir les donnes, vous devez leur fournir tous les
renseignements et toutes les directives dont ils ont besoin pour faire leur travail comme il faut.
Prparez une feuille de renseignements sur la faon dutiliser les outils nouvellement mis au point et
joignez-y un sommaire du plan et des objectifs dvaluation. Restez rgulirement en contact avec
eux et veillez ce quils comprennent bien comment il faut procder.
Si vous avez plus dun aide qui utilisent le mme outil pour recueillir des donnes (diffrents
animateurs pour les groupes de discussion), veillez ce quils utilisent loutil et quils recueillent
linformation de manire cohrente.
Si vous recueillez des donnes sur cassettes (p. ex. si vous enregistrez des entrevues
tlphoniques) et si vous avez besoin de retranscrire les donnes, fournissez au transcripteur tous
les dtails sur la faon dont il ou elle doit le faire (p. ex. transcrire mot mot et non pas rcapituler
les conversations).
33
Guide dvaluation de projet
MODULE DEUX
ACHEVER C E M O D U L E
Vous tes maintenant prt vous servir des outils existants et nouvellement mis au point et
les mcanismes pour recueillir les donnes dvaluation aux ns danalyse. Repassez en
revue ce module et les documents de rfrences se rapportant aux mthodes de recherche
si vous avez des questions ou si vous vous heurtez des difcults et soyez prt faire des
modications si les donnes recueillies ne sont pas la hauteur de vos attentes.
34
Imagine Canada 2006
MODULE TROIS
35
MODULE TROIS
Les donnes en elles-mmes ne disent rien; pour leur donner une voix vous devez dabord les
analyser puis interprter les rsultats. Dans les modules prcdents, vous avez recueilli des
donnes qui ntaient que des faits et des chiffres pouvant vous guider dans vos conclusions.
Dans ce module vous apprendrez certaines mesures et certains concepts importants pour analyser
vos donnes et les transformer en conclusions, en rponses vos questions dvaluation et en
suggestions prtes tre traduites en actions.
Ce serait vraiment trop long dexpliquer toutes les connaissances et toutes les comptences
ncessaires pour analyser et interprter tous les types de donnes, ce qui nest pas du ressort de
ce guide. Pour avoir plus de renseignements dtaills sur lanalyse des donnes, consultez les
documents de rfrence sur les mthodes de recherche sociale, surtout celles qui portent sur le type
de donnes que vous recueillez (comme les rfrences sur les analyses de donnes quantitatives).
La collecte des donnes sera vraiment simple si vous commencez la planier quand vous mettez
vos outils au point pour les recueillir (cest--dire dans le Module deux). Par exemple, vous devriez
connatre les mthodes danalyse ncessaires et avoir une estimation des comptences analytiques
et du temps dont vous aurez besoin pour excuter les tapes expliques dans ce module. Consultez
aussi le tableau du classement prioritaire de la collecte des donnes dans le Module deux et
commencez par les donnes les plus prioritaires qui sont les plus faciles analyser.
Donnes quantitatives
Les donnes quantitatives dcrivent une situation par les chiffres. Ces donnes peuvent tre
effectivement des chiffres; par exemple, le nombre dvnements tenus par votre organisation, le
nombre de services que vous avez fournis, le nombre de documents que vous avez produits. Les
donnes quantitatives peuvent aussi tre des chiffres reprsentant les relations entre concepts;
par exemple, les chiffres qui expriment une notation (p. ex. sur une chelle de six points) ou un
classement dopinions, de sentiments, de comptences et de connaissances. Vous pouvez recueillir
ce type de donnes quand vous vous servez dun questionnaire de sondage, dun formulaire
dvaluation, dun test (comme dun test des connaissances), ou de certains extrants de votre projet.
Une fois que vous avez termin votre analyse, les conclusions quantitatives les plus courantes
que vous examinez et que vous utilisez aux ns dinterprtation peuvent tre le total de chiffres, de
pourcentages, de frquences, de moyennes, de ratios, de classements, dordres.
36
Imagine Canada 2006
ANALYSER ET INTERPRTER LES DONNES
Donnes qualitatives
Les donnes qualitatives se prsentent sous forme de mots, de textes, dides, dhistoires
expliquant une situation. Vous recueillez gnralement ce type de donnes quand les participants
au projet dcrivent une situation dans leurs propres mots, peu importe si vous le faites au moyen
de conversations formelles ou informelles, dentrevues, ou de groupes de discussion. Vous pouvez
aussi utiliser des documents lis au projet comme des notes sur des observations directes, des
procs-verbaux de rencontres et des notes enregistres dans un journal de bord (voir le Tableau 1
pour des descriptions de ces outils et dautres exemples).
Vous pouvez prsenter les rsultats des analyses qualitatives sous plusieurs formes, comme
des catgories de thmes, de caractristiques, de tendances et de concepts, de listes de points
communs et de diffrences, de dnitions dapproches et dattitudes, et danecdotes appuyant
dautres rsultats.
Bien que ces deux types de donnes sanalysent sparment laide de diffrentes comptences,
techniques et de diffrents logiciels les rsultats peuvent tre combins lorsque vous interprtez
les rsultats et tirez vos conclusions. Par exemple, pour valuer un programme dalphabtisation,
(cest--dire faire une valuation des rsultats), vous pouvez recueillir des donnes quantitatives
sur les habilets des participants en notant, classant et chronomtrant les aptitudes la lecture au
dbut, au cours et la n du programme. Vous pouvez aussi recueillir des donnes qualitatives
en observant de temps en temps les comportements de lecture des participants et en prenant
des notes et en les interviewant sur leurs aptitudes et leur perception du processus la n du
programme. Ces deux sries de donnes doivent tre analyses sparment laide de techniques
diffrentes. Vous combinez ensuite les rsultats de vos analyses pour montrer comment le
programme a aid les participants accrotre leur capacit de lecture et dcriture et amliorer leur
comportement de lecture.
37
Guide dvaluation de projet
MODULE TROIS
Comment prparer les chiers de donnes pour les analyser
Voici quelques conseils pour prparer vos chiers de donnes :
1. Crez un chier de donnes pour chaque outil dvaluation que vous utilisez. Par
exemple, crez un chier pour les donnes de sondages et un autre pour celles
dentrevues.
2. Transcrivez toutes les donnes qui ont t enregistres sur cassettes. Dites bien aux
personnes qui font la transcription que vous avez besoin de voir le vocabulaire exact
quont utilis les rpondants; autrement dit, elles ne devraient ni interprter ni rsumer ce
quelles entendent.
3. Envisagez de vous servir dun logiciel danalyse des donnes. Pour faire une analyse
quantitative des donnes, il serait bon dutiliser un logiciel comme Microsoft Excel
ou SPSS (Statistical Package for the Social Sciences). Si vous avez beaucoup de
donnes qualitatives, il serait peut-tre aussi utile de vous servir dun outil assist par
ordinateur comme un logiciel danalyse qualitative des donnes assiste par ordinateur
ou CAQDAS (Computer Assisted Qualitative Data Analysis Software)13, comme NVivo et
Xsight. Pour en savoir plus sur les logiciels danalyse qualitative consultez le site
www.qsrinternational.com et le site http://socserv2.mcmaster.ca/w3virtsoclib/software.
htm (Virtual library of sociology software) de luniversit McMaster qui contient des listes
de logiciels danalyse qualitative et quantitative des donnes.
4. Entrez les donnes dans le logiciel danalyse. Si vous ne savez pas exactement
comment entrer des donnes, essayez de demander quelquun qui a de lexprience
dans ce domaine de vous aider, comme un bnvole ou un tudiant universitaire.
5. Classez vos donnes par catgorie et codez-les; cela vous aidera les voir dune faon
plus logique. Vous pouvez utiliser diffrentes stratgies pour classer vos donnes par
catgories et les coder. La faon la plus simple est de vous servir des mmes catgories
que celles dont vous vous servez pour votre outil dvaluation. Par exemple, si vous
ajoutez une question votre questionnaire demandant aux participants quel point ils
sont satisfaits de lanimateur ou du formateur, vous devriez avoir certaines catgories et
certains codes reprsentant le degr de satisfaction.
6. Vriez les chiers de donnes prpars, examinez le processus dentre des donnes,
et assurez-vous que toutes vos donnes ont t entres.
7. Reprez les donnes manquantes comme les questions laisses sans rponse. Il
faudrait codier diffremment les donnes manquantes et en faire le suivi dans le cadre
de votre analyse.
8. Crez des copies de secours de vos chiers de donnes et gardez-les en lieu sr.
13 Voir Barry, C. A. pour une analyse des avantages et des dsavantages de se servir dun logiciel danalyse qualitative des donnes.
38
Imagine Canada 2006
ANALYSER ET INTERPRTER LES DONNES
2. Assurez-vous que les totaux partiels des catgories correspondent bien au nombre
total de rponses. Par exemple, si vous recevez 535 rponses votre questionnaire de
sondage et que les rsultats indiquent 140 des rpondants taient gs de moins de
21 ans, 360 taient gs de 21 ou plus, et 45 nont pas rpondu la question sur lge,
le total de ces sous-groupes (545) ne correspond pas au nombre total des rpondants.
Cela veut dire quil y a 10 questions inexactes que vous devez vrier.
3. Si les rpondants ont saut certaines questions (voir lexemple donn lIllustration 6),
assurez-vous quils lont fait correctement et quils nont pas rpondu aux questions qui
ne les concernent pas. Par exemple, si une question ne concerne que les rpondants
maris, assurez-vous que les rponses des personnes qui ont rpondu non mari la
question sur ltat matrimonial ne feront pas partie de lanalyse.
4. Si les rpondants ont slectionn plus dune option alors quils ne devaient en choisir
quune seule, faites en sorte que ces rponses ne fassent pas partie de lanalyse. Ne
tenez pas compte non plus de toute autre rponse qui nest pas claire, qui est ambigu
ou qui nest pas raisonnable.
39
Guide dvaluation de projet
MODULE TROIS
Comment vrier lexactitude de vos donnes qualitatives
1. Assurez-vous que vos animateurs et vos interviewers suivent les instructions la lettre.
2. Assurez-vous que toutes les donnes sont entres.
3. Examinez bien les questions de lentrevue et assurez-vous quelles ne sont pas
orientes ou suggestives. Par exemple, ont-ils dit Que voulez-vous dire par l? et
a ma lair intressant, pouvez-vous men dire plus ce sujet? ou ont-il dit Y
croyez-vous vraiment? et Pouvez-vous me donner une meilleure rponse?
4. Pour les donnez transcrites, slectionnez au hasard une ou deux sances et
coutez lenregistrement. Assurez-vous que les transcriptions concordent avec
les enregistrements. Si les intervieweurs prennent des notes, comparez-les aux
transcriptions.
40
Imagine Canada 2006
ANALYSER ET INTERPRTER LES DONNES
Cette section porte sur lexprience que vous avez acquise dans des rles de leadership
officiels que vous occupez ou que vous avez occup. Par exemple vous pouvez avoir t
capitaine ou entraneur dune quipe, chef de guides ou de scouts, la tte du conseil de
votre cole, chef dun groupe religieux, cadet-officier, enseignant de musique ou de
danse, etc.
5. Veuillez dcrire les rles de leadership que vous occupez dans votre cole :
a.
b.
7. Veuillez dcrire les rles de leadership que vous occupez dans votre communaut :
a.
b.
8. Quest-ce qui, votre avis, attirerait plus de gens devenir leaders dans votre cole
ou votre communaut?
a.
b.
9. Comme vous occupez actuellement un rle de leadership, quelles sont les trois
choses dont vous auriez besoin pour faire de vous un meilleur leader ou pour
assumer plus de responsabilits dans votre rle de leader?
1.
2.
3.
10. Si vous ntes pas prsentement un leader, dsirez-vous le devenir? Oui Non
41
Guide dvaluation de projet
MODULE TROIS
4. Si vous pensez que les donnes doivent tre analyses plus fond (p. ex. croisement,
corrlation, coefcient, rgression), demandez laide de quelquun qui a lhabitude de
faire des analyses statistiques.
5. Dcidez, en demandant lavis de votre groupe dvaluation, si vous devriez inclure les
donnes manquantes dans votre analyse. Mme si elles sont gnralement exclues,
vous devriez rapporter leur pourcentage. Si le nombre de donnes manquantes pour une
question est relativement lev, dans votre interprtation vous ne devriez pas utiliser les
rsultats ou tre prudent quant leur validit. Comme rgle gnrale on peut dire que
lorsquil manque environ 10 % des rponses on peut exclure les donnes.
6. Passez en revue chaque question ou catgorie et crez une structure pour votre analyse
sappuyant sur les relations entre les catgories (cest--dire les variables) et sur leur
importance pour ce qui est de rpondre aux questions dvaluation ou de mesurer les
indicateurs. Par exemple, si vous avez besoin de savoir leffet que peut avoir le sexe des
rpondants sur les ractions un programme de formation en ce qui a trait aux notes
ou au niveau de satisfaction dans les tests des connaissances, vous devriez faire une
42
Imagine Canada 2006
ANALYSER ET INTERPRTER LES DONNES
analyse statistique supplmentaire comme un croisement de statistiques descriptives
pour dcrire les relations entre les variables.
8. Passez en revue les extrants du projet et reprez ceux qui peuvent appuyer ou contrer
les rsultats.
9. crivez les rsultats de vos analyses en faisant en sorte que les noncs aient un sens
logique.
3. Lisez tout en mme temps les donnes recueillies se rapportant aux questions et aux
indicateurs mis en vidence.
4. Classiez les donnes recueillies selon leur thme. Par exemple, recherchez des verbes
communs (comme des verbes daction ou affectifs) et organisez vos rponses autour de
ces verbes. Il vous faudra peut-tre rorganiser vos donnes ou les coder nouveau.
5. Trouvez des similarits entre les rponses de tous les participants (comme un sentiment
positif envers une situation). Vriez si les similarits identies peuvent rpondre aux
questions et indicateurs que vous avez mis en vidence et documentez-les.
43
Guide dvaluation de projet
MODULE TROIS
6. Identiez le degr de survenance de chaque similarit : lev (mentionn par de
nombreux rpondants), moyen (mentionn par quelques rpondants), ou faible
(mentionn par peu de rpondants). Il nest pas ncessaire de rapporter un nombre ou
un pourcentage prcis tant donn que lintensit, la noblesse et le caractre singulier
des points et des ides sont au cur des analyses qualitatives.
7. Tout comme vous lavez fait pour les similarits, trouvez les diffrences entre les
rponses de tous les participants, comme les sentiments positifs par rapport aux
sentiments ngatifs lgard dune situation. Vriez si les diffrences identies
peuvent rpondre aux questions dvaluation et aux indicateurs que vous avez mis en
vidence et documentez-les.
9. Cherchez des rponses, des incidents ou des histoires qui sortent de lordinaire et qui se
dmarquent dune faon ou dune autre ou qui prsentent un nouveau point de vue.
10. Prparez les rsultats de votre analyse en expliquant les questions dvaluation et
les indicateurs dun ct et les thmes et catgories, les caractristiques gnrales et
particulires des rponses, les similarits et les diffrences et les points de vue distinctifs
ou innovateurs de lautre ct.
11. Passez en revue les extrants du projet et reprez ceux qui peuvent appuyer ou contrer
les rsultats.
12. crivez les rsultats de vos analyses en faisant en sorte que les noncs aient un sens
logique.
Jusqu prsent, vous avez les rsultats danalyses qualitatives et quantitatives des donnes.
Vous avez peut-tre aussi des renseignements recueillis par dautres moyens comme de la
44
Imagine Canada 2006
ANALYSER ET INTERPRTER LES DONNES
documentation. An de pouvoir interprter les rsultats, vous devez regrouper ces lments
dinformation spars de telle faon pouvoir expliquer la russite, lchec, les ralisations, les
modications et le cheminement du projet vers ses objectifs. Vous devriez aussi avoir conscience
des constatations conrmatoires ou positives et contradictoires ou ngatives de mmes que celles
qui sont prvisibles et inattendues.
45
Guide dvaluation de projet
MODULE TROIS
ACHEVER C E M O D U L E
Vous devriez maintenant avoir toutes les constatations de vos travaux dvaluation.
Partagez-les avec votre groupe dvaluation et assurez-vous quelles sont claires et
pertinentes et que vous avez fait des analyses sufsantes des donnes. Soyez prt
rpter une partie de votre analyse aux ns de vrication ou den faire de nouvelles pour
enrichir davantage vos constatations.
46
Imagine Canada 2006
MODULE QUATRE
47
MODULE QUATRE
Les organismes de bienfaisance et sans but lucratif doivent communiquer les rsultats de leurs
valuations de projets leurs intervenants externes et internes. Ltude de 2004 de la Muttart
Foundation montre que les Canadiens et Canadiennes pensent quils ne sont pas sufsamment
informs sur la faon dont fonctionnent les uvres de bienfaisance ni sur la faon dont elles sont
surveilles. En communiquant les rsultats de vos valuations vous pouvez rpondre ces attentes
de vos groupes externes ce sujet en dmontrant la valeur des programmes et services de votre
organisme, en montrant aux Canadiens et Canadiennes votre crdibilit et votre transparence,
renforant ainsi la conance dont vous jouissez auprs du public.
Communiquer les rsultats de vos valuations linterne est tout aussi crucial car cela peut aider
votre organisme prendre des dcisions quant lavenir du projet en cours, attirer des fonds pour
dautres projets et faciliter la planication stratgique. Si vous ne communiquez pas les rsultats,
lvaluation nest quun gaspillage des ressources de votre organisme.
Vous devriez explorer diffrents moyens de communiquer les rsultats du projet dvaluation et
chercher des occasions de prsenter ces rsultats en totalit ou en partie. Voici quelques moyens
courants de communiquer les rsultats de votre projet dvaluation.
48
Imagine Canada 2006
COMMUNIQUER LES RSULTATS DE VOTRE VALUATION
LAnnexe 6 contient un modle pour vous aider transformer le plan dvaluation de projet que vous
avez prpar dans le Module un en un rapport dvaluation de projet. Ce format de rapport vise
initialement les bailleurs de fonds du projet. Pour remplir ce modle, vous devez vous servir de votre
plan dvaluation et comparer les activits, les extrants, les rsultats et dautres lments prvus dans
votre plan ceux qui se sont rellement produits ainsi quaux constatations de votre valuation.
Voici quelques conseils pour prparer un rapport dvaluation lintention de diffrents groupes viss.
49
Guide dvaluation de projet
MODULE QUATRE
Que contient un rapport dvaluation?
Vous pouvez inclure ces sections dans votre rapport :
Sommaire : Insrez un petit rsum du processus dvaluation et un plus long sur les
rsultats, les objectifs atteints, les enseignements tirs, les questions rpondues et les
besoins satisfaits. En tout cela ne devrait pas faire plus de deux pages.
Introduction : Prsentez le cadre gnral et les activits du projet et le but de lvaluation.
Mthodes et outils dvaluation : Expliquez le plan, la dmarche et les outils utiliss
pour recueillir linformation. Fournissez de la documentation lappui comme une copie
du plan dvaluation et les outils qui ont t mis au point.
Sommaire des rsultats : Prsentez les rsultats des analyses qualitatives et
quantitatives des donnes selon les explications fournies dans le Module trois.
Interprtation des rsultats : Expliquez linterprtation des rsultats y compris les
impacts sur les participants et le personnel, lefcacit des services, la durabilit des
activits du projet, les points forts et les points faibles du projet et les enseignements
tirs (voir le Module trois).
Lien avec les objectifs du projet : Mettez en vidence la valeur et les ralisations du
projet et les besoins et lacunes auxquels il doit rpondre.
Conclusions : Donnez une description densemble de la faon dont, (a) vous avez
atteint les objectifs du projet, (b) le but de lvaluation a t atteint, et (c) lvaluation du
projet a t ralise.
Recommandations : Rcapitulez les principaux points, faites des suggestions pour
lavenir du projet et crez un plan daction pour aller de lavant. Vous pouvez prsenter
les recommandations dans les parties suivantes :
Parlez de lutilit des rsultats pour votre organisme, et dautres encore, dans des
domaines comme la prise de dcisions, la planication et la gestion de projets.
Parlez des limitations du projet, de lassistance ncessaire et des ressources qui
peuvent rendre les valuations de projet lavenir plus crdibles et plus efcaces.
Dcrivez les changements que vous aimeriez apporter votre projet si ctait
refaire et les suggestions que vous proposez aux autres organismes qui
voudraient entreprendre un projet similaire.
50
Imagine Canada 2006
COMMUNIQUER LES RSULTATS DE VOTRE VALUATION
51
Guide dvaluation de projet
MODULE QUATRE
1. Prparez une trousse dinformation pour les mdias dans laquelle vous relatez les
valeurs, rsultats et impacts des travaux et qui convient pour les bulletins, sites Web
et communiqus de votre organisme ainsi que pour la presse locale et les sites Web
dautres organismes, etc.
2. Slectionnez les rsultats qui conviennent des groupes plus largis.
3. Rdigez les documents dans un style informatif, facile lire, facile utiliser.
4. vitez dutiliser des termes techniques. Au besoin, donnez de simples dnitions.
5. vitez demployer du jargon et des acronymes que seules utilisent habituellement les
personnes linterne.
6. Insrez des noncs clairs et ralisables pour chaque section de la trousse dinformation
pour les mdias.
7. numrez les principaux messages que vous voulez faire passer propos du projet et
de son valuation.
8. Prparez une page dinformation qui contient les principaux messages.
9. Faites en sorte que la trousse contienne de linformation intressante en faisant le lien
entre les rsultats et des vnements dactualit ou dautres sujets brlants dans le
secteur des organismes de bienfaisance et sans but lucratif, ou en prsentant un rcit
qui complte les rsultats.
52
Imagine Canada 2006
COMMUNIQUER LES RSULTATS DE VOTRE VALUATION
AC H E V E R C E M O D U L E
Vous devriez maintenant avoir des documents de communication (comme des rapports, des
prsentations, des trousses dinformation pour les mdias) diffuser et pour faire connatre
les rsultats de votre valuation et mieux faire comprendre votre projet et votre organisme.
Vous devez aussi faire attention au champ dapplication et linuence des rsultats
dvaluation et comment les rsultats et les recommandations quils contiennent peuvent
avoir un effet sur dautres projets ou fonctions de lorganisme sils sont mis en pratique.
Toutefois, en tant quvaluateur, veillez ce que les diffrents groupes viss par le projet
soient au courant des rsultats et savent comment les utiliser.
53
Guide dvaluation de projet
GLOSSAIRE
Coefcient de Nombre entre -1 et 1 qui exprime dans quelle mesure deux facteurs sont
corrlation : lis de faon linaire. Par exemple, si un facteur augmente ou diminue et
que lautre reste le mme, le coefcient de corrlation qui existe entre eux
est positif et lindice le plus lev est 1. Si lun diminue et lautre augmente
(ou vice versa), le coefcient de corrlation est ngatif et lindice le plus
lev est 1. Quand le coefcient de corrlation est 0, cela veut dire quil
nexiste aucune relation entre les deux facteurs.
valuation des value dans quelle mesure un programme ou des services touchent les
rsultats : participants ou un environnement selon des facteurs prcis (cest--dire
des variables). Les rsultats de ce type dvaluation font ressortir la fois
les rsultats dsirables et indsirables et si les besoins qui sont la raison
dtre du programme existent toujours. Lvaluation peut porter sur les
rsultats immdiats, court terme ou long terme ou une combinaison de
ceux-ci.
Indicateur : Signal qui rvle les progrs raliss (ou non) vers latteinte des objectifs;
un moyen de mesurer ce qui se produit effectivement par rapport ce qui a
t plani en termes de quantit, de qualit et dactualit des donnes.
54
Imagine Canada 2006
GLOSSAIRE
Outil dvaluation : Instrument ou mcanisme qui fournit des donnes sur la quantit ou la
qualit du projet valu. On peut galement lappeler une mesure.
Projet : Srie dactivits planies, relies entre elles, visant atteindre des buts
prcis dans des dlais prcis.
Questions Questions cls auxquelles vous devez rpondre pour mener bien une
dvaluation : partie du projet ou atteindre un objectif. Cest en posant et en rpondant
aux bonnes questions quune valuation de projet sera utile.
Responsabilit : Il sagit de la capacit de rendre des comptes pour des plans, des
promesses. tre responsable cest rpondre de ses actes et les expliquer.
Rsultats : Impacts ou changements pouvant tre attribus aux activits du projet (p.
ex. changements dans les connaissances et les attitudes des participants,
changements dans les conditions et les services de lorganisme). Les
rsultats sont habituellement progressifs et donc difciles observer ou
mesurer.
Sujet valu : Ce qui fait lobjet de lvaluation. Il peut sagir dun programme, dun projet,
dun personnel, de produits, de politiques, de propositions, de procdures,
etc.
55
Guide dvaluation de projet
DOCUMENTS DE RFRENCE ET LECTURES CONSEILLES
Alkin, M. (1972). Accountability dened. Evaluation Comment: Journal of Educational
Evaluation, 3, 1-5.
Babbie, E., & Benaquisto, L. (2002). Fundamentals of social research (1st Canadian ed.).
Scarborough, ON: Thomson-Nelson.
Barry, C. A. (1998). Choosing qualitative data analysis software: Atlas/ti and Nudist Compared.
Sociological Research Online, 3, 3. http://www.socresonline.org.uk/3/3/4.html.
Bond, S., Boyd, S., Rapp, K., Raphael, J., & Sizemore, B. (1997). Taking stock: A practical
guide to evaluating your own programs. Chapel Hill, NC: Horizon Research.
Bradbeer, J. (1999). Evaluation. FDTL Technical Report no. 8. Portsmouth, England: University
of Portsmouth.
Centers for Disease Control and Prevention (CDC). (1999). Framework for program evaluation
in public health. www.cdc.gov/eval/framework.htm.
Dehar, M. (1993). Formative and process evaluation of health promotion and disease
prevention programs. Evaluation Review, 17, 04-20.
Eng, T., Gustafson, D., Henderson, J., Jimison, H., & Patrick, K. (1999). Introduction to
evaluation of interactive health communication applications. American Journal of Preventive
Medicine, 16, 10-15.
Evaluation Ethics. Action & Research Open Web. Retrieved from University of Sydney,
Australia, Web site: www2.fhs.usyd.edu.au/arow/o/m06/evalethics.htm.
Grove, J. T, Kibel, B. M., & Haas, T. (2005). EvaluLead: A guide for shaping and evaluating
leadership development programs. Oakland, CA: Public Health Institute.
56
Imagine Canada 2006
DOCUMENTS DE RFRENCE ET LECTURES CONSEILLES
Hall, M., Phillips, S., Meillat, C. & Pickering, D. (2003). Assessing performance: Evaluation
practices & perspectives in Canadas voluntary sector. Toronto, ON: Canadian Centre for
Philanthropy (currently Imagine Canada).
Joint Committee on Standards for Educational Evaluation. (1994). The program evaluation
standards. (2nd ed.). Thousand Oaks, CA: Sage.
Monitoring and evaluation glossary. Retrieved from the UNDP Project, Tracking Human
Development Progress Web site: http://thdp.undp.kg/megloss.html.
Murray, V. (2004). Types of evaluation: Choosing the right one for you. Retrieved from the
Voluntary Sector Evaluation Research Project Web site: http://www.vserp.ca/pub/CarletonTY
PESOFEVALUATION.pdf.
The Muttart Foundation. (2004). Talking about charities: Canadians opinions on charities and
issues affecting charities. Edmonton, AB: Author.
Patton, M. (2006). Evaluation for the way we work. The Nonprot Quarterly, 13, 1, 28-33.
Patton, M. (2002). Qualitative research and evaluation. (3rd ed.). Thousand Oaks, CA: Sage.
Porteous, N., Sheldrick, B., & Stewart, P.J. (1997). Program evaluation tool kit: A blueprint for
public health management. Public Health Research, Education and Development Program.
Ottawa-Carlton Health Department, Canada.
Qualitative social science research methodology. (2006). Retrieved from North Carolina
Wesleyan College Web site: http://faculty.ncwc.edu/toconnor/308/308lect09.htm.
Rossi, P. H., & Freeman, H. E. (1993). Evaluation: A systematic approach. (5th ed.). Thousand
Oaks, CA: Sage.
Salkind, N. J. (2000). Exploring research. (4th ed.). Upper Saddle River, NJ: Prentice Hall.
57
Guide dvaluation de projet
DOCUMENTS DE RFRENCE ET LECTURES CONSEILLES
Scriven, M. (1991). Evaluation thesaurus. (4th ed.). Newbury Park, CA: Sage.
The Urban Institute. (2004). Analyzing Outcome Information: Getting the most from data.
Washington, D.C.: Author.
United Way of America. (1999). Achieving and measuring community outcomes: Challenges,
issues, some approaches.
Virtual library: Sociology software. Retrieved from McMaster Universitys Faculty of Social
Sciences Web site: http://socserv2.mcmaster.ca/w3virtsoclib/software.htm
58
Imagine Canada 2006
59
Outils dvaluation
Total partiel $
Total $
60
Imagine Canada 2006
ANNEXE 3 :
MODLE POUR LE PLAN DVALUATION
Buts du projet
Les buts sont des noncs gnraux des rsultats quun projet se propose
datteindre. Ils servent de guide et dorientation aux membres du personnel et leur
permettent de centrer leur attention dans la mme direction.
Par exemple, les buts de lInitiative canadienne sur le bnvolat (ICB) sont :
encourager les Canadiens sengager titre de bnvoles au sein
dorganismes;
amliorer la capacit des organismes recruter des bnvoles, et
rehausser lexprience bnvole.
2.
Objectifs du projet
Selon lchancier que vous vous tes donn, quels sont les objectifs que vous souhaitez atteindre?
1.
2.
3.
61 4.
Les intervenants sont les individus et les organismes qui ont un intrt dvolu dans
votre projet. On y compte les individus et les organismes qui prennent des dcisions,
participent au projet ou ceux qui sont viss par les activits lies au projet.
Par exemple, Bnvoles Canada et Imagine Canada sont des collaborateurs de lICB,
comme le sont certains autres organismes bnvoles canadiens qui seront viss par
les activits offertes dans le cadre de lICB.
B : Prcisez les intervenants qui ont besoin de tirer de linformation de cette valuation et qui verront
les rsultats :
62
Imagine Canada 2006
MODLE POUR LE PLAN DVALUATION
Rsultats du projet
Les rsultats sont les changements ou les avantages quentrane un projet pour les
participants ou les autres intervenants au cours ou la n du projet en raison de leur
engagement dans votre projet. Ces rsultats peuvent suivre une certaine progression :
les rsultats immdiats (ou court terme), les rsultats intermdiaires et les rsultats
dnitifs (ou long terme).
2. Quels rsultats prvoyez-vous atteindre dici trois mois six mois aprs la n de votre projet et
qui peuvent encore tre attribus aux activits du projet (rsultats intermdiaires)?
63
Guide dvaluation de projet
64
ANNEXE 3
Nombre dvnements
Date(s)
Commencement
Fin
Lieu(x)
Participants
Segment de la
population vise
Fourchette dge
Sexe
Autres caractristiques (p.
ex. scolarit, statut social,
conomique, origine ethnique)
Extrants
Personnel
Dure
Budget
Modications
Commentaires
65
Guide dvaluation de projet
ANNEXE 4
Outil de suivi : Registre de suivi des contacts pour les demandes de renseignements
sur le projet
Degr de
Nom du Contenu de la
Date de la Format de la satisfaction
membre du Poste rponse
rponse rponse avec la
personnel (Sommaire)
rponse
66
Imagine Canada 2006
ANNEXE 5 : FICHES-CONSEILS SUR
LES MTHODES ET OUTILS DE RECHERCHE
Groupes de discussion
67
Guide dvaluation de projet
ANNEXE 5
Les tapes pour tenir un groupe de discussion
Avant la sance :
1. Dnissez vos objectifs. Dterminez ce que vous voulez raliser et assurez-vous quun
groupe de discussion est le bon moyen datteindre vos objectifs.
2. Choisissez un animateur. Voyez bien ce que la personne ait les comptences voulues
pour coordonner la discussion (p. ex. quelle soit capable de donner tous les participants
la chance dexprimer leur opinion et de matriser les personnes qui ont une forte
personnalit et qui pourraient vouloir inuencer lopinion des autres); elle doit savoir couter
et comprendre le but de ltude.
4. Testez les questions avant de les naliser. Elles doivent permettre dobtenir assez
de renseignements sans attirer des discussions ennuyeuses. Vous pouvez tester vos
questions auprs de vos collgues, du comit consultatif du projet ou dautres personnes
qui ont un intrt dans le projet)
8. Trouvez un endroit qui convient comme une salle de confrence ou un bureau priv.
9. Crez un guide de discussion il comprend les grandes lignes des sujets de discussion,
des questions et des sous-questions. Faites en sorte que lanimateur puisse le suivre
facilement et indiquez combien de temps doit tre consacr chaque sujet.
11. Dsignez une personne pour prendre des notes. demandez quelquun de votre quipe
de recherche de prendre des notes pour renforcer les enregistrements vidos/audios. Si la
prise de notes est le seul moyen davoir un enregistrement des sances veillez ce que la
personne qui en est charge soit prte et en mesure de prendre des notes dtailles. 68
Imagine Canada 2006
FICHES-CONSEILS SUR LES MTHODES ET OUTILS DE RECHERCHE
Pendant la sance :
1. Expliquez le but. Pourquoi tenez-vous ce groupe de discussion?
3. Faites un exercice de mise en train pour le groupe. p. ex. Distribuez des tiquettes
porte-nom et jouez un jeu de noms.
4. Passez de sujets gnraux des sujets prcis. Commencez avec une question trs
gnrale pour inciter les gens sengager dans le dialogue puis passez des questions
plus dtailles.
6. Clturez la sance par une revue des principales ides et demandez des conrmations
ou si les participants ont des choses ajouter.
Aprs la sance :
1. Rcapitulez vos donnes. Rservez du temps entre les sances pour rcapituler ce
que vous avez appris.
2. Transcrivez vos donnes. Tapez tous les dialogues. Si cela est possible, demandez
un transcripteur dexprience de le faire.
3. Soyez prt analyser vos donnes. Apprenez analyser la qualit de vos donnes (p.
ex. coder, catgoriser, comparer et contraster les rponses) (voir ci-aprs les ressources
pour lanalyse qualitative).
69
Guide dvaluation de projet
ANNEXE 5
Liste de planication dun groupe de discussion :
Avez-vous tabli des objectifs bien dnis pour tenir votre groupe de discussion?
Avez-vous prpar les questions pour le groupe et un guide pour orienter les
discussions?
Kitzinger, J. (1995). Qualitative Research: Introducing focus groups. British Medical Journal (BMJ),
311:299-302. bmj.bmjjournals.com/cgi/content/full/311/7000/299
Denzin NK & Lincoln YS. (2000). Handbook of qualitative research. 2nd ed. Thousand Oaks: Sage
Publications, Inc., 2000.
Dveloppement des ressources humaines Canada (1999). Les outils dvaluation : Groupes de
discussion. valuation et dveloppement des donnes, politique stratgique. Hull, Qubec, Canada. 70
Imagine Canada 2006
FICHES-CONSEILS SUR LES MTHODES ET OUTILS DE RECHERCHE
Concevoir un questionnaire
Les questions ou postes ouverts demandent aux personnes sondes de rpondre dans leurs
propres mots. Par exemple : Pourquoi faites-vous du bnvolat? . Les renseignements obtenus
en posant des questions ouvertes sont qualitatifs et demandent une analyse qualitative comme
catgoriser, coder et chercher des similitudes et des thmes. Certaines donnes qualitatives
peuvent tre codes puis analyses comme des donnes quantitatives.
Les questions ou postes ferms demandent aux personnes sondes de choisir une rponse dans
une liste qui leur est soumise. Par exemple : Quelle est la principale raison parmi celles indiques
pour laquelle vous faites du bnvolat? Les questions fermes permettent dobtenir des donnes
quantitatives qui peuvent tre analyses laide dun logiciel comme Excel ou SPSS. Les rponses
aux questions fermes peuvent prendre beaucoup de formats diffrents (voir les exemples ci-
dessous).
71
Guide dvaluation de projet
ANNEXE 5
Rponses dichotomiques :
Combien de personnes ont fait du bnvolat pour votre organisation au cours des 12 derniers
mois?
Aucune
1 24
25 74
75 199
200 ou plus
chelle de mesure :
72
Imagine Canada 2006
FICHES-CONSEILS SUR LES MTHODES ET OUTILS DE RECHERCHE
Formulation et ordre des postes
Les postes du questionnaire devraient
tre faciles lire et comprendre,
Chercher obtenir un seul renseignement,
Avoir un rapport avec le sujet du questionnaire,
Demander des renseignements que les personnes sondes peuvent donner avec une
certaine exactitude, et
tre libres de toute biais et viter de suggrer une rponse particulire aux personnes
sondes (p. ex. mentionner les ides dune personne inuente ou faire rfrence une
agence prestigieuse peut biaiser les rponses).
Les questionnaires devraient tre organiss de telle sorte que les postes sont agencs dans une
squence logique et les quelques premiers postes sont intressants, faciles rpondre et pas
particulirement personnels ou sensibles.
Avez-vous cern des sujets pour lesquels il faut un questionnaire an de recueillir des
renseignements?
Vous servez-vous des bonnes chelles de mesure pour les postes ferms?
Il existe plusieurs techniques dchantillonnage. En voici quelques-unes parmi les plus courantes :
1. chantillonnage au hasard : Les participants sont slectionns selon des rgles
alatoires, non systmatiques. Ainsi, chaque membre de la population concerne a une
chance gale dtre slectionn pour lchantillon.
4. Sondage en boule de neige : Cette technique peut tre utilise conjointement avec
un chantillonnage au hasard ou un chantillonnage de commodit. On demande
75 aux personnes qui ont dj particip au sondage didentier dautres participants
Il existe des calculateurs en ligne qui peuvent calculer les tailles dchantillons. Voir, par exemple,
les sites http://calculators.stat.ucla.edu/sampsize.php; http://www.surveysystem.com/sscalc.htm et
http://www.surveysystem.com/sscalc.htm.
Les sondages par entrevues peuvent se faire en personne ou par tlphone. Les entrevues peuvent
permettre dobtenir des renseignements plus profonds et plus complets; leur taux de rponse
est habituellement plus lev que celui des sondages que les gens doivent remplir eux-mmes.
Toutefois, ils doivent tre faits par un interviewer comptent et ils exigent un budget plus important et
prennent plus de temps achever.
76
Imagine Canada 2006
FICHES-CONSEILS SUR LES MTHODES ET OUTILS DE RECHERCHE
Les sondages auto-administrs peuvent tre distribus par la poste ou par courriel, ils peuvent tre
publis en ligne, ou distribus un groupe de personnes sondes (en runion). Cette mthode
convient si vos questions sont simples et(ou) sil est important de prserver la vie prive des
participants. Les sondages auto-administrs cotent moins cher que ceux mens par entrevue; ils
prennent aussi moins de temps faire. Par contre, il peut tre difcile damener les gens remplir
de tels sondages.
6. Concevoir un questionnaire qui convient pour la population vise et le tester (Voir notre
che-conseil Concevoir un questionnaire pour plus de dtails.
2. Dcider comment vous voulez analyser les donnes (p. ex., Excel ou SPSS pour les
donnes quantitatives; N6 ou NVivo pour les donnes qualitatives) et crer un modle
en consquence.
3. Organiser les rsultats en les insrant dans des tableaux et des graphiques.
77
Guide dvaluation de projet
ANNEXE 5
Liste de contrle pour un sondage
Avez-vous choisi les mthodes qui conviennent pour recueillir et analyser les donnes?
Types dentrevues
Les entrevues peuvent tre conues diffremment selon les besoins auxquels elles doivent rpondre
et linformation que lon veut obtenir. Elles peuvent tre groupes en trois types :
1. Les entrevues structures : Dans une entrevue structure, lintervieweur pose une
srie de questions standards prdtermines sur des sujets particuliers, dans un ordre
prcis. Les rpondants doivent slectionner leurs rponses dans une liste doptions.
Lintervieweur peut clarier certaines questions.
79
Guide dvaluation de projet
ANNEXE 5
Les entrevues semi-structures sont utiles lorsquil sagit de recueillir des
renseignements dtaills de manire systmatique auprs dun certain nombre de
rpondants ou dinterviews (comme des enseignants, des leaders communautaires).
Ce type dentrevue prend habituellement plus de temps quune entrevue structure. Elle
peut servir obtenir des donnes la fois quantitatives et qualitatives.
3. Les entrevues non structures : Dans une entrevue non structure, lintervieweur ne
suit aucune orientation prcise; il ny a pas de restrictions, de questions prdtermines
ou de listes doptions. Lintervieweur pose quelques questions trs gnrales pour lancer
le rpondant dans une discussion libre, informelle et spontane. Lintervieweur pose
dautres questions dapprofondissement et(ou) explore les contradictions an de recueillir
des renseignements plus dtaills sur le sujet.
Les entrevues non structures sont particulirement utiles pour obtenir des faits sur
les expriences vcues par les rpondants ou lorsquil existe trs peu dinformation
sur un sujet. Les entrevues non structures sont celles qui prennent le plus de temps
et demandent le plus dhabilet de la part des intervieweurs. Ces entrevues peuvent
permettre de tirer des donnes qualitatives dtailles auprs de plusieurs rpondants
cls dans un domaine prcis. La richesse des donnes obtenues dpend toutefois de
lhabilet de lintervieweur.
Avant lentrevue
1. Dnir vos objectifs. dressez une liste de ce que vous voulez raliser et de
linformation que vous avez besoin de recueillir. Assurez-vous quune entrevue est le bon
moyen de rpondre vos objectifs.
2. Choisir le type dentrevue. Examinez linformation dont vous avez besoin, votre budget,
vos dlais et les rpondants potentiels, puis dcidez du genre dentrevue qui conviendra
le mieux : structure, semi-structure ou non structure.
3. Choisir les bons rpondants. Selon le type dentrevue, dcidez des caractristiques
des interviews et du nombre dentrevues requises.
4. Dcider de la faon de mener les entrevues. Considrez les entrevues par tlphone
ou en personne. Pour les sondages de grande envergure considrez des entrevues
assistes par ordinateur et par enregistrement.
6. Dcider de la faon denregistrer les entrevues. Selon le type dentrevue, vous pouvez
remplir un formulaire prformat, vous servir de notes, dun enregistreur, ou dappareils
assists par ordinateur.
7. Faire une liste de questions et les tester auprs dun chantillon de rpondants.Les
questions doivent tre compatibles avec le type dentrevue. Si vous menez des entrevues
structures, consultez nos ches-conseils Concevoir un questionnaire et Mthodes
de recherche par sondages pour dautres dtails.
8. Dcider des personnes qui mneront les entrevues. Constituez une trousse
dinformation comprenant une introduction sur le sujet de la recherche et des directives.
Si vous optez pour des entrevues non structures, il serait bon de recruter des
intervieweurs spcialiss.
Pendant lentrevue
1. Prsentez-vous et entamez une conversation sur un ton amical tout en restant
professionnel.
2. Expliquez le but de votre projet, limportance de leur participation et le temps que devrait
durer lentrevue.
3. Soyez prt changer le moment de lentrevue sil ne convient pas un rpondant.
4. Expliquez le format de lentrevue.
5. Dites aux rpondants comment lentrevue sera enregistre et comment sera utilise
linformation recueillie Dans la mesure du possible obtenez leur consentement crit
participer.
6. Demandez aux rpondants sils ont des questions.
7. Contrlez votre ton de voix et votre langage restez le plus neutre possible quand vous
posez ou approfondissez des questions.
8. Restez concentr sur le sujet de lenqute et achevez lentrevue dans les dlais convenus.
9. Veillez ce que lenregistrement se passe bien sans distraction pour le rpondant,
vriez vos notes et lenregistreur vocal rgulirement.
10. Terminez la sance. Assurez-vous que toutes les questions ont t poses, expliquez
nouveau comment nous utiliserons les donnes, remerciez les rpondants et demandez-
leur sils ont des questions.
81
Guide dvaluation de projet
ANNEXE 5
Aprs lentrevue
1. Vriez que lentrevue a t enregistre comme il se doit. Prenez des notes
supplmentaires au besoin.
2. Organisez les rponses lentrevue. Les rponses des entrevues non structures
et semi-structures doivent tre transcrites. Les rponses des entrevues structures
doivent tre entres dans un programme danalyse de donnes.
Avez-vous dgag les questions de recherche qui pourront tre abordes adquatement
au moyen dentrevues?
Avez-vous dcid du cadre dans lequel se drouleront les entrevues et comment les
rponses seront enregistres?
Crawford, I.M. (1997). Marketing Research and Information Systems, Organisation des Nations Unies
pour lalimentation et lagriculture, http://www.fao.org/docrep/W3241E/w3241e06.htm#types%20of%20per
sonal%20interview
McNamara, C. (1999). General Guidelines for Conducting Interviews, Authenticity Consulting, LLC,
www.managementhelp.org/evaluatn/intrview.htm 82
Imagine Canada 2006
ANNEXE 6 :
MODLE DE RAPPORT DVALUATION
Veuillez passer en revue les sections correspondant au plan dvaluation du projet et soumettre les
mmes noncs ou toute modication apporte au cours du projet.
1) But(s) du projet
2) Objectifs du projet
83
Guide dvaluation de projet
ANNEXE 6
14 Les extrants sont les produits qui dcoulent directement des activits lies au projet (p. ex. nombre dateliers tenus, nombre de bnvoles engags).
84
Imagine Canada 2006
MODLE DE RAPPORT DVALUATION
4) Rsultats du projet
Veuillez dresser la liste des rsultats positives prvus et inattendus de ce projet.
Veuillez indiquer les rsultats qui sont raliss et ceux que vous pensiez pouvoir tre
raliss dans les six mois venir15.
15 Les rsultats sont les changements que les participants ou autre intervenants peuvent en tirer la suite de leur participation dans votre projet. Ces
changements peuvent tre comportementals ou organisationnels. Les rsultats de court terme se produisent souvent graduellement mais certains
85 peuvent avoir lieu en cours de projet. Les rsultats intermdiares se produisent aussitt aprs la n du projet.
5) Rsultats de lvaluation
Indiquez les rsultats que vous avez obtenus partir des indicateurs et de la collecte
de donnes sur lvaluation au moyen des outils dvaluation.
Outil :
86
Imagine Canada 2006
MODLE DE RAPPORT DVALUATION
Question dvaluation :
Rponse :
Question dvaluation :
Rponse :
87
Guide dvaluation de projet
ANNEXE 6
7) Conclusions
Dcrivez, dans lensemble, (a) comment vous avez atteint les objectifs; (b) comment
les buts de lvaluation ont t raliss et (c) comment sest droule lvaluation.
88
Imagine Canada 2006
MODLE DE RAPPORT DVALUATION
8) Recommandations
Veuillez dcrire (a) les aspects pratiques de votre valuation et comment les rsultats
peuvent servir (b) les changements que vous apporteriez votre projet si ctait
refaire et (c) les suggestions que vous avez faire dautres organismes qui
pourraient vouloir entreprendre un projet similaire.
89
Guide dvaluation de projet
Imagine Canada
425, avenue University, bureau 900
Toronto, Ontario M5G 1T6
Tlphone : (416) 597-2293
Numro sans frais : 1-800-263-1178
www.imaginecanada.ca