Faut-il rvaluer lvaluation?

Jacqueline Linard*

La pratique valuative deviendra effective lorsque les incantations rptes se substitueront des ralisations effectives permettant un apprentissage tant mthodologique que pratique lensemble des acteurs associs la conduite de laction publique.1 Depuis quelques dcennies, notre socit est prise dune frnsie valuative. Lvaluation simpose dans toutes les sphres conomiques, politiques et sociales. A lcole comme au travail, dans les organisations publiques et prives, dans les agences de dveloppement, au Nord comme au Sud, lvaluation se fait de plus en plus pressante. Les politiques publiques nchappent pas cette rgle. Limpact de la rcession se faisant ressentir dans le portefeuille de chaque contribuable, linterrogation sur la lgitimit des dpenses publiques va croissante. Dans un contexte de crise conomique, lvaluation des individus ou
1. Citation de larticle de Steve Jacob, Linstitutionnalisation de lvaluation des politiques publiques en Belgique: entre balbutiements et incantations (http://bit.ly/19SUCCO).

de laction publique se justifie de plus en plus pour des raisons de rentabilit. Il sagit alors de mesurer le rapport entre le cot et le bnfice, entre la dpense et le rsultat obtenu ou prvu.

Lobsession de lvaluation
Les politiques daide au dveloppement, dont les citoyens du Nord ne voient que peu de bnfice pour leur propre situation, sont particulirement soumises cette pression. Ces dernires annes, lagenda de la coopration au dveloppement a accord de plus en plus dattention et dimportance la responsabilit de rendre des comptes aux citoyens. Ainsi, lors du 4me Forum de haut niveau sur lefficacit de laide qui sest tenu Busan (Core du Sud) en 2011, des reprsentants de gouvernements des pays donateurs et partenaires, dorganisations multilatrales, dorganisations de la socit civile, dconomies mergentes et du secteur priv, de mme que des parlementaires, se sont mis daccord sur la ncessit de recentrer le programme daction pour le dve-

Echos du COTA, Et de lEfficacit, Aot 2013

Photo : neoluck Matrice tire de la runion KM4dev2008

loppement sur les rsultats, en mettant davantage laccent sur le rendement rel par rapport aux rsultats de dveloppement escompts ou aux rsultats long terme, et non pas seulement sur les intrants et les extrants2. Un cercle vertueux est ainsi tabli (ou suppos) entre redevabilit et efficacit de laide. Dans ce cadre, la fonction principale de lvaluation devient celle de rendre (des) compte(s) et de justifier le bon usage des deniers publics ( value for money).

interventions de dveloppement. Andr Natsios, ancien collaborateur de USAID, voit dans lobsession de la redevabilit financire un trouble obsessionnel de la mesure (obsessive measurement disorder)6. Natsios critique un systme daide - quil qualifie de contrebureaucratique - au sein duquel les rgles et les exigences de rapportage creraient des incitants pervers qui nuiraient linnovation et la crativit. Lobsession de la redevabilit financire et comptable risque ainsi de pervertir lensemble des procdures, au dtriment du contenu et de limpact long terme. Selon Natsios, elle peut mme conduire de nombreuses agences daide concentrer leurs efforts sur la mise en place des activits et la production dextrants (outputs) quantifiables court terme et donc plus facilement mesurables. Par la mme occasion, ces agences limitent leur responsabilit une obligation de moyens. Le systme de suivi dvaluation est alors de fait ax sur les activits et les outputs.

Lvaluation dvalue
Considre sous cet angle, lvaluation se distingue peu de laudit financier ou de la mesure de la performance. Il nest pas tonnant ds lors quelle fasse lobjet de nombreuses rsistances et critiques. Certains auteurs3 la stigmatisent comme un instrument au service de la pense unique, elle-mme dtermine par lconomie ultra-librale. Lvaluation est alors perue comme participant une logique normative qui vise faire de la performance et de lefficacit les principes suprmes de lactivit. Daucuns vont jusqu parler de la tyrannie de lvaluation4. Au nom de la rtribution au mrite, ces types dvaluation risquent de dnier les comptences vritables et dengendrer un climat dltre de concurrence et de sauve-qui-peut. Dans le domaine de la coopration au dveloppement, certaines organisations de la socit civile5 regrettent que la mise en place par les bailleurs de fonds de mcanismes de suivi et dvaluation, dans un souci justifi de transparence et de redevabilit, aboutissent en fait leffet inverse en diminuant lefficacit relle des
2. http://www.oecd.org/fr/cad/efficacite/quatriemeforumdehautniveausurlefficacitedelaide.htm 3. Nolibralisme : de la rationalit globale la transversalit des rsistances, par Christian Laval. 4. Anglique Del Rey, La tyrannie de lvaluation, Paris, La Dcouverte, coll. Cahiers libres , 2013. 5. Lefficacit des projets de dveloppement et les procdures des bailleurs (06/02/2013) - par Coordination Sud: http://www. diplomatie.gouv.fr/fr/politique-etrangere-de-la-france/aide-audeveloppement-et/assises-du-developpement-et-de-la/lescinq-grands-chantiers/comment-assurer-une-aide/contributions-21811/article/l-efficacite-des-projets-de dveloppement

Rvaluer lvaluation
En ralit, ces auteurs sous-estiment une dimension tout aussi importante de lvaluation: celle de lapprentissage. Lautovaluation, lvaluation dune intervention en cours, lvaluation ex ante ou ex post, peuvent contribuer amliorer les pratiques et les prises de dcisions. Pour ce faire, lvaluation ne doit pas tre motive uniquement par des obligations lgales ou utilise comme un instrument rigide de contrle des dpenses. Porter un regard critique sur laction et surtout sur ses effets et rsultats permet de la modifier. On peut difficilement voluer sans prendre conscience de ses succs et/ou de ses checs. Idalement les deux fonctions de lvaluation, sommative et formative, ne sont pas incompatibles. Rendre compte des rsultats peut galement alimenter les processus de prise de dcisions. Pour peu que les acteurs concerns soient prt se remettre en cause. Pour Michael Patton, lvaluation doit tre
6. http://devpolicy.org/usaid-obsessive-measurement-disorder/

Echos du COTA, Et de lEfficacit, Aot 2013

conue et applique de faon contribuer effectivement lamlioration des programmes et des dcisions. Lauteur met en avant la ncessit daxer chaque tape de lvaluation vers son utilisation, didentifier prcisment les principaux utilisateurs de manire officielle. De plus, il souligne lutilit du processus dvaluation luimme, notamment dans le contexte dune valuation participative. Le principe de base, cest lutilisation de lvaluation, cest pourquoi lauteur a baptis son approche dvaluation axe sur lutilisation7. Pour que le processus valuatif soit utile, il doit reflter une culture de lvaluation et faire partie dun cercle vertueux plus large qui englobe le suivi, lvaluation, la prise de dcision et la mise en uvre. Le suivi et lvaluation peuvent et doivent tre manifestes pendant tout le cycle de vie dun projet, dun programme ou dune politique, tout comme lorsquils prennent fin. Le suivi et lvaluation avec sa succession ininterrompue de donnes et de ractions a enrichi chacune des tapes, de la conception la mise en uvre et limpact 8. Lvaluation dpasse largement le contrle des dpenses et lexamen de la mise en uvre des activits au profit de latteinte des rsultats. En posant des questions plus complexes, lvaluation permet de porter une rflexion critique, non seulement sur lefficacit et lefficience dune intervention ou dune stratgie, mais galement sur sa pertinence, en interpellant le contexte et les acteurs. On ne sinterroge plus simplement sur le Combien et le Comment mais aussi sur le Et alors? et le Pourquoi?.

politiques? Cet article ne peut pas se prononcer pour lensemble des acteurs de la coopration belge mais uniquement pour le Service public fdral belge Affaires trangres, Commerce extrieur et Coopration au dveloppement (SPF AE) dont le service de lEvaluateur Spcial constitue une entit indpendante. En 2010, un examen par les pairs de la fonction dvaluation du SPF AE concluait que les critres dutilit de la fonction dvaluation ne sont que partiellement rencontrs, du fait de la faiblesse de la culture dvaluation au sein et en dehors du Service public fdral Affaires trangres, Commerce extrieur et Coopration au dveloppement9. Les valuations produites par les deux services sont sous-utilises au niveau de llaboration des politiques, du dveloppement des stratgies et du processus dcisionnel oprationnel. La contribution des valuations lapprentissage interne est limite du fait de labsence dune stratgie commune de gestion des connaissances bien dfinie.10 En fvrier 2010, un Arrt Royal consacre la cration du Service de lEvaluation spcial en y intgrant le service de lvaluation de la Direction de la coopration au dveloppement (DGD) du SPF AE. Lobjectif avou est de raliser des conomies dchelle en fusionnant les deux quipes tout en renforant le travail dvaluation au sein du SPF AE. Force est de constater que cet objectif na pas t atteint. La fonction dvaluation est toujours sous-value et sous-utilise au sein de la DGD. Lvaluation du rapportage des rsultats de la DGD constate que le processus valuatif joue un rle limit dans le rapportage sur les rsultats dans la mesure o depuis 2010 les directions de la DGD nont plus la responsabilit ni la capacit dorganiser des valuations. Les partenaires de mise en uvre ralisent eux-mmes des valua9. Larticle de Dominique de Crombrugghe Les examens par les pairs du CAD-OCDE, publi dans les ECHOS du COTA de mars 2013 (n138), aborde aussi les conclusions de cet examen. 10. http://www.oecd.org/derec/netherlands/44920026.pdf

Lvaluation sous-value?
Quen est-il en Belgique? La coopration belge utilise-t-elle les recommandations de ses valuations pour mieux faire? Les valuations sont elles valorises et utilises par les dcideurs
7. Utilization-focused evaluation. Michael Patton. http://www. pol.ulaval.ca/perfeval/upload/publication_195.pdf 8. Vers une culture du rsultat. Dix tapes pour mettre en place un systme de suivi et dvaluation ax sur les rsultats. Jody Zal Ray C. Kusek et Rist, 2001.

Echos du COTA, Et de lEfficacit, Aot 2013

tions, mais la communication la DGD des informations relatives ces valuations et le volume dinformations pouvant tre effectivement traites par la DGD, sont limits. Une mta-valuation des programmes des acteurs non gouvernementaux finalise en mai 201311 par ADE pour le compte de lEvaluateur spcial, confirme ce constat. Ltude dmontre une absence de politique dvaluation au sein de la DGD fixant des objectifs, dfinissant des modalits et prvoyant les ressources ncessaires. La responsabilit de lvaluation est dlgue aux acteurs non gouvernementaux euxmmes. La DGD na ds lors que peu pu utiliser le potentiel de lvaluation pour ses propres besoins, que ce soit pour rendre compte des rsultats auprs des contribuables et des destinataires, pour aider sa prise de dcision, ou pour capitaliser et partager les leons tires des programmes. Elle ne disposait par exemple pas dune part significative des valuations, suite au fait que le cadre rglementaire ne prvoyait pas que les ANG dussent les lui transmettre.12

tion et que le recours cette pratique demeure exceptionnel malgr le fait que la rhtorique politique mobilise souvent le concept. Pour expliquer ce dveloppement tardif en Belgique, Steve Jacob se concentre sur trois caractristiques du systme politico administratif belge : la domination de la particratie, la faiblesse du parlement vis--vis de lexcutif ainsi que la fragmentation et la faible autonomie de ladministration. La conclusion finale de larticle nous semble toujours dactualit. Sur la base des exemples observs, nous constatons que lvaluation privilgie les finalits de contrle plutt que celles dapprentissage et damlioration des politiques publiques. Dans ce contexte, il est normal que les acteurs de mise en uvre prouvent une certaine apprhension lgard de cet instrument dautant plus que, pour certains dentre eux, il apparat comme un effet de mode passager dont lutilit reste dmontrer. Pour surmonter ce constat, il nous semble ncessaire denvisager un plan global du dveloppement de lvaluation qui associerait un grand nombre dacteurs concerns par lamlioration de la gestion publique. Comme le dmontre le paradoxe que nous avons mis en vidence au dbut de notre expos, lincantation administrative existe galement. En effet, lcart entre la situation observe sur la base de la comparaison internationale et la pratique dclare semble attester une survalorisation des exercices entrepris au sein des administrations. Dans ce cas, les rpondants dclarent raliser des valuations en considrant toute pratique rflexive comme tant de lvaluation. En agissant de la sorte, ces gestionnaires souhaitent apparatre modernes. Il serait donc intressant de sinterroger sur limage vhicule par cette pratique dans les politiques de modernisation administrative o elle semble tre rgulirement convoque sans ncessairement induire les effets esprs. Pour cela, il est ncessaire dvaluer les politiques de modernisation administrative et de sinterroger sur la pertinence, lefficacit, lefficience des instruments mobiliss dans cet exercice. Il serait pour le moins cocasse quune valuation de ce type mette en vidence la faible utilit de lvaluation des politiques. Cependant, cet enseigne-

Conclusions
Le Service public fdral Affaires trangres nest pas le seul ngliger lvaluation comme outil de gestion et damlioration des politiques publiques. Steve Jacob, professeur au dpartement de Science politique lUniversit de Laval, Qubec, soulignait en 2004 les retards enregistrs en Belgique en matire de pratiques valuatives. Dans son article intitul Linstitutionnalisation de lvaluation des politiques publiques en Belgique : entre balbutiements et incantations13, lauteur se penche sur cette situation et prsente les dispositifs institutionnels au niveau fdral. Il en ressort que le besoin de transparence de la population lgard de la gestion publique prend rarement la forme dune valua11. Bientt disponible sur le site web de la DGD : http://bit. ly/14BpinU 12. http://diplomatie.belgium.be/fr/binaries/evaluation_rapportage_resultats_dgd_rapport_final_fr_tcm313-214079.pdf 13. Cf. note 1.

Echos du COTA, Et de lEfficacit, Aot 2013

ment serait dun intrt considrable pour les gestionnaires publics. En conclusion, la pratique valuative deviendra effective lorsque les incantations rptes se substitueront des ralisations effectives permettant un apprentissage tant mthodologique que pratique lensemble des acteurs associs la conduite de laction publique.
*

Service de lEvaluation Spciale de la Coopration internationale. Ce service est charg dassurer lvaluation stratgique des activits de lEtat fdral belge reconnues comme aide publique au dveloppement. Ses objectifs: rendre des comptes sur lutilisation des fonds publics et produire des enseignements en vue damliorer lefficacit de laide belge au dveloppement http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation/

Echos du COTA, Et de lEfficacit, Aot 2013