Em direo s melhores RSP

Revista do
prticas de avaliao1 Servio
Pblico

Ano 51
Nmero 4
Out-Dez 2000

Marjukka Ala-Harja &

Sigurdur Helgason

Introduo

A nfase nos resultados constitui elemento central das recentes Marjukka

Ala-Harja
reformas do setor pblico em pases-membros da Organizao para Ministro
Cooperao e o Desenvolvimento Econmico (OCDE). A avaliao da Fazenda da
Finlndia.
uma ferramenta que visa oferecer informaes quanto aos resultados
Sigurdur
obtidos por organizaes e programas. Este artigo se refere principalmente Helgason
avaliao de programas, embora muitas das questes discutidas sejam membro do
Servio de
de igual importncia para outros tipos de avaliao, como por exemplo, a Gesto Pblica
avaliao do desempenho organizacional, as avaliaes gerenciais e as da OCDE.
auditorias de desempenho. Traduzido
por Ewandro
Magalhes Jr.

Definio de avaliao de programa

A avaliao de programa pode ser definida como uma anlise siste-

mtica de aspectos importantes de um programa e seu valor, visando
fornecer resultados confiveis e utilizveis.
A avaliao de programa deve ser vista como mecanismo de
melhoria no processo de tomada de deciso, a fim de garantir melhores
informaes aos governantes, sobre as quais eles possam fundamentar
suas decises e melhor prestar contas sobre as polticas e os programas
pblicos. No se destina a resolver ou substituir juzos subjetivos envolvidos
na tomada de deciso, mas permite um certo conhecimento dos resultados
de um dado programa informao que pode ser utilizada para melhorar
a concepo de um programa e sua implementao.
5
 No delineamento das prioridades para reformas do setor pblico, o RSP
Comit de Gesto Pblica da OCDE elegeu como indicador de bom
funcionamento para o setor pblico a avaliao contnua da eficcia das
polticas implementadas. H indcios de que o interesse na avaliao
como ferramenta de gerenciamento esteja aumentando. Em relao a
esforos anteriores de avaliao, h atualmente expectativas mais
realistas e uma aceitao mais ampla de metodologias menos rigorosas,
que levam a um maior entendimento quanto ao uso dessa ferramenta
por parte das organizaes. H tambm nfase nas avaliaes mais
sistemticas, mais orientadas para os resultados e com ligaes expl-
citas ao processo oramentrio.
O uso apropriado dos resultados das avaliaes no constitui tarefa
fcil. Historicamente, as avaliaes representam um universo de muitas
promessas que no chegam a se realizar. Alguns enxergam a avaliao
como um novo modismo que cria muita burocracia e gera poucos
resultados. Outros a vem como algo essencialmente terico, de pouca
aplicao prtica e incapaz de gerar resultados com relao s polticas
de maior alcance, tendo seu efeito limitado a questes marginais.
H, ainda, quem receie que possam levar a um controle excessivo, ou
aqueles que simplesmente no querem se responsabilizar. Por ltimo,
podem-se levantar questes a respeito do valor da avaliao em um
ambiente onde o desempenho continuamente mensurado e tomado como
base contratual.
Esses argumentos podem ser contestados. A avaliao pode preen-
cher uma importante lacuna quando utilizada apropriadamente e devida-
mente integrada a um arcabouo geral de gesto de desempenho. Pode
aumentar a eficincia e a eficcia do setor pblico e, por conseguinte,
fortalecer a base para as atividades da iniciativa pblica. As qualidades
da avaliao de programas podem complementar e desenvolver esforos
de mensurao, monitoramento e auditoria de desempenho. O estabele-
cimento de expectativas realistas em relao a problemas de avaliao,
bem como o uso destas de forma pragmtica e objetiva, pode permitir aos
governos melhorar em seu desempenho, sua responsabilidade e capacidade
para prestar contas. Os exemplos apresentados neste artigo do alguma
orientao nesse sentido.
O presente artigo discute a avaliao de programas na gesto
pblica e aborda de maneira mais detalhada os meios pelos quais seu uso
pode ser aperfeioado no setor pblico. A primeira parte deste estudo
est centrada na definio de avaliao. A segunda parte apresenta
questes a serem consideradas no que se refere ao uso da avaliao.

6
Definindo avaliao RSP

Conceito

A avaliao no convence, persuade; no demonstra, argumenta;

razovel, no absoluta; aceita por muitos, sem ser imposta a ningum.
(House, 1980: 73).
No h consenso quanto ao que seja avaliao. O conceito admite
mltiplas definies, algumas delas contraditrias. Isso se explica pela
variedade de disciplinas (economia, formulao de polticas e procedi-
mentos administrativos, estatstica, sociologia, psicologia etc.), instituies
e executores, alm da gama de questes, necessidades e clientes abrangidos
no universo das avaliaes.
medida que crescem em popularidade, as avaliaes passam
a ser reconhecidas sob diferentes formas de feedback e consulta. Um
sem-nmero de termos passa a ser utilizado (revises, acompanhamento,
monitoramento, auditoria, escrutnio, avaliao) como referncia a atividades
avaliativas. Alguns especialistas mostram-se preocupados com as possi-
bilidades de que o conceito venha a perder sua significao por completo.
Ademais h outros mecanismos de feedback, alm da avaliao, e que
tambm podem ser usados no processo de aperfeioamento de tomada
de deciso.
Nem todo mecanismo de feedback se constitui em uma avaliao,
embora muitos deles dividam com esta algumas caractersticas comuns.
A diferena entre a avaliao e outros mecanismos de feedback pode
ser vista no Quadro 1.
A diferena na nfase dada por cada mecanismo apresentada no
Quadro 2. As dimenses refletem as diferentes abordagens de avaliao.
Em geral, h uma relao entre abordagem e tcnicas de avaliao
aplicadas. As diferenas geralmente esto associadas ao processo ou
propsito especificado para a avaliao.
Ao enfatizar diferentes aspectos, as avaliaes podem ser classifi-
cadas em vrios tipos. Na prtica, esses tipos de avaliao geralmente
so combinados, conforme pode ser demonstrado no caso das avaliaes
somativas e formativas.

Avaliaes somativas

Conduzidas, freqentemente, quando o programa j est implemen-

tado h algum tempo (avaliao ex post) para o estudo de sua eficcia e
o julgamento de seu valor geral. Essas avaliaes so tipicamente utilizadas
como meio de assistir a alocao de recursos ou na promoo de mais
responsabilidade. Os clientes geralmente so externos, tais como polticos 7
e outros agentes de deciso. A objetividade e a confiabilidade geral das RSP
constataes so consideradas importantes. Essas avaliaes geralmente
so conduzidas por avaliadores externos. As questes quanto ao resultado
ou relevncia geral do programa devem ser abordadas.

Avaliaes formativas

Geralmente adotadas durante a implementao de um programa

(avaliao intermediria) como meio de se adquirir mais conhecimento
quanto a um processo de aprendizagem para o qual se deseja contribuir.
O propsito o de apoiar e melhorar a gesto, a implementao e o desen-
volvimento do programa. Os avaliadores, assim como os clientes, geralmente
so internos, e, freqentemente, os gerentes do programa em questo
(auto-avaliao). A objetividade das constataes geralmente no se
coloca como preocupao central: mais nfase dada aplicabilidade
direta dos resultados. Devem lidar com questes operacionais de
monitoramento dos eventos e, em certo grau, tambm com aspectos
relacionados ao impacto.

Avaliao de programa

As avaliaes podem analisar organizaes, funes, procedimentos,

polticas, projetos etc. Este artigo se concentra na anlise de programas
pblicos e trata da avaliao desses programas. Por programa entende-se,
geralmente, um conjunto de atividades organizadas para realizao dentro
de cronograma e oramento especficos do que se dispe para a
implementao de polticas, ou seja, para a criao de condies que permitam
o alcance de metas polticas desejveis. O termo pode comportar ativi-
dades relativamente menos abrangentes ou programas de amplo escopo.
Contudo, deve-se salientar que o conceito de programa pode variar de um
pas para outro, chegando mesmo a no ser usado em muitos deles.
Como acontece com o termo avaliao, isoladamente tomado,
tambm h mais de uma definio do que seja avaliao de programa.
De modo mais simples, o termo compreende a avaliao dos resultados
de um programa em relao aos objetivos propostos. H quem sugira que
o termo avaliao de programa abrange qualquer estgio do ciclo de vida
de um programa. Somando-se avaliao ex post, o termo inclui a
avaliao ex ante e a avaliao intermediria (bastante comum na prtica).
O primeiro tipo de avaliao prospectiva geralmente referido como
anlise ou avaliao de polticas. Se por um lado a anlise de polticas
explora as opes disponveis e seus provveis efeitos, a avaliao estuda
os efeitos reais e busca um juzo de valor das polticas em si. Contudo, os
conceitos so inter-relacionados e os processos de avaliao interativos. 8
Quadro 1: Diferena entre avaliao e RSP
outros mecanismos de feedback

Estudos cientficos As avaliaes se centram no uso prtico da

informao.
Auditoria tradicional As avaliaes analisam os gastos pblicos a
partir de pontos de vista mais amplos, questio-
nando, at mesmo, a propriedade dos objetivos
do programa, bem como a eficcia e eficincia
de sua satisfao (a distino entre auditoria e
avaliao geralmente no clara).
Monitoramento As avaliaes geralmente so conduzidas
como parte de um esforo nico e buscam reunir
informaes aprofundadas sobre o programa em
questo, embora a existncia de sistemas
regulares e eficientes de monitoramento seja
necessria como base para o desenvolvimento
de avaliaes bem-sucedidas.

Mensurao de As avaliaes procuram ir alm: buscam

desempenho encontrar explicaes para os resultados obser-
vveis e entender a lgica da interveno
pblica (contudo, sistemas de mensurao de
desempenho, se eficientes, podem caracterizar,
sobretudo nos Estados Unidos, uma forma de
avaliao).
Anlise das polticas As avaliaes esto centradas na anlise
ex post. Essa anlise das polticas s vezes
definida como uma avaliao prvia, para o
estudo de polticas possveis no futuro.

Exemplos de definio de
avaliao de programa

As questes-chave na avaliao de programas so a tentativa

de determinar os efeitos do programa ao longo de um dado perodo de
tempo, bem como a extenso em que tais resultados foram de fato derivados
do programa em questo. (Hatry, 1980).
A avaliao de programa a aplicao de mtodos de pesquisa
cientfica para a avaliao do projeto do programa, sua implementao e
eficcia. (Chelimsky, 1985).
A avaliao de programa a anlise sistemtica de um programa,
ou de parte dele, visando, primeiramente, assistir os gerentes e outros agentes
de deciso na determinao da propriedade, eficincia e eficcia de um
programa e, em segunda instncia, determinar casos que justifiquem a
necessidade de novos programas ou a extenso de um programa existente. 9
Em terceiro lugar, visa decidir quanto manuteno dos nveis correntes de RSP
investimento de recursos, seu aumento, reduo ou suspenso. (Doing
Evaluations, A Practical Guide. Ministrio da Fazenda da Austrlia, 1994).
Uma avaliao de programa solicitada por uma organizao
com o propsito de determinar a eficincia de funcionamento de um pro-
grama e concluir por seu aperfeioamento ou suspenso. (Mayne, 1994).
As avaliaes devem conter, normalmente, elementos analticos,
sistemticos, confiveis, especficos e customizados (Evaluating EU
Expenditure Programmes. A Guide. Comisso Europia, 1997).
A despeito de tantas definies, h algumas caractersticas comuns
a todas as avaliaes de programa: constituem anlises sistemticas e de
aspectos importantes de um programa e de seu valor, de modo a fornecer
concluses confiveis e utilizveis.
A falta de um consenso quanto ao conceito de avaliao pode
causar confuses, mas tambm pode ser encarada como um ponto de
partida frutfero e de grande praticidade na reflexo dos diversos
paradigmas implcitos nas cincias sociais. Contudo, no mbito do presente
artigo, a escolha quanto a uma definio mais ou menos abrangente no
apresenta limitao particularmente relevante. O objetivo identificar as
boas prticas que possam se aplicar a diferentes definies.

Objetivos

O objetivo da avaliao no buscar a verdade absoluta, mas

oferecer entendimento e uma viso justificada dos programas de imple-
mentao de polticas. A avaliao no substitui o processo de tomada de
deciso poltica, mas permite que as decises sejam tomadas de maneira
mais consciente.
Gerenciar normalmente implica um ciclo de planejamento/prepa-
rao, dotao oramentria, implementao e avaliao. A avaliao
o elo que fecha o crculo e completa o circuito de feedback. Uma poltica
ou programa que tenham sido avaliados podem ser melhorados, expandidos
ou substitudos.
As principais metas da avaliao podem ser caracterizadas como
sendo a melhoria do processo de tomada de deciso, a alocao apropriada
de recursos e a responsabilidade.

Melhorar a tomada de deciso

A avaliao oferece informaes sobre o impacto das polticas.

Pode ser vista como a passagem de mecanismos formais de controle
a controle efetivo; de controle de transaes a controle estratgico; de 10
gerenciamento de insumos a gerenciamento de resultados. Ela auxilia os RSP
formuladores de polticas no julgamento do valor dos programas pblicos,
concorrendo para sua melhoria ou questionamento e, ainda, para o projeto
de programas futuros. A avaliao tambm contribui para o processo de
aprendizagem das pessoas envolvidas no gerenciamento e implementao
desses programas, ao permitir maior entendimento do trabalho que se conduz
e ajudando nessa conduo. Alm disso, outros interesses (como por exem-
plo, cientficos) podem ser satisfeitos medida que se compreende melhor
o funcionamento da sociedade.

Auxiliar na alocao
de recursos

A maior parte dos pases-membros da OCDE enfrentam restries

oramentrias. A avaliao pode ajudar os formuladores de polticas e os
responsveis pelo oramento a melhor distribuir os recursos e a fazer
melhor uso dos fundos disponveis. A avaliao ajuda a identificar os
meios mais eficientes e eficazes de se alcanar os resultados desejados e
de manipular os gastos, de modo a facilitar o desenvolvimento de novas
reas de prioridade e a contribuir para a descoberta do nvel adequado
de financiamento para programas e, at mesmo, para a priorizao de
cortes oramentrios que sejam necessrios. A avaliao sempre esteve
intimamente ligada s inovaes do processo oramentrio, por exemplo
na Sucia e na Austrlia.

Aumentar responsabilidade

A avaliao pode contribuir para o aumento da responsabilidade das

polticas pblicas, aspecto que vem adquirindo importncia cada vez maior
para os pases-membros da OCDE. Isso se deve maior autonomia admi-
nistrativa oportunizada pelas grandes reformas gerenciais e preocupao,
entre cidados de alguns pases, a respeito da legitimidade do setor pblico.
A avaliao pode melhorar a transparncia e a responsabilidade para o
parlamento e o pblico em geral ao tornar mais claro o impacto das ativi-
dades governamentais. Da, pode-se fortalecer a legitimidade dos programas
que se encontram em andamento e garantir a sustentabilidade dos resul-
tados. A avaliao tambm pode ajudar os cidados a tomarem conhe-
cimento do que est sendo feito com seu dinheiro e considerar alternativas
s polticas implementadas. Alm disso, h alguns fatores que tornam a
avaliao especialmente oportuna.

11
Fatores que determinam o RSP

timing de uma avaliao

Reformas do setor pblico,

gerenciamento estratgico

A avaliao uma das ferramentas enfatizadas em processos

recentes de reforma do setor pblico. Geralmente apresentada no con-
texto do desenvolvimento da mensurao de desempenho e gerenciamento
estratgico. Argumenta-se que a avaliao de desempenho, especialmente
a auto-avaliao, deveria se tornar uma parte normal da administrao
pblica. H tambm uma necessidade crescente de avaliar as reformas
do setor pblico nos pases da OCDE, a fim de explorar seu potencial,
desenvolv-lo adicionalmente, sustentar os resultados alcanados e forta-
lecer o apoio pblico.

Requisitos institucionais

As instituies que financiam ou co-financiam os programas pblicos

geralmente requerem que os solicitantes dos financiamentos se submetam
a avaliaes regulares, por vezes conduzidas por essas prprias insti-
tuies de fomento (o Banco Mundial e a Structural Funds da Unio
Europia). O mesmo se d quando os governos aumentam a instituciona-
lizao de suas atividades de avaliao e passam a requerer aos ministrios
e rgos a avaliao de seus resultados.
As organizaes encaram a avaliao de vrias maneiras e utili-
zam-na para diferentes propsitos. Diferentes objetivos levam a diferentes
abordagens de avaliao. Ainda assim, em um nvel mais geral, a meta da
avaliao pode ser definida como a de fomentar a aprendizagem
organizacional.

Exemplos de objetivos
explcitos das avaliaes

As avaliaes oferecem informaes confiveis, oportunas

e objetivas, bem como concluses e recomendaes teis para maior
eficincia na alocao de recursos, melhorias e aumento de responsabi-
lidade em relao aos programas. (Austrlia).
(...) produzem informaes suficientes, apropriadas e confiveis,
que permitem Unio Europia decidir quanto continuao, alterao,
inalterao ou suspenso de seu programa de gastos, auxiliando, ademais,
a determinar a propriedade de eventuais aumentos ou cortes nas
apropriaes oramentrias. (Comisso Europia DG XIX, Lista de
Verificao de Avaliao). 12
 A avaliao vista como elemento agregador de valor, na medida RSP
em que se centra naquilo que realmente funciona, no que no funciona e
nas inovaes que permitem o estabelecimento de metas governamentais
de melhor relao custo-benefcio. (Canad, In Search of Results:
Performance Management Practices).

Quadro 2: nfase da avaliao

Timing A avaliao ex ante, concomitante/interme-

diria, ex post ou uma combinao dessas
opes.
Flexibilidade de estrutura Anlise em relao aos objetivos do programa
ou que envolva tambm a propriedade dos
objetivos. Avaliao de efeitos intencionais e,
em alguns casos, no-intencionais.
Julgamento ou Julgamento do sucesso ou fracasso de um
apresentao programa at mesmo recomendando
melhorias ou alternativas ou mera apresen-
tao das constataes, deixando as conclu-
ses a cargo daqueles a quem incumbem as
decises.
Conhecimento ou Apreciao por especialistas em avaliao
negociao e mediante a aplicao de procedimentos
tcnico-cientficos para garantir a objetividade
dos resultados, ou mediante parceria na qual
os objetivos e mtodos e at mesmo as
constataes e as recomendaes sejam
negociados com os interessados, a fim de
maximizar o uso das constataes e garantir
participao democrtica.
Uso Como meio de adquirir mais conhecimento
em relao a um programa ou para decidir
quanto a seu valor. Mecanismo auxiliar para
o refinamento de um programa ou o questio-
namento de sua lgica, podendo mesmo
sugerir mudanas fundamentais.

Desenvolvimento

Em alguns pases da OCDE a avaliao desempenha um papel

formal no processo de tomada de deciso. Em outros, somente agora
desponta a reflexo sobre a possibilidade de sistematizao das atividades
de avaliao.
13
 Pases como os Estados Unidos, a Sucia e o Canad tm uma RSP
longa tradio de avaliao e um slido sistema de avaliaes institucio-
nalizadas. A Austrlia e os Pases Baixos tambm tm sistemas de
avaliao bastantes sofisticados.
A maturidade das prticas de avaliao tambm varia segundo o
setor em questo. A avaliao tradicionalmente desenvolvida, em
diversos pases, nas reas de aes de desenvolvimento, polticas de
mercado trabalhistas, sade e educao.
Fases histricas

As atividades de avaliao em administraes nacionais se desen-

volveram em diversas fases. A maturidade pode ser caracterizada pela
extenso da experincia, a regularidade das atividades e o grau de institu-
cionalizao. Trs estgios de desenvolvimento j foram identificados
(Derlien, 1990). Embora algumas avaliaes de programas pblicos tenham
sido conduzidas antes mesmo da primeira fase, por exemplo, na Sucia.
A primeira etapa de avaliaes, nos anos 60 e 70, esteve ampla-
mente ligada aos governos scio-liberais engajados em programas, visando
a soluo de problemas sociais. Os processos de planejamento e progra-
mao foram introduzidos para melhorar a formulao de polticas. Condi-
es fiscais favorveis e melhor condio e oferta de conhecimento de
cincias sociais contriburam nesse esforo. O foco esteve direcionado
na melhoria dos programas, e os gerentes de programas tinham interesse
em usar a avaliao como mecanismo de feedback.
A segunda etapa, nos anos 80, embora menos evidente e mais
lenta, foi estimulada por governos predominantemente conservadores, na
tentativa de lidar com programas pblicos em face de limitaes fiscais.
A avaliao era encarada como ferramenta til na reconsiderao da
justificativa de polticas e na racionalizao da alocao de recursos ora-
mentrios. O Ministrio da Fazenda e os rgos de auditoria se empenha-
vam no desenvolvimento das avaliaes.
Desde ento, a avaliao tem-se tornado objeto de preocupao
dos rgos legislativos. Problemas relacionados legitimidade do setor
pblico e a necessidade de fortalecer a responsabilidade do governo clamam
por novos e mais sofisticados mecanismos de controle, como por exemplo
a avaliao. Os resultados preliminares de um estudo de abrangncia
nacional ainda em curso (Gray, 1997) sugerem que os avanos da nova
administrao pblica tm muitas implicaes sobre a funo e a prtica
da avaliao: a avaliao substituda (novos mercados internos surgem
como avaliadores intrnsecos), complementada (a regulamentao de
monoplios privatizados est criando uma enorme demanda por avalia-
es) e aplicada a novas questes (novas ferramentas de avaliao, como
por exemplo os contratos internos). 14
 Uma tradio de avaliao firmemente estabelecida se inclina agora, RSP

tambm, a encarar a necessidade de avaliar as avaliaes. Esse esforo

de meta-avaliao encontra-se provavelmente mais avanado nos EUA,
onde a quantidade de avaliaes torna possvel chegar a algumas conclu-
ses gerais. Contudo, as meta-avaliaes ainda so relativamente raras, e
muito ainda se desconhece, por exemplo, a respeito do uso da avaliao.

Avaliao e auditoria

Para esclarecer o papel da avaliao e seu desenvolvimento

corrente, conveniente estudar sua relao com a auditoria tradicional.
A avaliao e a auditoria esto historicamente separadas enquanto funes
a cargo de instituies isoladas. As culturas profissionais dos avaliadores
e auditores diferem de diversas maneiras, por exemplo em termos de
recrutamento e socializao. Os objetivos so diferentes: as auditorias
so tradicionalmente usadas para garantir regularidade financeira e respon-
sabilidade quanto ao uso dos recursos, ao passo que a avaliao visa
promover a economia, eficincia e eficcia.
A auditoria tem uma longa tradio como atividade parlamentar de
superviso em muitos pases. Isso refora a satisfao legal e a necessi-
dade de prestao de contas das organizaes pblicas. Tradicionalmente,
a auditoria procura evidncias de que as regras estabelecidas, os regula-
mentos, os procedimentos e objetivos foram cumpridos. A autonomia das
instituies de auditoria lhes permite apresentar pareceres e opinies de
grande credibilidade.
A avaliao, diferentemente da auditoria, no logrou estabelecer-se
como atividade regular, institucionalizada, de conceituao clara e objetivos
convergentes. A avaliao continua sendo, no geral, mais participativa e
menos independente que a auditoria, e incorpora uma viso mais aberta,
que abrange todos os interessados. A avaliao usada mais como uma
ferramenta para o gerenciamento do programa do que para o estabeleci-
mento de responsabilidade pblica.
A despeito das diferenas bvias entre a auditoria tradicional e a
avaliao, uma questo que sempre vem tona diz respeito necessidade
ou no de aproximar essas funes diferentes, ou em que medida tal
convergncia j no estaria acontecendo. As linhas divisrias comearam
a se tornar menos ntidas: a auditoria estendeu seu escopo para questes
como desempenho, e as auditorias financeiras tradicionais vm sendo
suplementadas, agora, com auditorias de desempenho. As auditorias de
desempenho, conduzidas, por exemplo, na Sucia, no Reino Unido
(auditorias de valor monetrio) e nos Pases Baixos, constituem avaliaes
semelhantes s avaliaes de programas. Os mtodos e critrios aplicados 15
so muito similares. As redes comuns, tais como a European Evaluation RSP
Society (EES), tambm indicam a convergncia entre essas duas culturas
profissionais.
Contudo, tambm h sinais de contradio. A convergncia entre
avaliao e auditoria se restringe mltipla e contestada identidade da
avaliao, sua cultura de base social e a resistncia poltica a avaliaes
adicionais por parte das instituies de auditoria. A auditoria financeira
bem poder se tornar mais tpica, com mais nfase na terceirizao e em
inovaes como a contabilidade por regime de competncia. Tem-se
sugerido que as instituies de auditoria no devem buscar se tornar,
primariamente, unidades de avaliao ou consultoria gerencial, mas, antes,
esclarecer suas funes e responsabilidades atuais como guardies
independentes da probidade, da legalidade e da eficincia nos gastos
pblicos (Pollitt e Summa, 1997).

Avaliao institucionalizada2

Alguns exemplos de prticas de avaliao so apresentados, a seguir,

para ilustrar o desenvolvimento da avaliao.

Sucia

As primeiras avaliaes foram realizadas na dcada de 50, ou

mesmo antes, por comisses pblicas encarregadas da formulao de
polticas e tomada de deciso. O sistema de comisso combinava a viso
dos interessados e introduzia resultados de pesquisa no processo de tomada
de deciso. A partir de 1960 a avaliao comeou a ser encarada como
uma atividade capaz de oferecer informaes em base contnua aos
tomadores de deciso. rgos de pesquisa especializados e outras agncias
semelhantes comearam a ser fundados, tendo a avaliao como foco de
suas atividades.
No incio dos anos 80, surgiu a necessidade de melhorar o sistema
de tomada de deciso pela sistematizao das atividades avaliativas e sua
ligao de modo mais firme ao processo oramentrio. O sistema de
avaliao associado ao novo processo oramentrio passou por diversos
ajustes pragmticos desde sua implementao. No momento, os relatrios
anuais dos rgos so a principal fonte de informao submetida aos
ministrios. Avaliaes aprofundadas das atividades dos rgos pblicos
(antes realizadas a cada trs anos) so conduzidas, hoje, apenas mediante
requerimento especial de um ministro.

Austrlia

A avaliao se tornou parte integrante do processo de reforma da

administrao pblica australiana em meados da dcada de 80, quando 16
foi lanada a estratgia de avaliao do governo. A avaliao tem sido RSP
sistematicamente integrada gesto e ao planejamento das organizaes
e programas. Todos os programas pblicos, ou pelo menos suas partes
mais importantes, so submetidos a avaliao a cada trs ou cinco anos.
Todas as principais propostas de polticas incluem, tambm, uma estratgia
de avaliao, e os ministros so freqentemente solicitados a apresentar
um plano anual de avaliao. Os resultados dessas avaliaes tambm
devem ser levados ao conhecimento pblico.
Recentemente, foi feita uma reavaliao desses requisitos obriga-
trios. provvel que a abordagem centrada em requisitos d lugar a um
arcabouo integrado de gesto de desempenho que venha a abranger a
avaliao e o monitoramento do rendimento com base em boas prticas e
princpios. Essa evoluo reconhece o fato de a avaliao ter se tornado
mais comum e amplamente disseminada, e tem por objetivo integrar direta-
mente a atividade de gesto de desempenho estratgia e ao planejamento
dos ministrios. Tambm vem em reconhecimento de que est sendo dada
mais ateno qualidade, ao uso e eficcia das avaliaes.
A responsabilidade pelo planejamento, a execuo e o uso das
avaliaes esto nas mos de rgos e instituies isoladas. O Ministrio
da Fazenda o coordenador da estratgia de avaliao, oferecendo treina-
mento, motivao, orientao e controle de qualidade, alm de participar
eventualmente em avaliaes pr-selecionadas. A Auditoria-Geral pode
rever a operao de uma atividade avaliativa.

Pases Baixos

O Tribunal de Contas recomendou, no incio da dcada de 90, que os

ministros prestassem mais ateno ao programa de avaliao. O governo
estabeleceu uma estratgia em trs etapas: primeiramente, houve uma
emenda nos regulamentos que estabelecem as responsabilidades dos
ministros no que tange avaliao; segundo, foram preparados os relatrios
anuais para acompanhar os oramentos ministeriais e para oferecer infor-
maes sobre atividades avaliativas presentes e futuras, seus resultados
e sua utilizao; e em terceiro lugar, foi realizado o gerenciamento e a
coordenao da avaliao em nvel ministerial. O governo tambm salientou
que a avaliao deveria no ser apenas externa, mas tambm interna,
tanto em nvel ex ante, como em nveis ex post e intermedirio.
Posteriormente, o governo utilizou medidas e responsabilidades de
avaliao. As diretorias de poltica dos ministrios so responsveis pelas
suas prprias avaliaes: a abordagem adotada no gerenciamento dessas
atividades pode ser tanto centralizada quanto descentralizada. As diretorias
oramentrias internas so responsveis pela coordenao, promoo e
certificao do uso de avaliaes, devendo garantir a disponibilidade de 17
recomendaes, orientao e conhecimento de pesquisa. Realizam progra- RSP

mas de avaliao para projetos isolados, encorajam a avaliao peridica

das polticas e monitoram a qualidade da avaliao e seu uso. Os ministros
formam o nvel de responsabilidade de ltima instncia no que se refere
avaliao. Outras diretorias oferecem auxlio sob a forma de conheci-
mento especial (alm de pessoal, mtodos de organizao e informaes
sobre legislao). O Ministrio da Fazenda tem as mesmas responsabi-
lidades da diretoria oramentria interna no que se refere promoo
e coordenao. O Tribunal de Contas examina a eficincia da gesto e a
organizao das avaliaes e divulga os resultados em relatrios peridicos.

Canad

A avaliao faz parte da gesto dos ministrios desde 1977.

As atividades de avaliao esto solidamente institucionalizadas.
Os ministrios devem garantir a avaliao de seus programas. A poltica
atual de avaliao requer que os ministrios conduzam auditorias internas
de acordo com padres estipulados em reas de significncia ou risco.
Devem, tambm, conduzir avaliaes de polticas e programas-chave,
segundo padres estabelecidos; determinar prticas de monitoramento
de desempenho, incluindo padres de servios que se orientem ao cliente,
a fim de garantir que os ministrios e seus gerentes tenham a sua disposio
informaes sobre aspectos-chave relacionados ao desempenho de
programas; conduzir outros tipos de revises sobre polticas, regulamentos,
programas e aspectos operacionais, pesquisas junto a clientes e estudos
especiais; e utilizar auditorias internas, avaliaes, monitoramento de
desempenho e outros procedimentos de avaliao de modo complementar
e coordenado.
As avaliaes geralmente so conduzidas por unidades especializadas.
A Secretaria do Tesouro responsvel pelo estabelecimento, coordenao
e monitoramento das polticas de avaliao. A Auditoria-Geral tem a
funo principal de, na avaliao de desempenho do setor pblico, mani-
festar-se com relatrios quanto adequao com que se conduzem as
responsabilidades de avaliao.

Finlndia

Na Finlndia, como na Sucia, existe uma tradio quanto ao esta-

belecimento de comisses para a formulao de decises polticas.
Atualmente, o uso de procedimentos de avaliao est bem estabelecido
em alguns setores (aes de desenvolvimento e educao superior),
embora, no geral, as avaliaes sejam conduzidas de forma ad hoc.
Contudo, de acordo com pesquisas recentes, parece haver muito interesse 18
na avaliao da administrao. Para obter informaes mais sistemticas RSP
e aprofundadas sobre as recentes reformas do setor pblico, um grande
programa de avaliao composto de 12 estudos individuais foi realizado
entre 1995 e 1997. Outro propsito desse projeto era o de encontrar meios
de fortalecer uma cultura de avaliao na administrao. Cursos de for-
mao foram organizados, e um manual foi compilado. Os ministrios so
encorajados a divulgarem seus programas de avaliao, e o resultado
destes, em seus relatrios anuais.

Estados Unidos

Os Estados Unidos tm uma importante e antiga tradio de ava-

liao. O governo federal, assim como alguns governos estaduais e muni-
cipais, mantm suas unidades de avaliao. Em nvel federal, essas unidades
geralmente esto contidas em departamentos especficos. O General
Accounting Office (GAO), que assiste o Congresso em suas funes de
superviso do Poder Executivo, visando maior eficcia e responsabilidade
na administrao, realiza um grande nmero de procedimentos de auditoria
de desempenho e avaliaes de programas. Os rgos responsveis pela
implementao de programas tambm conduzem, eles prprios, a avaliao
de seus programas. Os rgos do governo devem incluir em seu plane-
jamento estratgico uma descrio das avaliaes de programa utilizadas,
bem como o cronograma de avaliaes futuras. Alm disso, o Congresso
freqentemente introduz dispositivos legais requerendo a realizao de
avaliaes individuais de larga escala.

Comisso Europia
A Comisso Europia tem, h algum tempo, prticas institucio-
nalizadas de avaliao em certas reas centrais de polticas comunitrias,
que incluem aes de desenvolvimento, pesquisa e poltica tecnolgica,
alm de programas financiados por meio dos chamados Structural
Funds (Fundos Estruturais). No contexto das iniciativas do Sound and
Efficient Management SEM 2000 (Gerenciamento Eficaz e Saud-
vel), estabeleceu-se a organizao de avaliaes sistemticas, oportunas
e rigorosas dos gastos da Unio Europia, em um esforo que abrange
todas as polticas comunitrias. Definiu-se que os servios operacionais
so responsveis por garantir a avaliao de seus prprios programas.
No processo, um funcionrio, setor ou unidade precisa ser designado
como agente responsvel.
Cada servio precisa traar seu prprio plano de avaliao anual.
O primeiro deles foi apresentado ao final de 1996. Esses planos so compi-
lados, consignados pela Comisso e distribudos sob a forma de um Programa
Anual de Avaliao. Os relatrios de avaliao, produzidos pelos servios 19
operacionais da Comisso, servem de base para o Balano Anual de RSP
Avaliao, que submetido Comisso juntamente com o Programa Anual
de Avaliao ao final de janeiro de cada ano. Alm disso, os servios
operacionais devem submeter um relatrio de avaliao ex ante cada vez
que se cogite a tomada de uma ao que implique gastos oramentrios.
Esses servios devem, ainda, garantir que na preparao de novos pro-
gramas haja a devida previso de avaliaes como parte do processo.
Recomenda-se que as aes financiadas por recursos do ora-
mento sejam objeto de avaliao a cada seis anos. Somando-se ao trabalho
avaliativo desenvolvido pelos servios operacionais, outros departamentos,
como o DG XIX (Oramento) e o DG XX (Controle Financeiro) tambm
desempenham tarefas de apoio s atividades de avaliao. Como suporte
adicional ao desenvolvimento de uma cultura de avaliao, foi estabelecida
uma rede de avaliadores e compilado um manual com normas para a
garantia da qualidade (Comisso Europia, 1997). Alm disso, esto sendo
idealizados seminrios de treinamento, projetos de demonstrao e a
criao de um help desk.

Gesto de desempenho e avaliao

Muitos governos introduziram abordagens abrangentes para a gesto
de desempenho dos rgos governamentais. A avaliao um instru-
mento claramente orientado avaliao de desempenho, e deveria, por
isso mesmo, ser vista como parte de um arcabouo mais amplo da gesto
de desempenho. Contudo, as relaes entre a avaliao e a gesto de
desempenho nem sempre so claras.

Avaliao e gesto de desempenho

A avaliao foi bem estabelecida em muitos governos previa-

mente introduo de procedimentos de gesto de desempenho, e as
novas abordagens no incluem necessariamente a avaliao.
Novas abordagens de gesto de desempenho foram desenvol-
vidas, em parte, como resposta s deficincias percebidas na avaliao,
como por exemplo os limitados resultados obtidos nas avaliaes em
comparao com o volume de recursos investidos.
Diferentes organizaes podem estar envolvidas em trabalho
especfico de avaliao ou de gesto de desempenho.
A gesto de desempenho envolve a reforma dos processos centrais
de gerenciamento, sendo, portanto, de responsabilidade dos gerentes em
cada organizao, ao passo que a avaliao vista como um mtodo
especializado, freqentemente aplicado por especialistas ou unidades de
avaliao externas. 20
 A falta em considerar ou esclarecer as relaes entre avaliao e RSP
gesto de desempenho pode levar ao desperdcio, duplicidade de esforos,
sinalizao conflitante acerca das metas e resultados e, por fim, a um
aumento das tenses entre as organizaes e grupos profissionais. A maioria
dos governos v a avaliao como parte de uma estrutura mais ampla da
gesto de desempenho, mas o nvel de integrao entre essas duas disci-
plinas ir depender do papel desempenhado pela avaliao.

Abordagens integrao entre avaliao e

gesto de desempenho
H trs abordagens principais:
A avaliao vista como uma funo distinta e independente da
gesto de desempenho, com regras prprias e claras.
A avaliao vista como uma funo distinta, porm integrada
gesto de desempenho.
A avaliao no vista como funo distinta, mas sim integrada
com instrumentos diferentes de gesto de desempenho.
A primeira abordagem v a avaliao como funo relativamente
independente da gesto de desempenho, mesmo que dependa da men-
surao de desempenho e de outras informaes produzidas por meio de
procedimentos de gesto de desempenho. A perspectiva bsica a de que
a gesto de desempenho como qualquer outro processo de gerencia-
mento desenvolvido no mbito de uma organizao que deve se submeter
a avaliao. Uma avaliao excessiva entre avaliao e gesto de
desempenho poderia minar a capacidade da avaliao de analisar a
qualidade da gesto do desempenho, limitando a possibilidade de se fazerem
sugestes teis visando a sua melhoria. A integrao tambm lesaria a
necessria independncia que deve ser conferida avaliao.
A segunda abordagem coloca menos nfase sobre a independncia,
mas considera a avaliao como um dos muitos instrumentos utilizados
em uma estrutura mais ampla de gesto de desempenho. A avaliao
pode ser superior a outros instrumentos em muitos aspectos. Permite um
estudo mais aprofundado do desempenho do que a prpria gesto de
desempenho. Pode cobrir perodos mais longos e incorporar fatores cuja
avaliao difcil ou custosa, como por exemplo a avaliao de impacto
ou resultados. Alm disso, torna-se possvel analisar as causas e efeitos
em maior detalhe, trazendo a discusso do desempenho para um contexto
mais apropriado. A avaliao pode ser usada para dar uma imagem mais
abrangente do desempenho de um programa ou organizao, em
contrapartida viso fragmentada que se obtm a partir de outras aborda-
gens. Nessa abordagem, a avaliao organizada como funo separada
para garantir a especializao e utilizada de modo seletivo e peridico
para a produo de informaes-chave que no podem ser disponibilizadas 21
em outros processos. O custo da realizao de avaliaes implica a neces- RSP
sidade de limit-las aos programas e organizaes mais importantes.
A terceira abordagem enfatiza os benefcios da incorporao de
mtodos avaliativos em instrumentos isolados da gesto de desempenho.
H muitos exemplos disso. Informaes relativas ao desempenho podem
ser analisadas, interpretadas e avaliadas. Estudos de padres de referncia
(benchmarking) geralmente envolvem avaliao considervel de fatores
que explicam diferenas no desempenho; a avaliao um dos elementos-
chave do gerenciamento estratgico (por exemplo, avaliando fatores-chave
do ambiente, as anlises SWOT); os contratos de desempenho so avaliados
periodicamente; e o gerenciamento da qualidade geralmente envolve auto-
avaliao. A perspectiva bsica aqui a de que a avaliao deve ser uma
atividade permanente, integrada a processos-chave de gerenciamento.
As trs abordagens discutidas aqui no so mutuamente excludentes,
ou seja, um governo pode utilizar mais de uma concomitantemente.
A segunda abordagem vem crescendo em popularidade. A despeito dessa
tendncia, algum grau de capacidade de avaliao independente vem sendo
preservada, notadamente na realizao de auditorias. H uma conscien-
tizao crescente a respeito dos benefcios da incorporao de mtodos
avaliativos a processos gerenciais relevantes. Contudo, a maior parte dos
governos percebe isso como uma suplementao, e no como a substituio
de avaliaes mais especializadas.

Questes metodolgicas

Embora este artigo se concentre no uso da avaliao, conveniente

explorar de maneira superficial algumas das grandes abordagens
metodolgicas e problemas relacionados avaliao. Uma vez que a meto-
dologia e o uso da avaliao esto interligados, essas questes surgiro
novamente no decorrer da discusso.

Abordagens avaliao

H vrias abordagens sobre avaliao que partem de premissas

acerca da natureza do conhecimento avaliativo, da possibilidade de criao
de conhecimento confivel e quanto ao melhor uso legtimo dos resul-
tados. Alm disso, h tambm, freqentemente, alguma relao entre a
abordagem e os instrumentos e tcnicas escolhidas para avaliao.
As quatro abordagens bsicas e mtodos de avaliao geralmente relacio-
nados aqui so apresentados no Quadro 3 (Pollitt, 1996):

22
Quadro 3: Abordagens e mtodos RSP

Avaliao Incorpora idias positivistas de aplicao da meto-

experimental dologia de cincias naturais engenharia de progra-
mas pblicos. Em projetos experimentais, grupos
aleatoriamente selecionados aparentemente similares
foram comparados aps a aplicao de um programa
a um deles. A atribuio do efeito observado ao pro-
grama depende da premissa de que no h nenhuma
outra causa concorrente para o resultado.
Avaliao Centra-se, acima de tudo, na utilidade dos resultados
pragmtica da avaliao. A avaliao deve se orientar pelos obje-
tivos e prticas de trabalho dos tomadores de
deciso. A exeqibilidade poltica, o timing e o custo
so aspectos importantes. Projetos semi-experimen-
tais (em que se busca eliminar explicaes alternativas
para os resultados por outros meios que no a
seleo aleatria), estudos de casos e vrios mtodos
descritivos so geralmente utilizados como ferra-
mentas de avaliao.

Avaliao Geralmente conduzida de maneira ligeiramente

econmica isolada da avaliao geral. As ferramentas incluem
anlises de custo-benefcio e avaliaes de custo-
eficincia. Introduzem informaes quanto ao custo
dos programas como um dos critrios de avaliao.
Avaliao Rejeita tanto a avaliao experimental quanto a
naturalista econmica, alegando que a sociedade se constri
socialmente e est em constante mudana por fora
da interao dos indivduos. Assim, a avaliao no
pode oferecer respostas corretas e objetivas, mas
meramente agir como elemento facilitador para a
produo de consenso entre os interessados.
Os mtodos aplicados, tais como etnografia, obser-
vao de participantes, estudos de caso etc., tm
por objetivo descrever e esclarecer os valores e
premis sas dos interessados e dar apoio negociao
desses aspectos no processo avaliativo.

No h um mtodo ideal de conduo de uma avaliao. So mui-

tas as abordagens e metodologias abrangendo um leque de fatores de
sucesso. O papel da avaliao diferente em cada um dos processos de
tomada de deciso e aprendizagem (por exemplo, a avaliao econmica
e experimental usada para decises oramentrias e a avaliao natura-
lista usada para melhoria de programas e projetos). A questo relevante 23
aqui a necessidade de adequar a avaliao ao elemento que se deseja RSP

avaliar, s informaes desejadas, aos recursos disponveis e ao uso pre-

tendido para os resultados.

Problemas metodolgicos

Os problemas metodolgicos so intrnsecos a todas as aborda-

gens sobre avaliao. Problemas relacionados causalidade, por exemplo,
so comuns a todas as cincias sociais, uma evidncia conclusiva das
relaes de causa e efeito dificilmente possvel e raramente pode ser
estabelecida, uma vez que o controle de todas as variveis relevante.
A avaliao experimental geralmente lenta e dispendiosa, chegando mesmo
a ser impossvel de se aplicar na prtica. Mesmo que se utilize o formato de
avaliao experimental, a generalizao para condies alm daquelas con-
tidas no experimento costuma envolver algum grau de incerteza. Contudo,
em muitas avaliaes, como no caso da anlise da implementao ou gesto
de um programa, o estabelecimento de uma firme relao causal no o
principal objetivo.
A escolha de critrios para avaliao pode ser problemtica em
face do simples fato de que os objetivos dos programas pblicos costumam
ser mltiplos, vagos, ocultos, mutantes e, at mesmo, conflitantes. Outra
dificuldade decidir se o foco deve estar apenas sobre a forma de alcance
dos objetivos oficiais ou se se deve adotar uma viso mais ampla, partindo
para o estudo de todos os efeitos do programa. A ltima opo oferece
um quadro mais abrangente do resultado do programa, mas freqen-
temente mais complexa e demorada.
O estabelecimento de um perodo de tempo apropriado para a
avaliao do programa outro aspecto difcil e crtico, na medida em que
os resultados mais relevantes dependem de algum tempo de maturao.
Contudo, a utilidade das informaes pode ser reduzida se o programa
avaliado for alterado antes que a avaliao tenha sido concluda e seus
resultados aplicados.
A escolha entre diferentes mtodos de avaliao tambm proble-
mtica. Vrios mecanismos de coleta e anlise de dados podem ser
adotados, cada um gerando uma perspectiva diferente do programa avaliado.
Existe, por exemplo, uma discusso considervel sobre as vantagens e
desvantagens do uso de mtodos quantitativos e qualitativos de avaliao.
Geralmente difcil identificar o resultado dos programas. Conforme
salientado anteriormente, pode haver vrias razes (que no o programa)
para explicar, no todo ou em parte, os resultados gerados. Assim, pode
ser difcil determinar que evidncia seria suficiente para traar concluses
vlidas e confiveis a respeito dos resultados. A capacidade de obter
evidncia geralmente se v limitada pelo volume de recursos disponveis. 24
Outro problema com impacto sobre as concluses saber se os resultados RSP
da avaliao podem ser generalizados a outras instncias, locais ou sujeitos.
Isso de particular relevncia quando se espera que a avaliao venha
contribuir para futuras decises sobre o estabelecimento de polticas.
Os problemas metodolgicos da avaliao (cobertos aqui apenas
em parte) podem ser abordados quando do reconhecimento de limitaes
e tratamento apropriado dos problemas. Isso requer conhecimento e habi-
lidades especficas que podem ser desenvolvidas por meio de treinamento
ou pela contratao de especialistas externos para a conduo das avalia-
es. Alm disso, a combinao de diferentes mtodos geralmente mais
frutfera do que a reduo dos problemas metodolgicos de avaliao.
Finalmente, mecanismos apropriados de controle de qualidade (ver discus-
so posterior sobre a garantia da qualidade tcnica) podem ser estabe-
lecidos para orientar o processo de avaliao.
Mesmo que a avaliao no possa oferecer respostas definitivas,
poder aduzir informaes teis para a discusso a respeito do desempenho.
E alguma informao sobre o que acontece melhor do que nenhuma.

Gerenciamento para
melhor uso das avaliaes
Uma outra grande questo, alm dos problemas metodolgicos, o
uso apropriado das avaliaes. A avaliao no visa conhecimento como
um fim em si mesmo, mas como um meio para a ao. importante que
o material de avaliao seja usado em processos de tomada de deciso.
Caso contrrio, a administrao logo perder o interesse, e a avaliao se
tornar um exerccio intil.
J se declarou que para que a avaliao tenha impacto sobre a tomada
de deciso preciso que haja tanto uma oferta de qualidade quanto uma
demanda sincera e entusistica (Mayne, 1994; Mayne, Divorski, Lemaire,
1998; Boyle, 1997). Este captulo discutir o desenvolvimento desses dois
aspectos do mercado de avaliao: como criar oportunidades para o uso
das avaliaes.
difcil definir o que constitui o uso da avaliao. A definio do
uso de uma avaliao deve fazer distino entre uso pelo programa e uso
organizacional. O primeiro se refere a estudos individuais de avaliao,
e o segundo tem a ver com o efeito cumulativo (aprendizagem) derivado
de uma srie de avaliaes em uma organizao. O uso em programas
pode ser posteriormente dividido em uso instrumental, em que a avaliao
d suporte a ao especfica (confirmao, modificao ou trmino), e o
uso conceitual, em que no se toma nenhuma ao imediata, mas no qual
os resultados so considerados e a informao acumulada para uso
posterior (Mayne, 1994). 25
Uso da avaliao de programas RSP

Grandes mudanas nas polticas;

Melhoria dos programas (aprendizado organizacional);
Melhor alocao oramentria; e
Suporte ao estabelecimento de responsabilidades.
Em todos os casos, no fcil demonstrar a utilizao dos resultados
de avaliao. Os usurios potenciais precisam ser identificados, assim
como o perodo de utilizao pretendido. A utilizao pode envolver
melhorias concretas, mas tambm menos concretas, tais como melhor
compreenso do programa, aprendizado organizacional ou estabelecimento
de responsabilidades.
Tambm possvel distinguir entre o uso da avaliao e seu impacto.
A questo saber que impacto se quer para caracterizar o uso real dos
resultados das avaliaes. A experincia sugere que a avaliao mais
utilizada para a melhoria de programas existentes do que em suporte a
mudanas fundamentais em polticas e em padres de alocao de
recursos. Esse foi o caso na Sucia embora deva-se salientar que as
grandes mudanas de polticas podem ser apoiadas por informaes
de avaliaes cumulativas, colhidas ao longo de muitos anos. Alm disso,
muitas avaliaes individuais podem no sugerir qualquer mudana
substancial aos programas.
Todos esses fatores fazem da anlise do uso das avaliaes uma
questo complexa. Embora no haja muitos estudos sistemticos em
prtica, alguns exemplos so apresentados posteriormente.
Uma vez que a avaliao praticada em um contexto poltico, o
problema da determinao do uso jamais ser completamente resolvido.
A avaliao apenas uma fonte de informaes e compete com diversos
outros fatores que tm influncia sobre a tomada de deciso. prati-
camente impossvel descobrir a extenso exata em que os resultados
tenham influenciado as decises. As avaliaes podem ter maior impacto
sobre polticas de baixa prioridade poltica, ou em relao quelas sobre
as quais h grande consenso. Alm do mais, os polticos enfatizam suas
boas intenes quando esto se decidindo por uma determinada inter-
veno pblica, mas nem sempre estaro interessados em estudar seus
efeitos. Por trs da relutncia em solicitar avaliaes e em discutir seus
resultados pode estar o receio de que algumas deficincias venham a
ser expostas. Os polticos talvez nem sempre desejem formular suas
metas com preciso, o que torna a avaliao mais difcil. O fato que
as decises continuaro a ser tomadas independentemente da quali-
dade do material considerado a cada processo decisrio. Com isso,
possvel fomentar o uso de avaliaes por meio de consultas abertas
junto aos tomadores de deciso.
26
 Uma cultura orientada para a gesto de desempenho, que valoriza a RSP
avaliao, no surge da noite para o dia. Contudo, alguns passos concretos
podem ser dados para dar mais importncia avaliao e popularizar seu
uso pela administrao, pelos agentes de deciso e pelo pblico em geral.
A seo que se segue destaca algumas das prticas capazes de maximizar
o uso e o valor da avaliao. Contudo, deve-se salientar que conforme o
contexto um tipo diferente de meio de popularizao do uso das avaliaes
ir se aplicar.
As primeiras trs questes focam sua ateno na criao de uma
demanda efetiva e de um ambiente propcio conduo de avaliaes de
programas. As trs questes seguintes se concentram no desenvolvimento
de um arcabouo efetivo para a conduo da avaliao em si mesma.
As nove questes apontadas no quadro a seguir focalizam aspectos prticos
do processo de avaliao, ou seja, sobre como gerenci-lo, de modo a
promover o uso de seus resultados. A questo final trata da formao de
pessoal e suporte, fatores vitais na criao de uma cultura de avaliao
para a administrao.

Quadro 4: Questes para a melhoria

das prticas de avaliao

Questo no 1 Obtendo apoio dos dirigentes

Questo no 2 Gerando demanda efetiva
Questo no 3 Estabelecendo expectativas realistas
Questo no 4 Sistematizando as atividades de avaliao
Questo no 5 Articulando a avaliao com o processo oramentrio
Questo no 6 Escolhendo o avaliador certo
Questo no 7 Planejando as avaliaes
Questo no 8 Acertando o timing das avaliaes
Questo no 9 Satisfazendo as necessidades dos usurios
Questo no 10 Garantindo a relevncia
Questo no 11 Envolvendo os interessados
Questo no 12 Garantindo qualidade metodolgica
Questo no 13 Emitindo juzos e recomendaes
Questo no 14 Divulgando os resultados
Questo no 15 Monitorando ou acompanhando
Questo no 16 Reconhecendo as necessidades de pessoal para
treinamento e suporte

Questo no 1: Obtendo apoio dos dirigentes

importante que os dirigentes e polticos entendam o valor da ava-
liao e tenham expectativas realistas a respeito de seu uso. Isso pode
ser expresso por meio da adoo de uma estratgia formal de avaliao 27
para o governo. O papel do Ministrio da Fazenda, e de outros rgos do RSP
governo central, geralmente crucial para garantir apoio e credibilidade.
Os dirigentes devem se envolver no processo de avaliao, oferecendo
contribuies, conforme a necessidade. Quando o objetivo principal o
de melhorar a implementao de um programa existente, o apoio aos
dirigentes do programa essencial.

Pases Baixos

No incio da dcada de 90, o governo estabeleceu uma estratgia

que estipulava as funes de avaliao e as estratgias de sua promoo.
Alm disso, definia as iniciativas e recomendaes necessrias no processo.
Embora algumas diretorias de polticas sejam responsveis pela organi-
zao das avaliaes, os ministros so os agentes responsveis, em ltima
instncia. O Ministrio da Fazenda e as diretorias oramentrias internas
so responsveis pela coordenao, promoo e popularizao do uso,
devendo ainda se certificar do provimento de orientaes e informaes
especializadas, conforme a necessidade.

Questo no 2: Gerando demanda efetiva

Tem-se sugerido que uma das razes para o uso inadequado da
avaliao de programas a tendncia do mercado de sempre se orientar
pela oferta. A demanda genrica por avaliaes precisa ser fortalecida,
gerada e claramente articulada para que a avaliao tenha algum uso
prtico e leve melhorias aos programas (Mayne, Divorski, Lemaire, 1998).
Os clientes precisam detalhar seu interesse especfico na avaliao. Muitos
incentivos podem ser usados para fomentar a demanda. Eles so apresen-
tados a seguir, divididos em trs categorias: penalizao, prmio e
conscientizao (Boyle, 1997; Toulemonde, 1998).

Incentivos

a) Penalizao
A penalizao pode ser usada para garantir que as avaliaes
sejam devidamente realizadas e que sejam feitas as perguntas corretas.
Isso pode ser feito tornando as avaliaes obrigatrias ou delegando-se
a um avaliador externo o direito de conduzi-las. A qualidade das avalia -
es tambm pode ser controlada por mecanismos especficos, por exem-
plo, por grupos gestores ou de reviso (Frana, Canad). s vezes, um
aumento na concorrncia entre unidades do governo as encoraja a dar
maior publicidade s informaes derivadas de avaliaes conduzidas
sobre suas atividades. 28
b) Prmio RSP

Os prmios so usados para desenvolver a demanda. Isso pode

ser feito por meio da alocao de recursos para avaliao e, tambm,
dando-se reconhecimento aos esforos de avaliao (divulgao, prmios,
promoes, melhorias no contedo do trabalho, pagamento por mrito).
O trabalho extra causado pelas avaliaes pode ser contrabalanado pela
reduo dos controles sobre contribuies e processos.
c) Conscientizao

A conscientizao pode ser feita para destacar o papel da avalia-

o e promover uma cultura que valorize seu uso em processos de tomada
de deciso. Essa mensagem pode ser transmitida por meio de conferncias,
cursos de treinamento, visitas, informativos e jornais, redes de colegas,
premiaes etc. O importante agir sobre os resultados das avaliaes,
como forma de demonstrar que so realmente importantes.

Questo no 3: Estabelecendo
expectativas realistas
Expectativas irreais, em relao ao timing e ao escopo das con-
cluses de uma avaliao por exemplo, podem levar a grandes desiluses.
Isso ocorreu em muitos pases que faziam suas primeiras experincias de
avaliao. Foi o caso da Sucia, por exemplo, nos anos 60 e 70. A intro-
duo do oramento programado e das avaliaes esbarrou em dificul-
dades exatamente em funo das expectativas irreais e da falta de interesse
suficiente para dar apoio aos ministrios. O reconhecimento das limitaes
inerentes s avaliaes um aspecto muito importante.
Os polticos que alocam recursos para avaliaes sempre esperam
que os resultados sejam usados para a melhoria dos processos de tomada
de deciso de maneira absolutamente oportuna. Os avaliadores, por sua
vez, podem salientar o valor a longo prazo e cumulativo dos resultados das
avaliaes, que por vezes s aparece, contudo, ao cabo de vrios anos.
Os formuladores de poltica se voltam sempre para os avaliadores em busca
de informaes que estes sempre dizem no poder fornecer. Mas mesmo
assim, os avaliadores continuam a realizar mais e mais avaliaes.
Essas diferenas entre oferta e procura podem levar falta de
confiana e ao desapontamento, a menos que ambas as partes sejam
capazes de estabelecer com clareza suas expectativas e estabelecer o
que a avaliao tem a oferecer, realisticamente. Os usurios potenciais
precisam estar cientes das provveis limitaes da avaliao e ter a capa-
cidade de criar demanda efetiva que possa ser realisticamente satisfeita.
O objetivo da avaliao gerar informaes teis e reduzir a incerteza 29
em relao s polticas que se examinam, mas no tem como oferecer RSP
respostas corretas ou substituir o julgamento subjetivo nas tomadas de
deciso. Alm do mais, o tipo de informao produzida por meio
das avaliaes sempre ir depender da escolha do avaliador. O solicitante de
uma avaliao deve agir como um consumidor educado e crtico, com
capacidade para se livrar dos avaliadores incompetentes que se apre-
sentam com vises excessivamente otimistas acerca do projeto.

Questo no 4: Sistematizando
as atividades de avaliao

Costuma-se argumentar com freqncia que um certo nvel de

institucionalizao precisa ser dado para que as avaliaes possam desem-
penhar um papel genuno no gerenciamento das organizaes governa-
mentais. A institucionalizao se dedica a criar condies para a oferta
de avaliaes de alta qualidade, a utilizao dos resultados das avaliaes
e a promoo de aprendizado organizacional.
Um aspecto importante a integrao estratgica dos esforos
de avaliao ao arcabouo geral da gesto de desempenho. Vrias ativi-
dades de reviso e controle precisam ser estabelecidas em um sistema
lgico, coerente, a fim de evitar duplicao de esforos e excessiva pres-
tao de contas.
O grau de sistematizao, apresentado no Quadro 5, pode variar
consideravelmente:

Quadro 5: Grau de sistematizao

Informal Sistemtica
Exigncias para a con- Voluntrias e flexveis Obrigatrias e regulares
duo de avaliaes
Responsabilidade para Descentralizada Centralizada
a conduo de avaliaes
Posio do avaliador Interna Externa
Subordinao Ao Poder Executivo Ao Poder Legislativo
do governo do governo

Foco das avaliaes Melhorar a tomada Aumentar a responsa-

e implementao das bilidade
decises
Iniciao Iniciada e conduzida Iniciada e conduzida
localmente centralmente
Abertura Pequena Grande
30
 O modo pelo qual se organizam as avaliaes afeta seu papel no RSP
processo de tomada de deciso. A integrao das avaliaes com os
diferentes processos de formulao de poltica e tomada de deciso um
aspecto fundamental para a garantia de seu uso.
preciso avaliar o valor agregado e os custos de avaliao compa-
rativamente, por exemplo, as mensuraes de desempenho em curso.
Alguns governos alocam recursos para fins de avaliao (por exemplo, a
avaliao dos programas de gastos da Unio Europia normalmente
financiada com recursos do oramento dos programas, do qual apenas
uma pequena parte alocada para atividades avaliativas) ou criam fundos
especiais para o financiamento de projetos de avaliao.

Austrlia

A tenso entre flexibilidade e controle na sistematizao das ava-

liaes foi resolvida recentemente pela institucionalizao do processo,
ao passo em que se deixa a cargo dos ministrios isolados a deciso
quanto ao modo de se realizar o trabalho. O Ministrio das Finanas pode
participar de grandes avaliaes pr-selecionadas e ajudar a garantir o
controle de qualidade.

Questo no 5: Articulando a avaliao

com o processo oramentrio

Para que a avaliao seja eficiente, preciso que seja parte integrante
do projeto de formulao e implementao de polticas. Articulaes
formais e sistemticas ao processo oramentrio so muito importantes.
Contudo, um comparativo entre as prticas gerenciais de sete pases
concluiu que em nenhum deles havia a integrao apropriada de oramento,
auditoria e avaliao (Gray e Jenkins, 1993).
As expectativas em relao ao uso dos resultados das avaliaes
no processo de alocao oramentria precisam ser realistas. O processo
oramentrio implica diversas escolhas polticas, dentre as quais a avaliao
apenas um dos fatores a considerar. til desenvolver um relaciona-
mento construtivo entre o avaliador e a organizao que se avalia. H
quem considere que a articulao da avaliao com o processo de alocao
de recursos possa diminuir a confiana entre as partes e, conseqen-
temente, a qualidade da avaliao. As avaliaes orientadas por meca-
nismos de controle, visando a grande economia, nas quais os resultados
so usados apenas como base para cortes oramentrios, sempre consti-
tuiro resistncia. O envolvimento de gerentes e pessoal da organizao
avaliada pode melhorar o equilbrio dos resultados e criar mais confiana. 31
 Um sem-nmero de pases (dentre os quais a Austrlia e a Sucia), RSP
alm da Comisso Europia, fizeram tentativas para melhorar essa
articulao com o processo oramentrio.

Austrlia

Na Austrlia, a avaliao foi associada ao processo oramentrio.

O oramento dos programas, que inclui a avaliao dos mesmos, oferece
a estrutura bsica para a tomada de deciso. A avaliao tem sido o
principal meio de realocao dos novos recursos, tendo por base a eficcia
dos programas.
Uma reviso do uso das avaliaes na formulao do oramento
de 1994/1995 demonstrou que os resultados das avaliaes influenciavam
77% das novas polticas propostas, bem como 65% das opes visando a
economia de recursos. Segundo se constatou, a avaliao teve influncia
sobre as deliberaes do primeiro escalo do governo em 68% das
propostas consideradas. Trata-se de um aumento significativo comparati-
vamente a oramentos anteriores, o que em parte reflete o fato de que
um grande pacote de propostas, o chamado pacote Working Nation,
amplamente apoiado em resultados de avaliaes, abrangia grande
componente de novas propostas de polticas previstas no oramento.
A posio australiana a de que as avaliaes devem ser conduzidas
pelos prprios gerentes dos programas, mas que o processo como um todo
deve ser orientado, progressivamente, de forma integrada gesto de
desempenho baseada em bons princpios, que deve ser coordenada por
aqueles a quem incumbe a alocao dos recursos. O Departamento de
Finanas desempenha um papel fundamental na coordenao e orientao
das avaliaes conduzidas pelos diversos departamentos e rgos do governo,
chegando mesmo a participar de algumas avaliaes isoladas.

Sucia

Ao final da dcada de 80, um novo processo oramentrio foi

institucionalizado na Sucia. Um dos objetivos era fazer das avaliaes
prvias ad hoc um componente formal dos processos de tomada de
deciso. Alm da produo de um informativo anual com os resultados,
os rgos eram solicitados a conduzir revises aprofundadas de suas ativi-
dades a cada trs anos. O objetivo era o de facilitar discusses sobre
resultados de polticas e de promover uma base mais slida para as decises
executivas mais importantes.
O sistema de avaliao foi recentemente revisado para incorporar
mais flexibilidade. O documento principal utilizado na dotao oramen-
tria um relatrio anual que detalha informaes de produo. Revises
aprofundadas s so conduzidas mediante a solicitao formal por parte 32
de um ministrio. O material para avaliao prvia do processo oramen- RSP
trio melhorou substancialmente. Contudo, no existe nenhuma informao
sistemtica sobre o uso das avaliaes. A impresso geral de que a
informao apresentada nos relatrios anuais dos rgos geralmente
usada para fins de controle pelos ministrios e, tambm, para o refina-
mento de algumas polticas.

Comisso Europia

Uma poltica de avaliao sistemtica de programas foi adotada

em 1996. As avaliaes ficam a cargo dos departamentos operacionais,
ao passo que as Diretorias-Gerais para oramento e controle financeiro
do suporte ao controle de qualidade das avaliaes.
Uma ligao importante entre oramento e avaliao se d por
meio da exigncia de que todas as propostas de programa sejam acompa-
nhadas de um demonstrativo financeiro que estabelea um plano avaliativo
para o programa. As propostas de novos programas precisam ter por
base uma avaliao ex ante, e as propostas para renovao dos programas
tambm precisam estar apoiadas em avaliaes. Em resumo, sem avaliao
no h alocao.

Questo no 6: Escolhendo o
avaliador certo
A organizao das atividades avaliativas reflete o papel que os
governos desejam que a avaliao desempenhe. Os arranjos institucionais
influenciam o que se pode esperar de uma avaliao. Tem impacto sobre
o foco da avaliao sua ligao ao processo de tomada de deciso e
outros, de natureza geral. A questo envolve diversos aspectos.
Em primeiro lugar, possvel dar a um ou mais rgos governa-
mentais a funo formal de conduzir ou solicitar avaliaes. Em segundo,
o governo pode promover o desenvolvimento da capacidade avaliativa,
tanto dentro quanto fora dos rgos dotados de alada formal para a
conduo das avaliaes. O terceiro aspecto a escolha do avaliador
certo para cada avaliao.
comum delegar a um rgo do governo autoridade para a conduo
ou solicitao de avaliaes. Assim tambm, como comum investir nas
Secretarias de Auditoria da capacidade formal para a realizao de
avaliaes ou auditorias. H exemplos das exigncias envolvidas no estabe-
lecimento de unidades de avaliao dentro dos ministrios. Isso pode ser
feito em toda a administrao ou em ministrios individualmente. H, tambm,
alguns exemplos de unidades semi-independentes de avaliao, com
autoridade geral ou setorial para a conduo das avaliaes. 33
 O desenvolvimento da capacidade avaliativa no precisa se limitar RSP
queles rgos investidos de autoridade formal para a realizao das
avaliaes. Muitos governos consideram este um aspecto importante para
a reunio de uma gama de avaliadores (tanto internos como externos).
A escolha do avaliador um fator importante na eficcia das
avaliaes. essencial analisar o objetivo de cada avaliao. Por exemplo,
uma avaliao interna provavelmente se ater a questes relevantes e far
sugestes prticas de recomendaes, mas seria pouco realista esperar
que oferecesse informaes crticas e relevasse questes relacionadas
propriedade ou no de se continuar um dado programa. Os escritrios de
auditoria independentes podem abordar questes mais fundamentais rela -
tivas aos resultados, mas a quantidade de questes, resultados e recomen-
daes que se lhes apresenta no ser necessariamente relevante do ponto
de vista poltico. Os avaliadores semi-independentes podero combinar essas
duas perspectivas.
A avaliao pode ser conduzida por um sem-nmero de agentes,
dos quais poucos tero autoridade formal para sua realizao. As avalia-
es podem ser realizadas internamente pela administrao, externamente,
por organizaes independentes, ou, como geralmente acontece, por um
combinado de agentes diferentes. O grau de liberdade em rotular esses
agentes como avaliadores internos ou externos ir depender da perspectiva
adotada. Toda avaliao, com exceo da auto-avaliao, externa ao
programa avaliado, e as unidades de avaliao nos ministrios so internas
ao ministrio, mas externas ao programa. Os escritrios de auditoria, geral-
mente, so completamente independentes etc. O Quadro 6 mostra rgos
aos quais o governo poderia estender autoridade formal para a conduo
das avaliaes. Ele tambm indica quais desses agentes podem ser vistos
como internos, externos ou independentes. Dependendo da perspectiva,
pode haver a superposio de mais de uma categoria.
Quando a avaliao conduzida pela organizao avaliada, a
anlise contribui para a coleta de informaes fundamentais para
a organizao em questo. Os avaliadores internos conhecem o programa
e as questes que abordam. Alm disso, tm livre acesso s informaes
correntemente produzidas na organizao, e detm, ainda, muita informao
informalmente. Os dados podem ser coletados de maneira fcil e relativa-
mente barata. A auto-avaliao permite aprender mais com as experincias
e facilita o uso prtico dos resultados. Alm disso, as exigncias geralmente
so menos rigorosas, pois questes complexas em relao relevncia e
ao resultado do programa geralmente no so objeto de avaliao.
Os problemas de avaliao interna tm a ver mais com o tempo e
as habilidades exigidas equipe de avaliadores, a limitada faixa de questes
a serem cobertas, a possvel falta de objetividade e, conseqentemente, a
falta de credibilidade dos resultados. Isso pode resultar em um uso limitado 34
das avaliaes fora da organizao. Contudo, no , necessariamente, RSP
um problema se a avaliao se dirigir, principalmente, melhoria da imple-
mentao, e no tanto avaliao da relevncia geral de um programa.

Quadro 6: Posies dos avaliadores e

sua relao com o programa avaliado

Relao com o programa

Avaliador Posio do avaliador
avaliado
Interna Organizao avaliada Dentro da administrao
Unidades de avaliao
especial junto aos
ministrios
rgos centrais
da gerncia
Comisses
Consultores gerenciais
Externa Instituies acadmi- Fora da administrao
cas ou de pesquisa
Grupos comunitrios
de consumidores etc.
Independente Escritrios nacionais
de auditoria

Canad

Os departamentos e rgos so responsveis pela avaliao dos

programas. As avaliaes geralmente so conduzidas por unidades espe-
cializadas em avaliao corporativa. Essas unidades por vezes so alvo
de crticas, por no revisarem adequadamente a lgica dos programas em
curso. Em 1996, uma grande reviso do programa foi realizada, sob a
direo dos ministrios, por meio de um comit especial estabelecido para
esse fim. Essas avaliaes amplas requerem uma clara liderana poltica.

Sucia

Os rgos do governo so solicitados a avaliar e apresentar um

relatrio de desempenho e resultados. Um estudo conduzido por um grupo
de Especialistas em Finanas Pblicas, em 1996, descobriu que a quali-
dade da auto-avaliao realizada pelos rgos pblicos era, de maneira
geral, bastante baixa. As concluses derivadas dessas avaliaes
geralmente no estavam apoiadas em evidncias materiais, por exemplo.
Havia necessidade de criar mecanismos de controle de qualidade. 35
 A avaliao conduzida por rgos centrais capaz de abordar RSP
questes que abrangem todo o governo e programas que cobrem diversos
setores, estudando mais profundamente o impacto de diferentes
programas e, possivelmente, revisando de forma mais rigorosa a relevn-
cia atual dos programas em curso. Alm disso, a autoridade do avaliador
e o acesso a processos-chave de tomada de deciso podem realar o uso
das avaliaes. A confiabilidade em relao aos resultados e a natureza
mais poltica das questes abordadas geralmente suscitam interesse fora
da organizao avaliada, o que facilita o uso da avaliao em processos
de tomada de deciso.
Problemas podem surgir em funo da distncia existente entre o
programa que se avalia e o rgo central, o qual se v limitado em seu
acesso direto s informaes dadas s restries de tempo, recursos etc.
Os avaliadores dos rgos centrais podem desempenhar papis conflitantes
(oferecendo aconselhamento a ministrios e rgos individualmente, bem
como ao Ministrio da Fazenda). A credibilidade pode estar em risco, a
menos que o avaliador seja capaz de definir com clareza seu papel em
relao a avaliaes individuais e fazer distines entre informao objetiva
e julgamentos subjetivos que possam sofrer influncia do propsito da
organizao (por exemplo, valor por dinheiro). Alm disso, os gerentes de
programas precisam estar prontos a aceitar os resultados das avaliaes
externas e as recomendaes, que podem no ser facilmente implementveis.
Os gerentes de programas, ou os rgos centrais, geralmente agem
como coordenadores das avaliaes conduzidas por avaliadores externos
(instituies de pesquisa e consultores, por exemplo). Essa funo de
coordenao envolve a seleo do avaliador, o processo de contratao,
a seleo de programas para avaliao e a assistncia aos avaliadores
para a conduo da avaliao.

Frana

O Comit Interministerial de Avaliao quem decide quanto ao

nmero de avaliaes conduzidas em resposta a solicitaes do primeiro
escalo, rgos do governo em geral e o Escritrio de Auditoria. Um
conselho independente faz recomendaes ao comit quanto metodologia
e a qualidade das avaliaes. As avaliaes so financiadas pelo Fundo
Nacional de Desenvolvimento de Avaliaes.

Pases Baixos

Os diretrios oramentrios internos e o Ministrio da Fazenda so

responsveis pela coordenao, promoo e determinao do uso de
avaliaes, devendo garantir que a orientao, o aconselhamento e o
conhecimento de pesquisa sejam disponibilizados conforme a necessidade. 36
Austrlia RSP

O Departamento de Finanas tem o papel central de assistir os minis-

tros e os rgos para que se familiarizem com as avaliaes, a fim de que
desenvolvam planos e atividades avaliativas, conhecimento e material de
referncia, treinamento de equipes e o registro das avaliaes concludas.
Alm disso, participa em algumas avaliaes com ministrios individuais.
Quando a avaliao conduzida por avaliadores externos, a
autonomia e habilidade destes geralmente melhora o leque de questes
abordadas e a confiabilidade dos resultados. Isso, por sua vez, amplia o
pblico interessado na avaliao que se conduz. Por outro lado, os
avaliadores externos podem ter um entendimento menor da substncia e
da cultura administrativa e poltica da organizao avaliada. Alm disso, alguns
avaliadores podem tender a produzir avaliaes um tanto padronizadas ou a
apresentar apenas os resultados que agradem o cliente. As instituies aca-
dmicas tendem a produzir estudos demasiadamente tericos.
H quem sugira que o sucesso de uma avaliao depende de seu
ancoramento a diversos plos (Mayne, Divorski, Lemaire, 1998). S assim
possvel satisfazer a diferentes demandas e produzir a informao para
uma multiplicidade de mercados. H sempre o risco de concorrncia
improdutiva e fragmentao das avaliaes, mas o uso de diferentes
fornecedores de avaliao ir ampliar o leque de questes e perspectivas
abrangidas nas avaliaes, aumentando, assim, as possibilidades para o
uso de seus resultados. Ao diversificar o fornecimento, possvel combinar
os benefcios e minimizar as limitaes de avaliadores. Isso tambm pode
ser feito pela criao de corpos semi-independentes de avaliao.
Uma vez que o desenvolvimento da capacidade avaliativa em
diferentes organizaes uma tarefa um tanto desafiadora, pode ser conve-
niente, nos estgios iniciais, estabelecer atividades de avaliao em que
haja alguma evidncia de demanda potencial, e, preferivelmente, em reas
que disponham dos recursos necessrios. Alguns estudiosos tm sugerido
que pode ser vlido centralizar a capacidade de avaliao em certo grau,
no incio, deixando-se a expanso para outros centros para um momento
posterior em que as habilidades e os demais recursos necessrios j tenham
se avolumado (Boyle, 1997).
Diversos estudos e experincias sugerem que as organizaes gover-
namentais parecem ser mais receptivas a informao produzida interna-
mente, ao passo que a avaliao externa geralmente vista como uma
ameaa (Rist, 1994). Contudo, a necessidade de aceitao e implementao
das avaliaes precisa ser contrabalanada por mecanismos apropriados
de controle, visando a maior credibilidade das avaliaes internas. Isso
pode ser alcanado pelo aumento da transparncia e da divulgao, estabe-
lecendo-se grupos de referncia externos e conduzindo-se revises. 37
 A extenso e localizao de ocorrncias de meta-avaliao, ou a RSP
avaliao de avaliaes, tambm so aspectos relevantes. Por exemplo,
pode ser vantajoso promover avaliao interna que seja posteriormente
revisada por rgos externos.

Questo no 7: Planejando as avaliaes

A boa preparao das avaliaes um fator preponderante para

seu xito. conveniente dedicar algum tempo e esforo seleo do
tpico e determinao do escopo e dos objetivos, planejando o processo
avaliativo com cautela e escolhendo-se os critrios que sero utilizados.
O planejamento cuidadoso torna mais fcil o gerenciamento das avaliaes
e contribui para a qualidade de seus resultados. Contudo, o planejamento
no pode se tornar demasiadamente rgido. Um certo grau de flexibilidade
permite que as avaliaes sejam ajustadas a mudanas de necessidades
e circunstncias.
O requerente, geralmente aps consultar os usurios da avaliao,
deve assumir a responsabilidade final pelas escolhas relacionadas ao
planejamento da avaliao. Ateno especial deve ser dada definio
de objetivos, questes, critrios e informaes disponveis, bem como aos
mtodos de coleta e anlise de dados. O cronograma, o oramento, a lista
de avaliadores e a organizao geral da avaliao tambm precisam ser
detalhados. Os meios pelos quais os resultados sero apresentados, utili-
zados e monitorados tambm precisam ser considerados.
O planejamento tambm envolve a identificao dos usurios, dos
resultados e recomendaes da avaliao, devendo-se definir a respon-
sabilidade dos diferentes atores e o modo como devero ser informados e
motivados. O uso dos resultados da avaliao tambm precisa ser consi-
derado, em uma anlise que inclua passos concretos a serem tomados
para a implementao das recomendaes.
Um planejamento cuidadoso das avaliaes fortalece o compromisso
de agir a partir dos resultados e pode ajudar a garantir a tomada de aes
posteriores. A definio dos usurios da avaliao na fase do planejamento
influencia, e muito, o projeto do procedimento avaliativo. As necessidades
de informao dos usurios precisam ser abordadas, bem como o inte-
resse daqueles que estaro sendo avaliados, a fim de garantir seu envol-
vimento e cooperao.
No planejamento de avaliaes isoladas, pode ser til compilar e
publicar planos de avaliao de escopo mais amplo, que abranjam diversos
setores e departamentos do governo (como os Planos de Avaliao de
Carteira, na Austrlia, ou o Programa Anual de Avaliaes da Comisso
Europia). Esses planos visam informar os interessados a respeito das 38
matrias que estaro sendo estudadas, detalhando at mesmo o escopo e RSP
o objetivo desses estudos. Contribuem, tambm, para a coordenao
e implementao da avaliao.

Questo no 8: Acertando o
timing das avaliaes
Para que seja til, a avaliao deve se encaixar nos ciclos de formu-
lao de polticas e tomadas de deciso. A tempestividade um grande
problema nas avaliaes. As avaliaes precisam ser planejadas com vistas
gerao de informaes que sejam teis quando da tomada de deciso.
Contudo, o timing exato pode ser difcil de se alcanar, porque o processo
de tomada de deciso um tanto imprevisvel, e as polticas geralmente so
revisadas antes que seus resultados possam ser apreciados. Diferentes
usurios de uma mesma avaliao freqentemente tm, cada qual, seus
prprios cronogramas. A avaliao pode envolver surpresas, e melhor
planejar com antecedncia do que decepcionar-se com os resultados.
O timing tambm importante do ponto de vista do programa
avaliado. essencial no tentar conduzir avaliaes ex post antes de o
programa ter atingido um certo grau de maturidade. Contudo, a boa ava-
liao pode ser melhor apoiada por um sistema eficiente de monitoramento,
que se estabelea uma vez que o programa tenha sido iniciado. Tambm
importante, durante a avaliao, permitir o transcurso de tempo suficiente
para a anlise do material. O requerente precisa monitorar o cronograma
de avaliao cuidadosamente, a fim de agir tempestivamente caso surja
algum problema.

Questo no 9: Satisfazendo as
necessidades do usurio
As avaliaes precisam ser focadas para o uso por um determinado
pblico, cujas necessidades devem ser satisfeitas. O estado, a confiabili-
dade e as conexes dos usurios tm impacto sobre a credibilidade, e, por
conseguinte, sobre o uso da avaliao. Uma vez que a avaliao essen-
cialmente orientada a processos de formulao de polticas e tomada de
deciso, importante se familiarizar com o modo de pensar e agir dos
usurios. Entender o processo de interao poltica to importante quanto
a capacidade de conduzir anlises adequadas. necessrio um dilogo
entre as culturas dos usurios e dos avaliadores. Os diferentes processos
de tomada de deciso, e a variedade de usurios das avaliaes, tambm
podem exigir uma diversificao das atividades de avaliao (na Sucia
h diversos fornecedores de avaliaes para grupos diferentes de
tomadores de deciso). 39
 Contudo, a avaliao pode desempenhar papis que vo alm do RSP

servio direto a usurios especficos. A avaliao tambm precisa

reconhecer outras responsabilidades. Comportamento eticamente inacei-
tvel, m interpretao ou mau uso dos resultados de avaliaes em nome
do cliente no podem ser tolerados.

Questo no 10: Garantindo

a relevncia

importante observar os possveis benefcios da avaliao de

um programa em particular, e em que grau informaes confiveis podem
ser obtidas a partir dos resultados. As avaliaes devem abordar temas
ou estudar programas que sejam significativos a questes oramentrias,
polticas, gerenciais ou estratgicas. Isso especialmente importante
nos estgios iniciais das avaliaes conduzidas no mbito do governo,
na medida em que mesmo algumas poucas avaliaes de alto-perfil
podem ter impacto considervel sobre a cultura de avaliao. Para que
a avaliao seja justificvel, o programa avaliado tambm precisa ser
razoavelmente estvel. As solicitaes de avaliao precisam ser feitas
de forma sincera: deve haver pelo menos uma possibilidade de uso
concreto dos resultados obtidos.
muito difcil avaliar questes de grande interesse poltico, como
por exemplo questes relacionadas ao resultado e relevncia gerais de
uma dada poltica. s vezes, as questes de menor importncia so
abordadas devido ausncia de interao entre o avaliador e os usurios.
A escolha cuidadosa do avaliador e a possibilidade de criao de um
grupo de referncia iro facilitar essa interao. O requerente de uma
avaliao deve se certificar de dedicar o tempo necessrio definio
dos termos de referncia para a avaliao e ao suporte a amplas discusses
de seus termos, previamente ao incio da avaliao.
Um certo grau de flexibilidade necessrio para manter a relevncia
por meio do processo de avaliao. Isso pode ser necessrio para se
ajustar uma avaliao a mudanas nos programas avaliados ou a mudanas
na demanda por informaes. A relevncia das questes particulares pode
se alterar na medida em que a avaliao caminha. Por isso mesmo, os
contratos de avaliao no devem ser demasiadamente rgidos.
O avaliador deve manter uma postura ativa, e no confinar a avaliao a
questes originalmente delineadas se outras perspectivas se apresentarem
como relevantes. Entretanto, um certo equilbrio necessrio, na medida
em que as avaliaes com excessivo grau de flexibilidade correm o risco
de serem capturadas pelo avaliador. 40
Frana RSP

Segundo alguns comentaristas, os estudos de avaliao solicitados

por intermdio do Conselho Cientfico para Avaliaes geralmente se limitam
a tpicos de importncia relativamente menor. A relutncia da burocracia
em abordar questes politicamente importantes, bem como a tentativa de
evitar conflitos em alguns crculos polticos, evidenciam a relevncia da
avaliao (Boyle, 1997; Toulemonde, 1998). Alm disso, a lacuna cultural
existente entre os acadmicos que conduzem as avaliaes e os polticos
que recebem a informao limita o uso dos resultados das avaliaes.

Questo no 11: Envolvendo

os interessados

Os interessados so todos aqueles que tm alguma inteno em

relao s avaliaes, em funo da importncia que antecipem quanto
aos resultados ou ao processo em si, para aplicao posterior em suas
funes ou aes. Os interessados podem ser formuladores de polticas
(parlamentares, ministros e outros executivos), o departamento de
oramento, os gerentes de programa, os funcionrios pblicos que cuidam
de sua implementao, o grupo-alvo do programa ou outros grupos de
interesse que possam ser atingidos pelos programas.
Existem diferentes vises quanto abordagem participativa nas
avaliaes. De qualquer modo, necessria uma estratgia para a devida
gesto dos interessados. A definio dos interessados e seu envolvimento
na avaliao geralmente aumentam o compromisso e disposio destes
em utilizar os resultados da avaliao. As diferentes perspectivas colhidas
dos diferentes interessados podem enriquecer muito o processo avaliativo.
Entretanto, o envolvimento dos interessados pode implicar deficin-
cias. Pode haver dificuldade no gerenciamento e no equilbrio dos diversos
interesses envolvidos. Alguns interessados ( includos os gerentes e o pessoal
encarregado do programa avaliado) podem apresentar-se relutantes a
participar e a disponibilizar informaes, especialmente se imaginarem que
os resultados das avaliaes podem ser crticos quanto ao seu desempenho.
O gerenciamento das relaes com os interessados pode ser mais
dispendioso e demorado do que a abordagem no-participativa. Alm disso,
o envolvimento dos interessados pode afetar negativamente a credibilidade
da avaliao.
A despeito dessas dificuldades, uma parceria entre os interessados
geralmente til. Do contrrio, a avaliao corre o risco de se tornar um
procedimento burocrtico, formal, conduzido por profissionais com poucas
ligaes aos potenciais usurios. 41
 A parceria pode ser estabelecida entre todas as partes: requerentes, RSP

avaliadores, avaliados, usurios potenciais e outros grupos de interesse.

O envolvimento dos interessados tambm pode ser formalizado como
parte da avaliao, por meio da criao de grupos gestores ou comits de
aconselhamento. O escopo da cooperao pode variar, por exemplo, de
acordo com a fase do processo avaliativo. A parceria na definio dos
termos de referncia geralmente considerada benfica na maximizao
do uso da avaliao. Alguns estudiosos argumentam que os interessados
tambm deveriam decidir quanto metodologia a aplicar, bem como se
envolver nas anlises e na interpretao dos resultados.
Os avaliadores precisam buscar uma interao justa e confidencial
com as partes envolvidas. Precisam estar cientes do necessrio equilbrio
de interesses que deve haver durante o processo de avaliao. Um grupo
interessado pode precisar de maior ateno que outros usurios dos
servios ou o prprio grupo-alvo do programa avaliado. Isso naturalmente
complica a avaliao, uma vez que os resultados do programa tm que
ser revisados no apenas em relao aos seus objetivos, mas tambm no
que diz respeito s necessidades dos clientes. s vezes chega-se a sugerir
que os avaliadores ajam no sentido de salvaguardar a perspectiva de
eventuais grupos minoritrios envolvidos na avaliao.

Sucia

O sistema de comisses tem desempenhado um papel central

na preparao de decises polticas neste sculo. Embora a importncia
relativa do sistema tenha se reduzido em anos recentes, cerca de 200
comisses continuam trabalhando anualmente. Essas comisses combinam
a viso dos interessados, ao reunir representantes de partidos polticos,
meios acadmicos, sindicatos, associaes patronais, organizaes de
defesa do consumidor, grupos de interesse ambiental etc. Alm disso, os
relatrios produzidos pelas comisses so encaminhados a um grande
nmero de outras partes interessadas em mbito pblico e privado
para considerao e reviso. Dessa forma o conhecimento disponvel
na sociedade pode ser combinado de modo a melhor servir s anlises e
preparao de decises polticas.

Questo no 12: Garantindo

qualidade metodolgica
A qualidade metodolgica da avaliao abrange aspectos como
os critrios relevantes, a necessidade de evidncias adequadas e, por
conseguinte, de resultados claros e confiveis. A propriedade da metodologia 42
aplicada pode ter amplo efeito sobre a credibilidade e o uso da avaliao. RSP

Esse aspecto requer especial ateno, uma vez que o mercado para avalia-
es do setor privado cresce rapidamente em muitos pases.
At certo ponto, pode haver uma soluo de compromisso entre o
rigor e a utilidade da avaliao. As avaliaes dominadas por mtodos
complicados de pesquisa no costumam chegar a nenhuma concluso, e,
a menos que sejam testadas, podero no ser aquelas dignas de maior
ateno por parte dos formuladores de poltica. Alm disso, integrar o uso
de mtodos cientficos, de um lado, e solues pragmticas para questes
polticas, de outro, pode ser algo bastante desafiador. Aspectos como
custo e tempo geralmente limitam o escopo para uso dos melhores mtodos,
pois estes podem se revelar onerosos e demorados, alm do que seria
realista. Em resumo, as consideraes pragmticas precisam ser
contrabalanadas a outras de natureza epistemolgica.
preciso selecionar mtodos, na medida do possvel, na fase do
planejamento das avaliaes. Isso inclui os mtodos para coleta de dados,
o uso de mtodos qualitativos e quantitativos, amostragem, causalidade,
explicaes alternativas e lgica de argumentao. As concluses de uma
avaliao deveriam se basear nos resultados obtidos a partir dos dados, e
as recomendaes deveriam ter por base as concluses. Os avaliadores
precisam ser claros acerca das premissas, incertezas e outras licitaes
metodolgicas da avaliao. Na extenso possvel, os fatos devem ser
separados de opinies e premissas.
Os processos de controle de qualidade podem variar. desnecessrio
dizer que o conhecimento tcnico de alta qualidade e outros recursos contri-
buem para uma avaliao de qualidade. A abertura e a transparncia do
processo avaliativo permitem aos revisores externos fazer um escrutnio da
qualidade. A divulgao das avaliaes pode ser, em si mesma, um meca-
nismo de controle de qualidade, pois dada mais ateno qualidade das
avaliaes cujos resultados so publicados. Podem ser criadas listas de
verificao para se estabelecer padres de qualidade para as avaliaes
(por exemplo, a lista de verificao da Comisso Europia DG XIX); padres
ticos para avaliaes tambm vm sendo adotados (por exemplo, pelas
Sociedades Americanas e Australasianas de Avaliao), com o objetivo de
aumentar a qualidade das avaliaes. O estabelecimento de grupos gestores
ou grupos externos totalmente independentes (por exemplo, o Conselho
Cientfico de Avaliaes, na Frana) pode ser til na tentativa de orientar
ou revisar a qualidade das avaliaes. Como alternativa, o Escritrio de
Auditorias pode ficar com a responsabilidade ou autoridade de revisar as
avaliaes, se assim desejar (como faz, por exemplo, o Escritrio Nacional
de Auditorias da Sucia). As revises so especialmente importantes para
o aumento da credibilidade e qualidade das avaliaes internas. 43
Questo no 13: Emitindo juzos RSP

e recomendaes

H algumas diferenas de opinio com relao ao valor da emisso

de juzos e recomendaes a partir das avaliaes. Alguns consideram
que os julgamentos devem ser deixados como responsabilidade exclusiva
dos requerentes ou usurios da avaliao. Argumenta-se que quanto mais
genricas as concluses de uma avaliao, mais fcil o seu uso para
esclarecimento de diferentes problemas e o fomento de discusses e de
um processo de aprendizagem.
Por outro lado, pode-se sugerir que os julgamentos e recomendaes
atraem ateno, provocam e orientam discusses, alm de sinalizarem
decises e aes que devam ser tomadas. Os tomadores de deciso geral-
mente dispem de tempo limitado e podem estar sobrecarregados de
informaes. Os resultados e recomendaes mais claros, que delineiam
alternativas de ao, tm maior probabilidade de atrair ateno e predispor
aes subseqentes. Alm disso, os mecanismos construtivos de sugesto
de melhorias, antes de se limitarem aos pontos dbeis de um programa,
podem limitar a resistncia e contribuir para um consenso quanto s
mudanas necessrias. De qualquer modo, necessrio deixar claro o
critrio contra o qual se fazem julgamentos e recomendaes. As recomen-
daes podem ser contrabalanadas pela sugesto de solues alternativas,
contrariando a tendncia de se focar apenas uma soluo possvel.
Tambm pode ser til apresentar um plano de implementao que tenha
por base as recomendaes da avaliao.

Questo no 14: Divulgando

os resultados

Muitas avaliaes no surtem qualquer efeito, pois nenhuma ateno

dada divulgao de seus resultados. essencial que esses resultados
sejam apresentados de modo eficaz e oportuno.
As polticas de divulgao variam, obviamente, mas a credibilidade e
o uso da avaliao geralmente so aumentados quando se garante transpa-
rncia e abertura. Na Austrlia, os resultados das avaliaes devem ser
divulgados publicamente. Na Sucia, o pblico sempre teve acesso a toda
documentao do governo, includos os relatrios de avaliao.
Os resultados das avaliaes, em especial aqueles com concluses negativas
ou crticas, costumam encerrar grande sensibilidade poltica. Deve ser
evitada controvrsia desnecessria, o que se consegue dando aos avaliados
alguma informao preliminar sobre os resultados, antes de sua publicao. 44
 A abertura geralmente um aspecto positivo. Contudo, dependendo RSP

da situao especfica, a transparncia pode ter aspectos negativos sobre

o uso das avaliaes. A divulgao pode encorajar a implementao das
recomendaes da avaliao ao criar presso externa, mas pode tambm
aumentar a resistncia entre as partes que foram objeto de crtica, redu-
zindo a disposio destas em cooperar e agir de modo correto. Esses
efeitos podem ser limitados evitando-se o uso de tom acusatrio e pela
promoo de uma cultura de aprendizagem. Ao invs de se concentrar
nas deficincias, a avaliao deve enfatizar, em seu relatrio, o que vem
sendo feito para superar os problemas identificados. Contudo, pode haver
casos em que a divulgao e a exposio na mdia a partir de certo estgio
se tornem nocivas.
Conforme discutido anteriormente, o timing da divulgao dos
relatrios de uma avaliao importante para a conciliao com os
cronogramas de tomadas de deciso. Geralmente, conveniente disponi-
bilizar alguns resultados preliminarmente. A deciso quanto a divulgar ou
no as recomendaes e concluses deve ser tomada nesse estgio.
A experincia sugere que as avaliaes que encerrem temas de grande
implicao poltica geralmente so melhor recebidas aps o transcurso
das eleies, quando o novo governo j se apresenta mais disposto a
aceitar crticas e recomendaes.
A publicao de um relatrio formal o meio mais comum de se
apresentar resultados de uma avaliao. importante que o relatrio seja
claro, abrangente e amplamente distribudo. A estrutura e argumentao
de um relatrio de avaliao devem ser inteligveis. Um sumrio executivo
pode ser til, dada a improbabilidade de que todos os interessados venham
a ler o relatrio na ntegra. Em alguns casos, pode ser vlida a publicao
de verses resumidas do relatrio para diversos grupos de interessados.
A mera distribuio do relatrio geralmente no basta. Explicaes
e marketing adicionais tambm so necessrios para se estabelecer um
dilogo quanto aos resultados da avaliao. Encontros com diversos inte-
ressados podem ser organizados para se apresentarem e interpretarem os
resultados, bem como para encorajar a implementao das recomendaes.
Ateno especial deve ser dada aos principais tomadores de decises.
Seminrios, oficinas e grupos de discusses podem ser organizados.

Questo no 15: Monitorando

ou acompanhando

O monitoramento do impacto da avaliao estimula o seu uso, orienta

o processo de implementao e pode contribuir para a melhoria das prticas
45
de avaliao no futuro. O acompanhamento tambm importante na identi- RSP

ficao de possveis necessidades adicionais de avaliao.

O acompanhamento pode ser facilitado por uma estrutura institu-
cional que revise o uso de todas as avaliaes em curso, ou que estabelea
exigncias de acompanhamento subseqente a cada avaliao. impor-
tante garantir tempo suficiente para a implementao antes de se tirarem
quaisquer concluses sobre o uso ou impacto da avaliao.
Sanes pelo no uso dos resultados de uma avaliao, ou por no
se seguirem as recomendaes feitas, geralmente ficam circunscritas ao
mbito da divulgao e persuaso. Contudo, a simples conscientizao
pblica quanto ao fato pode no criar a presso necessria para a imple-
mentao de mudanas nos programas.
A implementao dos resultados e recomendaes de uma avaliao
geralmente requer suporte e servios de consultoria. Isso pode ser facili-
tado por meio da assistncia tcnica e financeira.

Questo no 16: Reconhecendo

as necessidades de pessoal para
treinamento e suporte

O sucesso de uma avaliao requer avaliadores treinados,

solicitantes bem informados e usurios conscientes. Em muitos pases, a
educao bsica dos funcionrios pblicos no inclui habilidades
especficas de avaliao. Sendo assim, o treinamento importante, espe-
cialmente quando a avaliao ainda est sendo introduzida e desenvolvida.
So necessrias habilidades metodolgicas, polticas, gerenciais e
de comunicao. Os solicitantes e usurios de uma avaliao precisam
melhorar seu nvel de conhecimento sobre as avaliaes, a fim de serem
capazes de articular questes relevantes, desenvolver os objetivos de avalia -
o, gerenciar projetos e selecionar avaliadores. Precisam, tambm, entender
as limitaes da avaliao, bem como seu potencial para melhoria dos proces-
sos de tomada de deciso. Somando-se s habilidades de avaliao tcnica,
importante haver uma cultura de permanente reviso das atividades
pblicas. Os avaliadores externos precisaro aprender a compreender o
contexto gerencial e poltico em que as avaliaes se desenvolvem.

Treinamento e suporte
podem ser organizados

Pela criao de redes dentro das organizaes, o governo como

um todo e os avaliadores e auditores de diferentes campos (redes de
colaboradores como, por exemplo, a rede da Comisso Europia, ou as 46
associaes mais formais como a Sociedade Europia de Avaliao, a RSP
Sociedade Australasiana de Avaliao, a Associao Americana de Ava-
liao, a Sociedade Britnica de Avaliao etc.);
Pela publicao de manuais, histrias de sucesso, informativos,
jornais etc.;
Pela organizao de seminrios, oficinas, cursos de treinamento,
visitas etc.;
Pelo estabelecimento de projetos de demonstrao; e
Pelo estabelecimento de um help desk, ou servio similar, na
administrao.

Concluses

Consideraes pragmticas e epistemolgicas precisam ser conci-

liadas na avaliao. essencial que haja um encontro entre a capacidade
de bem avaliar e a disposio de utilizar os resultados. S assim se poder
lograr que as avaliaes de programa tenham impacto sobre a tomada de
decises (Mayne, Divorski, Lemaire, 1998; Boyle, 1997). Esses pr-
requisitos so interdependentes, de modo que melhorias em um levam a
avanos tambm nos demais. algo que requer vontade poltica e trabalho
sistemtico.
H que se reconhecer que o uso das informaes da avaliao se
aplica a todo o ciclo de poltica, e no apenas a instncias subseqentes
implementao do programa ou de reviso peridica de uma poltica.
A questo crucial saber como os governos podem organizar suas ativi-
dades de avaliao de modo a tirar plena vantagem do que a avaliao
tem a oferecer. Embora o aprendizado organizacional geralmente no
seja uma atividade sistemtica, a avaliao pode prestar grandes contri-
buies no processo.
desnecessrio estabelecer arcabouos demasiadamente rgidos
para o uso das avaliaes. A mesma variao que se verifica nos objetivos
e mtodos de avaliao refletida no uso de seus resultados. Um dos
grandes impactos das avaliaes nas organizaes costuma ser descrito
como um impacto de longo prazo sobre o gerenciamento organizacional
embora se devam buscar, tambm, melhorias diretas nos programas.
A avaliao pode no ser apropriada para o fomento de todas as
decises. s vezes, a avaliao demasiadamente custosa ou demorada,
o que inviabiliza o seu uso. Por vezes, tambm, no h opes de ao
disponveis, ou h pouca vontade poltica para a realizao de mudanas,
e, ocasionalmente, a deciso tomada em outras bases, antes mesmo de
conhecidos os resultados de uma avaliao. A avaliao pode ser mal
utilizada ou conduzida apenas legitimao de decises polticas j 47
tomadas. Resultados inconvenientes, ou de grande delicadeza poltica, s RSP
vezes so suprimidos ou usados seletivamente. Embora o envolvimento
dos usurios seja uma parte importante da avaliao, h sempre o risco
de que a avaliao seja capturada pelo cliente.
A despeito dessas limitaes, a pr-condio essencial para o maior
uso dos resultados das avaliaes o compromisso e a perseverana
daqueles que crem no uso desses resultados para a melhoria dos processos
de formulao de polticas. preciso continuar produzindo avaliaes de
boa qualidade, trabalhando junto aos usurios e fazendo as adaptaes
necessrias ao ambiente sempre cambiante do setor pblico.

Exemplos de uso dos

resultados de avaliao

Alguns exemplos do uso concreto de avaliaes e sugestes para

estratgias eficientes de avaliao so apresentados a seguir. O grau do
uso efetivo dos resultados das avaliaes pode ser interpretado de duas
maneiras: pode-se experimentar algum desapontamento pelo fato de nem
todos os resultados das avaliaes serem usados ou, ao contrrio, alguma
satisfao pelo fato de a maior parte das avaliaes terminarem, de fato,
por influenciar os processos de tomada de deciso. Esta ltima viso
provavelmente a mais razovel.

Sucia

Embora ainda no tenham sido conduzidos estudos abrangentes sobre

o uso das avaliaes, alguns comentrios podem ser feitos. Das avaliaes,
90% so usados como material de referncia prvia, e utilizados, princi-
palmente, para ajustes de polticas, mais do que para uma reavaliao
fundamental das atividades.
Pode haver efeitos de aprendizagem a longo prazo, mas a inteno
de se introduzir questes mais fundamentais no processo oramentrio ainda
no foi concretizada. Contudo, a qualidade do material de referncia prvia
para fins oramentrios aumentou. Os relatrios anuais dos rgos incluem
muitos dados operacionais e servem, primariamente, gerncia interna e
s funes de controle dos ministrios. O Parlamento continua sendo o ator
mais mal informado sobre as avaliaes (Furubo e Sandahl, 1993).

Canad

A poltica e a infra-estrutura de avaliao foram desenvolvidas no

curso de duas dcadas. H registro de restries financeiras e de outra
ordem, mas o uso contnuo das avaliaes um grande indicador de sua 48
utilidade. Um grande nmero de avaliaes levou realocao de recursos, RSP

e pelo menos a algum uso do vasto universo de avaliaes conduzidas.

Uma combinao de planos departamentais e comits de avaliao torna
difcil perd-las de vista.
Estudos sugerem que cerca de 20% das avaliaes levaram signi-
ficativa reforma ou suspenso de programas; 40% delas levaram
modificao nos programas; 30% oportunizaram um melhor entendimento
dos programas; e cerca de 10% resultaram na confirmao de programas.
Em 1993, um estudo conduzido pelo Escritrio do Auditor-Geral descobriu
que os gerentes de avaliao davam a mxima importncia a esforos
visando a resoluo de questes operacionais e a melhoria de programas
pela administrao. Prioridade bem menor era dada ao questionamento
dos programas visando a melhoria da alocao de recursos ou a ava-
liao de grandes programas em extenso que permitisse melhorar a
delegao de responsabilidade ao Parlamento (Mayne, 1994).

Pases Baixos

Em um estudo conduzido pela Corte de Auditoria para explorar o

escopo, as prticas e o uso das avaliaes, mais de 80% dos funcionrios
entrevistados declararam que algum uso direto dos resultados das avalia-
es havia sido feito. Quando algumas das avaliaes foram examinadas
mais detidamente, 20, de um total de 42 estudos, haviam sido utilizados
explicitamente. Como se v, h de fato uma evidncia concreta de uso.
Apenas poucas avaliaes levaram a mudanas significativas (Leeuw e
Rozendal, 1994).

Austrlia

O Departamento de Finanas tem o papel central de assistir os

ministros e os rgos para que se familiarizem com as avaliaes, a fim
de que desenvolvam planos e atividades avaliativas, conhecimento e mate-
rial de referncia, treinamento de equipes e o registro das avaliaes
concludas. Alm disso, participa em algumas avaliaes com os minis-
trios individualmente.

49
Sugestes de uma estratgia RSP

eficaz de avaliao

Irlanda

A Irlanda est prestes a iniciar a sistematizao de suas atividades

de avaliao. De acordo com Boyle (1997), lies de outros pases suge-
rem que um leque de avaliadores necessrio (o recurso a corpos semi-
independentes de avaliao da administrao pode constituir um bom
modelo). As prioridades da avaliao precisam ser estabelecidas: revises
abrangentes conduzidas a cada trs anos podem constituir uma exigncia
demasiadamente grande na fase inicial. A perspectiva do usurio precisa
estar envolvida, sempre que possvel. O treinamento e o suporte de
desenvolvimento tambm so necessrios para avaliadores e usurios, tanto
em relao aos recursos de hardware quanto de software. A estimulao
de demanda efetiva prmios, penalizaes e conscientizao, alocao
de recursos, especificao de questes por parte daqueles que solicitam as
avaliaes tambm necessria. Finalmente, precisam ser estabelecidas
articulaes entre o oramento, a gerncia estratgica e a avaliao.

Estados Unidos

Richard Sonnichsen desenvolveu um modelo de escritrio interno

de avaliaes que tem sido eficiente para maior uso dos resultados.
O modelo tem por base a pesquisa conduzida em cinco escritrios internos
de avaliao, em nvel federal e, tambm, na experincia pessoal de
Sonnichsen. As condies organizacionais necessrias ao trabalho de um
escritrio interno de avaliaes so: recursos suficientes, independncia,
subordinao a um funcionrio snior da organizao, concordncia quanto
a metas e polticas entre o escritrio e a organizao, autoridade suficiente
para o chefe do escritrio de avaliao dentro da organizao, avaliadores
organizacionalmente experientes e sua aceitao na organizao como
profissionais independentes, objetivos e confiabilidade.
Os fatores do processo incluem um papel bem definido e a divul-
gao da agenda do escritrio, auto-iniciao de avaliaes, habilidade na
confeco de relatrios escritos e disseminao de resultados de avalia-
es por toda a organizao, recomendaes de emisso, aplicao do
procedimento de acompanhamento e desempenho, por parte da equipe
de avaliao, do papel fiscalizador quanto divulgao dos resultados e
recomendaes. Todos esses elementos oferecem uma combinao
adequada de condies organizacionais, habilidades avaliativas e atitudes
gerenciais que so necessrias para o sucesso de uma avaliao
(Sonnichsen, 1994). 50
Austrlia RSP

A experincia australiana, at o momento, aponta a necessidade

de alguns fatores crticos para uma avaliao de sucesso: diversas
reformas do setor pblico que enfatizem resultados finais; exigncias de
avaliao formal endossadas pelo primeiro escalo (que deve ser traduzida,
com o passar do tempo, em uma abordagem de gesto de desempenho
apoiada em boas prticas e orientada por princpios); apoio de diversos
ministrios-chave; clara delegao de autoridade ao Departamento de
Finanas para fins de avaliao; apoio do alto escalo dos ministrios;
consenso e motivao quanto propriedade e necessidade de atividades
de avaliao; redes de avaliadores; unidades centrais de avaliao nos
ministrios; planejamento, coordenao e garantia de qualidade; e bons
sistemas de informao sobre desempenho (Mackay, 1996).

Notas

1
Texto traduzido sob a responsabilidade da ENAP Escola Nacional de Administrao
Pblica, das edies originais em ingls e francs publicadas sob os ttulos Improving
Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper e
Vers de Meilleurs Pratiques de lvaluation. Guide des Meilleurs Pratiques Suivre
pour lvaluation et Document de Rfrence (Copyright OECD, 1999). A OECD no se
responsabiliza pela qualidade da traduo em portugus, bem como por sua coerncia
com o texto original.
O relatrio original juntamente com outros informativos sobre o trabalho do PUMA, no
que diz respeito gesto de desempenho e avaliao, esto disponveis na Internet:
(www.oecd.org/puma).
2
O grupo de referncia sobre avaliao composto por: Sylvie Trosa Departamento
de Finanas (Austrlia); John Mayne Gabinete do Auditor-Geral (Canad); Rolf Sandahl
Escritrio Nacional de Auditorias (Sucia); Harry P. Hatry The Urban Institute
(Estados Unidos) e Hilkka Summa (Comisso Europia).

51
 Anexo RSP

Guia das melhores prticas a

serem seguidas para avaliao

As melhores prticas para avaliao esto apresentadas, a seguir,

em trs sees:

Obtendo o mximo das avaliaes

Esta seo define as avaliaes, seus objetivos, principais agentes,

benefcios e custos:
Definio e objetivos;
Identificao dos principais participantes; e
Avaliao de benefcios e custos.

Organizando o arcabouo da avaliao

Esta seo examina as prticas em relao a melhor organizao

e utilizao das avaliaes pelo setor pblico:
Fomento cultura de avaliao;
Gesto estratgica das atividades de avaliao; e
Incentivo credibilidade.
Desenvolvendo avaliaes eficazes

Esta seo examina prticas e prioridades para a gesto de ava-

liaes individuais:
Assegurar a relao com os processos de tomada de deciso;
Escolha do avaliador certo; e
Envolvimento dos interessados e ampla divulgao dos resultados.

Obtendo o mximo das avaliaes

Definio e objetivos

As avaliaes so processos de anlise dos resultados das polticas

pblicas, organizaes e programas que enfatizem a confiabilidade e a
utilidade das informaes. Destinam-se a colher melhores informaes e
reduzir as incertezas. Contudo, mesmo mediante a aplicao dos mais
rigorosos mtodos, as avaliaes sempre estaro sujeitas a algum grau de 52
julgamento subjetivo. Pode-se fazer uma distino entre avaliaes ex RSP

ante (ou reviso de polticas) e avaliaes ex post. Muitas prticas discu-

tidas neste documento se aplicam igualmente a ambas, mesmo que seus
objetivos sejam diferentes.
Os principais objetivos das avaliaes so melhorar o processo
de tomada de deciso, a alocao de recursos e a prestao de contas.
Tais metas podem ser alcanadas por meio de informao ao pblico, aos
principais agentes de deciso e do encorajamento de processos j instalados
de aprendizado organizacional.
As avaliaes devem ser parte de um arcabouo mais amplo
de gesto de desempenho. Podem complement-lo ou melhor-lo, mas
nunca substitu-lo.

Identificao dos principais participantes

As avaliaes bem-sucedidas tm por base a cooperao entre

os participantes-chave (avaliadores, usurios e interessados) sob a
liderana de um requerente.
Os requerentes so organizaes que solicitam as avaliaes.
Eles planejam a avaliao, acompanham o andamento de sua aplicao,
recebem os relatrios de avaliao e decidem quanto s aes a serem
adotadas. Podem ser ministrios ou rgos do governo central (como o
Ministrio da Fazenda ou organizaes independentes de auditoria e ava-
liao). Em alguns casos, o requerente pode ser o prprio avaliador.
Os avaliadores so indivduos ou organizaes que coletam e
analisam os dados para, ento, emitir julgamento sobre o valor do elemento.
Os usurios de uma avaliao podem ser os decisores, os
formuladores de poltica, o departamento de oramento, os auditores,
os gerentes e o corpo tcnico de um programa ou poltica, os usurios
de servios etc.
Os interessados so os indivduos ou organizaes que detm
interesse na poltica ou programa em anlise, bem como no resultado da
avaliao que se conduz. Os interessados e os usurios geralmente so
os mesmos agentes.

Avaliao de benefcios e custos

Os benefcios das avaliaes devem superar os custos e

limitaes envolvidos. Esses custos e benefcios podem variar em funo
de uma cuidadosa gesto das avaliaes e pela escolha de avaliadores e
mtodos de avaliao apropriados.
O principal mrito das avaliaes permitir um estudo aprofun-
dado do desempenho e uma avaliao independente da eficcia de
53
outros instrumentos de gesto de desempenho. Os maiores benefcios RSP

potenciais esto associados aos programas e polticas de maior alcance.

Por outro lado, a experincia demonstra que o custo e o tempo
envolvidos nas avaliaes geralmente so grandes demais quando se
considera sua utilidade e real eficcia. H tambm o risco de que as
avaliaes sejam usadas como meio de retardar o processo de tomada de
deciso e justificar a inatividade.

Organizando o arcabouo da avaliao

Fomento cultura de avaliao

O suporte s avaliaes se reflete na disposio dos polticos,

gestores de polticas e rgos do governo central (Ministrio da Fazenda,
por exemplo) em fazer uso efetivo das recomendaes produzidas em
decorrncia das avaliaes.
A demanda por avaliaes precisa ser gerada, especificada e
articulada por interessados em nvel interno e externo. As avaliaes para
as quais no se pode traar um vnculo de posse a uma parte interessada
dificilmente surtiro efeito. Barreiras institucionais s avaliaes, tais como
resistncia interna, podem ser reduzidas por meio de consultas prvias
que visem construo da confiana mtua.
O governo pode apoiar o desenvolvimento de uma cultura de
avaliao que encoraje a inovao e a constante adaptao a um ambiente
em mutao. A mensagem bsica deve ser a de que para se manterem
relevantes, as organizaes precisam continuar aprendendo a partir dos
resultados que obtm de seus trabalhos.
Capacitao e dilogo profissional, avaliadores competentes,
requerentes bem informados e usurios entusiastas prestam, todos, grande
contribuio ao desenvolvimento de uma cultura de avaliao.

Gesto estratgica das

atividades de avaliao

As modalidades de realizao das avaliaes devem corres-

ponder s necessidades e prioridades das diferentes reas de atuao
dos poderes pblicos. Pode ser apropriado sistematizar e institucionalizar
avaliaes em reas-chave onde os custos de coleta de dados so mais
altos e a informao limitada. Contudo, uma abordagem mais flexvel
produzir freqentemente melhores resultados, ao mesmo tempo em que
impede que as avaliaes se tornem meros procedimentos burocrticos.
Ateno especial deve ser dada s atividades de avaliao conduzidas para
um conjunto de organizaes. 54
 Os rgos do governo central desempenham um importante papel RSP
no gerenciamento do processo de avaliao. Contudo, as avaliaes em
si podem ser descentralizadas a diferentes agentes, em todos os nveis
de governo.
O desenvolvimento de habilidades avaliativas em diferentes
organizaes garante a necessria amplitude de mtodos e perspec-
tivas de avaliao (por exemplo, a partir da experincia dos avaliadores
internos e externos), bem como o desenvolvimento da avaliao de
conformidade com o conjunto nico de questes relacionadas aos obje-
tivos, ao foco, credibilidade e ao uso especfico.
Fundos especiais para o financiamento das avaliaes podem
servir como incentivo importante para a avaliao de polticas pblicas.
Contudo, tambm podem servir de encorajamento ao uso de avaliaes
em detrimento de abordagens de gesto de desempenho por vezes mais
apropriadas.

Incentivo credibilidade

A falta de credibilidade mina a utilizao que se faz dos resultados

de uma avaliao. Os fatores que influenciam a credibilidade incluem
a competncia e a credibilidade do avaliador; a confiana mtua existente
entre o avaliador e os elementos avaliados; a existncia de consultas e o
envolvimento prvio entre os interessados; alm do estabelecimento de
processos de divulgao dos resultados.
Os padres profissionais e ticos, e a qualidade metodolgica
da avaliao (compreendendo questes de relevncia, como critrio, ade-
quao dos dados, evidncia, credibilidade e clareza dos resultados) tambm
tm ao determinante sobre a credibilidade de uma avaliao. O controle
de qualidade, associado a um dilogo franco e aberto, pode aumentar a
credibilidade ao expor e corrigir potenciais deficincias das avaliaes.

Desenvolvendo avaliaes eficazes

Garantia de ligao com os
processos de tomada de deciso

Informaes referentes s avaliaes podem ser um fator

importante na formulao de polticas, visando a melhoria da quali-
dade das intervenes e da alocao oramentria em suporte a priori-
dades e poupanas. As avaliaes mais relevantes se dirigem a questes
significativas, por razes polticas, oramentrias, gerenciais e outras
de natureza estratgica.
Os objetivos da avaliao determinam o local, a metodologia e
o uso de uma avaliao. O uso proposto de uma avaliao deve estar 55
claramente definido. As avaliaes devem ser projetadas conforme as RSP
caractersticas de uma determinada poltica, e os mtodos de avaliao
devem corresponder aos objetivos da mesma, levando em conta limitaes
como custos e limite de tempo. O desenvolvimento das avaliaes de polticas
desde a fase inicial, e a clara definio de seus objetivos, expandem a
utilidade da avaliao e facilitam o planejamento.
O planejamento melhora o gerenciamento e a qualidade da
avaliao. O requerente responsvel pelo planejamento das avaliaes
e pela definio de seus objetivos, critrios, mtodos e coleta de dados.
A tempestividade importante, mas o ciclo de tomada de deciso geral-
mente imprevisvel e as decises quase sempre so tomadas antes que
as avaliaes tenham sido concludas.

Escolha do avaliador certo

A auto-avaliao de uma organizao apropriada quando os

principais objetivos so o aprendizado organizacional e a melhoria da
capacidade de implementao. Contudo, o tempo e as habilidades dispo-
nveis ao corpo tcnico responsvel podem ser insuficientes. Alm disso,
a amplitude das questes abordadas pode ser limitada, e a credibilidade
dos resultados pode ser questionada.
A avaliao pelos rgos do governo central apropriada
quando o objetivo melhorar as prioridades de alocao oramentria.
Tambm til nos casos em que o avaliador tem ligaes diretas com os
processos de tomada de deciso.
A avaliao pelos avaliadores externos (organismos de pesquisa
e consultores de gerenciamento, por exemplo) apropriada quando o obje-
tivo oferecer novas perspectivas sobre polticas pblicas ou diante de
necessidades e habilidades especiais de avaliao. Contudo, esses ava-
liadores podem ter uma compreenso limitada da essncia e da cultura da
poltica ou organizao sob exame, restringindo-se a avaliaes tericas.
A avaliao independente apropriada quando os objetivos
so maior prestao de contas e transparncia. Contudo, os gestores de
polticas, ou os administradores em geral, podem mostrar-se relutantes
em aceitar os resultados e recomendaes. As auditorias de desempenho
costumam ser semelhantes s avaliaes. Nas caractersticas-chave
incluem-se a autonomia do auditor e a nfase sobre a responsabilidade na
prestao de contas, e no sobre a melhoria do desempenho.

Envolvimento dos interessados e

ampla divulgao dos resultados

Os interessados, incluindo o corpo tcnico, podem ser designados

para compor comisses de avaliao ou envolvidos por meio de grupos
56
de gestores ou de aconselhamento. Os mtodos de avaliao participativa RSP
podem ser usados para criar consenso e sentimento de propriedade em
relao a um processo de mudana. O dilogo com os usurios e o corpo
tcnico melhora a compreenso e a capacidade de satisfazer s suas
necessidades e prioridades. A participao precisa ser gerenciada em
funo das limitaes de custo e tempo, bem como em relao aos riscos
envolvidos nesse processo.
A ampla apresentao dos resultados de uma avaliao
aumenta a credibilidade e estimula a tomada de deciso com base nos
resultados. A disponibilizao pblica dos relatrios e os encontros so teis
para apresentar e estimular o dilogo sobre os resultados. Os julgamentos e
as recomendaes oferecidas com base em critrios claros atraem a ateno
e promovem a tomada subseqente de deciso. O julgamento deve-se
centrar na resoluo de problemas, e no na busca de culpados.

Referncias bibliogrficas

BOYLE, Richard. (1997), Evaluating Public Expenditure Programmes. A Role for Programme
Review, Discussion Paper Number 1, Committee for Public Management Research,
Institute of Public Administration, Dublin.
CHELIMSKY, Eleanor. (ed.) (1985), Program Evaluation: Patterns and Directions, American
Society for Public Administration. Washington D.C.
COMMONWEALTH OF AUSTRALIA. (1994), Doing Evaluations. A practical guide, Department
of Finance, Australian Government Publishing Service, Canberra.
DENTE, Bruno. (1997), The Policy of Public Policy Evaluation; a Paper presented in Colloque
international GAPP CNRS-ENS, Cachan, France.
DERLIEN, Hans-Ulrich. (1990), Genesis and Structure of Evaluation Efforts in Comparative
Perspective, in Rist, Ray (ed.) Program Evaluation and the Management of
Government. Transaction Publishers, New Brunswick, London.
DUTCH M INISTRY OF FINANCE. (1996), Quality Criteria, Responsibilities and Dissemination
of Information on Policy Evaluation in Central Government Departments in the
Netherlands, AVT95/FZ39626.
EUROPEAN COMMISSION DG XIX. (1996), Assessing the Quality of Evaluation Reports, DG
XIX, Assessment Checklist.
. (1996), Evaluation, concrete steps towards best practice across the
Commission. Communication to the Commission by Mr Liikanen and Mrs Gradin in
Agreement with the President, Internal Document, adopted by the Commission on 8
May 1996.
. (1997), Evaluating EU Expenditure Programmes. A Guide. ex post
and Intermediate Evaluation, DG XIX.
FURUBO , Jan-Erik; SANDAHL , Rolf (1993), Does the Results Matter? The Role of
Stakeholders,Expertise and Executors in the Production of Result-Based Data. Swedish
National Audit Bureau, The Financial Management Department.
57
 . (1994), Learning from Evaluations: the Swedish Experience in RSP
Leeuw Frans L., Rist Ray C. and Sonnichsen Richard C. (eds.) Can Governments
learn? Comparative Perspectives on Evaluation and Organisational Learning.
Transaction Publishers, New Brunswick, London.
GRAY, Andrew; JENKINS, Bill; SEGSWORTH, Bob. (1993), Budgeting, Auditing and Evaluation,
Functions and Integration in Seven Governments. Transaction Publishers, New
Brunswick, London.
GRAY, Andrew. (1997), Evaluation, New Public Management and Democracy, a Paper
presented in the European Evaluation Society Conference, Stockholm.
GRAY, Andrew; JENKINS, Bill. (1993), Horses to the Water: Budgeting, Auditing, and
Evaluation in Seven Governments, in GRAY, A. JENKINS B. and SEGSWORTH B., in
Budgeting, Auditing, and Evaluation. Functions and Integration in Seven Countries,
Transaction Publishers, New Brunswick, London.
HATRY, Harry P. (1980), Pitfalls of Evaluation in Giandomenico Majone and Edward S.
Quade (eds.), in Pitfalls of Analysis, International Series on Applied Systems Analysis,
8, John Wiley & Sons. Chichester/New York/Brisbane/Toronto.
HOLKERI , Katju; SUMMA, Hilkka. (1996), Evaluation of Public Management Reforms in
Finland: From ad hoc Studies to a Programmatic Approach, OECD, PUMA/PAC(96)5.
HOUSE , Ernest R. (1980), Evaluating with validity, Jossey Bass, Beverly Hills.
LEEUW, Frans L., RIST , Ray C., SONNINCHSEN, Richard C. (eds.) (1994), Can Governments
learn? Comparative Perspectives on Evaluation and Organisational Learning,
Transaction Publishers, New Brunswick, London.
LEEUW, Frans L.; ROZENDAL, Piet, J. (1994), Policy Evaluation and the Netherlandss
Government: Scope, Utilisation, and Organisational Learning, in LEEUW, Frans L.,
RIST , Ray C., SONNINCHSEN, Richard C. (eds.), Can Governments learn? Comparative
Perspectives on Evaluation and Organisational Learning, Transaction Publishers.,
New Brunswick, London.
M ACKAY, Keith. (1996), The Institutional Framework for Evaluation in the Australian
Government, Paper delivered to a World Bank seminar on Australias program and
policy evaluation framework on institutionalising the process, Washington DC, 30
April 1996.
M AYNE, John; DIVORSKI, Stan; LEMAIRE, Donald. (1998), Locating Evaluation: Anchoring
Evaluation in the Executive or the Legislature, or Both or Elsewhere?, in BOYLE, R. &
LEMAIRE, D. (eds.) (1998), Building Evaluation Capacity: Lessons from Practice,
Transaction Publishers.
M AYNE, John. (1994), Utilising Evaluation in Organisations: The Balancing Act, in
LEEUW Frans L., RIST , Ray C., SONNICHSEN, Richard C. (eds.) (1994), Can Governments
learn? ComparativePerspectives on Evaluation and Organisational Learning. London:
Transaction Publishers, New Brunswick.
OECD . (1995), Governance in Transition. Public Management Reforms in OECD Countries,
Conclusions of the Public Management Committee.
. (1997), In Search of Result Performance Management Practices,
Paris.
. (1996), Performance Auditing and the Modernisation of Government,
Paris.
. (1996), Performance Management in Government Contemporary
Illustrations, PUMA, Occasional Papers, No 9,. Paris.
POLLITT, Christopher. (1996), Approaches to Evaluation, Speaking notes for the Presentation
to Key Evaluation Officials Within the European Commission, 28th October 1996,
Brunel University, Uxbridge.
58
POLLITT, Christopher; SUMMA, Hilkka. (1997), Performance Auditing: Travellers Tales, RSP
in CHELIMSKY, Eleanor; SHADISH , William R. (eds.), Evaluation for the 21st Century.
A Handbook, Sage, London.
RIST , Ray C. (ed.) (1990), Program Evaluation and the Management of Governmen,
London: Transaction Publishers, New Brunswick.
. (1994), The Preconditions for Learning: Lessons from the Public
Sector, in LEEUW, Frans L., RIST , Ray C. and SONNICHSEN, Richard C. (eds.), Can
Governments learn? Comparative perspectives on Evaluation and Organisational
Learning, London: Transaction Publishers, New Brunswick.
SONNONCHSEN, Richard C. (1994), Effective Internal Evaluation: An Approach to
Organisational Learning, in LEEUW, Frans L., RIST , Ray C., SONNICHSEN, Richard C.
(eds.), Can Governments learn? Comparative perspectives on Evaluation and
Organisational Learning,.Transaction Publishers, London: New Brunswick.
T OULEMONDE, J. (1998), Constraints, Incentives, Culture-Building as Instruments for the
Development of Evaluation Eemand, in BOYLE, R. and LEMAIRE, D (eds.), Building
Evaluation Capacity: Lessons from Practice, Transaction Publishers.

59
 Resumo RSP

Resumen Revista do
Abstract Servio
Pblico

Ano 51
Nmero 4
Em direo s melhores prticas de avaliao Out-Dez 2000
Marjukka Ala-Harja e Sigurdur Helgason
A nfase nos resultados constitui elemento central das recentes reformas do setor
pblico em pases-membros da Organizao para Cooperao e Desenvolvimento Econmico
(OCDE). A avaliao importante em um ambiente que se conduz pelos resultados, pois
permite determinar aspectos como eficincia, eficcia e desempenho das polticas pblicas,
tornando-se, assim, uma dimenso crtica dos esforos de melhoria das polticas e de
inovao. Em essncia, a avaliao contribui para uma gesto pblica responsvel.
Como parte do seu trabalho sobre Gesto de Desempenho, o Servio de Gesto Pblica
da OCDE estudou a situao da avaliao nos pases-membros, a fim de identificar as
questes e prticas mais relevantes para o melhor uso dos procedimentos de avaliao.
O objetivo desse trabalho identificar as principais questes e prticas que os
pases-membros da OCDE devem considerar em seus esforos de melhorar o uso da
avaliao. Tem seu foco sobre o gerenciamento das atividades avaliativas do governo e das
avaliaes individuais, em detrimento de questes metodolgicas.

Marjukka
En direccin a las mejores prcticas de evaluacin Ala-Harja
Marjukka Ala-Harja y Sigurdur Helgason Ministro da
El nfasis sobre resultados constituye elemento central de las recientes reformas del Fazenda da
sector pblico en pases miembros de la Organizacin de Cooperacin y de Desarrollo Finlndia.
Econmico (OCDE). La evaluacin es importante en un ambiente que se conduce por Sigurdur
resultados, pues permite determinar aspectos como eficiencia, eficacia y rendimiento de Helgason
las polticas pblicas, resultando as, en una dimensin crtica de los esfuerzos de mejora membro do
de las polticas y de innovacin. En esencia, contribuye para una governanza responsable. Servio de
Como parte de su trabajo sobre Gestin de Rendimiento, el Servicio de Administracin Gesto Pblica
da OCDE.
Pblica estudi la cuestin de evaluacin en los pases miembros, a fin de identificar las
cuestiones y prcticas ms relevantes para mejor uso de los procedimientos evaluados.
El objetivo de las Directrices es identificar las principales cuestiones y prcticas que los
pases miembros de la OCDE deben considerar en sus esfuerzos para mejorar el uso de la
evaluacin. Tienen su foco sobre el gerenciamiento de las actividades evaluadas del govierno
y el gerenciamiento de evaluaciones individuales, en perjuicio de las cuestiones metodolgicas.

Improving evaluation practices

Marjukka Ala-Harja and Sigurdur Helgason
A focus on results is a central element in recent public sector reforms in OECD
countries. Evaluation is important in a results-oriented environment because it provides
feedback on the efficiency, effectiveness and performance of public policies and can be
critical to policy improvement and innovation. In essence, it contributes to accountable
governance.
As a part of its work on Performance Management, the Public Management Service
has studied evaluation in Member countries in order to identify key issues and practices
to improve the use of evaluation.
The aim of the Guidelines is to identify key issues and practices that OECD member
countries should consider when seeking to improve the use of evaluation. They focus on
management of evaluation activities in government and management of individual
evaluations rather than on methodological questions. 60