Texto 2 Complementar Da Unidade II

Rev. Adm. Pblica Ri o de Janei ro 46(5):1271-294, set./out.
2012
O estado da arte da avaliao de polticas pblicas:
conceituao e exemplos de avaliao no Brasil
Marlia Patta Ramos
Universidade Federal do Rio Grande do Sul
Letcia Maria Schabbach
Universidade Federal do Rio Grande do Sul
A avaliao e o monitoramento so fases imprescindveis do planejamento estatal, ocupando tambm
espao crescente nas pesquisas acadmicas. Sua atualidade no debate em torno da eccia e do impacto
das polticas pblicas em diferentes reas evidenciada pelos vrios fruns, encontros e redes de espe-
cialistas que tratam da temtica, pela demanda oriunda de rgos pblicos, e pela prossionalizao
dessa atividade em escala internacional. O presente artigo destaca, de forma sistemtica e analtica,
a relevncia dos processos de avaliao, sistematizando informaes sobre aspectos conceituais, e o
estado da arte dos estudos sobre avaliao e das prticas avaliativas de diferentes esferas de governo.
O trabalho est dividido em cinco sees: na primeira, so apresentadas a conceituao de avaliao
e suas principais caractersticas, na segunda so analisados os tipos de avaliao, e, na terceira, seus
diversos usos. Segue, na quarta seo, uma exposio sobre as tendncias dos estudos avaliativos no
Brasil e no mundo e, por m, nas concluses so apontadas as diculdades e as necessidades ao apri-
moramento da atividade de avaliao de polticas pblicas.
PALAVRAS- CHAVE: polticas pblicas; avaliao; monitoramento.
El estado del arte de evaluacin de las polticas pblicas: conceptos y ejemplos de la evaluacin
en el Brasil
Evaluacin y monitoreo son las fases esenciales de la planicacin estatal, y tambin ocupan un es-
pacio cada vez mayor en la investigacin acadmica. Su presencia en el debate sobre la ecacia y el
impacto de las polticas pblicas en las diferentes reas se evidencia en los diversos foros, reuniones y
redes de expertos que se ocupan de este tema, as como por la demanda proveniente de las agencias
gubernamentales y la profesionalizacin de esta actividad a escala internacional. El presente artculo
expone, de forma sistemtica y analtica, la pertinencia de los procedimientos de evaluacin, organiza
la informacin sobre los aspectos conceptuales, sobre el estado del arte de los estudios evaluativos y de
las prcticas de evaluacin en las diferentes esferas de gobierno. El trabajo se divide en cinco secciones:
en la primera se presentan la conceptualizacin de evaluacin y sus principales caractersticas, en la
Artigo recebido em 8 fev. 2011 e aceito em 6 jun. 2012.
Rev. Adm. Pblica Ri o de Janei ro 46(5):1271-294, set./out. 2012
1272 Marlia Patta Ramos Letcia Maria Schabbach
segunda se analizan los tipos de evaluacin, y en la tercera, sus diversos usos. En la cuarta seccin se
muestran las tendencias de los estudios de evaluacin en Brasil y en el extranjero. Por ltimo, en las
conclusiones, se sealan las dicultades y necesidades para mejorar la actividad de evaluacin de las
polticas pblicas.
PALABRAS CLAVE: polticas pblicas; evaluacin; monitoreo.
The state of the art of public policy evaluation: concepts and examples of evaluation in Brazil
Monitoring and evaluation are crucial to the State Planning and have had a growing space in the
academic eld. The constant interest on those themes is highlighted through their presence in differ-
ent forums, meetings and nets of specialists that study them, along with the governments demand
for them. The present article highlights, in a systematic and analytical way, the importance of public
policy evaluation process, organizing information about the conceptual aspects, and the state of art
of these themes along with examples about concrete practices of evaluation in different governmental
areas. The article is divided in ve sections: in the rst one it is presented the public policy evaluation
concept and its main characteristics. In the second section we analyze different types of evaluation.
In the third section we present different evaluation uses. In the fourth section we present the stage of
evaluation in Brazil along with some concrete examples. In the end we present some conclusions and
recommendations about public policies evaluation.
KEY WORDS: public policies; evaluation; monitoring.
1. Denio e caractersticas da avaliao
Pode-se armar, preliminarmente, que a avaliao um instrumento importante para a me-
lhoria da ecincia do gasto pblico, da qualidade da gesto, do controle social sobre a efe-
tividade da ao do Estado, esse ltimo instrumentalizado pela divulgao de resultados das
aes de governo.
Na ltima dcada, propostas metodolgicas de avaliao foram geradas por organismos
internacionais de cooperao e nanciamento, entre eles: Organizaes das Naes Unidas
(ONU), Banco Mundial (World Bank), Banco Interamericano de Desenvolvimento (BID), Or-
ganizao para a Cooperao e o Desenvolvimento Econmico (OCDE), Comisso Econmica
para a Amrica Latina e Caribe (Cepal), Centro Latino-Americano de Administrao para o
Desenvolvimento (Clad).
No existe uma nica denio de avaliao. Para Costa e Castanhar (2003), trata-se
do exame sistemtico e objetivo de um projeto ou programa, nalizado ou em curso, que
contemple seu desempenho, implementao e resultados, tendo em vista a determinao de
sua ecincia, efetividade, impacto, sustentabilidade e relevncia de seus objetivos. uma
atividade permanente e no restrita etapa nal do ciclo da poltica pblica (que inclui as
fases: denio da agenda, formulao, implementao e avaliao), que informa sobre seus
avanos e limites. O propsito da avaliao guiar os tomadores de deciso, orientando-os
quanto continuidade, necessidade de correes ou mesmo suspenso de uma determinada
poltica ou programa (Costa e Castanhar, 2003:972).
1273 O estado da arte da avaliao de polticas pblicas
Alm de aprimorar o processo de tomada de deciso, vislumbrar a alocao apropriada
de recursos e promover a responsabilizao por decises e aes (accountability) dos gover-
nantes perante o parlamento, as agncias reguladoras e scalizadoras e os cidados, a ava-
liao permite aos formuladores e gestores de polticas pblicas desenharem polticas mais
consistentes, com melhores resultados e melhor utilizao dos recursos.
A avaliao constitui-se na determinao de valor de uma atividade, programa ou po-
ltica, um julgamento to sistemtico e objetivo quanto possvel, efetuado por avaliadores
internos ou externos. Ao incorporar elementos valorativos e de julgamento, a avaliao con-
templa aspectos qualitativos, no se confundindo com o mero acompanhamento das aes
governamentais.
Ela estabelece critrios fundamentais para se decidir se uma poltica deve continuar a
ser implementada, caso esteja promovendo desejvel distribuio de bem-estar (Figueiredo e
Figueiredo, 1986), ou produzindo mudanas nos sistemas econmico e social na direo dos
resultados desejados, sendo, assim, prefervel a qualquer outra poltica. Fazendo parte do pro-
cesso de planejamento de qualquer poltica pblica, a avaliao gera uma retroalimentao
que permite escolher entre diferentes projetos de acordo com sua eccia e ecincia, e, ao
cotejar os resultados, possibilita reticar as aes e reorient-las em direo ao m postulado
(Cohen e Franco, 2004:73).
Trata-se de atividade estratgica que:
t Propicia a compreenso das polticas e do Estado em ao, visando o seu aprimoramento
(Draibe, 1997). Assim, benecia o pesquisador, o tcnico, o usurio, o Estado e a sociedade
em geral.
t um instrumento para a tomada de decises e para viabilizar o controle social sobre o
gasto pblico e as aes de governo, um importante direito democrtico (Lobo, 2001; Arre-
tche, 2001).
Em comparao com outras pesquisas, a pesquisa avaliativa possui a caracterstica ex-
plcita de atribuio de valor (como justia social, ecincia, reduo de custos, equidade,
entre tantos outros), alm de ser mais orientada para a deciso (Faria, 2001).
No Brasil, o crescente interesse dos governos com a avaliao est relacionado s ques-
tes de efetividade (alcance das metas, aferio dos resultados esperados e no esperados dos
programas) ou eccia ( maior produo, maior eccia), ecincia (a um menor custo de
produo, maior ecincia), ao desempenho e accountability da gesto pblica. A avaliao
permite ao governante certo conhecimento dos resultados de um dado programa ou projeto,
informao essa que pode ser utilizada para melhorar a concepo ou a implementao das
aes pblicas, fundamentar decises, promover a prestao de contas. Em nvel acadmico,
estudos nessa rea vm proliferando, embora a ateno maior seja dada aos processos de for-
mao da agenda e formulao das polticas, em detrimento da implementao, da avaliao
e do monitoramento.
Alm da preocupao com a efetividade, podem ser citadas outras razes que fomenta-
ram a demanda por avaliaes em nosso pas, especialmente a partir dos anos 1990: a crise
scal que diminuiu a capacidade de gasto dos governos e aumentou a presso por maior e-
cincia; o m do processo inacionrio, que reduziu as receitas nanceiras dos governos e ex-
ps os problemas das nanas pblicas; o aprofundamento da democracia, que trouxe novos
atores sociais e reivindicaes aos governos; a longa crise econmica brasileira que aumentou
a desigualdade social e a busca por programas sociais pblicos; a desestruturao da funo
de planejamento, que deixou os governantes sem elementos de informao e avaliao; a
reduo da ajuda externa e a presso dos organismos internacionais de fomento pela aferio
dos resultados dos programas sociais por eles nanciados.
Dentro desse contexto, o Estado brasileiro passou a redenir sua rea de atuao diante
das restries scais e, ao mesmo tempo, sofreu uma presso at ento indita pela ampliao
de polticas pblicas mais universais, de qualidade e ecientes.
Na ltima dcada do sculo XX vericou-se um abrangente movimento de reforma de
Estado e de seu aparelho administrativo nos pases desenvolvidos, que rapidamente proliferou
para os demais. Tal movimento, conhecido como Nova Gesto Pblica ou New Public Mana-
gement, preconizava, em termos gerais, uma redenio do papel do Estado e a implantao
de mecanismos de gesto oriundos da iniciativa privada na administrao pblica. Em nosso
pas, o fato mais emblemtico dessa nova orientao poltico-ideolgica e gerencial foi a Re-
forma Administrativa promovida pelo governo federal em 1998, atravs da Emenda Constitu-
cional n
o
19 (Brasil, 1998).
As questes imediatas e centrais a serem respondidas pelos estudos de avaliao so:
em que medida os objetivos propostos na formulao do programa-projeto so ou foram al-
canados? Como o programa funciona? Quais os motivos que levam ou levaram a atingir ou
no os resultados?
Cabe destacar, ainda, que a avaliao de polticas pblicas tem um carter eminente-
mente poltico, na medida em que est vinculada ao processo poltico mais abrangente, s
estratgias e aos interesses dos decisores e demais envolvidos (Faria, 2005). Enquanto mo-
mento do processo de anlise de polticas pblicas, a avaliao incorpora, segundo a literatura
anglo-sax, uma dupla natureza: estudo da poltica (of policy) e para a poltica (for policy). Por
um lado, ela representa a atividade acadmica que objetiva um melhor entendimento do pro-
cesso poltico; por outro, volta-se soluo de problemas sociais, sendo, portanto, aplicada.
Em outros termos, subjacente anlise e avaliao de polticas pblicas, aparece a
orientao pela poltica (for policy), ou seja, o interesse em que os achados dos estudos ava-
liativos possam melhorar o processo poltico e o bem-estar da populao, uma vez que os ava-
liadores so tambm agentes sociais, cidados participantes do processo poltico e eventuais
benecirios das aes estatais. Ao passo que a postura mais crtica e distanciada desenvolvi-
da dentro do espao acadmico importante por permitir a iseno e o rigor cientco; uma
postura engajada no signica, necessariamente, a identicao com os objetivos daqueles
que controlam o processo poltico e o governo.
Enm, uma postura crtica, que coloque em suspenso os pressupostos dos tomadores de
deciso, sempre recomendvel ao analista de polticas pblicas; no faz-lo conduz a uma
posio conservadora.
2. Tipos de avaliao
Existem diferentes maneiras de se realizar uma avaliao. Por exemplo, a avaliao acadmi-
ca, que mais formal e enfoca a efetividade das polticas, seus impactos e benefcios; por sua
vez, a avaliao da implementao privilegia o exame de sua ecincia e eccia. Ainda que
estudos neutros representem um mito, a pesquisa avaliativa acadmica permite maior iseno
e rigor cientco.
As avaliaes com foco na questo scal so denominadas gerencialistas, e em con-
traposio a elas, as de cunho mais acadmico, so chamadas de no gerencialistas (Faria,
2005).
Os tipos de avaliao podem ser agrupados de acordo com outros critrios no exclu-
dentes, como se observar na sequncia.
2.1 Conforme o agente que avalia e quem participa do processo de avaliao
A avaliao externa quando realizada por especialistas de fora da instituio responsvel
pelo programa, apresentando vantagens e desvantagens. Entre suas vantagens citam-se: a
iseno e objetividade dos avaliadores externos, no implicados diretamente no processo, e
a possibilidade de comparao dos resultados obtidos com os de outros programas similares
j analisados. Entre suas desvantagens ressaltam-se: o difcil acesso aos dados e uma prov-
vel posio defensiva dos que tero seu trabalho avaliado, fazendo com que, muitas vezes,
forneam informaes parciais ou minimizem o efeito da avaliao sobre a melhoria dos pro-
gramas.
A avaliao interna quando executada dentro da instituio e conta com maior cola-
borao das pessoas que participam diretamente do programa-projeto. Entre suas vantagens
tem-se: a eliminao da resistncia natural ao avaliador externo, e a possibilidade de reexo,
aprendizagem e compreenso acerca das atividades institucionais. J entre as desvantagens
pode-se perder muito em objetividade, j que os que julgam esto envolvidos na formulao
e execuo dos programas. Todavia, se a avaliao interna for realizada por funcionrios que
no participam diretamente do programa, na tentativa de se diminuir a subjetividade, a situa-
o torna-se anloga do avaliador externo (Cunha, 2006).
Do exposto acima se depreende que o conhecimento da metodologia de avaliao no
substitui o conhecimento sobre as especicidades e os detalhes do programa, no existindo
um nico modelo a ser aplicado em todos os casos. Neste sentido, cita-se, ainda, a avaliao
mista, que combina os dois tipos anteriores, fazendo com que os avaliadores externos tenham
contato estreito com os participantes do programa a ser avaliado, o que pode maximizar as
vantagens e minimizar ou superar as desvantagens das avaliaes (Cunha, 2006).
Por m, evoca-se a avaliao participativa, usada principalmente em pequenos proje-
tos, e que prev a participao dos benecirios no planejamento, execuo e avaliao das
aes. Essa modalidade no costuma fornecer informaes especcas sobre o impacto de um
programa, mas sim sobre a opinio/percepo dos participantes (Spink, 2001; Abma, 2004,
Kayano e Caldas, 2002).
2.2 Conforme a natureza da avaliao
Quanto natureza, as avaliaes podem ser formativas quando relacionadas com a formao
do programa. Elas so voltadas para a anlise e a produo de informaes sobre as etapas da
implementao aos diretamente envolvidos, fornecendo elementos para a correo de proce-
dimentos.
Por sua vez, as avaliaes somativas referem-se anlise e produo de informaes
sobre a implementao e etapas posteriores, sendo efetuadas quando o programa est sendo
executado h algum tempo ou aps, no sentido de vericar se alcanou as metas previstas e
julgar seu valor geral. Elas contemplam as relaes entre o processo, os resultados e o impac-
to, podendo incluir comparaes entre diferentes programas (Cunha, 2006).
2.3 Conforme o momento de realizao da avaliao
Quando se leva em conta o momento de sua realizao, os estudos avaliativos diferenciam-se
em ex ante e ex post. A avaliao ex ante realizada antes do comeo de um programa, com
o to de dar suporte deciso de implement-lo ou no, e ordenar os vrios projetos segundo
sua ecincia para alcanar os objetivos determinados (Cunha, 2006).
Destaca-se neste tipo de avaliao o diagnstico (ou estudo da situao), quando se ma-
peiam as necessidades e so realizados estudos de factibilidade que orientaro a formulao
do programa, alm do exame do custo-benefcio e do custo-efetividade,
1
que objetiva adequar
os recursos disponveis aos objetivos propostos. Tais procedimentos permitem aquilatar a via-
bilidade dos programas e projetos.
Ainda dentro da avaliao ex ante, Khander e colaboradores (2010) ressaltam a im-
portncia de se realizar estudos prospectivos para dimensionar os possveis benefcios ou
1
Custo-benefcio a relao monetria entre os custos e os benefcios de um programa, sendo aceitvel se os ltimos
excederem os primeiros. Adequa-se mais a projetos econmicos, com benefcios facilmente quanticveis. Mais uti-
lizada em projetos sociais, a relao custo-efetividade no se baseia em custos monetrios, mas na premissa de que,
diante de um volume limitado de recursos, esses devam ser aplicados de forma tal que permitam um maior nmero
de unidades de benefcios, qualquer que seja o valor monetrio.
obstculos de uma interveno, simulando-se situaes futuras (com e sem o programa), e
de se utilizar o modelo de anlise estrutural que identica os principais agentes envolvidos
(indivduos, comunidades, governos locais ou nacionais), suas interaes e os diferentes con-
textos que inuenciam os resultados do programa. Tais procedimentos podem colaborar com
o renamento das aes antes mesmo da sua implementao, ao prever seus efeitos potenciais
em diferentes ambientes sociais.
Por sua vez, a avaliao ex post realizada durante a execuo de um programa ou ao
seu nal, quando as decises passam a se basear nos resultados alcanados. Quando o progra-
ma est em execuo, julga-se se ele deve continuar ou no, com base nos resultados obtidos
at o momento. Se a resposta for positiva, avalia-se se se deve manter a formulao original
ou efetuar modicaes, redirecionando os objetivos, propostas e atividades.
Quando o programa j foi concludo, examina-se a pertinncia do uso futuro da experi-
ncia, isto , se o mesmo tipo de programa deve ser replicado ou no. A avaliao ex post a
mais desenvolvida metodologicamente e a que tem tido maior aplicao.
Para captar o impacto recomenda-se combinar ambas as anlises (ex ante e ex post) a
m de se comparar o alcance do programa (ex post) com as predies (ex ante).
2.4 Conforme o tipo de problema ao qual a avaliao responde
Existem ainda duas modalidades de estudos avaliativos, que se referem aos tipos de proble-
mas ou perguntas que pretendem responder (Cohen e Franco, 2004; Cotta, 1998): a avaliao
de processos, que realizada durante a implementao do programa e diz respeito dimenso
da gesto, e a avaliao de resultados e de impacto, com objetivos mais ambiciosos, especial-
mente o de responder se o programa funcionou ou no (Cunha, 2006).
A avaliao processual procura detectar, periodicamente, as diculdades que ocorrem
durante o processo, a m de se efetuarem correes ou adequaes. Ela permite identicar
os verdadeiros contedos do programa, se ele est sendo realizado conforme o previsto, se
est atingindo o pblico-alvo e se os benefcios esto sendo distribudos corretamente. Acom-
panhando os processos internos, ela focaliza os fatores que inuenciam a implementao,
estimulando mudanas, quando necessrias.
Por intermdio de procedimentos mais cleres, essa avaliao serve de suporte para
melhorar a ecincia operativa e a eccia dos programas, disponibilizando resultados e in-
formaes teis aos gestores e gerentes, mais diretamente voltados s situaes contextuais.
Seus desenhos adaptam-se ao contexto, ao problema e abrangncia da pesquisa, frequente-
mente combinando mtodos quantitativos e qualitativos: surveys com questionrios fechados,
entrevistas semiestruturadas ou abertas e observao.
Conforme Viana (1996), a avaliao de processo diferencia-se da de impacto pelo seu
objeto que a aferio da adequao entre meios e ns, considerando os aspectos orga-
nizacional e institucional, social, econmico e poltico e pelo seu objetivo, qual seja, o de
permitir a correo do modelo de causalidade e da implementao, visando reorient-la em
funo dos objetivos propostos.
Por sua vez, a avaliao de resultados procura vericar em que medida o programa
alcanou os objetivos e quais foram seus efeitos e consequncias, indagando, aps sua imple-
mentao, se houve modicaes na situao-problema que originou a formulao do progra-
ma e examinando o sucesso ou fracasso em termos de mudana efetiva nas condies prvias
de vida das populaes beneciadas.
Avanando-se um pouco mais em torno de seus objetivos, a aferio dos resultados con-
templa a avaliao de impacto, que verica a existncia de um nexo causal entre os resultados
da implantao do programa ou projeto e as alteraes nas condies sociais da populao.
uma dimenso ex post do resultado, relacionada com os objetivos gerais e o alcance efetivo
das metas.
2
Tratando-se de avaliao mais complexa, essa modalidade procura responder a trs
questes fundamentais:
a) As mudanas observadas na situao-problema se devem interveno ou a outros fatores?
b) Uma soluo se aplica a outras realidades, ou apenas a determinado contexto?
c) As mudanas so permanentes ou temporrias, cessando com a interrupo do programa?
A avaliao de impacto, geralmente realizada por meio de desenhos quase experimen-
tais, usa mtodos quantitativos para a coleta e o tratamento dos dados e modelos estatsticos
e economtricos para analis-los. O principal desao demonstrar que os resultados encon-
trados esto causalmente relacionados aos produtos oferecidos pelo programa.
As exigncias para uma adequada aferio de impacto so:
observar um tempo de maturao do programa (ou do tratamento) para se identicar o
registro de impacto;
contar com uma gama de informaes anteriores implementao (estudos ex ante);
encontrar um bom contrafactual
3
um indivduo ou grupo de comparao que no tenha
2
Alguns autores diferenciam a avaliao de resultados da de impacto. Para Costa e Castanhar (2003), a primeira
refere-se aos resultados imediatos e aos objetivos especcos de um programa ou projeto; ao passo que a ltima seria
um subtipo da avaliao de resultados, centrada no mdio e longo prazo e nos objetivos gerais. Por sua vez, Cotta
(1998:13) destaca que a avaliao de resultados visa inquirir sobre os efeitos de uma interveno sobre a clientela
atendida, enquanto a de impacto pretende captar os reexos dessa mesma interveno em um contexto mais amplo.
De qualquer forma, pode-se dizer que os efeitos ou resultados de um programa representam condio prvia, mas
no suciente, para se avaliar seu impacto.
3
O ideal seria que uma mesma pessoa (ou outra unidade de anlise) pudesse ter participado e no participado de
um programa, mas ela no pode estar nas duas situaes ao mesmo tempo. Ento a pessoa que compe o grupo
de controle (no ter participado) deveria ser um clone (mais prximo) que participou. Como isto impossvel,
necessrio buscar um contrafactual, uma pessoa ou unidade de anlise que seja muito similar aos participantes.
participado do programa, mas que seja similar ao factual ou de tratamento a m de se
controlar o vis de seleo do indivduo ou grupo de comparao;
comparar o estudo com outras avaliaes.
Esses desenhos possuem alta legitimidade na comunidade internacional que discute
avaliao de polticas pblicas e permitem a realizao de anlises abrangentes, com grandes
amostras populacionais. So pesquisas mais complexas e caras, e demoram mais tempo at
produzirem resultados aos tomadores de deciso. Por estes motivos, Khander e colaboradores
(2010) sugerem sua utilizao parcimoniosa, especialmente quando: a) o programa inova-
dor e de importncia estratgica, b) h uma falta de conhecimento do que funciona ou no,
c) houver dados viveis e de qualidade.
Na classicao de Figueiredo e Figueiredo (1986), tanto a avaliao de processo quan-
to a de impacto podem chegar s seguintes concluses:
a) O resultado esperado alcanado.
b) Um resultado no esperado produzido, sendo, porm, positivo.
c) Resultados do tipo a) e b) ocorrem e so positivos no curto prazo, mas podem ser negativos
no mdio e longo prazo.
d) O resultado esperado atingido no que se refere aos membros da populao-alvo, isto ,
cada indivduo melhorou sua situao com a poltica pblica; no entanto, em mdio prazo,
a categoria social a que esses indivduos pertencem, ou passam a pertencer, piora.
e) O resultado esperado no alcanado e nenhum outro resultado produzido.
f) Um resultado no esperado ocorre, sendo, porm, negativo.
2.5 Diferenas entre avaliao e monitoramento
Acompanhamento ou monitoramento uma atividade gerencial interna, realizada sistema-
ticamente durante o perodo de execuo e operao, para se saber como uma interveno
evolui ao longo do tempo, atravs de dados da gerncia do projeto sobre metas iniciais, in-
dicadores e resultados associados aos programas. Ela necessria para se dimensionarem as
metas de um projeto, os caminhos que uma interveno percorre e as mtricas potenciais para
medir os efeitos na populao-objetivo.
Para tanto, h dois procedimentos bsicos: a) modicar a estratgia do programa a m de se exclurem as possveis
diferenas entre ambos os grupos, atravs da seleo aleatria de seus componentes, b) criar um grupo compara-
tivo com atributos parecidos com o de tratamento, por intermdio de certos procedimentos estatsticos, tais como:
randomized evaluations, propensity score matching, double-difference methods, use of instrumental variables, regresso
descontinuity, pipeline approach (Khander et al., 2010).
Atravs do monitoramento, gestores, pesquisadores ou outros agentes podem exami-
nar como a implementao est sendo realizada, se est atingindo seus objetivos, alm de
vericar que problemas esto interferindo nas aes, processos e consecuo dos objetivos
previstos (Faria, 2005; Cunha, 2006). De acordo com seus resultados, pode-se recomendar o
ajuste do plano, das condies operacionais e a correo dos rumos.
Os desaos para um bom monitoramento so:
Identicar os objetivos que o programa ou a estratgia busca alcanar;
Elaborar indicadores que possam monitorar o progresso em relao s metas;
Fixar metas quantitativas e temporais para cada indicador.
Um dos aspectos constitutivos do monitoramento a elaborao de indicadores de per-
formance e de progresso da poltica, observados periodicamente (a cada trimestre, semestre
ou ano). Enquanto os indicadores nais medem os resultados dos programas e seu impacto
em termos de bem-estar, os intermedirios examinam os inputs (recursos e meios necessrios)
e os outputs do programa (tais como: estradas construdas, desemprego masculino, emprego
feminino) (Thoenig, 2000; Henry, 2001; Jannuzzi, 2004).
Por sua vez, a avaliao pode ser realizada antes, durante a implementao ou mesmo
algum tempo depois, aps o programa provocar todo o seu impacto, e com a preocupao
centrada no modo, medida e razo dos benefcios advindos.
Em ambos os instrumentos latente a funo de proviso de informaes sobre um
determinado programa ou poltica governamental em todo o seu ciclo, inclusive o momento
inicial de identicao do problema.
Em uma conceituao abrangente, a avaliao e o monitoramento de programas con-
sistem na vericao da adequao do desenho sua nalidade e aos objetivos pretendidos,
da correlao entre os servios prestados e as metas denidas estrategicamente, dos efeitos
(resultados e/ou impactos) mensurveis e, por m, da lgica de ecincia subjacente, ou seja,
examinar se os benefcios advindos da poltica compensam seus custos.
A avaliao necessita das informaes provenientes do monitoramento para realizar o
julgamento que lhe cabe a respeito da ecincia, eccia e efetividade dos programas; ambos
os estudos so, portanto, complementares. Porm, a primeira vai alm, pois verica se o plano
originalmente traado est, de fato, produzindo as transformaes pretendidas.
3. Os diferentes usos das avaliaes
A utilizao dos estudos avaliativos envolve, fundamentalmente, quatro possibilidades: instru-
mental, conceitual, como instrumento de persuaso e para o esclarecimento (Faria, 2005).
O uso instrumental depende da qualidade da avaliao e da adequada divulgao de
seus resultados, de sua inteligibilidade e da factibilidade das recomendaes eventualmente
propostas. No uso conceitual, as descobertas da avaliao (a sua prpria realizao) podem al-
terar a maneira como os tcnicos compreendem a natureza, o modo de operao e o impacto
do programa. Essa aprendizagem potencializada quando os tcnicos participam ativamente
do processo de avaliao.
A utilizao da avaliao como instrumento de persuaso ocorre quando ela um recur-
so para mobilizar o apoio posio que os tomadores de deciso j tm sobre as mudanas ne-
cessrias na poltica ou programa e para ganhar novos adeptos para as mudanas desejadas.
J o uso para o esclarecimento incide sobre as redes de prossionais e comunidades de
polticas, os formadores de opinio e as advocacy coalitions, no sentido de produzir alteraes
nas crenas e na forma de ao institucional, pautando, assim, a agenda governamental (Fa-
ria, 2005).
Para Faria (2005), a avaliao pode igualmente ser elemento central na disputa eleito-
ral, no controle das relaes intergovernamentais e na busca de acomodao de foras e de
interesses no mbito intraburocrtico.
Tambm podem ser usados elementos especcos da avaliao, tais como:
A aplicao das ideias e generalizaes derivadas da avaliao pelos formuladores e pesso-
al tcnico do programa.
O uso do prprio fato de a avaliao ter sido ou estar sendo feita como desculpa para a
no ao.
A realizao da avaliao pode tanto ser pensada em termos de legitimao do programa,
quanto sugerir que algo no vai bem ou que h problemas no desenho do programa.
A utilizao do foco do estudo: o pblico (interno e externo) do programa avaliado passar
a dar ateno prioritria aos elementos da avaliao, com destaque para os que devero
ser mensurados. O risco que sejam negligenciados outros aspectos do programa que no
incidem sobre os indicadores de sucesso denidos.
Utilizao do desenho da pesquisa avaliativa: possibilidade de que as categorias de anlise
usadas pelos avaliadores, a metodologia de avaliao e a forma de se analisar os dados
tenham inuncia no apenas sobre a gesto da poltica ou do programa em questo, mas
tambm sobre outras reas e esferas de governo.
Os usurios potenciais da pesquisa avaliativa podem ser: os nanciadores do programa
(e da prpria avaliao), os gerentes e encarregados de mais alto escalo, os tcnicos e pro-
ssionais que lidam de maneira mais direta com os benecirios (os agentes encarregados
da implementao, street level bureaucracy, Souza, 2003), os benecirios, os gerentes de
programas similares e/ou de diferentes nveis governamentais, os agentes do governo central,
os representantes de fundaes, os interessados em conhecer projetos exitosos que meream
nanciamento ou preocupados em melhorar programas sob sua responsabilidade, os mem-
bros do Legislativo engajados na melhoria de programas existentes ou na elaborao de novas
propostas, os cientistas sociais, outros avaliadores que buscam aprender com as descobertas
e com as metodologias empregadas, as prprias organizaes que administram o programa
avaliado e o pblico em geral ou a sociedade civil.
Um aspecto relevante neste tpico a importncia da divulgao dos resultados de
avaliaes, pois de nada adianta avaliar se as concluses no so publicizadas. Por exemplo,
nos Estados Unidos existe o Escritrio Geral de Prestao de Contas (General Accouting Ofce)
e um canal de televiso que divulga regularmente resultados de avaliaes.
Carlos Aurlio Faria (2005) enumera alguns fatores que podem interferir na forma
como so aproveitados os resultados da avaliao: a existncia de crenas e interesses coni-
tantes na organizao que gerencia o programa, a ocorrncia de conitos de interesses entre
as distintas unidades do programa, as mudanas no pessoal encarregado (quando, por exem-
plo, os novatos tm prioridades diferentes daquelas vigentes no incio da avaliao), a eventu-
al inexibilidade das regras e dos padres operacionais da organizao (que podem impedir a
adoo das recomendaes feitas quando da avaliao), as mudanas nas condies externas,
tais como cortes oramentrios e alteraes no ambiente poltico, que podem tornar imposs-
vel para a organizao responder necessidade de mudana revelada pelos avaliadores.
4. A avaliao no mundo e no Brasil
4.1 Histrico da avaliao de polticas pblicas
Segundo Faria (2005), nas dcadas de 1980 e 1990, a avaliao de polticas pblicas foi posta
a servio da reforma do Estado.
Para esse autor, o primeiro boom da avaliao de polticas e programas pblicos ocorreu
nos Estados Unidos, na dcada de 1960. A pesquisa avaliativa era ento encarada como fer-
ramenta de planejamento destinada aos formuladores de polticas e aos gerentes de mais alto
escalo. Nesse contexto, a avaliao acabou institucionalizando-se, dentro de um enfoque top-
down e por meio de uma ordem executiva do presidente norte-americano, a qual determinava
que os programas sociais fossem avaliados.
Nos EUA, essa era de ouro da avaliao durou at o nal da dcada de 1980, dentro
da qual predominava um paradigma metodolgico experimental, randomizado e controlado.
A inicial abordagem top-down foi sendo progressivamente revertida, com o surgimento
de metodologias bottom-up.
Na dcada de 1990 passou a predominar em muitos pases a funo de realocao,
associada ao movimento do New Public Management, tendo os avaliadores se convertido em
auditores que privilegiavam a aferio dos resultados.
Na Amrica Latina, a institucionalizao da funo avaliao aconteceu apenas entre
o nal da dcada de 1980 e o incio da dcada de 1990, sendo instrumentalizada para o su-
cesso da reforma do Estado a partir de trs propsitos bsicos: a) a adoo de uma perspectiva
de conteno dos gastos pblicos, b) a busca de melhoria da ecincia e da produtividade, de
ampliao da exibilidade gerencial e da capacidade de resposta dos governos, c) a maximi-
zao da transparncia da gesto pblica e de responsabilizao dos gestores, o consumidor
vindo em primeiro plano (Melo, 1998).
A consolidao de sistemas de avaliao no continente teve forte carter de induo
externa. Dentro de uma perspectiva gerencialista, percebe-se a nfase dada implantao
dos sistemas de avaliao pelos organismos multilaterais, que investem sistematicamente no
processo: disponibilizando assistncia tcnica, fornecendo nanciamento, articulando redes
de prossionais, sensibilizando lideranas polticas e acadmicas e atrelando o nanciamento
de projetos exigncia de avaliao (Faria, 2005; Melo, 1999).
Esta nova nfase dada avaliao de polticas no Brasil, centrada em pesquisas que
aplicam metodologias de avaliao de resultados ou de impacto,
4
no despertou interesse por
parte da comunidade acadmica dos analistas de polticas pblicas, e das reas de sociologia
e de cincia poltica, esta sempre tendo privilegiado os processos decisrios nas anlises, em
detrimento de investimentos mais sistemticos no estudo dos processos de implementao e
avaliao.
Parte signicativa dos estudos sobre os processos de avaliao de polticas pblicas rea-
lizados desde a dcada de 1960 refere-se s questes de ordem metodolgica e/ou s distintas
maneiras de se classicar a avaliao, alm de seu vis acentuadamente normativo. Sempre
houve uma crena de que os resultados seriam automtica e necessariamente encampados pe-
los tomadores de decises para a melhoria da poltica ou do programa em questo. E tambm
uma expectativa ingnua de que se poderia produzir melhores e mais sbias decises com
base apenas na realizao da avaliao (Faria, 2005).
4.2 Tendncias internacionais recentes
As instituies multilaterais como o Banco Mundial (BM) e a Organizao das Naes
Unidas (ONU) tm desempenhado papel fundamental na priorizao e denio dos ar-
cabouos metodolgicos da avaliao de polticas pblicas. O BM, por exemplo, estabeleceu
em 1994 o Modelo do Quadro Lgico (Logical Framework), ferramenta destinada a facilitar a
conceituao, o desenho, a execuo e a avaliao de projetos.
O Banco Interamericano de Desenvolvimento (BID), dentro do Projeto Fortalecimento
da Funo Avaliativa na Amrica do Sul, tem procurado analisar os avanos no campo da
avaliao, promovido o intercmbio de experincias quanto gesto pblica, principalmente
entre Brasil, Argentina e Chile, e buscado disseminar informaes sobre a avaliao como
parte integrante da gesto pblica.
5
Outra instituio importante na denio de critrios de avaliao tem sido a ONU.
Atravs de suas agncias, a instituio estabelece as diretrizes dos programas a serem avalia-
dos. Destaca-se, nesse sentido, a metodologia recomendada pelo Fundo das Naes Unidas
para a Infncia (Unicef) para avaliao dos programas da rea.
4
Cabe lembrar que avaliaes de impacto exigem uso de quanticao em termos de modelos economtricos (para
maiores detalhes ver: Ramos, 2009).
5
No Brasil, como fruto desse projeto, o Instituto de Pesquisa Econmica Aplicada (Ipea) vem elaborando uma srie
de relatrios tcnicos de avaliao de polticas.
Ainda quanto atualidade da avaliao no contexto internacional, menciona-se a Agen-
da pela Eccia da Ajuda ao Desenvolvimento, movimento apoiado por governos de pases
desenvolvidos e em desenvolvimento, agncias multilaterais de cooperao e organizaes
privadas de nanciamento. A eccia da ajuda entrou para o lxico da indstria da ajuda
(Kaufmann, 2009) na dcada de 1990, quando a comunidade internacional de cooperao
mtua constatou que os recursos alocados eram inecazes para promover o desenvolvimento
humano e reduzir a pobreza, alm de gerarem enormes custos aos pases beneciados ou
nutrirem a corrupo e a m governana. Dentro desta Agenda, cujos fruns e atividades so
coordenados pela OCDE, foi rmada em 2005 a Declarao de Paris para a Eccia da Aju-
da, a qual estipula cinco compromissos de parceria em prol do desenvolvimento: apropriao
e liderana dos pases beneciados, alinhamento da ajuda para apoiar as iniciativas locais,
harmonizao dos procedimentos dos organismos internacionais, gesto por resultados men-
surveis de desenvolvimento, responsabilizao (accountability) mtua. Uma das considera-
es da Declarao foi a necessidade de se especicar indicadores, calendrios e metas a m
de se aquilatar o nvel de progresso em desenvolvimento alcanado por pas, monitorando-se,
assim, a implementao dos programas locais.
6
O ex-presidente da Associao Americana de Avaliao, Michael Patton, palestrante do
seminrio Futuras Tendncias em Avaliao,
7
comentou as tendncias mundiais recentes da
atividade avaliativa: a globalizao da prosso, a sua natureza transdisciplinar, o emergente
interesse poltico por accountability, pelos indicadores de performance e pela transparncia,
a crescente nfase no desenvolvimento de capacidades e habilidades em avaliar, o debate em
torno da apropriao dos diferentes mtodos de avaliao.
4.3 A avaliao na atualidade no Brasil
No Brasil, a Constituio Federal de 1988, em seu artigo do ttulo VI da Tributao e do
Oramento , estabeleceu como leis de iniciativa do Poder Executivo, a serem submetidas
aprovao do Legislativo:
a) O Plano Plurianual (PPA), abrangendo quatro anos e contendo as diretrizes, os objetivos e
as metas da administrao pblica federal para as despesas de capital e para os programas
de longa durao.
b) As Diretrizes Oramentrias e os Oramentos Anuais, como componentes de um sistema
integrado de planejamento e oramento.
6
Embora conste como indicativo na lista dos pases signatrios, o Brasil ainda no raticou sua adeso Declarao
de Paris.
7
O Webminar Future Trends in Evaluation, promovido pelo Pnud, Unicef e outras organizaes internacionais,
aconteceu em 1
o
de julho de 2010. Conferncia (vdeo e powerpoint) disponvel em: <www.mymande.org.br>.
Acesso em: 20 ago. 2010.
Todos os demais planos e programas nacionais, regionais e setoriais devem ser subor-
dinados ao PPA.
Embora os PPA dos quatrinios 1996-99 e 2000-03 j possussem instrumentos de ava-
liao e monitoramento, os modelos apresentavam falhas, o que suscitou a necessidade de
corrigir certos aspectos (Garcia, 2000; Silva e Costa, 2000).
J o PPA de 2004 a 2007 trouxe uma inovao inexistente nos anos anteriores: o Sis-
tema de Avaliao do Plano Plurianual. O objetivo era assegurar que a avaliao integrasse
a gesto dos programas subsidiando a tomada de deciso, bem como disseminar a cultura
avaliativa e garantir sua utilizao na formulao e implementao das polticas e programas
de governo. A estrutura principal desse Sistema a Comisso de Monitoramento e Avaliao
(CMA), assessorada pela Cmara Tcnica de Monitoramento e Avaliao (CTMA). A Comis-
so constituda pelos Ministrios do Planejamento, da Fazenda e do Meio Ambiente, alm
da Casa Civil, com a nalidade de deliberar sobre propostas de normas e procedimentos gerais
relativos Avaliao e Monitoramento (A&M) dos programas do Poder Executivo. Alm disso,
essa Comisso oferece elementos tcnicos que orientam o processo de alocao de recursos
oramentrios e nanceiros e a reviso dos programas, com vistas ao alcance dos resultados.
Segundo a legislao, o relatrio anual de avaliao deve conter:
a) avaliao do desempenho das variveis macroeconmicas que fundamentaram a elabora-
o do Plano;
b) demonstrativo da execuo fsica, nanceira e regionalizada dos programas;
c) demonstrativo do desempenho dos indicadores de cada programa;
d) avaliao do alcance das metas fsicas e nanceiras e da evoluo dos indicadores de cada
programa (Lei n
o
9.989/2000, Brasil, 2000).
Quanto ao monitoramento, o principal instrumento do PPA a Portaria n
o
198, de 18
de julho de 2005, do Ministrio do Planejamento, Oramento e Gesto, que estabelece os
procedimentos e a periodicidade para registro de informaes relacionadas com o desempe-
nho das aes do Plano Plurianual, no Sistema de Informaes Gerenciais e de Planejamento
SIGPlan (Brasil, 2004:1).
A norma obriga o registro de informaes do desempenho fsico das aes no sistema
pelos coordenadores de ao, como tambm das restries execuo e providncias adota-
das para sua superao.
No que tange avaliao, o PPA inclui o Relatrio Anual de Avaliao, obrigatrio por
lei e encaminhado ao Congresso Nacional, junto com as normas propostas de reviso do Plano
e da Lei Oramentria Anual. Esse Relatrio contm:
a) a avaliao do desempenho das variveis macroeconmicas que fundamentaram a elabo-
rao do Plano;
b) o demonstrativo da execuo fsica, nanceira e regionalizada dos programas;
c) o demonstrativo do desempenho dos indicadores de cada programa;
d) a avaliao do alcance das metas fsicas e nanceiras e da evoluo dos indicadores de cada
programa (Brasil, 2000).
O Relatrio Anual constitudo, ainda, de trs nveis de avaliao:
a) dos Programas, realizada pelos gerentes;
b) Avaliao Setorial, elaborada no mbito da Secretaria-Executiva dos ministrios;
c) Avaliao do Plano, uma avaliao geral realizada pelo Ministrio do Planejamento.
A etapa de Avaliao do Programa, de responsabilidade do gerente de programa, , de
fato, uma autoavaliao em que os gerentes destacam os avanos e resultados alcanados e
apresentam as restries (de recursos oramentrios e humanos etc.) que dicultaram a ob-
teno de melhores desempenhos. A avaliao subdivide-se em trs partes interdependentes,
quanto a:
a) concepo do programa;
b) implantao do programa,
c) resultados do programa.
Todas as etapas so importantes para o alcance dos objetivos da avaliao. Contudo, a
terceira (resultados do programa) valoriza a elaborao, o acompanhamento e a apurao dos
indicadores como forma de propiciar objetividade e credibilidade ao processo. A metodologia
de avaliao de programas do PPA envolve a escolha de um conjunto de critrios e o uso de
indicadores possibilitando um julgamento continuado e ecaz acerca do desempenho de um
programa ou conjunto de programas, por meio da comparao com padres de desempenho
predenidos.
A Avaliao Setorial ca a cargo da Unidade de Monitoramento e Avaliao (UMA), a
unidade de assessoramento do secretrio executivo ou seu equivalente. Ela se baseia em ques-
tes mais abrangentes, buscando relacionar os resultados aos objetivos da pasta.
As etapas de avaliao dos programas e de avaliao setorial so realizadas atravs de
questionrios de mltipla escolha, aos quais se adicionaram algumas questes de resposta
aberta e discursiva. O questionrio preenchido pelos gerentes e pela secretaria executiva de
cada ministrio por meio do Sistema de Informaes Gerenciais e de Planejamento (Sigplan),
acessvel pela internet.
O Ministrio do Planejamento adiciona essas avaliaes a uma anlise das variveis
macroeconmicas, do cenrio que integra a Lei de Diretrizes Oramentrias e da conjuntura,
para consolidar o Relatrio Anual de Avaliao.
O Sigplan foi implantado para apoiar o planejamento, execuo, monitoramento, ges-
to e avaliao do Plano. Esse sistema agregou os dados de execuo oramentria e nancei-
ra de todos os programas e aes do governo federal, alm de informaes de monitoramento
e gesto fornecidas pelos gerentes de programas, ministrios setoriais e Ministrio do Plane-
jamento, Oramento e Gesto.
A integrao entre o Plano Plurianual e o Oramento permitiu que a atualizao da
execuo oramentria e nanceira dos programas fosse procedida semanalmente e que os
gerentes complementassem periodicamente as informaes sobre o desempenho fsico. Os
tcnicos do Ministrio do Planejamento tm por tarefa monitorar as informaes no Sigplan.
Tambm h um mdulo nesse Sistema com o objetivo de tornar acessveis sociedade as in-
formaes sobre o andamento dos programas.
Por outro lado, no mbito da Secretaria de Avaliao e Gesto da Informao (Sagi), do
Ministrio do Desenvolvimento Social (MDS, criado em 2004), foi desenvolvido em 2006 o Siste-
ma de Avaliao e Monitoramento de Polticas e Programas Sociais. Ele tem como objetivo prin-
cipal desenvolver e implementar instrumentos de avaliao e de monitoramento das polticas e
dos programas referentes s aes da pasta. Alm dessa responsabilidade, a Secretaria responde
pela capacitao de gestores de polticas sociais, pela promoo da gesto do conhecimento e
pela publicao de estudos e pesquisas, sejam elas contratadas ou realizadas internamente.
A Sagi substituiu e herdou a estrutura da Secretaria de Avaliao dos Programas Sociais
do extinto Ministrio da Assistncia e Promoo Social (MAS), que funcionou por cerca de
um ano sem apresentar resultados expressivos. Ela constituda pelas seguintes secretarias e
programas:
Senarc Secretaria Nacional de Renda e Cidadania (responsvel pelo Programa Bolsa
Famlia)
Sesan Secretaria Nacional de Segurana Alimentar
PAA/Compra Local Programa de Aquisio de Alimento
PAA/Conab
PAA/Leite
Cisternas
Distribuies de cestas
Hortas comunitrias
Cozinhas comunitrias
Restaurantes populares
Educao alimentar
Banco de alimentos
Snas Secretaria Nacional de Assistncia Social
Peti Programa de Erradicao do Trabalho Infantil
BPC Benefcio Assistencial da Prestao Continuada
Agente Jovem
PAC Proteo Social Bsica Criana de 0 a 6 anos
Sentinela Programa de Combate ao Abuso e Explorao Sexual de Crianas e Ado-
lescentes
API Ateno Pessoa Idosa
Paif Programa de Ateno Integral Famlia
PDC Ateno s Pessoas com Decincia
O formato de rgo especco com a nalidade precpua de avaliao e gesto da infor-
mao como a Sagi indito no governo federal. Na prtica, a Sagi tem um funcionamento
do tipo matricial na medida em que executa e contrata pesquisas, realiza cursos e publicaes
e atende s necessidades das secretarias responsveis pelas polticas nacionais de segurana
alimentar e nutricional, de assistncia social e de renda de cidadania.
De acordo com o regimento interno do MDS, as informaes produzidas pela Sagi
tm como objetivo subsidiar gestores e formuladores das polticas sociais na tomada de
decises de modo a aperfeioar os programas e racionalizar o uso dos recursos nanceiros.
Ademais, a disseminao do conhecimento ao pblico, mediante publicaes tcnicas e se-
minrios, contribui para a ampliao do controle social e o fortalecimento da transparncia
governamental.
importante esclarecer que a Sagi no possui uma exclusividade na avaliao das pol-
ticas sociais no pas; sua responsabilidade institucional, mas outras agncias, tanto internas
(como o Ipea e o IBGE) como externas (universidades, fundaes privadas e think tanks)
8

tambm esto envolvidas em atividades avaliativas.
A Secretaria tambm atua no acompanhamento de todas as fases das pesquisas, inclu-
sive enviando servidores para o trabalho de campo, promovendo assim aprendizado organi-
zacional.
Em relao s atividades de monitoramento, o principal instrumento elaborado pela
Sagi a Matriz de Informao Social (MI Social), uma ferramenta de informaes georre-
ferenciadas sobre os programas do MDS, na qual so depositadas informaes migradas de
outros sistemas e agregadas tabelas especcas de informaes no sistematizadas. Tais infor-
8
A maior parte dos think tanks so organizaes sem ns lucrativos, fundadas por governos, grupos de interesse ou
empresas. Alguns think tanks tambm exercem funes de pesquisa e consultoria, sendo essa uma de suas fontes
de nanciamento. Os think tanks ainda no representam uma real alternativa aos centros e grupos de pesquisa uni-
versitria no Brasil, onde as poucas iniciativas esto geralmente vinculadas a partidos polticos, como: a) o Instituto
Teotnio Vilela, ligado ao Partido da Social Democracia Brasileira (PSDB), b) a Fundao Perseu Abramo, ligada ao
Partido dos Trabalhadores (PT), c) a Fundao Liberdade e Cidadania, ligada ao Democratas.
maes podem ser visualizadas em vrios nveis de agregao, sejam unidades da Federao,
microrregies, municpios ou territrios especiais.
Alm dos indicadores e informaes bsicas dos programas sociais do MDS, esto dispo-
nveis para consulta na ferramenta informaes demogrcas e socioeconmicas.
A apresentao dos resultados das pesquisas dirigida ao pblico do prprio Ministrio
e convidados externos envolvidos com o tema. A divulgao tambm se d por meio de vrias
publicaes, como os Cadernos de Estudos de Desenvolvimento Social e livros. Quatro meses
aps a divulgao dos resultados da pesquisa, os microdados sem a identicao pessoal de
qualquer entrevistado so disponibilizados para o Consrcio de Informaes Sociais (CIS).
9
H certos tipos de estudos realizados pela Sagi que no cumprem diretamente a funo
de avaliao, mas, sim, a de produzir informao para o planejamento e a programao das
prprias polticas. Esse foi o caso, por exemplo, do levantamento sobre os benecirios do
Programa de Erradicao do Trabalho Infantil (Peti). Como a Secretaria responsvel, a Snas,
s possua dados relativos aos recursos repassados aos municpios, sem qualquer informao
sobre o pblico-alvo, foi realizado um levantamento junto aos municpios, que ento fornece-
ram informaes que serviram de base para se fazer um perl dos benecirios e subsidiar a
gesto do programa (MDS, 2010).
Outro exemplo foram as duas pesquisas feitas em conjunto com o IBGE sobre a rede
da assistncia social no Brasil com o intuito de subsidiar o investimento e o planejamento da
implementao e gesto do Sistema nico de Assistncia Social (Suas). A primeira identi-
cou toda a estrutura pblica de organizao da poltica (associaes, conselhos, instituies)
e de prestao de servios nos municpios brasileiros. A segunda, a rede de assistncia do
setor privado, com informaes sobre equipamentos assistenciais, tipos de servios prestados
e recursos humanos (MDS, 2010). Tambm se pode citar a pesquisa, realizada pela primeira
vez no pas, sobre as percepes da populao em relao s condies de acesso a alimentos
sucientes e de qualidade, cujos dados foram coletados pelo IBGE, na Pesquisa Nacional por
Amostra de Domiclios (Pnad) de 2004. Se repetida, essa pesquisa permitir o acompanha-
mento regular das condies alimentares da populao.
Outro estudo, tambm realizado pelo IBGE, o Suplemento da Pnad-2006 sobre o
trabalho infantil, que permitiu acompanhar a evoluo desse fenmeno, o qual j havia sido
medido em 2001 por metodologia similar.
Menciona-se, igualmente, o trabalho desenvolvido pelo Instituto de Pesquisa Econmi-
ca Aplicada (Ipea) do Ministrio do Planejamento, Oramento e Gesto, que tem como uma
de suas misses acompanhar o desenho e a implementao das polticas pblicas, de modo a
subsidiar o governo em seu processo de tomada de deciso. Entre as vrias publicaes desse
9
O CIS resultou de um projeto do Ncleo de Apoio Pesquisa sobre Democratizao e Desenvolvimento da Univer-
sidade de So Paulo (Nadd-USP) em parceria com a Associao Nacional de Ps-graduao e Pesquisa em Cincias
Sociais (Anpocs). O projeto est sendo desenvolvido sob a chancela de um convnio entre a USP e a Anpocs, e conta
com o suporte nanceiro da Fapesp. Est disponvel em: <www.nadd.prp.usp.br/cis/index.aspx>.
Instituto, cita-se o Boletim de Polticas Sociais Acompanhamento e Anlise, o qual publicado
desde 2000
10
e cujo propsito avaliar o conjunto das aes realizadas pelo governo federal
para a promoo dos direitos sociais da populao, visando responder os seguintes questio-
namentos principais: como esto evoluindo as polticas sociais? A quem atendem, quanto
gastam, como operam e quais so seus resultados?
Por ltimo, interessante apontar a formao de redes de especialistas em torno da
avaliao e do monitoramento de polticas pblicas, as quais vm aproximando prossionais
das mais diversas reas do conhecimento, estados e pases, divulgando experincias e produ-
es acadmicas, organizando e apoiando fruns e eventos cientcos, promovendo, enm,
um acmulo de conhecimento e de expertise sobre essa temtica. Dentre elas destaca-se, no
Brasil, a Rede Brasileira de Monitoramento e Avaliao, que contava com mais de 1.100
membros em janeiro de 2011.
11
5. Concluso
Para alguns, o motor da avaliao a necessidade urgente de obter ecincia e ampliar a rea
de inuncia do governo com programas sociais e, ao mesmo tempo, dar retorno s autori-
dades quanto ao planejamento e implantao de novas polticas. Para outros, a avaliao
parte no apenas da aferio da ecincia dos gastos pblicos, mas de todo um processo de
participao social, que vem crescendo desde a redemocratizao do pas. Nesse contexto, a
pesquisa avaliativa promove um importante direito democrtico, relacionado com o controle
social sobre a atuao estatal (Arretche, 2001).
Ao longo deste artigo foram analisados diversos aspectos relativos pesquisa avalia-
tiva: o seu papel, os seus tipos, os seus diversos usos, a situao atual da temtica no mundo
e no Brasil. No sentido de se reiterar sua importncia estratgica para a retroalimentao
do ciclo das polticas pblicas, alm de sua relevncia como temtica no campo das cincias
sociais e polticas pblicas, conclui-se este texto sinalizando as diculdades e necessidades ao
seu aprimoramento.
a) Diculdades:
t Muitos programas e aes no so desenhados para serem avaliados.
t A prevalncia de delineamentos de pesquisa que no controlam as variveis antece-
dentes, processuais e de resultados, e que produzem inferncias esprias, atribuindo ao
programa a responsabilidade de resultados (bons ou ruins) no provocados por ele, mas
por outros fatores.
10
Elaborado pela Diretoria de Estudos Sociais (Disoc), a veiculao deste Boletim iniciou em junho de 2000, tendo
periodicidade semestral (com algumas interrupes) at 2009, quando passou a ser anual.
11
Disponvel em: <http://redebrasileirademea.ning.com>. Acesso em: 6 jan. 2011.
t Poucos dados disponveis e, quando existentes, bastante limitados e com periodicidade
irregular.
t A resistncia na administrao pblica, devido predominncia de uma cultura autorit-
ria. As autoridades pblicas cam constrangidas com a perspectiva de serem analisadas
as suas aes e reagem atravs de: proibies diretas, ou colocao de diculdades bu-
rocrticas: desinteresse no levantamento de dados, tornar inacessveis as fontes, falta de
apoio.
b) Necessidades:
t Assumir a avaliao como atividade regular da instituio, implantando uma cultura de
avaliao.
t Constituir sistemas de informaes, de acessibilidade garantida e atendendo s peculia-
ridades dos programas sociais, para gerar um mnimo de factibilidade avaliao (ou de
avaliabilidade, Cano, 2002:25 e 111; Costa e Castanhar, 2003:985 e 986).
t Fortalecer e aprimorar os sistemas de informaes gerenciais existentes, a m de cons-
truir indicadores de desempenho.
t Sua execuo por rgos independentes (como garantia de rigor metodolgico e isen-
o) e, na medida do possvel, mesclando tcnicas quantitativas e qualitativas (Lobo,
2001; Arretche, 2001; Khander et al., 2010).
t Incorporar, de forma aberta, todos os atores envolvidos e mapear suas percepes, devol-
vendo-lhes as informaes recebidas.
t Ampliar o escopo da avaliao, considerando o contexto da macropoltica e utilizando
modelos dinmicos que incluam as estruturas organizacionais, os distintos recursos de
apoio mobilizados e as caractersticas sociais, culturais e econmicas dos atores (Perez,
2001:72).
Referncias
ABMA, Tineke A. Responsive evaluation: the meaning and special contribution to public adminis-
tration. Public Administration, v. 82, n. 4, p. 777-1058, 2004.
ARRETCHE, Marta. Tendncias no estudo sobre avaliao. In: RICO, Elizabeth Melo (Org.). Avalia-
o de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais,
2001. p. 29-39.
BOURDIEU, Pierre; CHAMBOREDON, Jean-Claude; PASSERON, Jean-Claude. Conclusin: socio-
loga del conocimiento y epistemologa. In: BOURDIEU, Pierre. El ocio de socilogo. Mxico: Siglo
XXI, 1996. p. 99-124.
BRASIL. Emenda Constitucional n
o
19, de 1998. Modica o regime e dispe sobre princpios e normas
da Administrao Pblica, servidores e agentes polticos, controle de despesas e nanas pblicas e
custeio de atividades a cargo do Distrito Federal, e d outras providncias. Braslia: 4 de junho de
1998. Disponvel em: <www.planalto.gov.br/ccivil_03/constituicao/emendas/emc/emc19.htm>.
Acesso em: 29 out. 2010.
BRASIL. Lei Federal 9.989, de 2000. Dispe sobre o Plano Plurianual para o perodo de 2000/2003.
Braslia: 2000. Disponvel em: <www.planalto.gov.br/ccivil_03/Leis/L9989.htm>. Acesso em: 20
out. 2010.
BRASIL. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual
2000-2003 Exerccios 2000 a 2003. Disponvel em: <www.planejamento.gov.br/planejamen-
to_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>.
BRASIL. Ministrio do Planejamento, Oramento e Gesto. Relatrio de Avaliao Plano Plurianual
2004-2007 Exerccio 2004. Disponvel em: <www.planejamento.gov.br/planejamento_investi-
mento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>.
CANO, Ignacio. Introduo avaliao de programas sociais. Rio de Janeiro: Editora FGV, 2002.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 2004.
COSTA, Frederico L. da; CASTANHAR, Jos C. Avaliao de programas pblicos: desaos concei-
tuais e metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37, n. 5, p. 969-992,
set./out. 2003.
COTTA, Tereza C. Metodologia de avaliao de programas sociais: anlise de resultados e de im-
pactos. Revista do Servio Pblico, Braslia, v. 49, n. 2. p. 105-126, abr./jun. 1998.
CUNHA, Carla da. Avaliao de polticas pblicas e programas governamentais: tendncias recentes
e experincias no Brasil. Trabalho elaborado durante o curso The Theory and Operation of a Mo-
dern National Economy, ministrado na George Washington University, no mbito do Programa
Minerva, em 2006. Digitalizado.
DRAIBE, Snia M. A poltica social na Amrica Latina: o que ensinam as experincias recentes de
reforma? In: DINIZ, Eli; AZEVEDO, Srgio (Org.). Reforma do Estado e democracia no Brasil. Braslia:
Editora UnB; Enap, 1997. p. 213-258.
DRAIBE, Snia M. Uma nova institucionalidade das polticas sociais? Reexes a propsito da
experincia latino-americana recente de reformas dos programas sociais. So Paulo em Perspectiva,
v. 11, n. 4, p. 3-15, 1997.
FARIA, Carlos A. P. de. A poltica da avaliao de polticas pblicas. Revista Brasileira de Cincias
Sociais, So Paulo, v. 20, n. 50, p. 97-169, out. 2005.
FARIA, Regina. Avaliao de programas sociais: evolues e tendncias. In: RICO, Elizabeth Melo
(Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estu-
dos Especiais, 2001. p. 40-49.
FIGUEIREDO, Marcus F.; FIGUEIREDO, Argelina M. C. Avaliao poltica e avaliao de polticas: um
quadro de referncia terica. Anlise e Conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, 1986.
FUTURE TRENDS IN EVALUATION. Live Webinar, 1
o
july 2010. Conferncia (vdeo e powerpoint)
disponvel em: <www.mymande.org.br>. Acesso em: 20 ago. 2010.
GARCIA, Ronaldo C. A reorganizao do processo de planejamento do governo federal: o PPA 2000-
2003. Braslia, Ipea, maio 2000. (Texto para Discusso n. 726).
HENRY, Gary T. How modern democracies are shaping evaluation and the emerging challenges for
evaluation. American Journal of Evaluation, v. 22, n. 3, p. 419-429, Sept. 2001.
JANNUZZI, Paulo de M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicaes. 3. ed.
Campinas: Alnea, 2004.
KAUFMANN, Daniel. Aid effectiveness and governance: the good, the bad and the ugly. The Brookings
Institution, 17 Mar. 2009. Disponvel em: <www.brookings.edu/opinions/2009/0317_aid_gover-
nance_kaufmann.aspx>. Acesso em: 20 nov. 2010.
KAYANO, Jorge; CALDAS, Eduardo de L. Indicadores para o dilogo. So Paulo: Plis, Programa
Gesto Pblica e Cidadania; Easp/FGV, 2002.
KHANDER, Shahidur R. et al. Handbook on impact evaluation. Quantitative methods and practices.
Washington, DC: The World Bank, 2010. p. 3-4; 7-31. [free on-line].
LOBO, Thereza. Avaliao de processos e impactos em programas sociais: algumas questes para
reexo. In: RICO, Elizabeth Melo. Avaliao de polticas sociais: uma questo em debate. So Paulo:
Cortez, 2001. p. 75-85.
MDS. Ministrio do Desenvolvimento Social. Brasil, 2010. Disponvel em: <www.mds.gov.br/>.
Acesso em: 25 maio 2010.
MELO, Marcus A. As sete vidas da agenda pblica brasileira. In: RICO, Elizabeth Melo (Org.). Ava-
liao de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998. p. 11-28.
MELO, Marcus A. Estado, governo e polticas pblicas. In: MICELI, Srgio (Org.). O que ler na cincia
social brasileira (1970-1995). So Paulo: Sumar, 1999. v. 3, p. 59-100.
PARIS DECLARATION ON AID EFFECTIVENESS. Ownership, harmonisation, alignment, results and
mutual accountability. Paris: Feb. 20 Mar. 2, 2005. Disponvel em: <www.oecd.org/document/
18/0,3343,en_2649_3236398_35401554_1_1_1_1,00.html> e <www.searo.who.int/LinkFiles/
GAVI_ParisDeclaration.pdf>. Acesso em: 29 nov. 2010.
PEREZ, Jos R. R. Avaliao do processo de implementao: algumas questes metodolgicas. In:
RICO, Elizabeth Melo (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo:
Cortez, 2001. p. 65-73.
POLTICAS SOCIAIS: ACOMPANHAMENTO E ANLISE. Braslia: Ipea, 2000 a 2008 (semestral),
2009 em diante (anual).
RAMOS, Marlia. Avaliao de polticas e programas sociais: aspectos conceituais e metodolgicos.
Planejamento e polticas pblicas, Braslia, v. 32, n. 1, p. 94-114, jan. 2009.
RIO GRANDE DO SUL. Lei 11.075, de 1998. Institui o Cdigo Estadual de Qualidade dos Servios
Pblicos. Porto Alegre, 6 jan. 1998. Disponvel em: < www.al.rs.gov.br/legis/M010/M0100018.
asp?Hid_IdNorma=7453&Texto=>. Acesso em: 4 out. 2010.
SILVA, Pedro L.; COSTA, Nilson. Avaliao de polticas pblicas na Amrica do Sul. Avaliao de
Programas Pblicos: uma estratgia de Anlise. In: CONGRESSO INTERNACIONAL DA CLAD, V,
2000, San Domigo, Republica Dominicana. Disponvel em: <www.clad.org/congresos/congresos-
anteriores/v-santo-domingo-2000/5.-investigando-al-estado>. Acesso em: 10 abr. 2011.
SOUZA, Celina. Estado do campo da pesquisa em polticas pblicas no Brasil. Revista Brasileira
de Cincias Sociais, So Paulo, v. 18, n. 51, p. 15-20, fev. 2003.
SPINK, Peter. Avaliao democrtica: propostas e prticas. Rio de Janeiro: Associao Brasileira
Interdisciplinar de Aids, 2001. (Coleo Abia, Fundamentos de Avaliao n
o
3). Disponvel em:
<www.abiaids.org.br/_img/media/colecao%20fundamentos%20avaliacao%20N3.pdf>.
THOENIG, Jean-Claude. A avaliao como conhecimento utilizvel para reformas de gesto pblica.
Revista do Servio Pblico, Braslia, v. 51, n. 2, p. 54-70, abr./jun. 2000.
UNIVERSIDADE ESTADUAL DE CAMPINAS. Grupo de Anlise de Polticas de Inovao (Gapi-
Unicamp). Metodologia de anlise de polticas pblicas. Disponvel em: <www.oei.es/salactsi/
rdagnino1.htm>. Acesso em: 20 jul. 2010.
VIANA, Ana L. Abordagens metodolgicas em polticas pblicas. Revista de Administrao Pblica,
Rio de Janeiro, v. 30, n. 2, p 5-43, abr. 1996.
Marlia Patta Ramos professora adjunta II do Departamento de Sociologia e do Programa de Ps-gra-
duao em Sociologia da Universidade Federal do Rio Grande do Sul (UFRGS). Bolsista Produtividade
PQ CNPq. E-mail: mariliaramos68@gmail.com.
Letcia Maria Schabbach professora adjunta II do Departamento de Sociologia da UFRGS. E-mail:
leticiams65@gmail.com.

Texto 2 Complementar Da Unidade II

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Texto 2 Complementar Da Unidade II

Hochgeladen von

Copyright:

Verfügbare Formate

Rev. Adm. Pblica Ri o de Janei ro 46(5):1271-294, set./out.

Das könnte Ihnen auch gefallen