Por que avaliar o impacto de políticas

públicas?
Claudio Ferraz
Professor da PUC-Rio
Pesquisador afiliado do J-PAL
Objetivos

• Entender o que é uma avaliação de impacto

• Compreender a importância das avaliações de impacto

• Conhecer os principais obstáculos para a produção e o uso das avaliações

de impacto

2
Questão central em políticas públicas

Se recursos humanos e financeiros usados para o desenho e

implementação de políticas públicas são limitados

...em que iniciativas devemos focar para

enfrentar os problemas sociais?

3
Como aumentar a participação escolar? Fonte:
J-PAL

(número de matrículas e frequência)

Suponha que você trabalhe no Ministério da

Educação e uma das prioridades do governo é
aumentar a frequência escolar
O ministro diz que há R$ 10 milhões disponíveis para
investir em um programa para alcançar esse objetivo
Ele te pergunta em que programa você recomenda
investir. O que você responde?
 Como aumentar a frequência escolar?

Livros Uniformes Bolsas de

gratuitos escolares estudo por
mérito

Informação sobre
Transferências
Novas retornos à
monetárias
escolas educação
5
Estrutura

1. Tipos de avaliação

2. A importância de se avaliar impacto

3. Produção e uso de avaliações de impacto

4. Conclusão

6
Tipos de avaliação
 O que é avaliação?

Avaliação é o processo que consiste em emitir juízos de valor sobre as

atividades e resultados de uma política, estratégia ou projeto

Implica, necessariamente, dois elementos:

• Construir uma descrição detalhada e precisa do desempenho de um
programa
• Comparar com um critério ou padrão pré-estabelecido para julgar o
desempenho

9
O que é avaliação?

Avaliação

Avaliação
de
programas

Avaliação
de impacto

10
Tipos de avaliação de programas

Avaliação de Necessidades

Avaliação Teórica

Avaliação de Processos

Avaliação de Impacto
Impact Evaluation

Cost-Effectiveness
Avaliação Analysis
de Eficiência
10
Avaliação de necessidades

Avaliação de Necessidades

Avaliação Teórica

Avaliação de Processos

Avaliação de Impacto
Impact Evaluation

Cost-Effectiveness
Avaliação Analysis
de Eficiência
11
 Avaliação de necessidades

Estudo sistemático que

• Identifica a natureza, o alcance e as Resultados
causas de uma necessidade desejados

• Define e descreve a população- Necessidade

alvo a ser atendida
Resultados
atuais
• Determina a intervenção necessária
para solucionar a necessidade

Necessidade População-alvo Solução

12
Perguntas que requerem uma avaliação de necessidades

• Qual é a natureza e a magnitude do problema ou necessidade?

• Quais são as possíveis causas?

• Quais são as características da população-alvo?

• Quais programas são os mais pertinentes para essa população?

• Quais programas já existem para resolver o problema?

13
Exemplo: Construção de moradias em comunidades
vulneráveis na América Latina

Organização da sociedade civil

que visa superar a situação de
pobreza em comunidades
vulneráveis por meio da
construção de moradias. Atua
em países na América Latina,
inclusive no Brasil

Fonte: Techo 14
Número de domicílios em favelas (assentamentos
irregulares) no Brasil
3.500.000

3.000.000

2.500.000

2.000.000

1.500.000

1.000.000

500.000

0
1980 1991 2000 2010

Domicílios em comunidades subnormais no Brasil

Fonte: Censos de 1991, 2000 e 2010, em Pasternak e D’Otaviano (2016), “Favelas no Brasil e em São Paulo:
Avanços nas Análises a Partir da Leitura Territorial do Censo de 2010”. Cad. Metrop São Paulo, Vol 18, n° 35, p.79.
15
Avaliação teórica

Avaliação de Necessidades

Avaliação Teórica

Avaliação de Processos

Avaliação de Impacto
Impact Evaluation

Cost-Effectiveness
Avaliação Analysis
de Eficiência
16
Avaliação teórica

• Avalia a teoria que está por trás do programa:

– É viável e factível?
– Atende às necessidades da população-alvo?

Descrever • Marco Lógico

a teoria • Teoria da Mudança

Determinar • Revisão da literatura

sua • Painel de especialistas
qualidade • Entrevistas
17
Perguntas que requerem uma avaliação da teoria
• Quais são os resultados finais que são esperados alcançar com o
programa?

• Como se pretende chegar a esses resultados finais? (Por meio de quais

insumos, atividades, produtos e resultados intermediários?)

• Que suposições e riscos estão implícitos em nossa teoria da mudança?

• Quão razoáveis são essas suposições, e quão grandes são os riscos?

18
 Teoria da Mudança do TECHO
Problema / Altos níveis de pobreza em
necessidade assentamentos precários

Insumos / Material de
Voluntários construção
atividades

Produto Melhores moradias

Resultados Maior sensação de Maior disposição à

intermediários segurança acumulação de ativos

Resultados Melhores relações Maior

Maior satisfação
finais familiares empregabilidade
19
Avaliação de processos

Avaliação de Necessidades

Avaliação Teórica

Avaliação de Processos

Avaliação de Impacto
Impact Evaluation

Cost-Effectiveness
Avaliação Analysis
de Eficiência
20
Da teoria à prática

• A teoria da mudança nos diz como o programa deveria funcionar, mas

implementar um programa de acordo com o planejado não é fácil

• Assim, é importante estudar o que acontece na prática, e uma avaliação

de processos avalia a implementação de um programa

21
Perguntas que requerem uma avaliação de processos
O programa está sendo implementado corretamente?

• Segundo o planejado?
• Cumpre com os padrões relevantes?
• Permite alcançar os objetivos?

– Quantas pessoas estão recebendo o serviço? São as pessoas certas?

– O serviço recebido é adequado em termos de quantidade, qualidade e tipo?

– A equipe que executa o programa conta com todas as competências requeridas?

– Como os recursos são geridos?

22
Avaliação de processos do TECHO
% de áreas onde foram implementadas intervenções
90%

80%

70%

60%

50%

40%

30%

20%

10%

0%
Tutorias Fomento Assessorias Oficinas Plano de Bibliotecas Oficinas
educativas produtivo jurídicas optativas saúde populares

Fonte: CIS 2009, Processos de intervenção social de UTP CH em acampamentos em que se formaram comités na região metropolitana.
23
Avaliação de processos do TECHO
Aspectos em que se deve melhorar o trabalho dos
voluntários nas comunidades
40%

35%

30%

25%

20%

15%

10%

5%

0%
Coordenação com Participação nas Constância da Compromisso com Relação com as
o escritório atividades de atividade a comunidade familias
campo além da sua
atribuição

Fonte: CIS 2009, Processos de intervenção social de UTP CH em

acampamentos em que se formaram comités na região metropolitana.

24
Avaliação de impacto

Avaliação de Necessidades

Avaliação Teórica

Avaliação de Processos

Avaliação de Impacto
Impact Evaluation

Cost-Effectiveness
Avaliação Analysis
de Eficiência
25
O que é impacto?

Mudanças diretamente atribuíveis ao programa

(Gertler et al.)

26
O que é impacto?

Resultado dos beneficiários

depois de participarem
do programa

Resultado que esses mesmos

beneficiários obteriam, no caso
hipotético de não terem
participado do programa

IMPACTO
Contrafactual

27
Perguntas que requerem uma avaliação de impacto

O programa teve os efeitos esperados sobre os beneficiários?

• Esses efeitos se mantiveram com o tempo?

• Todos os componentes do programa são necessários para obter impacto?

• Alguns grupos de beneficiários estão mais afetados pela intervenção do que outros?

• Existem efeitos adversos não planejados?

28
 Avaliação de impacto - TECHO

Avaliação de impacto
das casas emergenciais
em comunidades
vulneráveis de três países
• El Salvador
• Uruguai
• México Fonte:
Techo
Qual foi o impacto?

Satisfação com a proteção que a residência

20% oferece contra a chuva

Satisfação com a qualidade de vida

16%

Não houve impacto em:

• Consumo de bens
• Mercado de trabalho
• Saúde

30
Processos Avaliação de Processos
Como? Por que?
Avaliação de Impacto
Quanto?
vs.
Impacto Mede o progresso em
Mede quanto do progresso em
relação aos objetivos é
relação aos objetivos causado pelo programa

Monitoramento contínuo e Pontual, limitada no tempo

frequente

Realizada durante a Desenhada antes da

implementação do implementação, com resultados
programa finais após programa ser
implementado

Pode ser realizada pela

equipe do programa ou De preferência, realizada
parceiro externo externamente com apoio das
equipes do programa

Evidência descritiva Evidência causal

Avaliação de eficiência

Avaliação de Necessidades

Avaliação Teórica

Avaliação de Processos

Avaliação de Impacto
Impact Evaluation

Cost-Effectiveness
Avaliação Analysis
de Eficiência
32
Avaliação de eficiência

Análise custo-benefício: compara os benefícios do

programa com seus custos
• Implica monetizar os custos e benefícios
• É realizada geralmente ex-ante

Análise custo-efetividade: compara a mudança

na variável de impacto principal com os custos do
programa
• Permite comparar o impacto relativo de diferentes
intervenções
• É realizada geralmente ex-post

33
Perguntas que requerem uma avaliação de eficiência

O impacto foi alcançado de uma maneira eficiente?

• O custo do programa é razoável em relação à magnitude do impacto?

• Existem intervenções alternativas que cumpririam os mesmos objetivos a um menor

custo?

• Os recursos são usados de maneira eficiente?

34
Análise custo-benefício em casas emergenciais

Mudança na medida de impacto (taxa de pobreza)

dividido por
medida de custo (reais)

Custo do
programa

35
Em resumo

• O programa está baseado em uma boa conceituação

Avaliação de Necessidades do problema que se busca solucionar?

Avaliação Teórica • A teoria por trás do programa é factível?

• O programa está sendo implementado segundo o

Avaliação de Processos planejado?

• O programa alcançou os objetivos para os quais foi

Avaliação de Impacto desenhado?

Avaliação de Eficiência • O impacto foi alcançado de maneira eficiente?

38
A importância de se avaliar impacto
Por que avaliar impacto?
Existem vários motivos pelos quais estamos interessados em avaliar um programa:

1. Melhorar o programa

2. Tornar o gasto público mais eficiente

3. Gerar conhecimento sobre políticas públicas

41
1. Melhorar o programa

Gerar informação focada no desenho ou na reformulação do programa,

com a finalidade de melhorar seu desempenho e resultados

• Encontrar soluções concretas e as implementar em curto prazo

• Permite entender a importância relativa dos componentes e processos

do programa

42
2. Tornar o gasto público mais eficiente

Emitir um juízo sobre o uso eficiente dos recursos

• Útil para tomar decisões em relação à alocação de recursos,

continuidade do programa

• Interessa aos tomadores de decisão de alto nível (ex. governadores,

prefeitos, legisladores)

43
3. Responder perguntas de relevância geral

Gerar bens públicos, contribuindo para o conhecimento em ciências

sociais e econômicas

– Produz conhecimento sobre mecanismos e efeitos de uma

intervenção

– Serve de base para inovações e novos enfoques, com potencial

para replicações e ganhos de escala

44
Exemplo: Programas de transferência de renda
(ex. Bolsa Família)

Fonte: Fiszbein y Schady, Banco Mundial; 2009

 Grande crescimento em dez anos

Relevância global de
Fonte: Fiszbein y Schady, Banco Mundial; 2009
se conhecer o impacto
desta política
O exemplo do programa no México

47
Exemplo: programa de transferência de renda no México

O que permitiu o êxito do programa?

• Evidência científica sobre impactos

• Avaliação rigorosa feita por acadêmicos externos sem interesses políticos

48
Exemplo: programa de transferência de renda no
México
Qual foi o papel da evidência?

• Deu sustentabilidade política ao programa no tempo

• Entregou informação ao mundo sobre a efetividade da inovação

(a custo político e financeiro muito baixo)

• Ajudou a melhorar o desenho do programa ao longo do tempo

49
Avaliações de impacto e o uso de seus
resultados
Como decidimos quais programas implementar?

Ideologia
Própria
Externa
Conhecimento
Apoio
Evidência
Orçamento
Experiência
Político
pessoal ou
coletiva Capacidade

Programas/
Políticas

48
Como decidimos quais programas implementar?

Política pública baseada Política pública baseada

em ideologia e opinião em evidência

Fonte: Brandon Reynolds, apoiado pela University of Cape Town Graduate School of Development Policy and Practice

49
Precisamos de mais evidência e de um
maior uso da evidência existente

50
Crescimento de avaliações aleatorizadas
Número de avaliações aleatorizadas publicadas na área de desenvolvimento internacional

Ano de publicação
Fonte: Cameron et al (2016)
51
Mas ainda há muito trabalho a ser feito

Evidência em medicina
234.107 estudos clínicos

Fonte: https://ClinicalTrials.gov
11 de janeiro de 2017
 Por que existe tão pouca evidência?

1. Medir impacto fora do laboratório é complexo

• Problema de confiabilidade do impacto estimado
• Importância de uma análise de dados adequada e bem justificada
– Estamos isolando o efeito do programa de outros elementos relevantes?
– Qual é a estratégia de identificação causal?
– Estamos trabalhando com grupos comparáveis?

53
Por que existe tão pouca evidência?

2. Difícil pensar na avaliação a tempo

• Precisamos pensar na avaliação de um programa antes
de ser implementado

3. Incentivos
• Governos querem respostas rápidas, mas avaliações bem
feitas tomam tempo
• Conhecimento sobre políticas públicas é um bem público

54
Uso de evidência

Mesmo quando existe evidência rigorosa, muitas vezes ela não é usada
sistematicamente para o desenho de programas

• Dificuldade em identificar a diferença entre a evidência “rigorosa” e

aquela que não é…
– Baixa credibilidade por seu mau uso
– Pouco conhecimento de causalidade

• Falta de cultura de avaliação e aprendizagem

• Validade externa: resultados de uma avaliação se aplicam a outros

contextos?
55
Quando não avaliar impacto?

• Quando já existe evidência suficiente sobre a efetividade de uma intervenção

• Quando o programa não está maduro e seu desenho está sujeito a alterações

• Quando não é possível identificar um grupo de comparação válido

60
Quando avaliar impacto?

• Quando existem perguntas causais sem resposta

• Quando existe incerteza sobre a melhor estratégia de intervenção para
atacar um problema
• Quando está sendo implementado um programa-piloto
• Quando se prevê ampliar um programa
• Quando um programa está sendo implementado de maneira gradual
• Quando o programa incorpora novos serviços ou beneficiários

61
Conclusões
Em resumo

• Existem diferentes tipos de avaliações. Neste curso, focaremos em

avaliações de impacto, que respondem a perguntas sobre causa e efeito

• Avaliar impacto pode ajudar a melhorar o desenho dos programas

sociais, aumentar a eficiência do gasto público e aprender sobre políticas
bem sucedidas

• Há grande espaço para mais produção e uso de evidência empírica

rigorosa

59