Métodos de Análise em Gestão e Políticas

Públicas
Catarina Rodrigues Duleba

Motivações para uma avaliação de impacto

A partir da avaliação de impacto de projetos sociais é possível analisar de

maneira isolada a contribuição de uma ação particular no alcance dos objetivos
de interesse. Ela é um instrumento importante para compreensão de quais
propostas compreendem a maior parte das necessidades da população com o
melhor uso do orçamento disponível. Portanto, é relevante aos formuladores de
políticas, aos diretamente envolvidos no programa e também para outros
agentes da sociedade. O objetivo de uma avaliação de impacto é examinar se
um programa está atingindo os efeitos esperados. Com os resultados, é possível
usar as informações para a melhoria do desenho do próprio programa ou para
auxiliar no desenho de outros programas ou até mesmo informar formuladores
de políticas que pretendam desenhar outros programas com propósitos
parecidos.

O impacto de um programa

É necessário avaliar a magnitude do impacto sobre diferentes grupos

socioeconômicos porque o fato de um programa ou serviço ter impacto sobre um
grupo não significa necessariamente que terá o mesmo impacto sobre outro
grupo. Porém também é fundamental analisar a forma como o programa é
implementado. Ainda que haja poucas dúvidas em relação ao impacto potencial
de um programa bem focalizado e desenhado, podem existir incertezas sobre o
efetivo impacto desse programa ao ser implementado de maneira deficiente. Ou
seja, o impacto de um programa não depende apenas do seu impacto potencial,
mas também está intrinsecamente relacionado às condições de sua
implementação. A avaliação de impacto irá investigar o seu impacto real e qual
parcela do impacto potencial foi desperdiçada por causa de falhas na
implementação.
Avaliação de impacto com recursos escassos

A avaliação de impacto é fundamental em casos em que os recursos são

escassos e diferentes programas competem pelos mesmos recursos porque
pode medir a magnitude do impacto e calcular a relação custo-efetividade de
cada programa. Um programa pode ter um impacto inquestionável, porém pode
não ser aquele com a melhor relação custo-efetividade e, assim, não ser o
melhor candidato a receber os recursos que estão disponíveis. Além disso, é
importante que o valor dos benefícios do programa seja maior que os seus
custos, ou seja, que o programa tenha uma relação custo-benefício favorável.
Para isso, é preciso considerar os custos e benefícios sociais sobre os agentes
envolvidos diretamente, mas também sobre as externalidades do restante da
sociedade. Em algumas situações, há diferentes ações com propósitos análogos
que não são substancialmente diferentes em relação ao seu custo. Então, nestes
casos, as diferenças na magnitude do impacto que definirão qual programa tem
a melhor relação custo-benefício. Portanto, quando existem diferentes
programas que competem entre si, o processo decisório é sequencial, decidindo
primeiro a melhor relação custo-benefício entre os programas. Depois, outras
relações custo-benefício são calculadas para programas que não foram
implantados, mas que tem relação favorável, considerando que aquele com
melhor relação foi implantado efetivamente. Se ainda houver algum programa
com relação custo-benefício favorável, o melhor deles será implantado e o
processo será conduzido novamente.

Momentos na execução de um programa

A primeira justificativa é em casos em que o impacto de um programa acontece

com poucas dimensões facilmente mensuráveis, a magnitude do impacto pode
ser investigada de maneira relativamente incontestável baseada em métodos
experimentais. Também pode ocorrer, na falta de mercados para o serviço ou
benefício em questão, o uso da propensão a pagar poderia levar a estimativas
não tão confiáveis. Entretanto, devemos ressaltar que um aumento do número
de dimensões do impacto e o surgimento de mercado para o benefício ou serviço
em questão tornaria a utilização da propensão a pagar mais fundamentada via-
à-vis ao uso da avaliação de impacto.

A segunda justificativa é que somente o uso da propensão a pagar pode

ter a sua confiabilidade reduzida em casos que há externalidades e o programa
tem impactos em não beneficiários. Nestas situações, se o número de
dimensões do impacto é limitado e o grupo de não beneficiários impactos está
bem definido, uma avaliação de impacto experimental provavelmente será capaz
de produzir estimativas mais confiáveis.

Finalmente, a utilização da propensão a pagar pode ser limitada ao não

permitir a identificação das razões às quais os beneficiários valorizam aquele
serviço. Dessa maneira, sabe-se quanto o programa é valorizado, mas não se
sabe sobre os mecanismos em que o programa influencia o bem-estar dos
beneficiários. Assim, a avaliação de impacto é mais efetiva ao distinguir melhor
qual instrumento do programa contribui mais ou menos para a satisfação do
usuário.

Uso interno e uso externo de uma avaliação

Em uma avaliação, o uso interno está relacionado à sua utilidade para a

tomada de decisões no programa avaliado. O uso externo diz respeito à
utilização dos resultados da avaliação como ferramenta para desenhar ou
melhorar o desenho de outros programas parecidos.

No seu uso interno, a avaliação de impacto é tipicamente usada como

veredicto em casos em que os usuários dos resultados são aqueles
responsáveis pela continuidade ou descontinuidade do programa. Os resultados
positivos justificam a permanência ou ampliação de um programa, já a falta
destes pode justificar a desativação progressiva ou imediata do programa. Além
disso, outra utilidade interna é dar informações para a promoção de melhorias
no desenho do programa. Sabendo como a magnitude do impacto pode variar
com os parâmetros que definem a intervenção é possível contribuir para a
reformulação dos fundamentos em que se baseiam o programa, permitindo
assim o aperfeiçoamento do seu desenho e a sua adequação. Também devemos
ter em mente que o impacto do programa depende da maneira como a gestão e
operação é conduzida. Uma avaliação de impacto que compreende insumos
sobre a sensibilidade da magnitude do impacto às variáveis relativas à gestão e
operação do programa nos dá informações valiosas para o aperfeiçoamento ou
reformulação do sistema de gestão e operação.

Para o uso externo, as avaliações de impacto funcionam como bens

públicos, já que beneficiam uma população maior do que aquela que participou
originalmente do programa e financiou a avaliação. Entre os usos externos, a
identificação de melhores práticas nas avaliações de impacto são essenciais
para o aprimoramento da eficácia. Para uma avaliação de impacto ampla, é
fundamental que se verifique não só o tamanho do impacto, como também a
interação deste com características do ambiente socioeconômico e cultural em
que as avaliações se inserem. Um dos principais desafios de uma avaliação de
impacto é analisar a sensibilidade do impacto ao contexto e verificar quais são
as adequações necessárias para o que programa possa ser apropriado às mais
variáveis situações.