Beruflich Dokumente
Kultur Dokumente
Augusto Mateus
Março 2003
Questões fundamentais da avaliação de programas e intervenções públicas
Relevância
Em que medida o diagnóstico dos problemas, necessidades e desafios (ameaças – oportunidades) adere às
realidades da “população-alvo” e aos contornos e tendências do respectivo “contexto” social, económico e institucional ?
Pertinência
Em que medida são os objectivos da intervenção pertinentes para as necessidades da “população-alvo”, no quadro da
consideração das “lições da experiência”, e para as prioridades, num contexto em evolução, aos níveis nacional e da UE ?
Coerência
Estão garantidas condições de exequibilidade ou consistência da estratégia adoptada, nomeadamente
ao nível das soluções de afectação, especialização e coordenação de meios (intra-programa e inter-programas)
e ao nível da hierarquia, complementatidade e articulação convergente dos objectivos prosseguidos ?
Eficiência
De que modo são os recursos transformados em realizações ou resultados? Que indicações fornece a comparação
entre “custos” e “benefícios” para as decisões relativas a afectações alternativas de recursos ? Qual o grau de penetração
das medidas, acções e projectos nos diferentes segmentos relevantes dos destinatários (“população-alvo”) ?
Eficácia
Até que ponto contribuiu a intervenção para alcançar os seus objectivos específicos e globais? Qual a dimensão das sinergias
e efeitos internos e externos do programa em termos de “valor acrescentado” sectorial, regional, nacional e comunitário ?
Utilidade
A intervenção teve impacto nos grupos ou populações-alvo, em relação às suas necessidades e problemas ?
Como compara a “situação de chegada” da “população-alvo” com a “situação de partida” do programa
(ou, no plano intercalar, as situações intermédias conhecidas ou estimadas) ?
Sustentabilidade
É possível identificar e quantificar as grandes mudanças e efeitos estruturais “produzidos” pelo programa ?
Em que medida se pode esperar que as alterações (ou benefícios) perdurem após a conclusão da intervenção?
A realização do programa configura uma experiência institucional de aprendizagem colectiva com influência futura ?
Sociedade, Economia, Região, Sector, ...
Articulação
nacional -
“População-Alvo”
Impactos comunitário
Desafios
Impactos
“CONTEXTO” Articulação Impactos
Problemas Necessidades sectorial/regional -
nacional
Avaliação Desempenho
A B C
Custo- Sinergias Efeitos Partida vs.
Relevância Interna Benefício Estruturais Chegada
Recursos- Efeitos-
Objectivos Evolução
Pertinência Externa Realizações Controlo População-
Alvo
Desvios
Plano Nacional Gestão Acompanhamento
Plano Comunitário Adaptações
D
O ciclo de vida do programa e a segmentação dos seus objectivos
Dimensão Estratégica
Diagnóstico
Concepção
OBJECTIVOS INSTRUMENTOS
OBJECTIVOS
Lições da
Experiência
Impactos
Dimensão Operacional
Indicadores de recursos (“input”)
(referem-se ao orçamento atribuído a cada nível da intervenção)
Os indicadores financeiros são utilizados para acompanhar os progressos em termos de autorização e de pagamento
(anual) dos fundos disponíveis para cada operação, em relação ao seu custo elegível
Relevância
“População-Alvo”
Desafios “CONTEXTO”
Problemas Necessidades
Pertinência
OBJECTIVOS RECURSOS
INSTRUMENTOS
Coerência
A Avaliação da concepção e da estratégia do programa
Sociedade,
Economia, Desafios
Região, Racionalidade Avaliação da aderência da estratégia à realidade
( o ”querer” faz sentido ? )
Sector, ...
Problemas Necessidades
Relevância Avaliação da qualidade do diagnóstico
Relações causa-efeito
Lições da A construção de diagramas ou árvores inversas de ligações ou
Experiência fluxos (problemas soluções) permite confirmar as formulações
contidas no programa (soluções problemas)?
A lógica analítica (explicação) suporta a lógica decisional (intervenção)?
Avaliação
Racionalidade Coerência Identificação da “População-Alvo” ( problemas vs. soluções )
Os destinatários (pessoas, organizações, factores materiais e imateriais)
A estão bem delimitados e estimados?
A hierarquia dos problemas/necessidades/desafios em relação à
“população-alvo” existe e é apoiada em estudos quantificados?
Relevância Interna
Caracterização do contexto ou envolvente externa
As diferentes dimensões (económica, política, institucional, social, ...) são
Pertinência Externa cobertas por variáveis e indicadores adequados?
As tendências de evolução são detectadas e/ou referidas?
As fontes informação são suficientes?
Plano Nacional
Plano Comunitário
Comprovação da existência de um entendimento adequado
ao nível das motivações da intervenção
A Avaliação da concepção e da estratégia do programa
Sociedade,
Economia, Desafios
Região, Racionalidade Avaliação da aderência da estratégia à realidade
( o ”querer” faz sentido ? )
Sector, ...
Problemas Necessidades
Avaliação da qualidade da formulação dos objectivos
Pertinência e da mobilizaçãodas lições da experiência
Inserção no contexto
As variáveis de contexto têm uma relação causal (positiva, negativa ou
Plano Nacional neutra) adequadamente considerada na formulação dos objectivos?
Plano Comunitário
Comprovação da correspondência aos diferentes níveis do programa,
seja entre objectivos, seja entre prioridades estabelecidas e recursos afectados
A Avaliação da concepção e da estratégia do programa
Sociedade,
Economia, Desafios
Região, Coerência Avaliação da exequibilidade da estratégia
( existe “poder” para alcançar o ”querer” ? )
Sector, ...
Problemas Necessidades
Avaliação da consistência externa
Externa
do programa
Impactos
Eficácia
RESULTADOS
Eficiência
B Avaliação das realizações e efeitos do programa
Sociedade, Articulação
Economia, Impactos nacional -
comunitário Contributo para a avaliação do desempenho
Região, Eficiência
Impactos (articulação c/ avaliação da eficácia)
Sector, ...
Articulação Recursos- Avaliação da eficiência do programa
sectorial/regional - Impactos Realizações (e das causas da sua ineficiência, se aplicável)
nacional
Sustentabilidade
Avaliação dos efeitos de sinergia
Eficiência Eficácia
Os efeitos conjugados na população-alvo são superiores aos efeitos das
medidas e do programa considerados separadamente? É possível quantificar
B o “valor acrescentado” das sinergias internas e externas do programa?
Custo- Existem efeitos externos negativos?
Sinergias
Benefício
Análise das eventuais causas da ineficácia do programa
Recursos- Efeitos-
Objectivos Ao nível da concepção (Diagnóstico?, Estratégia?, Objectivos?, Recursos? ...)
Realizações Ao nível da alteração do contexto sócio-económico (Conjuntural?, Estrutural?
Tansitória? Permanente?, Assimétrica?, ...)
Ao nível da gestão e acompanhamento (Informação e mobilização dos
Coerência
destinatários? Participação suficiente dos mesmos?)
Externa Gestão Acompanhamento
Verificação das condições de eficácia do programa
D e recomendações para a aumentar e/ou para corrigir ineficácias
D Avaliação do impacto global na população-alvo
“População-Alvo”
Desafios “CONTEXTO”
Sustentabilidade Utilidade
Problemas Necessidades
Impactos
D Avaliação do impacto global na população-alvo
Sociedade,
Economia, “População-Alvo”
Região, Sustentabilidade Avaliação da extensão e durabilidade das mudanças
concretizadas
Sector, ... Desafios
Efeitos
Problemas Necessidades Impactos Estruturais
Sinergias
Avaliação
Desempenho
Identificação de sinergias
(óptica de convergência futura de comportamentos e estratégias)
Eficácia Sustentabilidade Utilidade
O quadro de sinergias e “externalidades” detectado configura uma
experiência institucional de aprendizagem colectiva, com tradução verificável
C na evolução das estratégias públicas e privadas?
Sinergias Efeitos Partida vs. O programa contribuíu para um quadro melhorado de acesso à informação e
Estruturais Chegada partilha dos melhores paradigmas de diagnóstico e das melhores práticas?
Evolução
População-
Coerência Alvo
Externa
Comprovação da existência de condições de durabilidade
e reprodutividade dos resultados e impactos do programa
D Avaliação do impacto global na população-alvo
Sociedade,
Economia, “População-Alvo”
Região, Utilidade Avaliação dos benefícios para os destinatários
(à luz do quadro problemas/necessidades)
Sector, ... Desafios
Evolução
Problemas Necessidades Impactos População-
Alvo
Identificação da evolução da “população-alvo” no período
Políticas, Acções de execução do programa objecto da avaliação
Efeitos indirectos
e Intervenções Utilização dos indicadores de diagnóstico e de contexto para caracterizar a
e induzidos
evolução da “população-alvo”, em termos absolutos e em termos relativos
Públicas (quadros nacional e comunitário).
Desafios “CONTEXTO”
Sustentabilidade Utilidade
Problemas Necessidades
Impactos
Desempenho
Pertinência Eficácia
Acompanhamento RESULTADOS
Gestão
Coerência Eficiência
Avaliação Desempenho
Gestão Acompanhamento