CEGOV - 2015 - MDS Avaliacao Caderno de Estudos

CICLO DE
CAPACITAO Avaliao
MDS curso 3
CADERNO DE ESTUDOS
CADERNO DE ESTUDOS
CURSO EM CONCEITOS E
INSTRUMENTOS PARA A
AVALIAO DE PROGRAMAS
Ministrio do
Desenvolvimento Social
e Combate Fome
CICLO DE
CAPACITAO Avaliao
MDS curso 3
CADERNO DE ESTUDOS
CURSO EM CONCEITOS E
INSTRUMENTOS PARA A
AVALIAO DE PROGRAMAS
MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME - MDS

BRASLIA | BRASIL | 2015
EXPEDIENTE Caderno de Estudos do Curso em Conceitos e Ins-
trumentos para a Avaliao de Programas
Presidenta da Repblica Federativa do Brasil | Termo de Cooperao UFRGS-MDS 01/2013
Dilma Rousseff
Vice-Presidente da Repblica Federativa do Brasil | CONTEDO E EXECUO
Michel Temer
Ministra do Desenvolvimento Social e Combate Equipe CEGOV
Fome | Tereza Campello Coordenao Geral | Aline Gazola Hellmann
Secretrio Executivo | Marcelo Cardona Contedo | Paulo Martino de Jannuzzi, Marilia Patta
Secretrio de Avaliao e Gesto da Informao | Ramos e Aline Gazola Hellmann
Paulo Jannuzzi Equipe Tcnica | Aline Gazola Hellmann, Ana
Secretria Nacional de Assistncia Social | Denise Carolina Ribeiro Ribeiro, Ana Julia Bonzanini Bernardi,
Colin Bruno Quevedo Sivelli, Gabriela Perin, Gianna Vargas
Secretrio Nacional de Segurana Alimentar e Reis Salgado Dias, Giordano Benites Tronco, Gustavo
Nutricional | Arnoldo Anacleto de Campos Conde Margarites, Jlia da Motta, Thiago Borne
Secretrio Nacional de Renda de Cidadania | Luis Ferreira.
Henrique da Silva de Paiva
Secretrio Extraordinrio de Erradicao da Equipe Tcnica MDS | Paulo de Martino Jannuzzi,
Pobreza | Tiago Falco Patricia A. F. Vilas Boas, Alexandro Pinto, Marconi
Fernandes de Sousa, Caio Nakashima, Marcilio
Secretaria de Avaliao e Gesto da Informao Marquesini Ferrari, Antonio de Castro, Michelle
Secretria Adjunta | Paula Montagner Stephanou, Maria de Jesus Rezende, Thais Kawashima,
Diretor de Monitoramento | Marconi Fernandes de Renato Monteiro, Maria Cristina A. M. de Lima, Janine
Sousa Cardoso Mouro Bastos, Katia Ozorio, Tarcsio da Silva
Diretor de Gesto da Informao | Caio Nakashima Pinto, Marco Antonio Natalino, Luciana Sardinha,
Diretora de Formao e Disseminao | Patrcia A. Dionara Barbosa, Jlio Cesar G. Fonseca, Carlos
F. Vilas Boas Henrique Araujo Santana, Davi Lopes Carvalho
Diretor de Avaliao | Alexandro Rodrigues Pinto
Projeto grfico | Joana Oliveira de Oliveira
Diagramao | Joana Oliveira de Oliveira, Liza Bastos
Bischoff, Henrique Pigozzo da Silva, Gabriel Thier.
Brasil. Ministrio do Desenvolvimento Social e Combate Fome.

Caderno de estudos do Curso em Conceitos e Instrumentos para a Avaliao de Programas. -- Bras-
lia, DF: MDS, Secretaria de Avaliao e Gesto da Informao, Secretaria Nacional de Assistncia Social,
2015.
93 p. ; 30 cm.
ISBN: 978-85-60700-93-6
1. Assistncia social, Brasil. 2. Poltica social, Brasil. 3. Polticas pblicas, Brasil. 3. Programas sociais.
4. Avaliao. I. Sistema nico de Assistncia Social.
CDU 304(81)
Ficha catalogrfica elaborada pela Bibliotecria Tatiane de Oliveira Dias CRB 2230.
2015 Ministrio do Desenvolvimento Social e Universidade Federal do Rio Grande do Sul (UFRGS)
Combate Fome. Centro de Estudos Internacionais sobre Governo
Todos os direitos reservados. (CEGOV)
Qualquer parte desta publicao pode ser reproduzida,
desde que citada a fonte. Campus do Vale, prdio 43322
Secretaria de Avaliao e Gesto da Informao (SAGI) Av. Bento Gonalves, 9500
Bloco A | 3 andar | Sala 307 | CEP 70046-900 | Braslia | DF CEP: 91.509-900 Porto Alegre RS
Telefone: (61) 2030-1770 Fone: (51) 3308-9860
www.mds.gov.br www.ufrgs.br/cegov
CENTRAL DE RELACIONAMENTO DO MDS: 0800 707 2003
SUMRIO
APRESENTAO 05
INTRODUO 07
aula INTRODUO PESQUISA DE

1 AVALIAO DE PROGRAMAS 09
aula DELINEAMENTO DE UMA

2 PESQUISA DE AVALIAO 31
aula
MTODOS E TCNICAS
3 PARA COLETA DE DADOS 49
aula
ANLISE, APRESENTAO E
4 DISSEMINAO DOS RESULTADOS 65
APRESENTAO
O Ministrio do Desenvolvimento Social e Combate a Fome (MDS), cria-
do em 2004, executa de forma integrada as politicas de desenvolvimento social
em ambito federal. Atualmente, uma das prioridades do Ministrio e o Plano Bra-
sil sem Misria (BSM), cujos objetivos so: promover a incluso social e produtiva
da populao extremamente pobre, desenvolvendo aes para elevar a renda
familiar per capita; ampliar o acesso aos servios pblicos, as aes de cidadania
e de bem-estar social; ampliar o acesso as oportunidades de ocupao e renda
atravs de aes de incluso produtiva nos meios urbano e rural.
O cumprimento desses objetivos depende da capacidade da pactuacao
e do alinhamento das diretrizes do Governo Federal com os estados e os muni-
cpios. Alm disso, e necessario capacitar os profissionais que trabalham dire-
tamente com as politicas sociais, construindo habilidades para o uso de ferra-
mentas de formulao, implementao e coordenao de aes de diagnstico,
monitoramento e avaliao das politicas e programas.
nesse contexto que a Secretaria de Avaliao e Gesto da Informao
(SAGI-MDS), em cooperao com o Centro de Estudos Internacionais sobre Go-
verno da Universidade Federal do Rio Grande do Sul (CEGOV/UFRGS), lana o
Ciclo de Capacitao em Conceitos e Tcnicas para Elaborao de Diagnsticos,
Monitoramento e Avaliao de Programas e Aes do MDS, direcionado a ges-
tores e tcnicos das secretarias estaduais e municipais de assistncia social ou
congneres.
Especificamente, o Ciclo objetiva: desenvolver a capacidade dos partici-
pantes em dimensionar e localizar o pblico prioritrio dos programas e aes
sociais; fortalecer a transparncia, o controle social e a conduta tica, contri-
buindo para a eficincia, eficcia e efetividade da gesto pblica; qualificar os
participantes no uso de sistemas de informao e no desenvolvimento de me-
todologias de avaliao e monitoramento de politicas sociais; contribuir para o
desenvolvimento de competencias, recursos humanos qualificados e materiais
instrucionais em monitoramento e avaliao, visando permitir a oferta peridica
e regular de processos formativos relacionados a rea.
O Ciclo prev a oferta de trs cursos de extenso em Ensino a Distncia:
C1: Curso Indicadores para Diagnstico dos Programas do Sistema ni-
co da Assistncia Social (SUAS) e do Brasil sem Misria (BSM) (42h/a)
C2: Curso em Conceitos e Tcnicas para Monitoramento de Programas
(32h/a)
C3: Curso em Conceitos e Tcnicas para Avaliao de Programas (32h/a)

Este e o Caderno de Estudos do Curso 3: Avaliao de Programas.
O MDS e a UFRGS desejam a todos um bom curso!
CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 05

06 CEGOV | UFRGS
INTRODUO
Ol!
Neste curso aprenderemos sobre avaliao de programas. O cur-
so tem dois objetivos principais:
1. Introduzir os principais conceitos acerca do tema;
2. Capacitar o gestor para uma leitura qualificada das pesquisas
de avaliao feitas pela SAGI.
O curso est organizado da seguinte forma:
aula ttulo objetivos instrucionais
aula Introduo pesquisa Apresentar os principais aspectos acerca da
1 de avaliao de
Programas
avaliao de programas e situar sua
importncia no ciclo de polticas pblicas.
A partir do exemplo de duas pesquisas de

aula Delineamento
Delineamentode uma avaliao (PRONATEC BSM e Reviso
2 pesquisa de avaliao
de pesquisa Cadastral), conhecer os tipos de abordagem e
delineamento de pesquisa.
A partir do exemplo de duas pesquisas de

aula Mtodos e tcnicas avaliao (PRONATEC BSM e Reviso
3 para coleta de dados Cadastral), detalhar os mtodos e tcnicas
qualitativas e quantitativas para a coleta de
dados.
Apresentar diferentes tcnicas para anlise

Anlise, apresentao
aula de dados, aprender sobre a elaborao de
e disseminao dos
4 resultados
relatrios, formas de disseminao e
conhecer as pesquisas de avaliao
produzidas pela SAGI.
Para uma melhor compreenso dos temas, nas aulas 2 e 3 os con-

tedos sero apresentados a partir de duas pesquisas principais: o estudo
qualitativo com egressos e desistentes, representantes das unidades ofer-
tantes e interlocutores municipais do PRONATEC - Brasil Sem Misria
(BSM), e o estudo sobre o perfil das famlias que sofreram repercusses
sobre o benefcio do Programa Bolsa-Famlia em decorrncia do processo
de Reviso Cadastral.

PRONATEC/BSM reviso cadastral
Estudo qualitativo com egressos e Estudo sobre o perfil das famlias que
desistentes, representantes das unidades sofreram repercusses sobre o benefcio do
ofertantes e interlocutores municipais do Programa Bolsa-Famlia em decorrncia do
PRONATEC - BSM processo de Reviso Cadastral
Objetivos
Objetivo
Avaliar a adequao dos cursos ofertados
Coletar e analisar dados que possibilitassem
em relao ao perfil dos alunos e demanda
a configurao do perfil das famlias que no
existente nos mercados de trabalho locais.
compareceram dentro do prazo previsto para
atualizar seus dados do Cadastro nico e a
Mtodo identificao das razes que levaram ao no
A pesquisa adotou uma abordagem comparecimento.
qualitativa. Realizou-se um estudo em 12
municpios, em trs regies diferentes do pas. Mtodo
Para seleo dos participantes, optou-se por A pesquisa adotou uma abordagem quanti-
municpios de diferentes portes populacionais. tativa. Foi realizado um levantamento em 148
Para a coleta de dados, foram utilizadas duas municpios A seleo dos municpios foi feita
tcnicas: entrevista individual e grupo focal. por sorteio. Para coleta de dados, foram utili-
As entrevistas individuais foram realizadas zados questionrios aplicados em 148 gesto-
com gestores municipais do PRONATEC. Dos res e 5.124 beneficirios que sofreram alguma
grupos focais, participaram alunos egressos repercusso em funo da no atualizao do
ou desistentes do programa. cadastro.
Resultados
Resultados A pesquisa identificou que aspectos como a
Os resultados do estudo indicaram que o composio familiar, as caractersticas do do-
programa foi extremamente bem avaliado, miclio, as mudanas na situao scio-ocupa-
tanto por alunos quanto por gestores cional e de renda de seus moradores, o acesso
pblicos e representantes das unidades a outros programas sociais e servios pblicos,
ofertantes. As causas de evaso e desistncia as dificuldades no acesso s informaes aju-
foram agrupadas em trs grandes categorias: dam na compreenso da no atualizao ca-
1) As relacionadas ao perfil do aluno; 2) As dastral.
relacionadas s caractersticas da gesto
municipal; 3) As relacionadas s caractersticas
da unidade ofertante.
Um timo curso a todos!
08 CEGOV | UFRGS
INTRODUO PESQUISA DE aula
AVALIAO DE PROGRAMAS 1

Ol, gestor e gestora!

Nesta aula voc vai aprender sobre os principais aspectos da

avaliao de programas a partir de uma srie de perguntas.
leia
Boa aula!
saiba
OBJETIVOS DE APRENDIZAGEM
Nesta aula voc vai aprender:
O que um programa; leitura

O que so estudos avaliativos; obrigatria
acesse!
Quais so os objetivos de uma pesquisa de avaliao;
JANNUZZI, Paulo De
Quais so os principais tipos de avaliaes de programas existentes.
M. Sistema de Moni-
toramento e Avalia-
o que diz a norma?

o de Programas
Sociais: Revisitando
Mitos e Recolocando
VID
Premissas para sua
Maior Efetividade
FERRAMENTAS AVA
na Gesto. Revista
Brasileira de Monito-
VIDEOS TUTORIAIS ramento e Avaliao,

n 5, p. 04-27, 2013.
VIDEOTECA
AVALIAO FINAL BIB
RRAMENTAS
DEOTECA EXERCCIOS
BIBLIOTECA
CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 09 SO
SUMRIO DA AULA 1

O que um programa? 10
O que pesquisa de avaliao de programa? 14
Qual a diferena entre monitoramento e avaliao de programa? 16
Qual o objetivo da pesquisa de avaliao de programa? 17
A quem se destina uma pesquisa de avaliao de programa? 18
Como avaliar um programa? 20
a) Critrios de avaliao 20
b) Indicadores 20
c) Constrangimentos 21

Quais os tipos de avaliao existentes?
a) Segundo o agente que avalia
22
23
b) Segundo a natureza 23
c) Segundo o momento da avaliao 24
d) Segundo o objetivo da avaliao 24
Tipos de avaliao segundo o momento do ciclo: uma proposta
integradora 26

leia
VAITSMAN, Jeni; O QUE UM PROGRAMA?
PAES-SOUSA,
Rmulo. Avaliao
de Programas e Programas sao empreendimentos complexos, que envolvem a
Profissionalizao contratacao de pessoal tecnico; disponibilidade de instrumentos; ade-
da
saiba Gesto Pblica. quacao de equipamentos publicos; alocaao de recursos monetarios;
Revista Brasileira promocao de capacitacao, de forma coordenada no tempo e no territorio
de Monitoramento
(JANNUZZI, 2014). Em relao a uma poltica, por exemplo, o programa
e Avaliao. n. 1,
2011. Disponvel tem um grau maior de objetivao e focalizao. Nele so definidas po-
em: http:// pulao-alvo, equipes tcnicas, recursos financeiros, etc. Um projeto, por
aplicacoes.mds. sua vez, um instrumento para alcanar os objetivos de um programa,
acesse!
gov.br/sagirmps/ envolvendo um conjunto de operaes, limitadas no tempo, das quais re-
ferramentas/ sulta um produto final que contribui para a expanso ou aperfeioamento
TemplateHTML/
da ao do governo. Quando essas operaes se realizam de modo cont-
PDFs/Artigo_
VIDEOS TUTORIAIS
Revista/Avaliacao_ nuo ou permanente, so denominadas de atividades ou aes (GARCIA,
o que diz a norma?
de_programas_e_ 1997).
profissionalizacao_
da_gestao_publica.
pdf
FERRAMENTAS AVALIAO FINAL

10
VIDEOTECA
CEGOV | UFRGS
BIBLIOTECA
Dessa forma, podemos definir que:
aula
1
POLTICA: o estgio onde as propostas de interveno na
realidade ganham forma e estatuto, recebendo tratamentos for-
mais mnimos, ao serem definidos metas, objetivos e recursos. As
polticas transformam-se em programas quando explicitada a
estratgia de implementao e, por uma ao de autoridade, so
criadas as condies iniciais para sua implementao (SILVA; COS-
TA, 2002).
PLANO: o conjunto de programas que buscam objetivos
comuns. O plano ordena os objetivos gerais e os desagrega em
objetivos especficos, que, por sua vez, sero os objetivos gerais
dos programas. O plano organiza as aes programticas em uma
seqncia temporal, de acordo com a racionalidade tcnica e as
prioridades de atendimento (COHEN; FRANCO, 2004).
PROGRAMA: um conjunto de atividades organizadas para re-
alizao de um objetivo, com cronograma e oramento espec-
ficos. O programa busca reunir as condies necessrias para o
alcance das metas estabelecidas.
PROJETO: instrumento para alcanar os objetivos de um progra-
ma, envolvendo um conjunto de operaes, limitadas no tempo,
das quais resulta um produto final que contribui para a expanso
ou aperfeioamento da ao do governo. Quando essas opera-
es se realizam de modo contnuo ou permanente, so denomi-
nadas de ATIVIDADES (GARCIA, 1997).
Confira o exemplo a seguir:

Poltica: Poltica Nacional sobre Drogas.
Plano: Plano Integrado de Enfrentamento ao Crack e outras Dro-
gas.
Qual era o problema? Disseminao do crack e outras drogas,
com problemas relacionados ao seu consumo e ao trfico.
Qual era o objetivo? Ampliao e qualificao da rede de preven-
o, acolhimento aos usurios de drogas e apoio aos seus familia-
res nas reas da sade, assistncia social e nas escolas.
Qual eram as estratgias? Criao de leitos e unidades de atendi-
mento, qualificao de profissionais.
Programas: Programa Crack, Possvel Vencer, Programa de
Preveno do Uso de Drogas na Escola, Programa de Preveno
na Comunidade, Consultrios na Rua.
O quadro 1 sintetiza os principais elementos de um programa:

Quadro 1- Elementos de um programa
(continua)
PROGRAMA
Instrumento de organizacao da atuacao governamental, que articula um conjunto de acoes que concorrem
para um objetivo comum preestabelecido, mensurado por indicadores, visando a solucao de um problema,
atendimento de necessidade ou demanda da sociedade, ou aproveitamento de oportunidade.
Elemento Descrio Exemplo fictcio
O nome deve traduzir os propositos do programa. CAPACITANDO EM M&A
Denominacao Podendo ser um nome fantasia que identifique (outros exemplos: Cisternas; Luz
claramente o programa. para todos; CapacitaSuas)
A Poltica Nacional de Assistncia
Social de 2004 determina a reali-
zao de polticas estratgicas de
Monitoramento e Avaliao, com
o intuito de aferir e aperfeioar
os projetos existentes e contribuir
Descricao sucinta do problema (ou demanda) que
para seu planejamento futuro.
Diagnostico / o programa tem por objetivo solucionar e sua con-
No entanto, h um dficit de
Justificativa tribuicao esperada para o alcance das diretrizes de
capacidade estatal associada
governo e/ou dos objetivos setoriais.
falta de pessoal qualificado para
a execuo das atividades de
M&A. Pretende-se que o progra-
ma aumente a capacidade dos
municpios em Monitorar e Avaliar
a execuo dos programas sociais.
Expressa o resultado desejado em relacao ao publi- Capacitar 2.430 trabalhadores do
Objetivo co-alvo descrevendo a sua finalidade, com concisao SUAS, sendo 1500 em Indicadores,
e precisao, sempre mensuravel por um indicador. 500 em monitoramento e 430 em
Expresso sempre por um verbo no infinitivo. avaliao de programas sociais.
Segmento da sociedade (pessoas, comunidades, ins-
243 mil trabalhadores municipais
tituicoes, setores, etc) que possui em comum algum
da assistncia social, atuantes nos
Publico-Alvo atributo, necessidade ou potencialidade e a qual
rgos da assistncia social: CRAS,
se pretende atingir diretamente com os resultados
CREAS, Conselhos e secretarias.
esperados pela execucao do programa.
Prazo de execucao do programa, podendo ser de
Horizonte natureza continua ou temporaria. Se for de natureza
Anual
Temporal temporaria as datas de inicio e termino devem ser
especificadas.
Data de Mes e ano do calendario relativo ao inicio do progra-
mar/12
Inicio ma. Valido para programas de carater temporario.
Data de Mes e ano do calendario relativo ao termino do pro-
mar/14
Termino grama. Valido para programas de carater temporario.
Define a area de atuacao do Programa: Estadual,
Abrangencia Municipal, Regies administrativas do Estado; Nacional
Espacial Regies do pas; bairros etc.
Tipo Setorial - Multisetorial Setorial
1) (falta de) banda larga; 2)
ausncia de apoio das chefias
dos gestores; 3) o gestor no ser
Fatores de Registro das restricoes identificadas que podem
liberado para cursar durante o
Risco colocar em risco o sucesso do programa.
perodo de trabalho; 4) falta de
comprometimento pelo fato do
curso ser gratuto;
12 CEGOV | UFRGS
Quadro 1- Elementos de um programa
(concluso) aula
Profissional capacitado, designado pelo Secretario
de Estado ou dirigente do Orgao, responsavel pelo
programa, a quem compete, por exemplo, a) parti-
1
Gerente cipar da elaboracao do programa em todas as suas Fulano de Tal
fases, congruentes as diretrizes e objetivos estrategi-
cos de Governo ou rgo; b) estabelecer as diretrizes
para o monitoramento e avaliao do programa.
indicao do valor financeiro total
disponvel para o Capacitando
em M&A e dos montantes
Oramento Define a receita e as despesas do programa. destinados para o custeio de
cada tipo de despesas: recursos
humanos, gastos com materiais,
contratao de servios, etc.

Contratao da equipe: de 1 a 21
de maro. Formulao da Matriz
pedaggica: 21 de maro a 1
Calendrio com data e durao de cada etapa do
Cronograma programa.
de abril. Elaborao do material
didtico: 1 de abril a 1 de junho.
Divulgao para o pblico-alvo:
1 de maio a 1 de julho. Etc.
Fonte: elaborao prpria com base em So Paulo (2014). Estrutura de Programas e Aes. Manual do Usurio.
Secretaria de Planejamento e Desenvolvimento Regional do Governo do Estado de So Paulo. s/d. Disponvel em
<http://lua.planejamento.sp.gov.br/doc/manuais/epa/Manual_Aplicativo_LDO_2015.pdf>.

leia
Na Figura 1, evidencia-se a vinculao do programa com a resolu-
o ou mitigao de uma problemtica social que afeta determinado p-
blico-alvo e seu desdobramento em atividades - servios - que resultaro
em produtos e efeitos para este pblico, com resultados e impactos sobre
a problemtica inicial.
saiba
Figura 1 - Componentes de um programa
IDENTIFICAO DO ATIVIDADES PRODUTOS RESULTADOS IMPACTOS

INSUMOS (EFEITOS
PROBLEMA E DA (INTERVENES, (EFEITOS (EFEITOS
(RECURSOS)
MUDANA DESEJADA SERVIOS) IMEDIATOS) INTERMEDIRIOS) FINALSTICOS)
videoteca
DADOS PARA DADOS DO DADOS
DESENVOLVIMENTO PROGRAMA acesse!
POPULACIONAIS
Para relembrar como
se elabora um mo-
DO PROGRAMA
delo lgico, reveja o
Fonte: Ministrio da Sade (2005). vdeo Monitoramen-
to: Modelo Lgico
o que diz a norma? Disponvel em:
O programa pode estar baseado em um modelo lgico, que
POLTICA
https://youtu.be/
uma ferramenta que auxilia a compreenso sobre como um programa zXzV3LzS3Ag?list=PL-
funciona e quais indicadores podem ser utilizados para conferir se os ob-
FERRAMENTAS
TowxHmkqeM8m-
jetivos esto sendo atingidos. Relembrando os principais elementos do pEYE-Ys_XzXWBgl-
Modelo Lgico (Figura 2): C9R7K
PLANO
VIDEOTECA
Discusso e
pecificao do
blema a avaliar
2 CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 13
PROGRAMA
1. Insumos/Recursos (inputs): recursos financeiros, humanos,
materiais, tecnolgicos e de informao utilizados no programa;
2. Atividades/Processo de Implementao: as aes e o tra-
balho empregados e atravs dos quais as entradas (inputs), tais como os

recursos financeiros, a assistncia tcnica e outros tipos de recursos, so
mobilizados para produzirem resultados especficos;
3. Produtos (outputs): produtos e servios resultantes direta-
mente das atividades do programa; IDENTIFICAO DO ATIVIDADES PROD
INSUMOS
PROBLEMA E DA
4. Resultados (outcomes): os efeitos de curto e mdio (INTERVENES,
prazo ad- (EFEI
(RECURSOS)
MUDANA DESEJADA SERVIOS) IMEDI
vindos dos resultados da interveno;
5. Impactos: efeitos de longo prazo do contexto econmico, so-
ciocultural, institucional, ambiental, tecnolgico
DADOSePARA
outros, em uma popu- DADOS DO

lao ou grupo especifico, produzidos por DESENVOLVIMENTO

um programa, direta ou indire- PROGRAMA
leia
tamente, intencionalmente ou no. DO PROGRAMA
Figura 2 - Componentes do Modelo Lgico

MINISTRIO DO
PLANEJAMENTO.
Almanaque do Pla- RECURSOS/
ATIVIDADES PRODUTOS RESULTADOS IMPACTOS
nejamento: Para INSUMOS
Entender e Parti- 1 2 3 4 5
saiba
cipar. Disponvel
em: http://www.pla-
nejamento.gov.br/ TRABALHO PREVISTO EFEITOS ESPERADOS
secretarias/upload/ Fonte: Ministrio da Sade (2005).
Arquivos/noticias/
sof/2012/121107_al-
manaque_do_pla-
acesse!
nejamento.pdf
DE AVALIAO DE PROGRAMA1?
O QUE PESQUISA
o que diz a norma? VIDEOS TUTORIAIS
A avaliacao de programas tem recebido diferentes definicoes na
literatura especializada, segundo os diversos modelos conceituais, para-
FATORES OR
E INSTIT
digmas teoricos e linhas de pesquisa da Ciencia Politica, Ciencias Sociais, FATORES
Economia e Administracao POLTICOS
Publica. Para este curso, utilizaremos uma defi-

DEFINIO DE AGENDA
nicao mais pragmatica e aplicada, proposta em Jannuzzi (2013), de acordo
com Percepo e definio refere-se ao conjunto de procedimentos tecni-
a qual a avaliacao
ateno! das questes pblicas

cos para produzir informacao e conhecimento, em perspectiva inter-

Os trs principais disciplinar, para desenho ex-anteINDICADORES FATORES
(prvio), implementacao e validacao AF
leia VIDEOTECA BIBLIOTECA
AVALIAO DE
DESENHO
AVALIAO DE DIGNSTICO
critrios que so ava- DEMANDA ex-post (posterior) FORMULAO de programas e projetos sociais, por meio das dife-
liados em programas
rentes abordagens
Diagnstico e
desenho de
metodologicas
INDICADORES
SNTESE
SISTEMAdaDE
ECONMICOS
pesquisa social, com a finalidade PRO
so: eficiencia no uso PROBLEMAS E
programas INDICADORES
de garantir o cumprimento dos objetivos de programas e projetos (efi-

MONITORAMENTO
dos recursos, eficacia DEMANDAS

SOCIAIS AVALIAO DE
cacia), seus impactos mais abrangentes em outras dimensoes sociais,

PROCESSO
no atingimento dos
EXERCCIOS ou seja, para alem

SOBRE O MOODLE
dos publicos-alvo atendidos (efetividade) e a custos
IMPLEMENTAO
objetivos e efetividade AVALIAO
Produo e Oferta
dos servios
AVALIAO DE
na mudanca social EFICINCIA
condizentes
Anlise de resultados
e impactos com a escala e complexidade da intervencao (eficiencia).
Deciso sobre
proporcionada pelo
AVALIAO DE
continuidade IMPACTOS
saiba
programa (Draibe, (1) Esta seo reproduz parcialmente o artigo Avaliaco de Programas Sociais:
GUIA DE ESTUDOS SOBRE O CURSO

1999). Conceitos e Referenciais de Quem a Realiza. Paulo de Martino Jannuzzi. Publi-
cado em Est. Aval. Educ., Sao Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014.
14 CEGOV | UFRGS
acesse! CICLO DE
CAPACITAO ATENO Ministrio do
e Combate Fome

Em outras palavras, a avaliao pode ser entendida como um le-
vantamento consistente, sistematico e replicavel de dados, informacoes aula
1
e conhecimentos para aprimoramento da intervencao programatica,
versando sobre: as caracteristicas essenciais do contexto de atuacao; os
publicos-alvo; o desenho; os arranjos de implementacao; os custos de
operacao; os resultados de curto prazo; os impactos sociais e de mais lon-
go prazo de um programa. Enfim, avaliacao tem o objetivo de produzir
evidencias, compilar dados e sistematizar informao e conhecimen-

to que contribuam para o aperfeicoamento de programas e projetos
leia
sociais, alem da consecucao de seus objetivos.
A definicao de avaliacao de programas tambem remete a ne-
cessidade de abordagem interdisciplinar na producao de informacao e JANNUZZI, Paulo
conhecimento sobre os problemas investigados. Pobreza, desigualdade, de Martino. Avalia-
desempenho escolar e mortalidade infantil sao questoes sociais determi- co de Programas
nadas e influenciadas por uma serie de dimensoes sociais mais amplas e Sociais: Conceitos
estruturais, assim como de aspectos mais circunscritos e relacionados a e Referenciais de
saiba
Quem a Realiza.
falta de efetividade de programas publicos desenhados para o equacio-
Estudos em Avalia-
namento das mesmas. o Educacional.
Como foi visto, programas sao empreendimentos complexos, Sao Paulo, v. 25, n.
que envolvem a contratacao de pessoal tecnico; disponibilidade de ins- 58, p. 22-42, 2014.
Disponvel em:
trumentos; adequacao de equipamentos publicos; alocacao de recursos
http://www.fcc.org.
monetarios; promocao de capacitacao, de forma coordenada no tempo e
no territorio. Mapear, pois, as dimensoes sociais mais relevantes a formu-
acesse!
br/pesquisa/publi-
cacoes/eae/arqui-
lacao de um programa ou os problemas operacionais requer uma equipe vos/1925/1925.pdf
de avaliadores com diferentes formacoes academicas e profissionais.
Identificar o momento adequado de avaliar um programa e umo que diz a norma?
misto de tecnica, politica e arte: avaliacoes precoces podem colocar a per-
der a legitimidade de um programa e projeto que ainda nao teve tempo
FERRAMENTA
de se estruturar; avaliacoes tardias podem comprometer recursos e esfor-
cos que poderiam ser usados de forma mais eficiente e eficaz na mitigacao
da problematica social em questao. Se o programa e projeto produzem re-
sultados e impactos, e necessario analisar os custos envolvidos na opera-
VIDEOTECA
cionalizacao de suas atividades, equipamento e pessoal pois esta e, certa-
mente, uma informacao fundamental para avaliar a sustentabilidade dos
programas e projetos no futuro e em outros contextos (JANNUZZI, 2014).
Em uma perspectiva metodologica, os esforcos de Avaliacao po-
EXERCCIOS
dem se estruturar em quatro tipos de produtos (MDS, 2014):
1. Estudos avaliativos analises com base em dados secun-
darios ou compilacao de artigos e trabalhos ja realizados an-
teriormente na tematica, com maior ou menor abrangencia;
2. Pesquisas de avaliacao levantamentos primarios, quali ou
quantitativos, desenhados com objetivos de producao de GUIA DE EST
evidencias mais especificas necessarias ao aprimoramento
da intervencao;
3. Meta-avaliacoes recensoes (anlise crtica) sobre estudos CICLO DE
avaliativos, pesquisas e experiencias nacionais, subnacionais CAPACITAO
MDS
e internacionais de programas e projetos implementados;
4. Relatorios-sintese de Avaliacao e portais Web com informacao
mais sumaria, na forma de indicadores em geral, para comuni-
cacao mais objetiva acerca de aspectos do diagnostico, imple-
mentacao e resultados do programa e projetos.
As avaliaes realizadas no mbito do MDS, especificamente, po-
dem ser denominadas pesquisas de avaliao pois tratam-se de anlises
pragmticas de caractersticas essenciais do contexto, pblicos-alvo, dese-
nho, implementao, custos de operao, resultados de curto prazo, im-
pactos sociais e de mais longo prazo de um programa. Assim, abrange os
insumos acerca do programa que contribuem para seu aperfeioamento e
a consecuo de seus objetivos.
QUAL A DIFERENA ENTRE MONITORAMENTO

E AVALIAO DE PROGRAMA?
Acompanhamento ou monitoramento uma atividade geren-
cial interna, realizada sistematicamente durante o perodo de execuo e
operao, que visa saber como a interveno evolui ao longo do tempo.
Faz uso de dados da gerncia do projeto sobre metas iniciais, indicadores
e resultados associados aos programas. Por meio do monitoramento, por-
tanto, gestores, pesquisadores ou outros agentes conseguem examinar
como a implementao est sendo realizada, se est atingindo seus obje-
tivos e/ou se est enfrentando algum tipo de problema que esteja interfe-
rindo nas aes e processos e, por conseguinte, na consecuo dos objeti-
vos previstos (FARIA, 2005; CUNHA, 2006). De posse dessas informaes, o
monitoramento auxilia na recomendao dos ajustes necessrios ao plano
e s condies operacionais e da correo dos rumos.
Por sua vez, a avaliao pode ser realizada antes, durante ou mes-
mo algum tempo depois da implementao, dependendo do objetivo.
Mas, ao contrrio do monitoramento, a avaliao no um processo con-
tnuo. Trata-se de uma atividade pontual que tem a finalidade de subsidiar
decisoes, apresentar recomendacoes, prestar contas a sociedade e extrair
licoes. Em ambos os instrumentos latente a funo de proviso de infor-
maes sobre um determinado programa ou poltica governamental em
todo o seu ciclo, inclusive o momento inicial de identificao do problema.
O fato e que Monitoramento e Avaliacao sao processos analiti-
cos organicamente articulados, que se complementam no tempo, com o
proposito de subsidiar o gestor publico de informacoes mais sinteticas e
tempestivas sobre a operacao do programa resumidas em paineis ou sis-
temas de indicadores de monitoramento e informacoes mais analiticas
sobre o funcionamento desse, levantadas nas pesquisas de avaliacao. Tal
16 CEGOV | UFRGS
como termometros, os indicadores de monitoramento podem apontar
sinais de normalidade ou febre em pontos criticos do desenho opera- aula
cional de programas, orientando tecnicos e gestores a tomarem decisoes
cabiveis de correcao, e ate mesmo contratarem pesquisas de avaliacao
ou exames clinicos, na metafora adotada para investigar as causas e a
1
persistencia da febre, isto e, do problema (JANNUZZI, 2014).
QUAL O OBJETIVO DA PESQUISA DE AVALIAO

DE PROGRAMA?
Pesquisas de avaliao servem para que se tenha um melhor en-
tendimento do programa. Trata-se de atividade estratgica que propicia
a compreenso das polticas e do Estado em ao, visando o seu apri-
moramento (DRAIBE, 1997), beneficiando o Estado (seus gestores e tcni- Para compreender
melhor as diferenas
cos), o usurio, os pesquisadores e, claro, a sociedade em geral. entre Monitoramento
Nesse sentido, uma pesquisa de avaliao no substitui o pro- e Avaliao, faa o
cesso de tomada de deciso poltica, mas permite que as decises sejam exerccio Monitora-
mento x Avaliao
tomadas de maneira mais consciente, de posse de informaes mais atu-
disponvel na pgina
alizadas, confiveis e teis. da Aula 1, no Moodle.
Algumas das questes que as avaliaes respondem so:
Em que medida os objetivos propostos foram alcanados?
Como o programa funciona?
O que pensam os beneficirios e os gestores sobre o programa?
Quais os motivos que levam ou levaram a atingir ou no os re-
sultados?
possvel caracterizar os principais objetivos da pesquisa de

avaliao como sendo:
a melhoria do processo de tomada de deciso,
a alocao apropriada de recursos e
o aumento da responsabilidade da aes pblicas (transparn-
cia na gesto)
SIAIROTUT SOEDIV
Programas so avaliados basicamente porque decises tem que
ser tomadas. Hipteses e teses ajudam a sistematizar as motivaes para
LANIF OAILAVA
realizao de uma avaliao, como, por exemplo:
SATNEMARR
ACETOILBIB
CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 17 ACETOE
Quadro 2 - Sistematizao de questes de avaliao de acordo com o seu objetivo
Queremos mostrar Queremos saber (perguntas avaliativas)

Que o pblico-alvo est sendo atendido. O pblico-alvo est sendo atendido?
Que os beneficirios esto satisfeitos com Os beneficirios esto satisfeitos com
o programa. o programa?
Que o programa est impactando positivamente em
O programa fez alguma diferena real?
algum problema social.
Que o programa vale a pena. O programa merece todo o recurso investido?
Que um programa ou tipo de abordagem de um
A nova interveno melhor que a antiga?
problema melhor que outro.
Que o programa precisa de mais recursos humanos
Como melhorar o programa?
ou financeiros.
Que os recursos humanos esto sendo
Os recursos humanos fazem uso eficiente do
bem utilizados. seu tempo no trabalho?
Fonte: elaborao prpria.
A QUEM SE DESTINA UMA PESQUISA DE AVALIAO

DE PROGRAMA?

leia De acordo com Faria (2005) os usurios potenciais da pesquisa

avaliativa podem ser:
os financiadores do programa (e da prpria avaliao),
os gerentes e encarregados de mais alto escalo,
os tcnicos e profissionais que lidam de maneira mais direta com os
beneficirios, ou seja, os agentes encarregados da implementao,
saiba os beneficirios,
A Sagi disponibiliza os gerentes de programas similares e/ou de diferentes nveis go-
os microdados das
vernamentais, preocupados em melhorar programas sob sua res-
suas pesquisas.
Acesse: http:// ponsabilidade,
aplicacoes.mds.gov. os agentes do governo central,
acesse!
br/sagi/portal
os representantes de fundaes,
os interessados em conhecer projetos exitosos que meream fi-
o que diz a norma?

nanciamento,
VIDEOS TUTORIAIS
os membros do legislativo engajados na melhoria de programas
existentes ou na elaborao de novas propostas,

os cientistas sociais,
outros avaliadores que buscam aprender com as descobertas e
com as metodologias empregadas,
18 CEGOV | UFRGS
VIDEOTECA BIBLIOTECA
as prprias organizaes que administram o programa avaliado ,
aula
1
o pblico em geral ou a sociedade civil.
Um aspecto relevante, portanto, a prpria divulgao dos resul-

tados de pesquisas de avaliao, pois nada adianta avaliar se as conclu-
ses no so publicizadas. Contudo, alguns fatores podem interferir na
forma como so aproveitados os resultados da pesquisa de avaliao, tais
como (FARIA, 2005):
Veremos mais sobre
a existncia de crenas e interesses conflitantes na organizao a questo da dissemi-
que gerencia o programa; nao dos resultados
na aula 4.
a ocorrncia de conflitos de interesses entre as distintas unida-
des do programa;
as mudanas no pessoal encarregado (quando, por exemplo, os
novatos tm prioridades diferentes daquelas vigentes no incio
da avaliao);
a eventual inflexibilidade das regras e dos padres operacionais
da organizao, que podem impedir a adoo das recomenda-

es feitas quando da avaliao;
as mudanas nas condies externas, tais como cortes ora-
mentrios e alteraes no ambiente poltico, que podem tornar
impossvel para a organizao responder necessidade de mu-
dana revelada pelos avaliadores.
ateno!

Para que o conhecimento em M&A produzido alcance plateias mais abran-
leia
gentes, preciso tornar os produtos desenvolvidos relatrios, indicadores,
estudos avaliativos compreensveis e atrativos para os diferentes pblicos
usurios. No basta colocar disposio pblica na Internet as planilhas de
dados e indicadores de programas e os extensos relatrios de pesquisas de
SIAIROTUT SOEDIV
avaliao realizados. Produo de dados no gera demanda por conheci-
mento. necessrio desenvolver produtos customizados para os diferentes
pblicos de tcnicos e gestores que se almeja atingir, adequando formato,
contedo e complexidade. Deve-se investir na disseminao dos resultados
saiba
na forma de palestras presenciais ou gravadas em multimdia para exibio
LANIF OAILAVA SATNEMARR

em um portal especfico, que rene todo o material relacionado s pesquisas
de avaliao, com recursos de consulta. Sumrios executivos de pesquisas de
avaliao, fichas tcnicas de poucas pginas (one page paper) com os resulta-
dos essenciais alm de grficos, mapas e relatrios descritivos com esses ele-
mentos podem ter repercusso e atratividade maior que tabelas, painis de
ACETOILBIB ACETOE
indicadores ou publicaes volumosas, com contedos impenetrveis para
acesse!
aqueles sem formao especializada na temtica tratada (JANNUZZI, 2013).
Ou seja, preciso cuidar para que os mtodos e estratgias de pro-
ELDOOM O ERBOS
duo de informao e conhecimento se adequem em contedo, custos e
tempestividade para atender as demandas de seus usurios. Especialmente
aps o advento da Internet, h diferentes e criativas formas de comunicar
o que diz a norma? SOICCRE
mensagens simples e complexas para os mais diferentes tipos de leitores.
OSRUC O ERBOS
CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
SODUTFERRAME
SE ED AI19
VIDEOTEC
ED OLCIC
COMO AVALIAR UM PROGRAMA?
No processo de avaliao de um programa deve-se levar em con-
ta o que se quer avaliar (critrios) e como avaliar (quais os indicadores
usar), alm de estar ciente de que podem surgir dificuldades no caminho
(constrangimentos). A seguir veremos esses aspectos em detalhe.
a CRITRIOS DE AVALIAO: O QUE SE QUER AVALIAR?

Para avaliar o desempenho de um programa necessrio definir
critrios de avaliao. A lista dos critrios que podem ser utilizados longa
e a escolha de um, ou vrios deles, depende dos aspectos que se dese-
ja privilegiar na avaliao. Segundo o manual da UNICEF (apud COSTA;
CASTANHAR, 2003), os mais comuns so:
Eficincia: termo originado nas cincias econmicas que signi-
fica a menor relao custo/benefcio possvel para o alcance dos
objetivos estabelecidos no programa;
Eficcia: medida do grau em que o programa atinge os seus ob-
jetivos e metas;
Impacto (ou efetividade): indica se o projeto tem efeitos (posi-
tivos) no ambiente externo em que interveio, em termos tcnicos,
econmicos, socioculturais, institucionais e/ou ambientais;
Sustentabilidade: mede a capacidade de continuidade dos efei-
tos benficos alcanados atravs do programa social, aps o seu
trmino;
Anlise custo-efetividade: similar ideia de custo de oportuni-
dade e ao conceito de pertinncia; feita a comparao de formas
alternativas da ao social para a obteno de determinados im-
pactos, para ser selecionada aquela atividade/projeto que atenda
os objetivos com o menor custo;
Satisfao do beneficirio: avalia a atitude do usurio em rela-
o qualidade do atendimento que est obtendo do programa;
Equidade: procura avaliar o grau em que os benefcios de um
programa esto sendo distribudos de maneira justa e compatvel
com as necessidades do usurio.
b INDICADORES: COMO MEDIR?

A aplicao desses critrios requer formas especficas de opera-
cionalizao, os indicadores. De acordo com Jannuzzi (2001), um indicador
um recurso metodologico, empiricamente referido, que informa algo
sobre um aspecto da realidade social ou sobre mudancas que estao se
processando na mesma. Mais especificamente, em uma perspectiva pro-
gramatica, o indicador social e um instrumento operacional para moni-
20 CEGOV | UFRGS
toramento da realidade social, para fins de formulacao e reformulacao
de politicas publicas. aula
Conforme j visto nos Cursos de Indicadores e do Monitoramen-
to, os indicadores podem ser classificados de acordo com sua empregabi-
lidade no ciclo de formulao e avaliao de programa, conforme segue:
1
Figura 3 - Classificao dos Indicadores
INDICADOR-PRODUTO
S PRODUTOS RESULTADOS
INDICADOR
IMPACTOS
- INSUMO INDICADOR
INDICADOR-PROCESSO
- INSUMO INDICADOR
INDICADOR-PROCESSO
INDICADOR-PRODUTO
- INSUMO INDICADOR-PROCESSO
INDICADOR-PRODUTO
INDICADOR-IMPACTO INDICADOR-PRODUTO
INDICADOR-IMPAC
ES,
S)
(EFEITOS
IMEDIATOS)
(EFEITOS
INTERMEDIRIOS) INDICADOR-INSUMO
(EFEITOS
FINALSTICOS) INDICADOR-PROCESSO INDICADOR-IMPACTO
Desdobramentos Desdobramentos
mais abrangentes
Desdobramentos mais mais abrangentes
Recurso: qualidade de
DADOS Recurso: quantidade
Recurso: qualidade de Recurso: qualidade de Melhora do nvel Melhora do nvel
O Resultado efetivo:
Resultado efetivo: Resultado
abrangentes efetivo: Resultado efetivo:
A mdicos por milpor mil
de mdicos
POPULACIONAIS mdicos
UmUmdosdos
porrecursos:
mil
recursos: mdicos
Um dos porrecursos:
mil Um dos recursos:
nutricional
taxa deTaxa
morbidade ou ou
de morbidade Taxa de
Melhora do morbidade ou
nvel nutricional Taxa nutricional
de morbidade ou
POLTICA habitantes
habitantesouou gasto
POLTICA habitantes
Consultas
consultas ouaoaomsmsporpor habitantes
Consultasouao ms por Consultas ao ms por
mortalidade infantilinfaltil
mortalidade Melhora Melhora
mortalidade
do do
infaltil
desempenho escolar Melhora do
mortalidade infaltil
gasto monetrio
monetrio per capita gastoCriana
monetrio
criana atat1 ano
1 ano gasto
Criana
monetrio
at 1 ano Criana atdesempenho
1 ano escolarcom desempenho esco
por causa especfica
por causa especfica por causa
Economia especfica
futura em gastos por causa especfica
perem
capita
sadeem sade per capita em sade per capita em sade
PROGRAMA PROGRAMA sade Economia futura em Economia futura e
gastos com sade gastos com sade
PROJETO Fonte: JannuzziPROJETO
(2001).

AO AO
leia
RECURSOS RECURSOS RECURSOS
ATORES ORGANIZACIONAIS
JANNUZZI, Paulo deHUMANOS
E INSTITUCIOANAIS CONSTRANGIMENTOS
HUMANOS
Martino. Indicadores Sociais HUMANOS
na Formulao e Ava-
ORES CONSTRANGIMENTOS RECURSOS
CONSTRANGIMENTOS RECURSOS
FATORES de Politicas Pblicas. Disponvel em: http://www.cedeps.com.br/ RECURSOS
liao
NTAIS POLTICOS
AMBIENTAIS POLTICOS FINANCEIROS POLTICOS
wp-content/uploads/2011/02/INDICADORES-SOCIAIS-JANUZZI.pdf
FINANCEIROS FINANCEIROS
MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Indicadores
FALTA DE INFORMAO FALTA DE INFORMAO FALTA DE INFORMAO
ACTERSTICAS
AFETAM O
saiba
TEMPO Guia
CARACTERSTICAS
de Programas: Metodolgico. Braslia:
AVALIAO
TEMPO OU
Ministrio
AVALIAO
TEMPO
INFORMAO
do Planejamento,
INTIL OU AVALIAO INTIL
INFORMAO OU INFORMAO INTIL
PBLICOPROGRAMA
ALVO DO PBLICO ALVO
Oramento e Gesto - Secretaria de Planejamento e Investimentos Estra-
DE PROGRAMA DEOUPROGRAMA
DESORGANIZADA DE PROGRAMA
OU DESORGANIZADA OU DESORGANIZADA
tgicos, 2010.
c CONSTRANGIMENTOS
acesse!
A realizao de uma pesquisa de avaliao de um programa pode
enfrentar constrangimentos/dificuldades de pelo menos quatro tipos
VIDEOS TUTORIAIS
principais:
o que diz a norma?
Tempo: comum que se pense na avaliao quando o progra-
ma j est em estgio avanado de execuo, deixando pouco
tempo para o avaliador realizar o seu trabalho.
FERRAMENTAS
Recursos: muitas vezes o custo com a avaliao do programa
no foi includa nos recursos do projeto original e a avaliao tem AVALIAO FINAL
que ser adaptada a um valor menor do que o desejvel. A falta de
recursos humanos qualificados tambm prejudica a execuo e o
VIDEOTECA
aproveitamento de pesquisas de avaliao.
Dados/Informao: ter a informao desde o incio do progra-
BIBLIOTECA
ma importante para se observar as mudanas ocorridas na reali-
EXERCCIOS
dade que se quer observar mas frequentemente no est dispon-
vel ao avaliador no momento oportuno ou de maneira completa,
SOBRE O MOODLE

IMPACTOS
INDICADOR - INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO
(EFEITOS
FINALSTICOS)
Recurso: qualidade de
Resultado efetivo:
NAIS mdicos por mil Um dos recursos:
Taxa de morbidade ou
POLTICA habitantes ou Consultas ao ms por
organizada e til. mortalidade infaltil
gasto monetrio Criana at 1 ano
por causa especfica
Polticos:
per capita em sadepara Weiss (1998), por exemplo, o interesse poltico
PROGRAMA
dos altos executivos, mais focados na efetividade do programa,
diferente do interesse dos gerentes, concentrados com a estrat-
PROJETO
gia de implementao, nas aes do dia a dia.
AO
Figura 4 - Constrangimentos para a avaliao de um programa
RECURSOS
HUMANOS
FATORES CONSTRANGIMENTOS RECURSOS
AMBIENTAIS POLTICOS FINANCEIROS
CARACTERSTICAS FALTA DE INFORMAO

TEMPO AVALIAO OU INFORMAO INTIL
DO PBLICO ALVO
DE PROGRAMA OU DESORGANIZADA
Todos esses constrangimentos, juntos ou separados, afetam o de-

senho da pesquisa de avaliao que ser executada.
QUAIS OS TIPOS DE AVALIAO EXISTENTES?

As avaliaes podem ser classificadas em vrios tipos, de acordo
com diferentes critrios, tais como:
Quadro 3 - Tipos de avaliao
Critrios Tipos
Externas
Internas
Quanto ao agente que as realiza
Mistas
Participativas
Somativas
Quanto sua natureza
Formativas
Ex ante
Quanto ao momento em que so realizadas
Ex post
Processo
Quanto ao problema
Resultado/impacto
22 CEGOV | UFRGS
Na prtica, esses tipos de avaliao geralmente so combinados.
Esses critrios sero explicados a seguir. aula
a SEGUNDO O AGENTE QUE AVALIA 1

As avaliaes realizadas com base no agente que as realiza po-
dem ser de quatro tipos:
EXTERNA: Realizada por pessoas de fora da instituio responsvel pelo

programa e por isso tende a ser mais isenta e objetiva.
H a possibilidade de comparao dos resultados obtidos com
os de outros programas similares j analisados.
INTERNA: Realizada dentro e pela instituio responsvel pelo programa.

Principais caractersticas:
Elimina uma possvel resistncia natural dos responsveis pelo
programa a um avaliador externo;
Possibilita a reflexo e a aprendizagem, diante da observao
dos prprios integrantes sobre o processo;
Permite uma melhor compreenso sobre as atividades realiza-
das dentro da instituio;
Mas... pode perder sua objetividade, j que realizada por pes-
soas que esto envolvidas na implementao do programa.
MISTA: Combina a avaliao externa com a interna. Permite com que os

avaliadores externos tenham um contato estreito com a equipe respon-
svel pelo programa.
PARTICIPATIVA: Prev a participao dos beneficirios no planejamento,

execuo e avaliao do programa. utilizada principalmente para pe-
quenos projetos.
b SEGUNDO A NATUREZA
Quanto sua natureza, as avaliaes podem ser formativas ou
somativas:
FORMATIVAS: So avaliaes relacionadas etapa de formulao do pro-

grama, geralmente realizada por e para quem est diretamente envolvido
com o programa. O objetivo fornecer os elementos para a realizao de
correes necessrias nos procedimentos de implementao.

SOMATIVAS: Relacionadas anlise das etapas posteriores formulao do
programa e realizadas quando o programa est sendo implementado ou
aps a sua implementao. O objetivo verificar a efetividade do progra-
ma e fazer o julgamento do seu valor geral.
A avaliao somativa contrasta com a avaliao formativa, que se
concentra em maneiras de melhorar e reforar os programas em vez de ren-
der juzo definitivo sobre a eficcia, efetividade ou eficincia, por exemplo.
Em outras palavras, podemos dizer que quando o cozinheiro prova a sopa,
uma avaliao formativa; quando o cliente prova a sopa, uma avaliao
somativa.
c SEGUNDO O MOMENTO DA AVALIAO

Pesquisas de avaliao devem fazer parte de todas as etapas do ci-
clo de toda e qualquer poltica pblica, mas podem ser agrupadas em dois
tipos: antes (ex-ante) ou depois (ex-post) da implementao do programa.
EX ANTE:
Realizada antes do incio do programa.
Visa dar suporte deciso de implementar ou no o programa e
a ordenar os vrios projetos, segundo sua eficincia para alcanar
os objetivos determinados. Seu elemento central o diagnstico,
que auxilia na alocao dos recursos disponveis de acordo com os
objetivos propostos.
EX POST:
Realizada durante a execuo de um programa ou ao seu final,
quando as decises so baseadas nos resultados alcanados.
Quando um programa est em execuo, julga-se se ele deve
continuar ou no, com base nos resultados obtidos at o momen-
to. Se sim, decide-se se ele deve manter a formulao original ou
sofrer modificaes. Quando o programa j foi concludo, julga-se
a pertinncia do uso futuro da experincia.
d SEGUNDO O OBJETIVO DA AVALIAO

A avaliao pode ser realizada, tambm, a partir de seus objetivos:
AVALIAR O PROCESSO DE IMPLEMENTAO:

Realizada durante a implementao do programa.
Diz respeito dimenso de gesto.
24 CEGOV | UFRGS
uma avaliao peridica que procura detectar as dificuldades
aula
1
que ocorrem durante o processo.
Objetiva efetuar correes ou adequaes.
Serve de suporte para melhorar a eficincia operativa.
AVALIAR O PRODUTO/RESULTADO/IMPACTO:
Procura verificar em que medida o programa alcana seus obje-
tivos e quais so os seus efeitos (imediatos, de mdio prazo e de
longo prazo).
Objetiva responder se o programa funcionou ou no. Para tanto,
indaga-se se houve modificaes na situao-problema.
Serve de suporte para deciso sobre poltica, como continuao
do programa e formulao de outros.
Segundo Figueiredo e Figueiredo (1986), tanto a avaliao de pro-

cesso quanto a de produto podem chegar s seguintes concluses:
(i) O resultado esperado alcanado.
(ii) Um resultado no esperado produzido, sendo, porm, posi-
tivo.
(iii) Resultados do tipo a) e b) ocorrem e so positivos no curto
prazo, mas podem ser negativos no mdio e longo prazo.
(iv) O resultado esperado atingido no que se refere aos membros
da populao-alvo, isto , cada indivduo melhorou sua situao
com a poltica pblica; no entanto, em mdio prazo, a categoria
social a que estes indivduos pertencem, ou passam a pertencer,
piora.
(v) O resultado esperado no alcanado e nenhum outro resul-
tado produzido.
(vi) Um resultado no esperado ocorre, sendo, porm, negativo.
AVALIAR A EFICINCIA:
A avaliao de eficincia remete a avaliao para consideraes
de benefcio e custo dos programas. Anlise custo-benefcios.

TIPOS DE AVALIAO SEGUNDO O MOMENTO DO
CICLO: UMA PROPOSTA INTEGRADORA
Analisando as diferentes tipologias de avaliao at aqui apre-
sentadas, podemos perceber que muitas delas se sobrepem, o que pode
criar alguma confuso. Com o objetivo de evitar essas imprecises, apre-
sentaremos uma classificao que objetiva integrar diversos parmetros
utilizados em outras tipologias, baseando-se do ciclo de programas como
critrio para sua elaborao.
A classificao de acordo com o momento no ciclo apresenta 5
tipos possveis de avaliao (Jannuzzi, 2014a):
AVALIAO DE DEMANDA: Esse tipo de avaliao auxilia o
Estado na identificao e mensurao dos problemas sociais en-
frentados por uma determinada comunidade. A avaliao de de-
manda colabora na formao da agenda governamental, dando
subsdios para a definio de quais problemticas so prioritrias
para serem combatidas por programas.
AVALIAO DE DESENHO: Antes da formulao de programa
para mitigao ou equacionamento do problema social identifi-
cado, em geral, so necessrios novos esforos de levantamentos
de campo para aprofundamento do diagnstico das condies de
vida, contexto econmico, restries ambientais, capacidade de
gesto e oferta de servios. Alm disso, cabe tambm uma com-
pilao de estudos j realizados na temtica, abordando determi-
nantes do problema em questo e eventuais programas e proje-
tos j idealizados. As avaliaes dessa natureza constituem o que
se denomina Avaliao de desenho.
AVALIAO DE PROCESSO: Definidos os pblicos a atender
e os arranjos operacionais do programa preciso coloc-lo em
ao, realizando as atividades planejadas e identificando proble-
mas na oferta, na regularidade e qualidade dos servios por meio
de pesquisas de Avaliao de processo. Essa avaliao realizada
durante a implementao, para verificar se o programa est sendo
colocado em prtica da maneira planejada.
AVALIAO DE RESULTADO OU IMPACTO: Aps a implemen-
tao do programa, as demandas de informao e conhecimento
voltam-se para a Avaliao de resultados e impactos do progra-
ma. Trata-se de momento de investigao mais exaustiva sobre os
diversos componentes de uma interveno, abordando no ape-
nas o cumprimento dos seus objetivos, mas seus impactos sociais
mais abrangentes. Cabe nesse momento avaliar se a interveno
conseguiu provocar mudanas na realidade social que a originou,
considerando a complexidade do seu desenho, alm da gravida-
de da questo social enfrentada.
26 CEGOV | UFRGS
AVALIAO DE EFICINCIA: As avaliaes de eficincia, ou cus-
to-efetividade, tambm so realizadas aps a implementao do aula
programa. O custo-efetividade das intervenes a relao entre
valor gasto para produzir unidades de resultados e os impactos
do programa em um perodo de tempo e territrio especficos. Em
1
outras palavras, esse tipo de avaliao estuda a adequao entre o
custo do programa tendo em vista o resultado obtido. Avaliaes
dessa natureza so fundamentais para avaliar a sustentabilidade
dos programas e projetos no futuro e em outros contextos.
A figura a seguir sintetiza cada um dos tipos de avaliao e seu

momento no ciclo da poltica pblica:
Figura 5 - Tipos de Avaliao
Percepo e definio
das questes pblicas Sistema de Dados e
Avaliao de Avaliao de para o
Indicadores
Demanda DEFINIO Desenho
Diagnstico
DA AGENDA
FO
Diagnstico e
AS
RM
Problemas e desenho de programas

ND
ULA
INDICADORES
Demandas sociais
DEMA
DIAGNSTICO
O
INDICADORES
SNTESE
Dados e Indicadores SISTEMA DE

Avaliao de Avaliao de
de Pesquisa de INDICADORES
Eficincia MONITORAMENTO Processo
Avaliao
O
AV
LI
A
A T
Anlise de resultados O EN
EM
e impactos IMPL
Deciso sobre continuidade Produo e
Oferta dos Servios
Avaliao de
Painel de Indicadores
Impactos
para Monitoramento
Fonte: elaborao prpria com base em Jannuzzi, 2012.
Na prxima aula veremos brevemente como surge, por que surge

e como se d o desenvolvimento das atividades de avaliao de progra-
mas no Brasil.

NESTA AULA VOC APRENDEU QUE
Programa um conjunto de atividades organizadas para realiza-
o de um objetivo, com cronograma e oramento especficos;
Estudos de avaliao so uma anlise pragmtica de caractersticas

essenciais do contexto, pblicos-alvo, desenho, implementao, custos
de operao, resultados de curto prazo, impactos sociais e de mais longo

prazo de um programa, enfim, insumos acerca do programa que contri-

buam para seu aperfeioamento e a consecuo de seus objetivos;
Existem 3 objetivos principais de uma pesquisa de avaliao de

programa: a melhoria do processo de tomada de deciso, a alocao
apropriada de recursos e o aumento da responsabilidade das aes p-
blicas (transparncia na gesto);
Existem diversos usurios potenciais de uma pesquisa de avaliao.

Dentre eles esto os beneficirios dos programas, gestores pblicos de
diferentes nveis, organizaes da sociedade, cientistas sociais, dentre
outros;
Existem vrios tipos de pesquisas de avaliao, destacando-se a

perspectiva integradora que utiliza o ciclo de um programas para ela-
borar sua classificao.
? VIDEOS TUTORIAIS
REFERNCIAS
COHEN, Ernesto; FRANCO, Rolando. Avaliao de Projetos Sociais.

Petrpolis: Vozes, 2004.
COSTA, Frederico L. da; CASTANHAR, Jos C. Avaliao de Programas
Pblicos: Desafios Conceituais e Metodolgicos. Revista de Administrao
BIBLIOTECA
Pblica, Rio de Janeiro, v. 37, n. 5, p. 969-992, set/out 2003.
VIDEOTECA CUNHA, Carla da. Avaliao de Polticas Pblicas e Programas

Governamentais: Tendncias Recentes e Experincias no Brasil.
Trabalho elaborado durante o curso The Theory and Operation of a
EXERCCIOS SOBRE O MOODLE

Modern National Economy, ministrado na George Washington University,
no mbito do Programa Minerva, em 2006.
DRAIBE, Snia M. Uma Nova Institucionalidade das Polticas Sociais?
Reflexes a Propsito da Experincia Latino-Americana Recente de

Reformas dos Programas Sociais. So Paulo em Perspectiva, v. 11, n. 4,
p. 03-15, 1997.
FARIA, Carlos. A Poltica da Avaliao de Polticas Pblicas. Revista
Brasileira de Cincias Sociais, So Paulo, v. 20, n. 50, p. 97-169, out 2005.
CICLO DE
28
MDS
e Combate Fome
CEGOV | UFRGS
CURSO ENCERRADO
FIGUEIREDO, Marcus; FIGUEIREDO, Argelina M. Avaliao Poltica e
Avaliao de Polticas: Um Quadro de Referncia Terica. Anlise e aula
Conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, 1986.
GARCIA, Ronaldo. Avaliao de Aes Governamentais: Pontos para um
Comeo de Conversa. Braslia: IPEA, 1997.
1
JANNUZZI, Paulo de Martino. Indicadores Sociais no Brasil: Conceitos,
Fontes de Dados e Aplicaes. Campinas: Alnea: 2001.
JANNUZZI, Paulo de Martino. Avaliaco de Programas Sociais: Conceitos e
Referenciais de Quem a Realiza. In: Estudos em Avaliao Educacional.
Sao Paulo, v. 25, n. 58, p. 22-42, mai/ago 2014.
JANNUZZI, Paulo de Martino. Indicadores, Painis de Monitoramento e
Pesquisas de Avaliao como Instrumentos para Aprimoramento de
Programas e Projetos Sociais. 2012.
JANNUZZI, Paulo de Martino. A produo de Informao e Conhecimento
para Aprimoramento das Polticas e Programas de Desenvolvimento
Social: Princpios, Conceitos e Caracterizao das Pesquisas de
Avaliao Realizadas pela SAGI/MDS de 2011 a 2014. In: MINISTRIO DO
DESENVOLVIMENTO SOCIAL E COMBATE FOME. Cadernos de Estudos:
Desenvolvimento Social em Debate, Braslia, n. 16, 2014a.
JANNUZZI, Paulo de Martino. Sistema de Monitoramento e Avaliao de
Programas sociais: revisitando mitos e recolocando premissas para sua
maior efetividade na gesto. Revista Brasileira de Monitoramento e
Avaliao, v. 1, p. 04-27, 2013.
MINISTRIO DA SADE. Manual da Oficina de Capacitao em Avaliao
com Foco na Melhoria do Programa DST-AIDS. Braslia: Assessoria de
Monitoramento e Avalio, 2005.
MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME.
Avaliao de Polticas Pblicas: Reflexes Acadmicas Sobre o
Desenvolvimento Social e o Combate Fome Vol. 1: Introduo e Temas
Transversais. Braslia: Secretaria de Avaliao e Gesto da Informao -
SAGI, 2014.
Estudo Tcnico - Monitoramento e Avaliao de Programas Sociais
no Brasil: Apontamentos Conceituais, Consideraes Metodolgicas e
Reflexes Sobre as Prticas. Braslia: Secretaria de Avaliao e Gesto da
Informao - SAGI, n. 7, 2013.
SILVA, Pedro; COSTA, Nilson. A Avaliao de Programas Pblicos:
Reflexes Sobre a Experincia Brasileira (Relatrio Tcnico). Braslia: IPEA-
BID, 2002.
WEISS, Carol. Evaluation: Methods for Studying Programs & Policies.
London: Prentice Hall, 1998.

30 CEGOV | UFRGS
aula
DELINEAMENTO DE UMA
PESQUISA DE AVALIAO 2

Ol, gestor e gestora!

Nesta aula voc aprender o que e quais so os principais
leia
elementos de um desenho de pesquisa de avaliao. Veremos a im-
portncia da elaborao do projeto a partir dos quesitos citados e
como eles ajudam na busca por respostas avaliao que queremos
realizar. Para a apresentao dos elementos do desenho de pesquisa
sero utilizados exemplos com base nas duas pesquisas citadas no in-
cio dessa apostila.
saiba
Nesta aula voc vai aprender: leitura
obrigatria
acesse!
O histrico das pesquisas de avaliao no Brasil;
JANNUZZI, Paulo
Quais so as principais etapas de uma pesquisa de avaliao;
Como se elabora uma pergunta para uma pesquisa de avaliao; de Martino. Avalia-
o de Programas
VID
Para que servem os objetivos em uma pesquisa de avaliao; Sociais no Brasil:
o que diz a norma?
Quais so as abordagens metodolgicas possveis e de que maneira Repensando Prticas
e Metodologias das
elas se complementam.
Pesquisas Avaliativas.
Planejamento e Po-
FERRAMENTAS AVA
lticas Pblicas, n.36,
jan/jul 2011.
VIDEOS TUTORIAIS
VIDEOTECA BIB
RRAMENTAS AVALIAO FINAL
EXERCCIOS
BIBLIOTECA SOB
DEOTECA CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 31
SUMRIO DA AULA 2
Histrico e institucionalizao da avaliao de programas no Brasil 32
A Experincia da Avaliao dos Programas de Desenvolvimento
Social no Brasil 35
Etapas de uma Pesquisa de Avaliao 39
Definindo a pergunta e o problema de pesquisa 40
Definindo os objetivos 41
Diferentes abordagens metodolgicas 42
Delineamento de pesquisa 44
Amostragem 45
HISTRICO E INSTITUCIONALIZAO DA AVALIAO

DE PROGRAMAS NO BRASIL12
Grande parte da expanso e desenvolvimento da teoria e da
prtica da avaliao de programas se deu a partir das dcadas de 1960 e
1970, nos Estados Unidos. No final da dcada de 1970 a avaliao j estava
consolidada nas agncias federais americanas e grande parte delas pos-
sua unidades administrativas exclusivas para avaliao (WEISS, 1998). No
Brasil tambm possvel obter exemplos de prticas avaliativas desde as
mesmas dcadas, especialmente em reas como educao e sade, como
o caso da Coordenao de Aperfeioamento Pessoal de Nvel Superior
(Capes).
O crescente interesse dos governos com a avaliao est relacio-
nado s questes de efetividade, eficcia, eficincia, desempenho e ac-
countability da gesto pblica, a partir de uma srie de eventos da dcada
de 1990, quais sejam (FARIA, 2001):
a crise fiscal, que diminuiu a capacidade de gasto dos governos
e aumentou a presso por maior eficincia;
o fim do processo inflacionrio, que reduziu as receitas finan-
ceiras dos governos e exps os problemas das finanas pblicas;
o aprofundamento da democracia, que trouxe novos atores so-
ciais e reivindicaes aos governos;
(1) Esta seo reproduz parcialmente o captulo PAES-SOUSA, R. e HELLMANN,

A.G. Policy monitoring and evaluation systems: recent advances in Brazils fe-
deral public administration. In: VAITSMAN, J., RIBEIRO, J.M., LOBATO, L. Policy
Analysis in Brazil: the state of the art. Policy Press: Great Britain, 2013
32 CEGOV | UFRGS
a longa crise econmica brasileira, que aumentou a desigualda-
de social e a busca por programas sociais pblicos; aula
a desestruturao da funo de planejamento, que deixou os
governantes sem elementos de informao e avaliao; 2
a reduo da ajuda externa e a presso dos organismos interna-
cionais de fomento pela aferio dos resultados dos programas
sociais por eles financiados;
o contexto internacional de promoo da reforma de Estado e
de seu aparelho administrativo, conhecido como Nova Gesto
Pblica ou New Public Management. A Nova Gesto Pblica pre-
conizava, em termos gerais, uma redefinio do papel do Estado
e a implantao de mecanismos de gesto oriundos da iniciativa
privada na administrao pblica. No Brasil, o fato mais emble-
mtico desta nova orientao poltico-ideolgica e gerencial foi
a Reforma Administrativa promovida pelo governo federal em
1998, atravs da Emenda Constitucional n 19 (BRASIL, 1998).
No Brasil, especificamente, seja como pratica sistematica no am-

bito governamental, seja como objeto de pesquisa e ensino universitario,
a avaliacao de politicas publicas e algo recente. Ate o final dos anos 1990
predominavam avaliacoes setoriais, realizadas por servidores publicos
e focadas nos processos de formulacao e decisao (CEPIK, 1997; MELO,
1999; DULCI, 2010). Desde os anos 2000, entretanto, verifica-se um forte
aumento das atividades de avaliacao, nao apenas por parte dos orgaos
governamentais, mas tambem por outros atores importantes, tais como
organismos internacionais, grupos de interesse da sociedade civil e uni-
versidades. Quatro fatores explicam este aumento.
Em primeiro lugar,
a ampliacao do escopo e escala das politicas sociais, con-
jugando programas de natureza universal na educacao,
saude, trabalho e assistencia social com acoes de cunho
redistributivo e de promocao de acesso aos direitos sociais
como o Programa Bolsa Familia, o Beneficio de Prestacao
Continuada, as Politicas de Promocao de Igualdade Racial e
Genero, entre outras tem ensejado a producao de informa-
coes e desenvolvimento de estudos de avaliacao para me-
lhor conhecimento dos publicos-alvo de cada programa, do
processo de implementacao desses e dos resultados e im-
pactos das intervencoes (JANNUZZI, 2014, p. 24).
Complementarmente,
a continentalidade do Pais, a pactuacao de objetivos setoriais
e a implementacao de arranjos federativos na operacao dos
programas requerem estruturacao de burocracias especiali-
zadas na operacao das politicas. Para esses corpos tecnicos,
as atividades de compilacao, levantamento e organizacao de
dados, mais a producao de indicadores de monitoramento e
pesquisas de avaliacao, constituem componentes essenciais
a boa gestao (JANNUZZI, 2014, p.25).

O segundo fator e a expansao recente de cursos de graduacao
e pos-graduacao stricto sensu nas universidades brasileiras com areas de
concentracao no estudo das politicas publicas. Na medida em que novos
curriculos foram implementados e que o ensino sobre a funcao avaliativa
passou a ser melhor articulado com a pesquisa, comecaram a ser criadas
condicoes para se superar a historica dispersao e descontinuidade dos
projetos na area, bem como para melhorar a sinergia entre as areas aca-
demicas de Ciencias Sociais, Administracao Publica, Economia e outras
disciplinas relevantes (MELO, 1999; SILVA; COSTA, 2002).
O terceiro fator refere-se s novas tecnologias de informacao e co-
municacao (TICs), as quais afetaram as praticas governamentais de M&A
por meio do desenvolvimento de sistemas de informacao cada vez mais
sofisticados e da reducao dos custos para o acesso publico a fluxos infor-
macionais importantes. A construcao e gestao de sistemas de informacao,
bem como a governanca dos recursos tecnologicos e informacionais dos
diversos entes responsaveis pela implementacao de politicas publicas, cria-

ram novas condicoes e desafios para a avaliacao das politicas, programas e
acoes governamentais (RODRIGUES, 2009; CEPIK; CANABARRO, 2010).
O quarto fator foi o conjunto de incentivos dados pelos organismos
internacionais para o monitoramento das condicoes iniciais, dos processos
de implementacao e do impacto das politicas publicas. Naturalmente, par-
te destes incentivos sao exigencias dos organismos como o Banco Mundial
(BM) e o Banco Interamericano de Desenvolvimento (BID), que condiciona-
vam as transferencias de recursos a producao de informacoes e avaliacao
dos resultados concretos com vistas a prevencao de riscos em seus inves-
timentos (FARIA, 2005). Entretanto, as modalidades de apoio internacional

ao desenvolvimento da area de M&A tem sido diversificadas e constituem
leia
um fator explicativo no seu desenvolvimento no caso brasileiro.
Ainda mais recentemente, a Lei da Transparncia e a implemen-
tao do Programa Nacional de Gesto Pblica e Desburocratizao (GES-
PBLICA), tambm contriburam muito para a disseminao das ativida-
des de monitoramento e avaliao.
saiba
Em um contexto de gestao de politicas e programas como no caso das
Politicas de Desenvolvimento Social, em que se valoriza a colaboracao
intersetorial e interfederativa, o dialogo e participacao social e a Politica
como mecanismo de mediacao de conflitos, entende-se que cada ator e
agente deveria ter acesso a instrumentos, pesquisas e informacao neces-
acesse!
sarios para seus processos de trabalho e tomada de decisao. Estes sao os
principios basicos da Administracao Publica Deliberativa, que busca um
modelo alternativo de organizacao do processo de trabalho na Adminis-
tracao Publica, alternativo para o insulamento burocratico das atividades
meio, sem cair no tecnocratismo ingenuo do gerencialismo de metas
o que diz a norma?
advogado pela nova Gestao Publica. Fonte: BRUGU, Q. Modernizar la
adminstracin: burocraria, nueva gestion publica y administracion deli-
VIDEOS TUTORIAIS
berativa. Brasilia, ENAP, 2012 (mimeo).
34 CEGOV | UFRGS
A EXPERINCIA DA AVALIAO DOS PROGRAMAS DE aula
DESENVOLVIMENTO SOCIAL NO BRASIL21
2
A criao do MDS, em janeiro de 2004, implicou o aumento signifi-
cativo dos investimentos em polticas de proteo, assistncia e desenvol-
vimento social que se traduzem em programas e aes de transferncia
de renda, segurana alimentar e nutricional, assistncia social e incluso
produtiva. Tal aumento do gasto incentivou a prtica das atividades de
monitoramento e avaliao, pois era necessrio ter informaes teis,
confiveis e tempestivas sobre a implementao e os resultados dos pro-
gramas, especialmente do recm lanado Bolsa Famlia, o maior programa
de transferncia direta de renda j implementado no pas at ento.
A Secretaria de Avaliao e Gesto da Informao (SAGI) e a uni-
dade tecnico-administrativa do Ministerio do Desenvolvimento Social e
Combate a Fome (MDS) responsavel pelas acoes de gestao da informacao,
monitoramento, avaliacao e capacitacao das politicas e dos programas do
Ministerio. A SAGI desenvolve atividades que permitem ao MDS conhecer
melhor o publico-alvo de suas politicas, a logica de intervencao de seus
programas, os problemas e as boas praticas de implementacao de suas
acoes e, naturalmente, os resultados e impactos do esforco governamen-
tal na area do desenvolvimento social. Investigar os efeitos das transferen-
cias monetarias do Programa Bolsa Familia ou do Beneficio de Prestacao
Continuada, qualificar os servicos socioassistenciais prestados as familias,
ajudar no desenho e acompanhamento de acoes de seguranca alimentar
e nutricional e na avaliacao dos programas de inclusao produtiva sao al-
gumas das atividades que a SAGI desenvolve regularmente.
A agenda de atividades da SAGI e definida pela analise das de-
mandas estruturantes das politicas de desenvolvimento social e combate
a fome como a Lei Organica da Assistencia Social e a Lei Organica da
Seguranca Alimentar e Nutricional , da agenda prioritaria do governo e
do Ministerio como o Plano Brasil Sem Miseria na atual gestao , das
necessidades mais especificas do gabinete da ministra e das secretarias
finalisticas Secretaria Nacional de Assistencia Social, Secretaria de Segu-
ranca Alimentar e Nutricional, Secretaria Nacional de Renda da Cidadania
e Secretaria Extraordinaria de Superacao da Extrema Pobreza (que suce-
deu a Secretaria de Articulacao para Inclusao Produtiva). Tambem contri-
buem na definicao da agenda da SAGI as demandas oriundas de reunioes
tecnicas entre gestores e tecnicos com seus pares nas demais secretarias,
(2) Esta seo reproduz parcialmente o artigo: Jannuzzi, P de M. A produo

de informao e conhecimento para aprimoramento das polticas e progra-
mas de desenvolvimento social: princpios, conceitos e caracterizao das
pesquisas de avaliao realizadas pela SAGI/MDS de 2011 a 2014. IN: MDS.
Cadernos de estudos: desenvolvimento social em debate, n.16. Braslia, 2014

os debates em seminarios de apresentacao de resultados de pesquisas e
produtos, as questoes levantadas em publicacoes e foruns de discussao
academica e de organismos internacionais.
O equilibrio entre as demandas da agenda de Estado e Politicas
Nacionais, a de Governo e das Secretarias Nacionais do MDS e certamen-
te um grande desafio cotidiano da Secretaria que, em tese, tem loci para
seu equacionamento: o Grupo de Trabalho de Monitoramento e Avalia-
cao (GTMA) e o Comite Gestor de Tecnologia da Informacao (CGTI). Essas
instancias sao compostas por representantes de todas as secretarias e da

assessoria da ministra e se constituem nos canais institucionais de enca-
minhamento e/ou legitimacao de demandas de trabalho para a Secreta-
ria, sejam eles instrumentos de monitoramento e pesquisas de avaliacao
(GTMA) ou sistemas e ferramentas informacionais (CGTI). A criacao de uma
instancia similar para tratar da agenda de programas de capacitacao e for-
macao do Ministerio podera vir a ser necessaria em um futuro proximo,
com o adensamento crescente dessas atividades nas secretarias finalisti-
cas e os requerimentos de maior coordenacao e sinergia interna para ga-
rantir oferta continuada e capilarizada pelo pais.

leia
JANNUZZI, Paulo de Martino. A Produo de Informao e Conheci-
mento para Aprimoramento das Polticas e Programas de Desenvol-
vimento Social: Princpios, Conceitos e Caracterizao das Pesquisas de
Avaliao Realizadas pela SAGI/MDS de 2011 a 2014. In: Cadernos de Es-
tudos: Desenvolvimento Social em Debate. Braslia, n. 16, 2014.
saiba
VAITSMAN, Jeni; PAES-SOUSA, Rmulo. O Sistema de Avaliao e Mo-
nitoramento das Polticas e Programas Sociais: a Experincia do Mi-
nistrio do Desenvolvimento Social e Combate Fome do Brasil. Dispon-
vel em: http://unesdoc.unesco.org/images/0014/001485/148514por.pdf
acesse!
Do trabalho da SAGI deriva um portflio de pelo menos 25 produ-
tos informacionais, desenvolvidos segundo o estgio de maturidade dos
o que diz a norma? Figura 1 a seguir. VIDEOS TUTORIAIS

programas e sua complexidade operacional, como pode ser conferido na

36
EXERCCIOS
CEGOV | UFRGS
SOBRE O MOODLE
Figura 1 - Portflio de produtos, servios e entregas da SAGI
aula
Servios de
organizao
de dados
Ferramentas
de consulta a
dados e mapas
Aplicativos para
tabulao
customizada
Aplicativos
para extrao e
entrada de dados
operacionais
Portais de
informao com
funcionalidades
diversas
2
Indicadores
Mapeamento de Indicadores de Painis de
Relatrios resultantes da
fluxos, processos e Programas e de Monitoramento
automatizados integrao de
arranjos operacio- Conjuntura Social Analtico de
de informao bases de dados
nais de programas Programas
administrativos
Estudos avaliati-
Pesquisas de Pesquisas de ava-
Levantamentos Pesquisas de ava- vos com base de
avaliao de liao diagnstica,
de dados liao quantitati- dados integrados
natureza de implementao
pela Web vas e de impacto - transversal e
exploratria e de resultados
longitudinal
Revistas seriadas, Prospeco de

Estudos tcnicos, Estudos avaliati- Publicaes livros, sumrios demandas de for-
compilaes e vos com base de eletrnicas executivos e mao e qualifica-
meta-avaliaes dados secundria e impressas microdados de o em Programas
pesquisas e Servios
Oferta de Capaci- Planejamento de Documentao Cooperao

Desenvolvimento
taes para servi- Programa de For- de programas e tcnica
de Material Didti-
os, presencial mao em Polticas prospeco de subnacional e
co e Instrucional
ou distncia e Programas experincias internacional
Informao, conhecimento e instrumentos para aprimoramento

do desenho e gesto de polticas e programas do MDS
Fonte: Jannuzzi (2014a).
A SAGI considerada uma inovao no campo do governo fede-

ral porque elevou as atividades de monitoramento e avaliao ao mesmo
patamar de importncia das atividades das secretarias finalsticas daquele
ministrio. A secretaria disponibiliza dados e informaes qualitativas e
quantitativas sobre uma srie de aspectos socioeconmicos e demogr-
ficos, bem como estudos de avaliao e monitoramento realizados pelo
MDS. O processo de trabalho da Sagi pode ser esquematizado em 10 (dez)
etapas (Figura 2).

Figura 2 - Etapas da produo e disseminao da informao e conhecimento: do problema soluo
1 Percepo do
Problema a avaliar
10 Aprimoramento
do programa
1 Discusso e
Especificao do
Problema a avaliar
2
Elaborao do
9 3
Anlise de Projeto de Pesquisa
viabilidade/ e/ou Termo de
oportunidade de Referncia para
recomendaes Contratao
Formao da
8
Aprofundamento
disseminao
analtico da pesquisa
para fins de derivar
recomendaes
equipe ou licitao/
contratao da
instituio de
4
pesquisa
5
Planejamento e
disseminao
7 Produo do
Relatrio-sntese
Realizao do
levantamento
de campo
6
Sistematizao e
Legenda: Discusso dos
resultados
Planejamento Disseminao
Execuo Feedback para o programa
Fonte: elaborao prpria com base em Jannuzzi (2014a).
Embora se complementem, essas finalidades basicas de unidade

de monitoramento e avaliacao informacao para aprimoramento de pro-
gramas, transparencia publica ou avaliacao de merito orcamentario dis-
putam os focos avaliativos, os recursos humanos disponiveis, definem em
boa medida os metodos e tecnicas escolhidos para desenvolvimento dos
trabalhos e o mandato para sugerir, encomendar ou impor mudancas
nos programas e na gestao. A sua vinculacao a uma pasta setorial do Po-
der Executivo, em posicao hierarquica em linha com as demais secretarias
finalisticas do MDS nem acima ou abaixo delas , faz a SAGI orientar seus
esforcos na producao de insumos prioritariamente para aperfeicoamento
continuo das acoes e programas do Ministerio, colocando-se como o que
em outros contextos se denomina unidade de inteligencia corporativa, e
nunca como unidade de auditoria, fiscalizacao, avaliacao externa ou con-
trole publico.
38 CEGOV | UFRGS
leia
aula
saiba
Balano de Gesto Sagi 2011-2014:
http://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/balano.pdf
2
Boletim especial do Balano de Gesto:
http://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/boletim%20
especial_leitura%20(1).pdf
acesse!
ETAPAS DE UMA PESQUISA DE AVALIAO o que diz a norma?
As pesquisas de avaliao de programas so pesquisas sociais

aplicadas que utilizam mtodos vlidos e confiveis para examinar
processos ou resultados de uma organizao (no caso, um programa) FERRA
como, por exemplo:
VIDEOT
pesquisas de avaliao para determinar se programas sociais
(e.g. programa Bolsa Famlia) esto funcionando ou no e como
esto funcionando;
pesquisas de avaliao das intervenes pblicas na rea do
turismo, da educao, da sade, etc. esto dando certo ou no, de
acordo com os objetivos inicialmente propostos; EXERC
pesquisas de diagnsticos, que descrevem como algo ou est,
tais como o Censo do IBGE, a PNAD, o Censo SUAS, etc;
pesquisas de satisfao de beneficirios de programas.
Sendo assim, existe um processo que deve ser realizado para o
GUIA D
planejamento e para a realizao da pesquisa. Esse processo apresenta as
seguintes etapas:
CICLO DE
CAPACITA
Figura 3 - Etapas de uma pesquisa
MD
EXECUO DA ANLISE DOS DISSEMINAO
PLANEJAMENTO RELATRIO FINAL
PESQUISA DADOS COLETADOS
Esta aula ser dedicada primeira etapa do processo, o

planejamento da pesquisa, que se inicia com a construo do problema
e da pergunta e, posteriormente, com a definio dos objetivos. Na aula
3, abordaremos a execuo da pesquisa, aprofundando o conhecimento
sobre mtodos e tcnicas de coleta de dados. Na aula 4, conheceremos
algumas tcnicas para anlise dos dados coletados e diferentes formas de
disseminao dos resultados obtidos em uma pesquisa de avaliao.

DEFININDO A PERGUNTA E O PROBLEMA DE PESQUISA
O ponto de partida de toda e qualquer pesquisa a construo
do problema de pesquisa. a definio da pergunta que ir identificar
o que se ir examinar, avaliar e analisar criticamente. Inicialmente, no
caso das pesquisas de avaliao de programas, deve-se pensar o que
se deseja: avaliar um processo de implementao, resultados, impacto ou
percepes de beneficirios de programas, etc.
Dessa forma, vale ressaltar que a definio da pergunta de pesquisa
faz parte de um processo equacionado, a partir de um planejamento que
funciona como um roteiro para a execuo da pesquisa. O projeto de uma
pesquisa cientfica envolve alguns passos, que podem variar de acordo
com as questes que podem ser visualizadas no quadro a seguir:
Quadro 1 - Etapas de um projeto de pesquisa

Escolha do tema a ser pesquisado. No caso das pesquisas de avaliao de
Seleo do tema um programa, necessrio especificar o programa que ser avaliado e suas
caractersticas.
Levantamento do que
Reviso da bibliografia e de outras fontes.
j existe sobre o tema
Elaborao da pergunta que a pesquisa ir responder. Por exemplo,
Definio do problema
Qual o impacto do Programa? ou, Que difiuldades so enfrentadas na
de pesquisa
implementao do programa?
Se, por exemplo, o que vai ser trabalhado a poltica de combate pobreza,
Definio de conceitos
deve-se explicitar o que se entende por pobreza (delimitar o conceito).
Levantamento de Definir o que se espera encontrar com a pesquisa e quais seriam as
hipteses possveis respostas pergunta.
Operacionalizao das Demonstrar como os principais conceitos sero operacionalizados e
principais variveis medidos.
Coleta e Definir as tcnicas de coleta de dados: se atravs da realizao de
sistematizao dos entrevistas, questionrios, anlise de documentos, dentre outras. Alm
dados disso, realizada a delimitao da amostra ou caso a ser pesquisado.
Estratgia analtica Como os dados que foram coletados sero, enfim, analisados.
Custos e cronograma Definio de oramento, financiamento, organizao das etapas, segundo o
da pesquisa tempo definido.
Como se pode perceber, definir o problema um passo

fundamental e determinante na elaborao de uma pesquisa. Para o
desenvolvimento de pesquisas de avaliao, a pergunta importante na
medida em que orienta as informaes que sero obtidas, ou seja, ela
vai comunicar o tipo de avaliao que se quer realizar, que critrio da
poltica se quer avaliar, entre outras questes.
40 CEGOV | UFRGS
DEFININDO OS OBJETIVOS aula
Os objetivos da pesquisa podem se dividir entre geral ou

especfico. pelos objetivos que sero definidas as informaes e os
2
dados que sero buscados ao se pesquisar. Sendo assim, os objetivos esto
vinculados com a pergunta na medida em que concretizam a pergunta de
pesquisa, dizendo para onde apontar o olhar do pesquisador e indicando
os caminhos que sero percorridos.
Veja o exemplo a seguir:
exemplo reviso cadastral

Objetivo GERAL
Coletar e analisar dados que possibilitassem a configurao do perfil
das famlias que no compareceram dentro do prazo previsto para atu-
alizar seus dados do Cadastro nico e a identificao das razes que
levaram ao no comparecimento.
Objetivo ESPECFICO
a) Identificar o perfil das famlias e dos responsveis pela unidade familiar
convocados para reviso cadastral em 2010 e que no realizaram a revi-
so no perodo previsto, fazendo a separao entre trs grupos: desblo-
queados, cancelados com reverso e cancelados de forma permanente.
A pesquisa sobre a reviso cadastral do cadastro nico acima traz a

diferenciao entre os dois tipos de objetivos. Podemos perceber que eles
esto conectados, mas, ao tratar dos objetivos especficos, o trecho dos
responsveis pela unidade familiar convocados para reviso cadastral em
2010 demonstra como e com quem, precisamente, a pesquisa ser feita.
exemplo PRONATEC/BSM
Objetivos
Aprimorar a implementao do Pronatec/BSM tanto no que se refere
adequao entre os cursos ofertados e o perfil dos alunos, quanto
em relao adequao entre os cursos e as demandas existentes nos
mercados de trabalho locais;
Avaliar as diferentes dimenses associadas aos alunos que j passaram
pelos cursos ofertados, tendo concludo ou no estes cursos.
J o estudo qualitativo do Pronatec/BSM, por exemplo, apresenta

apenas uma categoria de objetivos, mas que, como se v, tambm oferece
informaes mais precisas e concretas sobre o foco da avaliao da
pesquisa.

DIFERENTES ABORDAGENS METODOLGICAS
Os variados mtodos, tcnicas e estratgias para coletar e
manusear os dados e informaes obtidas dividem-se entre abordagens
qualitativas e quantitativas.
Quadro 2 - Diferenas entre abordagem quantitativa e qualitativa
aspectos abordagem quantitativa abordagem qualitativa

Inquritos domiciliares, por telefone, Entrevistas;
correio ou internet;
Grupos focais;
Conhecimento, atitude e
tipos e comportamento; Grupos de discusso;
exemplos Satisfao do usurio; Observao participante;
Impacto de uma poltica; Visitas locais;
Entrevistas. Etnografia.
Permite comparaes diferentes ao Fornece informao sobre situaes

mesmo tempo; sociais complexas, situaes de
interao, valores, percepes,
Permite ver mudanas no tempo;
usos Descreve condies ou contextos;
motivaes de pessoas ou grupos;
Fornece informao complementar
Fornece dados para avaliao de sobre o contexto e a interpretao de
resultados. dados quantitativos.
Os resultados podem ser
generalizados; Usualmente de baixo custo;
vantagens Fornece base para estimativas de Permite a explorao de novas ideias
tamanho e distribuio dos resultados e achados.
e impactos.
Coleta e processamento de dados
podem ser demorados;
desvantagens Podem ter altos custos quando da
No tem poder de generalizao.
coleta de dados primrio.
Baixo e mdio custo, mas estudos
Alto e mdio custo, dependendo do etnogrficos podem ser caros;
custo e tamanho da amostra; Tempo de coleta, processamento e
durao A coleta pode levar muito tempo. anlise de dados podem ser longos
dependendo das tcnicas utilizadas.
Boa capacidade tcnica para
Boa capacidade tcnica na realizao
determinao da amostra, desenho do
pr-requisitos questionrio, processamento e anlise
das entrevistas, na facilitao de
trabalho em grupo e de observao.
dos dados.
Fonte: adaptado de Ministrio da Sade (2005). Disponvel em: http://www.aids.gov.br/sites/default/files/manual_

of_prof.pdf
42 CEGOV | UFRGS
A partir do quadro acima e, principalmente, do tpico Tipos e
exemplos, possvel notar que a diferena fundamental entre essas duas aula
abordagens est no tipo de dado ou informao que levantada. No
obstante, exatamente esta diferente maneira de compreender e colher
informaes sobre a realidade que confere s duas abordagens uma
2
importante complementariedade.
Considere a seguinte situao: uma pesquisa de avaliao de
impacto foi realizada com o uso de tcnicas quantitativas. Nos resultados
dessa pesquisa, verificou-se que o programa no gerou os resultados
esperados. Para entender o porqu deste fracasso, o passo seguinte ir
a campo e conversar com os envolvidos, desde os implementadores at
os beneficirios. Neste momento, deve-se recorrer ao uso de tcnicas
qualitativas de pesquisa. Esse exemplo demonstra que a maneira de colher
as informaes e trat-las pode resultar numa melhor compreenso dos
fenmenos, sempre que os dois resultados estiverem associados.
Veja mais exemplos de acordo com as pesquisas utilizadas como
base desde o incio dessa aula:

METODOLOGIA Na Aula 3,
a seguir, sero
Para a realizao da coleta de dados foram utilizadas duas tcnicas: en-
apresentadas
trevista individual e grupo focal. Desse modo, em cada municpio foram
diferentes tcnicas,
realizadas duas entrevistas individuais [...]; como tambm dois grupos
qualitativas e
focais - um com alunos concluintes do programa e outro com os alunos quantitativas.
desistentes, no caso dos municpios de maior porte (grande e metr-
pole).
[...]
Cada visita ao municpio durou em mdia cinco dias. Atividades adicio-
nais foram realizadas durante as visitas a fim de proporcionar uma viso
sistmica sobre como o Programa de fato realizado no municpio, a sa-
ber: a) Conversas com autoridades e gestores municipais indiretamente
ligados ao Programa, [...]; b) Visitas aos Centros de Referncia de Assis-
tncia Social (CRAS), Centro de Referncia Especializado de Assistncia
Social (CREAS) e s instalaes onde os cursos so ofertados; c) Entrevis-
tas informais com professores e instrutores de cursos do Pronatec; [...].
O exemplo acima se refere metodologia e abordagem da

pesquisa do Pronatec/BSM. Como se pode ver pelo ttulo da pesquisa,
Estudo qualitativo com egressos e desistentes, representantes das unidades
ofertantes e interlocutores municipais do PRONATEC BSM, seu carter
qualitativo. J pela descrio acima da metodologia utilizada, v-se
claramente que a coleta de informaes se d de acordo com essas
tcnicas. Vale retomar que os objetivos desta pesquisa explicitam
SIAIROTUT SOEDIV
que se pretende subsidiar o melhoramento do programa e de sua
implementao.
LANIF OAILAVA
CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
SATNEMA
43
J a pesquisa de Reviso Cadastral abaixo um exemplo importante
tanto para demonstrar uma pesquisa com tcnicas quantitativas, quanto
para demonstrar a complementariedade destacada anteriormente: alm
da amostra (populao selecionada para a pesquisa) ser grande, so mais
de 100 questionrios/entrevistas realizadas somente com gestores e mais
de 5.000 famlias.

METODOLOGIA
Trata-se de uma pesquisa de delineamento transversal e abordagem
metodolgica quantitativa. Foram coletados dados com os gestores
municipais do Programa Bolsa-Famlia e beneficirios nos 148 municpios
sorteados para a amostra.
A coleta de dados foi realizada por meio de entrevistas domiciliares com
os responsveis pelas famlias e entrevistas presenciais com os gestores
municipais do PBF (ou representante da gesto por eles indicado). Os
questionrios foram elaborados tendo por base os objetivos da pesquisa
e o conhecimento levantado por meio de grupos focais conduzidos pela
SAGI em julho de 2011 em quatro municpios dos estados de Minas
Gerais e Rio Grande do Norte, tendo sido posteriormente submetidos
crtica e aprimorados por meio da aplicao de um pr-teste.
As possibilidades de se utilizar tcnicas qualitativas com esta

amostra so praticamente nulas. Contudo, estas tcnicas qualitativas
foram fundamentais para um estudo inicial e exploratrio que preparou
a fase quantitativa do estudo de avaliao. Como comentado na
metodologia, os questionrios aplicados foram elaborados a partir dos
grupos focais que sero estudados mais adiante.
DELINEAMENTO DE PESQUISA
Existem outras formas de classificar as pesquisas para alm da
abordagem qualitativa e quantitativa. Do ponto de vista do delineamento
ou desenho de pesquisa elas podem ser classificadas como pesquisas
descritivas e explicativas.
PESQUISAS DESCRITIVAS E EXPLICATIVAS

Dependendo do tipo de pergunta que uma pesquisa intenciona
responder, ela pode ter um carter mais descritivo ou mais explicativo.
As pesquisas descritivas pretendem relatar os fatos e fenmenos de
determinada realidade. A partir da descrio busca-se compreender de
que maneira se desenrola o processo social em estudo. Pesquisas com
esse delineamento geram conhecimentos que podem ser aprofundados
44 CEGOV | UFRGS
e/ou complementados por outro tipo de pesquisa.
aula
2
As pesquisas explicativas tm como objetivo as relaes de causa e
efeito que ocasionam um fenmeno social. Dependendo de seu desenho,
elas podem assumir a forma de pesquisas experimentais ou quase-
experimentais. Em ambos os casos, procura-se controlar as situaes em
que a pesquisa ocorre para que seja possvel responder a causalidade e
o efeito propostos. Na aula trs, o tema das pesquisas experimentais e
quase-experimentais ser aprofundado.
AMOSTRAGEM
Quando se deseja colher informaes sobre um ou mais aspectos
de um grupo grande ou numeroso necessrio estabelecer uma amostra,
ou seja, uma parte do grupo grande, para viabilizar a pesquisa. Estabele-
cer uma amostra , portanto, escolher uma parte de tal forma que ela seja
a mais representativa possvel do todo e, a partir dos resultados obtidos,
relativos a essa parte, poder inferir, o mais legitimamente possvel, nos re-
sultados da populao total, se esta fosse verificada (MARCONI; LAKATOS,
2002).
UNIVERSO OU POPULAO: o conjunto de seres animados (p.ex. to-

dos os brasileiros; todos os jovens homens de 16 a 18 anos moradores
de Porto Alegre) ou inanimados (todas as construes do Minha Casa
Minha Vida do municpio de Porto Seguro) que apresentam pelo menos
uma caracterstica em comum.
AMOSTRA: uma poro ou parcela, convenientemente selecionada do

universo (populao); um subconjunto do universo.
Existem tipos de amostras, das quais se destacam:

Amostras PROBABILSTICAS: o tipo de amostra que tem
como princpio fundamental o fato de que qualquer pessoa do
universo que se quer pesquisar tenha a mesma chance de partici-
par da mesma. Da o princpio de aleatoriedade, que no signifi-
ca sorteio ou sorte. A amostragem probabilstica pode, ainda, ser
dos tipos: amostra aleatria simples, amostra sistemtica, amostra
estratificada, amostra por conglomerados, amostragem por etapas,
dentre outras.
Amostras NO PROBABILSTICAS: a principal caracterstica des-
se tipo de amostragem que no possvel a aplicao de frmulas
estatsticas para o clculo, por exemplo, entre outros, de erros de
amostra. Existem amostras no probabilsticas do tipo intencional,
por juris, por tipicidade e por quotas. A mais comum do tipo in-

tencional e utilizada quando o pesquisador est interessado na
opinio (ao, inteno etc) de determinados elementos (pessoas)
da populao, mas no representativos dela, como, por exemplo,
os lderes de opinio de determinada comunidade.
A amostragem no probabilstica limita, por exemplo, a possibi-
lidade de generalizao dos resultados obtidos com a pesquisa.
No entanto, pesquisas que se utilizam desse tipo de amostra so

importantes fontes de informao e podem ajudar na deciso de
leia
se aprofundar uma pesquisa.
GIL, Antonio C. Mtodos e Tcnicas de Pesquisa Social. So Paulo: Edi-

tora Atlas, cap. 9, 2010.
MAY, Tim. Pesquisa Social. Questes, Mtodos e Processos. Porto Alegre:
Artmed, p. 114-116, 2004.
MARCONI, Marina de A.; LAKATOS, Eva M. Tcnicas de Pesquisa: planeja-
saiba
mento e execuo de pesquisas, amostragens e tcnicas de pesquisas, ela-
borao, anlise e interpretao de dados. 5 edio. So Paulo: Atlas, 2002.

acesse! NESTA AULA VOC APRENDEU QUE
VIDEOS TUTORIAIS
o desenvolvimento das pesquisas de avaliao de programas no Bra-
sil se acentuou a partir da dcada de 1990.
o que diz a norma?
uma pesquisa de avaliao passa por quatro etapas principais: pla-
nejamento, execuo da pesquisa, anlise de dados e disseminao.

ao longo deste processo, a etapa de planejamento fundamental,
sendo a definio da pergunta e dos objetivos dois momentos cruciais
para que desenhe a pesquisa de acordo com o que se quer avaliar.
a definio da pergunta e do problema de pesquisa ocorre ao longo
do seguinte processo: seleo do tema, levantamento do que j exis-
te, definio do problema, definio dos conceitos, levantamento de
hipteses, operacionalizao das principais variveis, coleta e sistema-
tizao dos dados, estratgias analticas e elaborao da definio dos
EXERCCIOS custos e cronograma da pesquisa.

SOBRE O MOODLE
os objetivos contribuem na medida em que traam os caminhos que
sero percorridos para que a pergunta de pesquisa seja respondida, ou

seja, concretizam os passos que sero dados para que se avalie.
h duas diferentes abordagens possveis para as pesquisas de avalia-
o: qualitativas e quantitativas.
as diferentes abordagens oferecem diferentes maneiras de se ler a
realidade e, por isto, podem ser complementares quando associadas e
VIDEOS TUTORIAIS
CICLO DEutilizadas para se pensar um mesmo fenmeno.
MDS
e Combate Fome
? CURSO ENCERRADO
46 CEGOV | UFRGS

REFERNCIAS aula
CEPIK, Marco; CANABARRO, Diego (Orgs.). Governana de TI:

2
Transformando a Administrao Pblica no Brasil. Porto Alegre: UFRGS/
CEGOV, 2014.
CEPIK, Marco. Informao & Deciso Governamental: Uma Contradioem
Termos?. IMAP. Anais do Seminaio Informao, Estado e Sociedade.
Prefeitura de Curitiba, p. 27-44, 1997.
DULCI, Otavio S. Avaliao de Programas Sociais: Desafis e Potenciais na
Construo de um Sistema de Informaes. Estudo realizado no abito do
projeto PNUD BRA/04/046 Fortalecimento Institucional para a Avaliao
e Gesto da Informao do MDS. In: MINISTRIO DO DESENVOLVIMENTO
SOCIAL E COMBATE FOME. Cadernos de Estudos: Desenvolvimento
Social em Debate, Braslia, n. 13, 2010
FARIA, Regina. Avaliao de Programas Sociais: Evolues e Tendncias. In:
RICO, Elizabeth Melo (Org.). Avaliao de Polticas Sociais: Uma Questo
em Debate. So Paulo: Cortez/Instituto de Estudos Especiais, p. 40-49,
2001.
FARIA, Carlos. A Poltica da Avaliao de Polticas Pblicas. Revista
Brasileira de Cincias Sociais, So Paulo, v. 20, n. 50, p. 97-169, out 2005 .
GIL, Antonio C. Mtodos e Tcnicas de Pesquisa Social. So Paulo:
Editora Atlas, cap. 9, 2008.
JANNUZZI, Paulo de Martino. Avaliao de Programas Sociais: Conceitos e
Referenciais de Quem a Realiza. In: Estudos em Avaliao Educacional.
So Paulo, v. 25, n. 58, p. 22-42, mai/ago 2014.
JANNUZZI, Paulo de Martino. A produo de Informao e Conhecimento
para Aprimoramento das Polticas e Programas de Desenvolvimento
Social: Princpios, Conceitos e Caracterizao das Pesquisas deAvaliao
Realizadas pela SAGI/MDS de 2011 a 2014. In: MINISTRIO DO
DESENVOLVIMENTO SOCIAL E COMBATE FOME. Cadernos de Estudos:
Desenvolvimento Social em Debate, Braslia, n. 16, 2014a.
JANNUZZI, Paulo de Martino. Avaliao de Programas Sociais no
Brasil: Repensando Prticas e Metodologias das Pesquisas Avaliativas.
Planejamento e Polticas Pblicas, n.36, jan/jul 2011.
MARCONI, Marina de A.; LAKATOS, Eva M. Tcnicas de Pesquisa: planeja
mento e execuo de pesquisas, amostragens e tcnicas de pesquisas, ela
borao, anaise e interpretao de dados. 5 edio. So Paulo: Atlas, 2002.
Artmed, p. 114-116, 2004.
MELO, Marcus Andr. Estado, Governo e Polticas Pblicas. In: MICELI,
S. (Org.). O Que Ler na Cincia Social Brasileira (1970-1995). Cincia
Poltica, Vol.III. So Paulo: Ed. Sumar, p.59-100, 1999.

MINISTRIO DA SADE. Manual da Oficina de Capacitao em Avaliao
com Foco na Melhoria do Programa DST-AIDS. Braslia: Assessoria de
Monitoramento e Avalio, 2005.
PAES-SOUSA, Rmulo; HELLMANN, Aline. Policy Monitoring and Evaluation
Systems: Recent Advances in Brazils Federal Public Administration. In:
VAITSMAN, Jeni; RIBEIRO, Jos; LOBATO, Lenaura. Policy Analysis in
Brazil: The State of the Art. Londres: Policy Press, 2013.
RAMOS, Marlia. Avaliao de Polticas e Programas Sociais: Aspectos
Conceituais e Metodolgicos. Planejamento e Polticas Pblicas. Braslia:
IPEA. 2009.
RODRIGUES, Roberto. A Centralidade da Informao no Campo das
Polticas Pblicas. In: MINISTRIO DO DESENVOLVIMENTO SOCIAL E
COMBATE FOME. Concepo e Gesto da Proteo Social no
Contributiva no Brasil. Braslia: MDS-UNESCO, p. 287-303, 2009.
SILVA, Pedro; COSTA, Nilson. A Avaliao de Programas Pblicos:
Reflxes Sobre a Experincia Brasileira (Relatrio Tcnico). Braslia: IPEA-
BID, 2002.
WEISS, Carol. Evaluation: Methods for Studying Programs & Policies.
London: Prentice Hall, 1998.
48 CEGOV | UFRGS
MTODOS E TCNICAS aula
PARA COLETA DE DADOS 3
Ol!
Esta a aula 3 do Curso em Conceitos e Instrumentos para
leia
Avaliao de Programas Sociais. O tema dessa aula a coleta, anlise
de dados e apresentao de resultados uma pesquisa de avaliao.
Primeiro vamos conhecer alguns mtodos e tcnicas utiliza-
dos em pesquisas de avaliao. Em seguida, veremos como esses da-
dos podem ser analisados.
Boa Aula !
saiba
OBJETIVOS DE APRENDIZAGEM leitura

obrigatria
acesse! VAZ, Alexander et al.
Nesta aula voc vai aprender:
Estudos Avaliativos
Para que servem mtodos e tcnicas de coleta de dados; com Base na Inte-
VID
Qual a diferena entre mtodos e tcnicas; grao de Registros
o que diz a norma?
Como ocorre a escolha de mtodos e tcnicas de coleta de dados em
Administrativos: a
Experincia de Inte-
uma pesquisa; grao do Cadastro
Quais so os principais mtodos e tcnicas de coleta de dados. nico para Progra-
FERRAMENTAS AVA
mas Sociais, Progra-
ma Bolsa Famlia e
Sistema de Vigilncia
VIDEOS TUTORIAIS Alimentar e Nutricio-

nal. In: MINISTRIO
VIDEOTECA BIB
DE DESENVOLVIMEN-
TO SOCIAL E COMBA-
TE FOME. Cadernos
RRAMENTAS AVALIAO FINAL de Estudo: Desenvol-

vimento Social em
EXERCCIOS SO
Debate, n.17, 2014.
DEOTECA BIBLIOTECA
GUIA DE ESTUDOS SO
ERCCIOS SOBRE O MOODLE

SUMRIO DA AULA 3
O que so mtodos e tcnicas? Qual a diferena entre os dois? 50
Estudo de caso 51
Levantamento de campo (survey) 52
Etnografia 53
Histria de Vida 53
Tcnicas utilizadas em pesquisas de avaliao 53
Grupos focais 55
Observao participante 55
Entrevista 56
Aplicao direta e indireta de entrevistas 58
Pesquisas experimentais e quase-experimentais 59
Pesquisa experimental 59
Pesquisa quase-experimental 61
O QUE SO MTODOS E TCNICAS? QUAL A DIFERENA

ENTRE OS DOIS?

Imagine que um msico queira compor uma cano. A primeira
Para escolha que ele deve fazer o estilo de msica que ele pretende compor:
entender melhor samba, rock, pop, reggae, etc. A escolha do estilo de msica do compositor
as diferenas entre corresponde escolha do mtodo de pesquisa feita pelo pesquisador.
mtodos e tcnicas Ambas dependem do objetivo do msico e do pesquisador. Assim
veja o vdeo sobre como o msico escolhe o tipo de msica mais adequada para expressar
o tema na seo da
uma emoo, o pesquisador deve escolher o mtodo de pesquisa mais
Aula 3 no moodle.
adequado para responder a pergunta de pesquisa.
Quadro 1 - Diferenas entre mtodo e tcnicas

o macroentendimento escolhido pelo pesquisador sobre
como a sua pesquisa deve ser realizada. por esse olhar
MTODO amplo que pesquisador orienta suas escolhas de carter
metodolgico, dentre elas a tcnica que ser utilizada para
coletar os dados.
So os procedimentos adotados para a coleta das
TCNICAS
informaes necessrias para a pesquisa.
50 CEGOV | UFRGS
Por ser uma diretriz mais ampla, o mtodo pode abarcar uma ou
mais tcnicas. Aps definir o estilo de msica, o compositor escolhe os aula
instrumentos mais adequados para execut-la. Se o estilo escolhido foi o
samba, os instrumentos escolhidos sero cavaquinho, pandeiro, tambo-
rim, violo, etc. Do mesmo modo, o pesquisador, aps definir o mtodo
3
de pesquisa, deve escolher as tcnicas de coleta de dados que combinem
com esse mtodo. Ou seja, a escolha das tcnicas de coleta de dados de-
pende do mtodo de pesquisa.
O diagrama a seguir ilustra a relao hierrquica entre mtodo e
tcnica:
Figura 1 - Relao hierrquica entre mtodo e tcnica.
TCNICA 1
MTODO ESCOLHIDO TCNICA 2
TCNICA 3
Os mtodos e tcnicas adotados nas pesquisas de avaliao

variam de acordo com as circunstacias (tempo, recursos fianceiros, etc.)
ou com o tipo de pergunta que se quer responder. H diversos mtodos
que podem ser utilizados em pesquisas de avaliao. A seguir sero
apresentados quatro deles: Estudo de Caso, Levantamento de Campo
(Survey), Etnografia e Histria de Vida.
ESTUDO DE CASO
No exemplo abaixo, da pesquisa sobre o Pronatec/BSM, o mtodo
escolhido foi o estudo de caso, no exemplo, multicasos. O estudo de caso
a investigao em profundidade de um nico caso. Esse mtodo baseia-
-se na ideia de que um pesquisador pode compreender a realidade por
meio do estudo aprofundado de uma unidade de anlise especfica.

O estudo foi realizado em 12 municpios selecionados dentre os 879 mu-
nicpios em que houve registro de matrcula em 2012, considerando trs
regies (Sul-Sudeste, Norte-Centro-Oeste e Nordeste) e o porte popu-
lacional do municpio. Buscou-se selecionar os municpios com maior n-
mero de matrculas realizadas em 2012, garantidos os critrios regionais
e de porte.
A unidade de anlise definida pelo pesquisador a partir dos ob-

jetivos da pesquisa. Um caso pode ser composto por um ou poucos obje-
tos de anlise (GIL, 2008). Na pesquisa sobre o PRONATEC, optou-se por
eleger 12 municpios com portes populacionais distintos, distribudos em
3 regies e estud-los em profundidade. Dessa forma, as diferentes din-
micas do PRONATEC estariam incorporadas ao caso estudado, possibili-
tando tambm um enfoque de comparao entre os municpios.
Esse tipo de estudo comporta o uso de diversas tcnicas de pes-
quisa, como a entrevista, o grupo focal e a observao. A vantagem do
Estudo de Caso est no conhecimento refinado e aprofundado sobre rea-
lidades particulares. Entretanto, por no utilizar amostras estatisticamente
representativas, os resultados de um estudo de caso tem capacidade limi-
tada de serem generalizados para toda a populao.
LEVANTAMENTO DE CAMPO (SURVEY)

Levantamentos so adequados para pesquisas de abordagem
quantitativa, pois permitem a quantificao de opinies e caractersticas
de pessoas e lugares, dentre outros elementos. No exemplo abaixo, sobre
reviso cadastral, optou-se pelo uso do mtodo de levantamento.

Trata-se de pesquisa de delineamento transversal e abordagem metodo-
lgica quantitativa. Foram coletados dados com os gestores municipais
do Programa Bolsa-Famlia e beneficirios nos 148 municpios sorteados
para a amostra.
Como o objetivo da pesquisa sobre a reviso cadastral era com-

preender as razes do no comparecimento de beneficirios do PBF para
reviso cadastral, o uso do levantamento adequado. Esse mtodo carac-
teriza-se pela interrogao direta de pessoas cujo comportamento quere-
mos conhecer (GIL, 2008).
Uma das grandes vantagens dos levantamentos sua capacidade
de fornecer informao sobre populaes inteiras usando amostras repre-
sentativas e relativamente pequenas.
52 CEGOV | UFRGS
ETNOGRAFIA aula
A Etnografia est bastante prxima do Estudo de Caso. O mtodo
consiste no estudo detalhado das vidas e atividades de um grupo social
3

singular, examinando suas crenas, sentimentos e modos de agir.
Durante a realizao de uma etnografia, o pesquisador deve se
integrar ao grupo em estudo, observando e vivenciando seu modo de
leia
vida. Uma particularidade da etnografia a relao que ela tem com a
tcnica de observao participante. A seguir, na seo em que sero
abordadas as tcnicas de coleta de dados, a observao participante ser
aprofundada.
saiba
A pesquisa Do ponto de vista das crianas: uma avaliao do Programa
Bolsa Famlia utilizou o mtodo etnogrfico.
Cada pesquisador ficou hospedado na casa de uma famlia beneficia-
da, ali realizando suas refeies, as pernoites e vivenciando o cotidiano
familiar de beneficirios do PBF. O objetivo da pesquisa foi avaliar o PBF
a partir da viso das crianas. acesse!
Disponvel em: http://aplicacoes.mds.gov.br/sagirmps/simulacao/sum_
executivo/pdf/sumario_84.pdf
o que diz a norma?

HISTRIA DE VIDA
Outro mtodo de pesquisa prximo ao Estudo de Caso a His-
tria de Vida. Atravs da Histria de Vida so conduzidas pesquisas que
analisam, a partir da biografia de poucas pessoas, um fenmeno de natu-
FERRAM
reza social. Por esse mtodo, examina-se um nmero pequeno de pessoas
visando capturar a riqueza associada trajetria social de um indivduo.
Usa-se normalmente a tcnica em entrevistas abertas e em profundidade,
nas quais os entrevistados constroem relatos sobre biografias.
VIDEOTE
TCNICAS UTILIZADAS EM PESQUISAS DE AVALIAO

EXERCC
Os tipos de dados utilizados em uma pesquisa podem ser divididos
em dois grupos: os dados primrios, que so obtidos diretamente pelo
pesquisador em suas idas ao campo de pesquisa, e os dados secundrios,
GUIA DE
que foram obtidos em prvios levantamentos, mas que so reaproveitados
em pesquisas posteriores.
CICLO DE
CAPACITA
Em consequncia disso, as tcnicas de coleta de dados so
divididas em dois grandes grupos: Tcnicas de coleta direta de dados, MDS
ou seja, dados primrios; e Tcnicas de coleta indireta de dados, dados
secundrios.

Quadro 2 - Diviso das tcnicas de coleta de dados
Exemplo 1: entrevista. O pesquisador vai a

campo e recorre a informantes para coletar suas
tcnicas de So procedimentos informaes.
coleta direta que coletam
de dados diretamente seus Exemplo 2: observao participante. Nessa
dados. tcnica, o pesquisador insere-se no campo e
(dados primrios) observa a dinmica social da realidade estudada,
coletando os dados que julga necessrio.
Nesse tipo de Exemplo 1: pesquisa documental. Essa tcnica

tcnicas de procedimento, o utiliza-se de registros documentais j existentes
pesquisador no vai a como fonte de informao para a pesquisa.
coleta indireta campo para a coleta
de dados de informaes. Ele Exemplo 2: uso de surveys ou censos. o caso
(dados secundrios) utiliza coletas prvias dos pesquisadores que utilizam dados do Censo
em sua investigao. Demogrfico coletados pelo IBGE.
Conforme visto anteriormente, um mtodo pode comportar

diversas tcnicas. No caso da pesquisa sobre egressos e desistentes do
PRONATEC, no exemplo abaixo, a escolha do mtodo de estudo de caso
permitiu que fossem combinadas duas tcnicas de coleta de dados:
entrevistas e grupos focais.
Para a realizao da coleta de dados foram utilizadas duas tcnicas: en-
trevista individual e grupo focal. Desse modo, em cada municpio foram
realizadas duas entrevistas individuais - uma com o interlocutor mu-
nicipal do PRONATEC/BSM em 2013 e outra com um representante da
Unidade Ofertante com maior nmero de matrculas em 2012; como
tambm dois grupos focais - um com alunos concluintes do programa e
outro com os alunos desistentes, no caso dos municpios de maior porte
(grande e metrpole).
A seguir sero identificados os principais tipos de tcnicas de

coleta de dados.
54 CEGOV | UFRGS
GRUPOS FOCAIS aula
Um grupo focal um grupo de discusso informal e de tamanho
reduzido, realizado com o propsito de obter informaes de carter
3
qualitativo e em profundidade. Essa tcnica aposta na interao entre
os participantes do grupo para a obteno de seus dados. uma tcnica
rpida e de baixo custo.
O objetivo principal de um grupo focal revelar as percepes dos
participantes sobre os tpicos em discusso. Essas pessoas so convidadas
para participar da discusso sobre determinado assunto. Normalmente,
os participantes possuem alguma caracterstica em comum. Na pesquisa
sobre o PRONATEC, por exemplo, essa caracterstica era a de ser egresso
ou desistente do programa.
Por utilizar questes e respostas no estruturadas, essa tcnica
pode contribuir para emergncia de novas ideias acerca do assunto que
est sendo investigado.
como funciona um grupo focal?

Cada grupo organizado com pequeno nmero de pessoas (entre 7
e 12) para incentivar a interao entre os membros;
Cada sesso dura de uma a duas horas;
A conversao concentra-se em poucos tpicos (no mximo 5 as-

suntos);
leia
O moderador tem uma agenda onde esto delineados os principais t-
picos a serem abordados. Estes tpicos so geralmente pouco abran-
gentes, de modo que a conversao sobre os mesmos torne-se rele-
vante.
OBSERVAO PARTICIPANTE saiba

A observao parti-
Pela tcnica da observao participante, o pesquisador coleta cipante foi utilizada
seus dados a partir de sua integrao com o grupo pesquisado. Essa inte- na etnografia Do
ponto de vista das
grao tem como objetivo permitir que o pesquisador vivencie a dinmi-
crianas: uma ava-
ca social que ele pretende estudar como se fosse um integrante do grupo
ou comunidade em estudo. A integrao do pesquisador pode ocorrer
acesse!
liao do Progra-
ma Bolsa Famlia.
com a imerso integral no campo de pesquisa (nesses casos, o pesqui- Disponvel em:
sador passa a conviver em tempo integral com seu objeto de anlise) ou http://aplicacoes.
com a participao eventual do pesquisador em momentos considerados mds.gov.br/sa-
importantes. o que diz a norma?
girmps/simulacao/
sum_executivo/
pdf/sumario_84.pdf
FERRAM
VIDEOTE
A escolha da observao participante como uma tcnica est inti-
mamente associada adoo do mtodo etnogrfico. A observao parti-
cipante possibilita que o pesquisador conviva intensamente com o grupo
pesquisado. A familiaridade decorrente desse convvio facilita o entendi-
mento de regras, valores e modos de vida, a principal meta da etnografia.
Na observao participante, as informaes percebidas podem
ser registradas em fotografias, gravaes de udio e vdeo ou em anota-
es de campo. comum o uso de um dirio de campo para relatar as
experincias e impresses vividas durante a pesquisa.
ENTREVISTA
A tcnica de entrevista consiste no encontro entre pesquisador e
pesquisado para que, mediante o dilogo, obtenham-se informaes. A
entrevista uma tcnica til para a coleta de dados sobre processos so-
ciais, aspectos simblicos e subjetivos de um grupo, ideologias e crenas
que esto por trs de discursos ou a compreenso dos pesquisados sobre
um tema.
A entrevista vai alm de uma simples conversa. Ela uma intera-
o planejada pelo pesquisador. Esse planejamento concretiza-se em um
roteiro de perguntas, que pode variar pelo seu grau de estruturao de
acordo com o caso pesquisado e com as opes do pesquisador.
As entrevistas podem ser agrupadas em diferentes tipos, tendo
como critrio o seu grau de estruturao:
Figura 2 - Tipos de entrevistas

O pesquisador segue um roteiro previamente definido, com perguntas pr-determinadas;
preciso que as mesmas perguntas sejam feitas da mesma maneira para os entrevistados;
O objetivo da padronizao obter respostas que permitam a comparao com as demais
entrevistas.
(QUESTIONRIO)
O pesquisador segue um conjunto de tpicos que devem ser abordados;
No existem perguntas previamente elaboradas e nem uma ordem pr-estabelecida dos
assuntos a serem tratados;
Possibilita que o pesquisador aborde os temas de seu interesse, a partir das respostas for-
necidas pelos entrevistados.
(ROTEIRO)
Se aproxima de uma conversa informal entre entrevistador e entrevistado;
O entrevistado tem a liberdade de desenvolver assuntos de sua preferncia na direo em
que lhe for conveniente;
So adequadas para revelar a hierarquia de temas e argumentos de um entrevistado. Muito
(TEMA) utilizadas em etnografias.
56 CEGOV | UFRGS
Na pesquisa sobre o PRONATEC/BSM, por exemplo, destacada
abaixo, optou-se por um roteiro semiestruturado tanto para as entrevistas aula
como para o grupo focal.
3
Tanto as entrevistas quanto os grupos focais foram realizados a partir de
um roteiro semiestruturado, elaborado pelos consultores em parceria
com a Secretaria de Avaliao e Gesto da Informao (SAGI), responsvel
pela gesto da pesquisa, e pela Secretaria Extraordinria para Superao
da Extrema Pobreza (SESEP), rea tcnica demandante, ambas do MDS.
importante destacar que, mesmo em entrevistas no

estruturadas, sempre h um grau mnimo de estruturao por parte do
entrevistador. Por mais que a inteno do pesquisador seja a de no
estruturar o dilogo com o entrevistado, suas intervenes sempre
direcionaro, em maior ou menor proporo, o rumo da entrevista.
A entrevista estruturada, ou questionrio, consiste em uma
srie ordenada de perguntas que devem ser respondidas por escrito.
Devido a sua padronizao de perguntas e respostas, o questionrio o
instrumento ideal de coleta quando queremos quantificar as informaes.
Os questionrios costumam ser utilizados em pesquisas de levantamento.
Com o objetivo de quantificar informaes, essa tcnica foi
utilizada na pesquisa sobre Reviso Cadastral:

A coleta de dados foi realizada por questionrios aplicados com os res-
ponsveis pelas famlias e com os gestores municipais do PBF (ou repre-
sentante da gesto por eles indicado). Os questionrios foram elaborados
tendo por base os objetivos da pesquisa e o conhecimento levantado por
meio de grupos focais conduzidos pela SAGI em julho de 2011 em quatro
municpios dos estados de Minas Gerais e Rio Grande do Norte.
Esse trecho ilustra como as tcnicas devem ser utilizadas de

maneira complementar. Em um primeiro momento, foi utilizada a
tcnica de grupo focal para identificar os principais assuntos abordados
pelo grupo pesquisa. A partir dos tpicos levantados nesses grupos
focais, foram elaboradas as questes que compuseram o questionrio.
Assim, as informaes sobre os temas abordados no grupo focal foram
aprofundadas com a aplicao de questionrios.
O preenchimento dos questionrios pode ser feito com ou

sem a presena do pesquisador. Quando o pesquisador est presente,
o questionrio pode ser preenchido pelo mesmo, a partir das respostas
verbalizadas pelo entrevistado, ou pelo prprio entrevistado. Quando o
pesquisador no est presente, o envio do questionrio pode ser feito
por internet ou pelo correio. Alm disso, ainda existem os questionrios
aplicados por meio de ligaes telefnicas.
Um questionrio pode possuir questes fechadas e abertas, como
explicitado no quadro a seguir:
Quadro 3 - Diferenas entre questes fechadas e abertas
So aquelas questes cujas opes de resposta j esto

pr-estabelecidas.
questes O pesquisado escolhe, dentre as opes existentes, a sua
fechadas resposta.
Esse tipo de questo diferencia um questionrio de uma
entrevista estruturada.
So aquelas em que o pesquisador no fornece

alternativas de resposta pr-estabelecidas ao pesquisado.
So questes abertas aquelas em que o pesquisado

responde com suas prprias, como em uma entrevista.
questes Tambm so questes abertas aquelas em que

invivel o pesquisador colocar todas as alternativas de
abertas resposta em nmeros. Nesses casos, a resposta escrita
por extenso por quem est preenchendo o questionrio.
Exemplo: data de nascimento.
Posteriormente, o pesquisador pode codificar essas
respostas agrupando-as em categorias.

leia
O uso combinado de questes fechadas e abertas em um
GIL, Antnio C. instrumento de coleta de dados permite que o pesquisador combine
Mtodos e Tcnicas as vantagens do questionrio e com alguns aspectos positivos da
de Pesquisa. Editora entrevista.
Atlas: So Paulo, p.
49-58, 2008.
saiba
APLICAO DIRETA E INDIRETA DE ENTREVISTAS
As diferenas bsicas entre a aplicao direta e indireta de
entrevistas podem ser visualizadas no quadro abaixo:
acesse!
o que diz a norma?

58 CEGOV | UFRGS
VIDEOS TUTORIAIS
Quadro 4 - Diferenas entre aplicao direta e indireta de entrevistas
aula
tipo vantagens
a) o ndice de respostas mais alto do que em
aplicaes diretas;
desvantagens
3
b) normalmente, as pessoas apreciam mais falar a) apesar do crescente uso de
do que preencher questionrios; videoconferncias, a realizao de
direta
c) a entrevista face a face resolve o problema entrevistas a distncia ainda um

na inabilidade em responder por escrito. Por obstculo;
exemplo, analfabetos podem participar; b) sua realizao leva mais tempo do que
d) a intimidade propiciada pela relao a aplicao de um questionrio.
interativa da entrevista facilita a abordagem de
assuntos delicados.
a) no exige interao face a face. Pode ser a) quando no h interao face a face
distribudo por correio, internet e telefone. entre entrevistador e entrevistado,
Pode ser aplicado simultaneamente a vrios apresenta alta taxa de perguntas sem
indireta
entrevistados; resposta;
b) atinge maior nmero de pessoas; b) em casos em que no h a aplicao
c) obtm respostas mais rpidas; do questionrio atravs da leitura das
d) informantes podem se sentir mais seguros questes e alternativas pelo pesquisador,
por causa do seu carter annimo. no pode ser aplicado com analfabetos.
PESQUISAS EXPERIMENTAIS E QUASE-EXPERIMENTAIS

Na aula 2, aprendemos que os delineamentos de pesquisa podem
ser descritivos ou explicativos. Vimos tambm que o delineamento
explicativo pode ser dividido entre experimental e quase-experimental.
A seguir, conheceremos com mais detalhes esses dois subtipos e como a
sua adoo influencia no processo de coleta de dados.
PESQUISA EXPERIMENTAL
Neste delineamento de pesquisa, o pesquisador seleciona qual
grupo receber, ou no, o tratamento. A forma clssica desta seleo
o sorteio (aleatoriedade). Mas, se o pblico for muito diversificado
(alunos, escolas, municpios, etc.), requer-se a aplicao de alguma tcnica
de pareamento, a fim de torn-los comparveis. Assim, nas pesquisas
experimentais so necessrios os dois grupos: de tratamento (ou grupo
experimental) e de controle, isto , aquele que no receber o tratamento.
Tratamento: qualquer interveno que pode ser fornecida pelo
pesquisador (um medicamento, uma poltica pblica, um novo mtodo
de estudo) ou pode ser adotada por grupos, pessoas, municpios, pases -
de forma aleatria ou proposital.

Controle: Situao em que se pode garantir que todas as variveis
que podem explicar o fenmeno que queremos estudar sero mantidas
constantes, assim como o tratamento que dado a alguns e a outros no.
Por exemplo, 100 domiclios de um municpio precisam de
saneamento bsico. No entanto, apenas 50 deles receberam o benefcio.
O grupo tratamento refere-se queles que receberam o saneamento. O
grupo controle refere-se queles que, apesar de precisarem da mesma
forma do saneamento, no foram atendidos.
grupo de controle grupo de tratamento

Grupo que no ser o alvo da Grupo que recebe algum
interveno. Portanto, o que tratamento ou participa de
permitir dizer se a interveno alguma interveno.
teve impacto.
O processo de experimento se d da seguinte forma:

1. Seleciona-se um conjunto de unidades experimentais similares
(indivduos, municpios, pases, etc.);
2. Divide-se este conjunto de unidades em dois grupos;
3. A um dos grupos administra-se o tratamento (uma poltica
pblica, um remdio, nova metodologia de ensino, etc);
4. Ao outro no aplicado nenhum tipo de tratamento;
5. Compara-se o efeito do tratamento do grupo de controle em
relao ao que no recebeu.
questo tica nas pesquisas experimentais

difcil e eticamente questionvel a aplicao de determinados trata-
mentos nas Cincias que lidam com questes sociais. A situao proble-
mtica, para o uso de experimentos clssicos em avaliaes de progra-
mas, seria a questo de: o quo justo privilegiar um grupo que receber
um determinado benefcio de um programa em detrimento de outro?
Especificamente, quando estamos tratando de avaliao de programas
difcil adotarmos este desenho experimental, j que ele envolveria a dis-
tribuio aleatria de beneficirios e no beneficirios, o que pode gerar
questionamentos ticos: em que medida temos o direito de privar sujeitos
de receberem determinados benefcios, nica e exclusivamente por um
sorteio e no por outros critrios? Justamente por isso o delineamento
experimental em pesquisas de avaliao de programas pouco utilizado.
60 CEGOV | UFRGS
PESQUISA QUASE-EXPERIMENTAL

aula
As pesquisas quase-experimentais, assim como as pesquisas expe-
rimentais, so planejadas para responder questes sobre causas e efeitos;
porm, em situaes em que os experimentos no podem ser realizados.
3
Nestas pesquisas, so apenas observadas e comparadas as situaes que
j esto dadas. Desta forma, diferente da pesquisa experimental, onde o
pesquisador cria a situao para experimentar, na quase-experimental o
tratamento no dado pelo pesquisador.
Ao se observar a escolha e a seleo dos grupos a serem pesquisa-

dos, pode-se perceber que esta seleo ocorre naturalmente, isto , o pes-
leia
quisador no define quem vai receber o tratamento e quem no vai, mas
trabalha com uma realidade j dada. Em um estudo que pesquisa a situa-
o de crianas que sofrem violncia, por exemplo, a pesquisa analisar um
grupo de crianas que sofrem violncia e outro grupo de crianas que no RAMOS, Marlia.
sofre. Assim, no o pesquisador que submeter as crianas violncia. Avaliao de
Polticas e
Uma questo importante que os grupos naturalmente Programas
selecionados devem ser semelhantes e representativos, pois somente Sociais: Aspectos
saibae
Conceituais
assim sero comparveis. Por exemplo, compararam-se duas comunidades
Metodolgicos.
com as mesmas caractersticas scio-econmicas, em que numa delas
Planejamento e
foi institudo um programa de turismo rural e na outra no. Verifica-se, Polticas Pblicas.
ento, se as alteraes naquela comunidade onde foi instalado o programa Braslia: IPEA, 2009 .
podem ser decorrentes dele. So necessrias informaes, dessa forma,
sobre os pesquisados antes do tratamento e aps o tratamento.
Veja o exemplo abaixo da pesquisa sobre Reviso Cadastral
acesse!
apresentada desde o incio dessa aula. Nela, optou-se por um delineamento
transversal, quase-experimental. Esta opo notvel por dois fatores: 1)
porque os grupos foram estabelecidos aleatoriamente, ou seja, a amostra
foi selecionada por sorteio independente da escolha do pesquisador e, 2)
o que diz a norma?
os dois grupos selecionados passaram por um mesmo processo (bloqueio
de benefcio por no atualizao cadastral em 2010), mas foram divididas
em grupos (desbloqueados, revertidos e cancelados) e comparadas de
acordo. FERRAMENTA
DEFINIO DOS GRUPOS E AMOSTRA
VIDEOTECA
Trata-se de pesquisa de delineamento transversal e abordagem me-
todolgica quantitativa. Foram coletados dados com os gestores mu-
nicipais do Programa Bolsa-Famlia e beneficirios nos 148 municpios
sorteados para a amostra.
[...]
EXERCCIOS
Para definio da amostra, considerou-se como universo o conjunto de
famlias beneficirias do PBF que faziam parte da reviso cadastral de
2010 e que tiveram seus benefcios bloqueados por no atualizao do
cadastro.
GUIA DE EST
CICLO DE
CAPACITAO
MDS
Em resumo:
Quadro 5 - Sntese das diferenas entre pesquisas experimentais e quase-experimentais
pesquisas experimentais pesquisas quase-experimentais

Tipo de delineamento que normalmente
usa seleo aleatria, onde um grupo
Pesquisas que envolvem participantes e no
experimental especialmente criado
participantes de uma interveno. Quando
(submetido a um estmulo ou situao) para
a participao no ocorre de forma aleatria
ser comparado a um grupo de controle
(por sorteio, por exemplo), mas sim por algum
(privado do estmulo). Estas caractersticas
critrio ou deciso do participante.
permitem maior confiana nas verificaes de
relaes de causa e efeito.
Fonte: elaborao prpria

O uso de mtodos e tcnicas de coleta de dados garantem a
confiabilidade dos dados obtidos em uma pesquisa;
Mtodos so entendimentos mais amplos sobre como a pesquisa

deve ser feita. J as tcnicas so procedimentos mais operacionais
para a obteno de informaes;
A escolha dos mtodos e tcnicas dependem da pergunta e dos

objetivos da pesquisa;
Existe um conjunto mtodos e tcnicas que usualmente so

utilizados em pesquisas de avaliao.
REFERNCIAS
BAUER, Martin; GASKELL, George (Orgs.). Pesquisa Qualitativa: Com

Texto, Imagem e Som. Vozes: Petrpolis, 2002.
GIL, Antnio C. Mtodos e Tcnicas de Pesquisa. So Paulo: Atlas p. 49-
58, 2008.
GOLDENBERG, Miriam. A Arte de Pesquisar: Como Fazer Pesquisa
Qualitativa em Cincias Sociais. Rio de Janeiro: Editora Record, 2004.
? VIDEOS TUTORIAIS
Artmed, 2004.
FERRAMENTAS
62 CEGOV | UFRGS AVALIAO FINAL
PEREIRA, Alexandre. SPSS: Guia Prtico de Utilizao e Anlise de Dados
para Cincias Sociais e Psicologia. Lisboa: Edies Slabo, p. 70-73, 2004. aula
PINTO, Cli Regina Jardim. Elementos para Uma Anlise de Discurso
Poltico. Barbari. Santa Cruz do Sul, v. 24, n. 5, p. 78-109, dez 2005. 3
RAMOS, Marlia P. Pesquisa Social: Abordagem Quantitativa com Uso do
SPSS. Porto Alegre: Escritos, cap. 7, 2014.
REGO, Walquiria; PINZANI Alessandro. Vozes do Bolsa Famlia: Autonomia,
Dinheiro e Cidadania. So Paulo: Editora UNESP, 2013.
VAZ, Alexander et al. Estudos Avaliativos com Base na Integrao de
Registros Administrativos: a Experincia de Integrao do Cadastro nico
para Programas Sociais, Programa Bolsa Famlia e Sistema de Vigilncia
Alimentar e Nutricional. In: MINISTRIO DO DESENVOLVIMENTO SOCIAL E
COMBATE FOME. Cadernos de Estudos: Desenvolvimento Social em
Debate, n.17, 2014.

64 CEGOV | UFRGS
ANLISE, APRESENTAO aula
E DISSEMINAO DOS
RESULTADOS
4
Ol!
leia
Nesta aula conheceremos como os resultados de uma pes-
quisa de avaliao so apresentados, assim como o relatrio final e a
disseminao dos resultados para outras pessoas, instituies gover-
namentais, seminrios, congressos, encontros, dentre outros.
Para compreendermos mais claramente tais tpicos, exem-
saiba de duas cartilhas elabo-

plificaremos algumas pesquisas de avaliao
radas pelo Ministrio do Desenvolvimento Social e Combate Fome
conjuntamente com a Secretaria de Avaliao e Gesto da Informa-
o. So pesquisas j realizadas ou que ainda esto em execuo pelo
MDS que serviro, tambm, como subsdios para a interpretao dos
resultados e identificao das metodologias utilizadas na avaliao de leitura
programas sociais. obrigatria
Uma tima aula a todos!
acesse! JANUZZI, Paulo
de M. A Produo
de Informao e
VID
Conhecimento para
o que diz a norma? Aprimoramento
das Polticas e Pro-
gramas de Desen-
volvimento Social:
FERRAMENTAS AV
Princpios, Conceitos
Nesta aula voc vai aprender: e Caracterizao das
Quais so as tcnicas de anlise mais utilizadas em pesquisas de ava- Pesquisas de Avalia-
o Realizadas pela
liao; SAGI/MDS de 2011 a
VIDEOS VIDEOTECA BIB

Quais os elementos que compem um relatrio final; 2014. In: MINISTRIO
de avaliao; TUTORIAIS
De que maneira pode-se disseminar os resultados de uma pesquisa
De que maneira a SAGI dissemina os resultados de suas pesquisas;

DO DESENVOLVI-
MENTO SOCIAL E
COMBATE FOME.
EXERCCIOS SO
Quais so algumas das pesquisas realizadas pela SAGI e de que ma- Cadernos de Estu-
RRAMENTAS neira elas se estruturam.

AVALIAO FINAL dos: Desenvolvimen-
to Social em Debate.
Braslia, n. 16, 2014.
DEOTECA GUIA DE ESTUDOS

BIBLIOTECA SO
ERCCIOS SOBRE O MOODLE CICLO DE

CAPACITAO ATENO
SUMRIO DA AULA 4
Anlise e apresentao de resultados de pesquisa 66
Anlise Qualitativa de Dados 66
Anlise Quantitativa de Dados 68
Tabelas 70
Grficos 71
Elaborao do Relatrio Final 72
Estrutura do relatrio 73
Como so divulgadas as pesquisas de avaliao do MDS? 74
Exemplos de pesquisa da SAGI 77
Pesquisa 1 77
Pesquisa 2 78
Pesquisa 3 80
Pesquisa 4 82
Pesquisa 5 84
Pesquisa 6 85
Pesquisa 7 87
Pesquisa 8 89
ANLISE E APRESENTAO DE RESULTADOS DE

PESQUISA
Depois da etapa de coleta, o desafio analisar os dados levantados
pela pesquisa. Para tanto, existe um conjunto de tcnicas qualitativas e
quantitativas que sero apresentadas a seguir.
ANLISE QUALITATIVA DE DADOS

A anlise qualitativa dos dados pode ser feita atravs da anlise
de contedo ou de discurso.
66 CEGOV | UFRGS

a ANLISE DE CONTEDO
aula
leia
Nessa tcnica, o pesquisador rene todos os dados coletados
durante a pesquisa. So ideais para anlise de contedo materiais como
transcries de entrevistas ou grupos focais ou outros documentos (leis, Exemplos de Anlise
4
cartas, dirios, notcias de jornais e revistas, obras literrias, etc.). Aps de Contedo:
organizar todo o seu material de pesquisa, o pesquisador passa para a REGO, Walquiria;
etapa de categorizao de seus dados. Esse o principal momento da PINZANI Alessandro.
Vozes do Bolsa
anlise de contedo. A categorizao consiste na separao de trechos
saiba
Famlia: Autonomia,
do texto analisado em categorias criadas pelo pesquisador, a partir do seu Dinheiro e Cidadania.
referencial terico ou do tema que est pesquisando. So Paulo: Editora
UNESP, 2013.
Imagine que, durante uma entrevista, o pesquisador pergunte
a opinio do entrevistado sobre o Programa Bolsa-Famlia e obtenha a
seguinte:
acesse!
Acho o Bolsa-Famlia uma poltica importante de transferncia de renda.
Essa histria de que o Bolsa incentiva as pessoas a se acomodarem mentira.
Ningum se contenta com esse valor. As pessoas querem trabalhar, conseguir
o seu dinheiro. O Bolsa apenas o primeiro passo para sair da pobreza. o que diz a norma?
O trecho acima pode ser classificado em diversas categorias,

dependendo do objetivo da pesquisa. Por exemplo, pode-se classific-lo
nas categorias Opinio favorvel ao Bolsa Famlia, Trabalho e Bolsa Famlia,
Mitos do Bolsa Famlia, etc. A categorizao pode ser feita com o auxlio de
softwares como o Nvivo, o WebQDA e o Atlas.ti, dentre outros.
FERRAMENTA
VIDEOTECA
Atravs da classificao de trechos do texto em categorias
analticas, a anlise de contedo atinge os seus objetivos de sistematizar
temas, interpretaes, tipologias de opinio, dentre outros aspectos,
facilitando a compreenso dos dados coletados.
b ANLISE DE DISCURSO EXERCCIOS

Quando um psicanalista analisa o sonho de um paciente, ele no
GUIA DE ESTU
est interessado na histria do sonho em si. A ele interessa o que o sonho
simboliza sobre a realidade de seu paciente. De maneira semelhante,
a anlise no tem como objeto o texto em si, mas sim as construes
ideolgicas que esto por trs do texto.
Ao contrrio da anlise de contedo, que centra sua anlise na
mensagem expressa pelo texto, a anlise de discurso tem como foco o CICLO DE
modo como construdo o argumento e como essa construo reflete a CAPACITAO
realidade social vivida pelo interlocutor, com suas hierarquias de valores,

argumentos e representaes.
MDS
Para a anlise de discurso, todo discurso uma construo social.
Ele reflete no apenas a viso de mundo de quem o produz, mas tambm
da sociedade em que se vive. A partir de sua anlise, possvel entender o
contexto social no qual ele produzido.

leia
BAUER, Martin. Anlise de Contedo Clssica: Uma Reviso. In: BAUER,
Martin; GASKELL, George (Orgs.). Pesquisa Qualitativa: Com Texto, Ima-
gem e Som. Vozes: Petrpolis, 2002.
PINTO, Celi. Elementos para uma Anlise de Discurso Poltico. Barba-
ri, v. 24, p. 87-118, 2006.
saiba
ANLISE QUANTITATIVA DE DADOS

A anlise quantitativa de dados pode ser feita atravs de tcnicas
acesse! descritivas (frequncia e cruzamentos) ou tcnicas inferenciais (modelos
estatsticos).
o que diz a norma? a FREQUNCIA E CRUZAMENTOS VIDEOS TUTORIAIS

As anlises quantitativas mais comuns so as frequncias.
Frequncia a contagem de alguma coisa. Esse tipo de anlise permite

verificar a prevalncia de um fenmeno na amostra. A tabela do exemplo
abaixo mostra a contagem de pessoas muito satisfeitas, mais ou menos
satisfeitas ou insatisfeitas com a sua situao financeira familiar. Ou
seja, foi realizada a contagem de quantos elementos optaram por cada
uma dessas categorias quando responderam a questo sobre satisfao
financeira familiar. uma tabela de frequncia.
EXERCCIOS
Tabela 1 - Satisfao financeira familiar
Muito satisfeito
Frequncia
22
SOBRE O MOODLE
Percentual
25,6
Mais ou menos 42 48,8
GUIA DE ESTUDOS Insatisfeito

Total
22
86 SOBRE O CURSO
25,6
100,0
CICLO DE A tabulao de diversas categorias e as suas frequncias formam

CAPACITAO ATENO
as distribuies de frequncias. As distribuies de frequncia tambm
Ministrio do
MDS
e Combate Fome
CURSOdeENCERRADO
podem conter a porcentagem cada uma das categorias. Essa tabulao
pode ser realizada por softwares especficos, como Excel e o SPSS.
Embora as tabelas de frequncia sejam instrumentos importantes
para a descrio dos dados, muitas vezes preciso ir alm. Para isso, inte-
ressante utilizar as anlises de cruzamento de variveis. Para realizar um cru-
zamento, necessrio partir de uma relao hipottica entre duas variveis.
Na tabela abaixo, do exemplo, as variveis escolhidas foram o
grau de satisfao de beneficirios de um determinado programa e a sua
68 CEGOV | UFRGS

regio de moradia. A relao hipottica da qual est se partindo para a
construo dessa tabela a de que a satisfao com o programa est rela- aula
cionada com a regio de moradia do indivduo.
Tabela 2 - Satisfao dos beneficirios com o Programa por regio de moradia

4
Nordeste Sul

Muito satisfeito 25,6 21,2
leia
Mais ou menos 48,8 48,5
Insatisfeito 25,6 30,3
Total 100% 100%
N 86 33 PEREIRA, Alexandre.
SPSS: Guia Prti-
Fonte: elaborao prpria. co de Utilizao e
Anlise de Dados
para Cincias Sociais
saiba Lisboa:
e Psicologia.
Edies Slabo, p.
por que as porcentagens foram calculadas pelas colunas? 70-73, 2004.
RAMOS, Marlia.
Porque parte-se da hiptese de que o grau de satisfao com o pro- Pesquisa Social:
grama depende da regio de moradia da pessoa. De acordo com essa Abordagem Quan-
hiptese, a regio de moradia a varivel independente e o grau de
satisfao do programa a varivel dependente, isto , que afeta- acesse!
titativa com Uso do
SPSS. Porto Alegre:
da pela varivel independente. Por conveno, as porcentagens so Escritos, cap. 7,
sempre calculadas onde est a varivel independente. 2014.
o que diz a norma?

Conforme visto na aula 2, sempre que se est trabalhando
com amostras, deve-se realizar testes estatsticos que digam qual a
FERRAMENT
probabilidade da tendncia encontrada na amostra ocorrer na populao
de onde ela foi extrada. Para generalizar a tendncia encontrada em um
cruzamento, necessrio fazer testes estatsticos mais avanados que
confirmem essa tendncia.
VIDEOTECA
O quadro a seguir apresenta um resumo dos aspectos
metodolgicos abordados nesse curso:
Quadro 1 - Resumo dos aspectos metodolgicos
abordagem mtodos tcnicas de

coleta de dados dados
EXERCCIOS
tcnica de anlise de
GUIA DE EST
Entrevistas semi-
Estudos de caso,
estruturadas ou no Anlise de Contedo e
qualitativa Etnografia, histrias
estruturadas, Grupos focais, de Discursos.
de vida (biogrfico).
Observao participante.
Levantamentos de Tabelas de frequncias,
quantitativa campos (surveys), Questionrios cruzamentos, testes
Censos. estatsticos.
CICLO DE
Fonte: elaborao prpria. CAPACITAO
MDS
Com base nessas informaes sobre as tcnicas e os mtodos
de coleta e anlise de dados, sero exploradas, a seguir, as formas de
apresentao dos resultados de pesquisas.
Os resultados da anlise dos dados podem ser apresentados

em vrios formatos. No caso dos resultados de anlises quantitativas, as
formas mais utilizadas so as tabelas e os grficos.
TABELAS
As tabelas podem apresentar dois formatos: de dados brutos ou
analticas.
Tabelas com dados brutos: o caso das tabelas de frequncia,

que apresentam a simples contagem da apario de um elemento.
Tabela 3 - Notas dos alunos em um teste

Alunos Nota em um teste
Pedro 5,6
Ana 7,8
Maria 10,0
Jos 8,0
Joo 8,6
Carlos 5,6
Teresa 4,5
Vanessa 9,0
A tabela acima sistematiza as notas de alunos em uma prova.

Nota-se que os dados no passaram por nenhum tratamento estatstico,
sendo apresentados de forma bruta.
Tabelas analticas: apresentam os resultados de algum tipo

de manipulao dos dados brutos. o caso das tabelas de porcentagem.
Tabela 4 - Porcentagem de alunos por nota em teste

Notas em um teste Porcentagem
3-5 20
+5-8 50
+8-10 30
Na tabela acima, foram criadas faixas de notas e se calculou a

porcentagem de alunos que obtiveram notas dentro de cada faixa. Ou
70 CEGOV | UFRGS
seja, os dados brutos (notas dos alunos) foram manipulados a fim de
obter os percentuais de alunos que tiraram notas em cada uma das faixas. aula
algumas regras para a elaborao de tabelas

4
A tabela deve ter um ttulo. O ttulo normalmente antecedido da pa-
lavra tabela e do n da tabela;
Tabelas so sempre abertas dos lados. Quando as bordas laterais so fe-
chadas, tem-se quadros, que so mais adequados para exposio de texto;
Toda a tabela deve indicar sua fonte na parte inferior.
As tabelas no so o nico meio de apresentao da quantificao

de dados. Os grficos tambm podem ser um instrumento importante
para esse fim, como pode ser visto a seguir.
GRFICOS
Os grficos so muito usados, pois facilitam a visualizao
da informao. Entretanto, no se pode utilizar qualquer grfico para
apresentar uma informao. Para cada tipo de dado existe um grfico
especfico, mais adequado para sua exposio, como, por exemplo,
grficos de barra ou histogramas.
Grficos de Barra: So grficos em que as colunas esto
colocadas lado a lado, mas no se tocam. Devem ser utilizados para
variveis sem valor decimal.
Figura 1 - Exemplo de Grfico de Barras
50
40
FREQUNCIA
30
20
10
0
Animista
Budista
Catlica
Hebraica
Hindu
Muulmana
Ortodoxa
Protestante
Taosta
Tribal
RELIGIO PREDOMINANTE

300
0
Animista
Budista
Catlica
Hebraica
Hindu
Muulmana
Ortodoxa
Protestante
Taosta
Tribal
RELIGIO
Histograma: grfico PREDOMINANTE
em que as barras tocam-se. utilizado
para variveis que possuem casas decimais.
Figura 2- Exemplo de Histograma
300
200
FREQUNCIA
100
0
0 2 4 6
Fonte: elaborao prpria. ESCOLARIDADE
Determinada a forma de apresentao dos dados de uma pesquisa,

parte-se para a elaborao do relatrio final, que ser apresentado a seguir.
ELABORAO DO RELATRIO FINAL

O relatrio a parte final de uma pesquisa. O seu objetivo
apresentar o resultado da pesquisa de modo que o leitor compreenda
quais as informaes obtidas, como foram obtidas e quais as concluses
que o pesquisador extrai dessas informaes.
propsitos gerais de um relatrio

Apresentar a pergunta, procedimentos para obteno de informaes
e informaes obtidas;
Comunicar os resultados da pesquisa;
Realizar uma anlise, chegando a concluses e recomendaes sobre o
tema pesquisado.
O formato dos relatrios pode variar de acordo com o pblico

ao qual ele destinado. Contudo, existe um conjunto de elementos que
normalmente esto presentes em qualquer relatrio, que sero explorados
a seguir.
72 CEGOV | UFRGS
ESTRUTURA DO RELATRIO aula
Um relatrio apresenta a seguinte estrutura:
4
a SUMRIO EXECUTIVO:
Contendo uma sntese do que ser apresentado no relatrio.
b INTRODUO:
A introduo deve conter:
A apresentao do tema de pesquisa;
A exposio do problema e das hipteses de pesquisa;
Os objetivos da pesquisa;
A justificativa da realizao da pesquisa;
A apresentao do objeto a ser estudado.
c DESENVOLVIMENTO
No desenvolvimento so apresentadas:
A caracterizao do objeto: contendo uma descrio
aprofundada, baseada em dados, do objeto em estudo.
O esquema de investigao: explicitando os procedimentos
utilizados para obteno de dados, fontes onde os dados foram coletados,
justificativa para escolhas de mtodo e tcnicas de pesquisa.
A apresentao e anlise dos dados: com a exposio dos
dados obtidos, a anlise dos dados e a interpretao dos resultados
encontrados na anlise.
d CONCLUSES:
As concluses apresentam as principais descobertas da pesquisa
em que se destacam as contribuies e limitaes da mesma e expe as
recomendaes de mudana no programa analisado.
e ANEXOS
Em que so includas tabelas, quadros, fotos, grficos, figuras,
roteiro de entrevistas e questionrios que no constaram no texto
principal do relatrio.

f REFERNCIAS BIBLIOGRFICAS
Contendo os livros, artigos e outros tipos de documentos citados
durante o relatrio. Devem ser colocados de acordo com as normas da
Associao Brasileira de Normas Tcnicas (ABNT).
disseminao dos resultados para o aprimoramento da

gesto de programas sociais

Os achados de uma pesquisa de avaliao de um programa tambm po-
dem ser teis para outros programas, com propostas similares. Por esse
motivo, importante compartilhar os resultados obtidos. A disseminao
dos resultados pode ser feita pela internet ou em apresentaes em semi-
nrios sobre o tema.
ateno!

Antes de utilizar uma pesquisa de avaliao disponibilizada por tercei-

leia
ros, certifique-se de que a avaliao produziu dados confiveis, basea-
dos em mtodos robustos.
Para compartilhar os dados de uma pesquisa, preciso garantir a preser-
vao do anonimato das pessoas pesquisadas
saiba
COMO SO DIVULGADAS AS PESQUISAS DE
AVALIAO DO MDS?
A Secretaria de Avaliao e Gesto da Informao encomenda
acesse! pesquisas para avaliao dos programas coordenados pelo MDS. Para isso,
estabeleceu-se uma rotina de procedimentos que envolve os seguintes
passos: a definio do problema, a elaborao dos termos de referncia
o que diz a norma? resultados. VIDEOS TUTORIAIS

de pesquisas, a contratao, o acompanhamento, a divulgao dos
Desde 2004, mais de 130 pesquisas de avaliao foram realizadas

pelo MDS. Seus resultados so divulgados no portal de pesquisas de

avaliao da SAGI(http://aplicacoes.mds.gov.br/sagirmps/simulacao/
sum_executivo/pg_principal.php?url=abertura). Em razo do grande
volume de dados, as informaes das pesquisas so divulgadas de forma
gradativa.
No portal de pesquisas de avaliao da SAGI os resultados so
disponibilizados de trs formas:
EXERCCIOS SOBRE O MOODLE

74 CEGOV | UFRGS

a SUMRIO EXECUTIVO aula
Sntese de todos os elementos da pesquisa. Em determinadas
situaes, substituindo o sumrio executivo, os resultados da pesquisa
4
podem ser apresentados no portal por meio de artigo tcnico-cientfico,
publicao, relatrio de pesquisa ou de estudo tcnico especfico.
b FICHA TCNICA
Forma simplificada de divulgao de resultados de uma pesquisa.

Rene dados institucionais relacionados ao contratante e o realizador
da pesquisa. Esse formato compe, por exemplo, a publicao Caderno
de Snteses das Pesquisas de Avaliao de Programas Sociais do MDS,
que periodicamente rene o contedo sinttico de todas as pesquisas
realizadas pela SAGI/MDS.
c MICRODADOS
Microdados so as informaes individualizadas de uma
pesquisa quantitativa. Cada resposta de cada individuo pesquisado est
discriminada. Isso possibilita que, a partir desses dados, sejam realizados
testes estatsticos mais complexos que, com os dados j agregados
em grupos, no poderiam ser feitos. importante ressaltar que, para a
disponibilizao desses dados, fundamental garantir que o anonimato
dos entrevistados seja preservado. Nenhum aspecto que permita revelar
a identidade de um entrevistado pode ser publicizado.
Em at 1 (um) ano aps o encerramento, os microdados
so disponibilizados no Portal da Sagi, com o objetivo de permitir
aprofundamento analtico das pesquisas por outros pesquisadores. Alm
da base de dados, so disponibilizados um dicionrio de variveis e os
questionrios utilizados.
d PUBLICAES
Alm dos recursos previamente apresentados - sumrio-
relatrios, microdados-, a SAGI divulga suas pesquisas nos Cadernos de
Estudos de Desenvolvimento Social, nos estudos tcnicos da SAGI, em
livros e revistas peridicas, como o RBMA. Elas tambem estao disponiveis
no portal da SAGI (http://aplicacoes.mds.gov.br/ sagirmps/ferramentas/
nucleo/grupo.php?id_grupo=53).

Figura 3 - Capas de Publicaes da SAGI
Fonte:http://aplicacoes.mds.gov.br/sagirmps/ferramentas/nucleo/grupo.php?id_gru-
po=53.

e CAPACITAO
Com base nos princpios da Educao Permanente, as aes de
formao desenvolvidas pelo Departamento de Formao e Dissemina-
o (DFD) da SAGI procuram assegurar mais efetividade na gesto das po-
lticas e programas do MDS, proporcionando espaos de reflexo e apren-

dizagem que proporcionem conhecimento conceitual e instrumental para
leia
enfrentar os permanentes desafios relativos s polticas sociais no Brasil.
Os diferentes aspectos da operao dos programas, seus objetivos, as
normas tcnicas, os pblicos atendidos, os problemas recorrentes, as solu-
Estudo Tcnico SAGI es especficas encontradas em um ou outro local so alguns temas que,
22/2014 Formao ao serem explicitados de forma adequada para os agentes pblicos e so-
em monitoramen-
ciais envolvidos, podem contribuir para sucesso das polticas e programas.
to e avaliao: A
experincia da SAGI Dentre as iniciativas de capacitao em polticas de desenvolvi-
saiba
e CEGOV na capa- mento social organizadas pelo DFD para agentes das trs esferas de go-
citao de agentes verno, destacam-se o Programa CapacitaSUAS, planejado em parceria
pblicos estaduais e
municipais. Dispon-
com a SNAS; o CapacitaSAGI, com aes implementadas com o Centro
vel em: http://goo.gl/ de Estudos Internacionais sobre Governo (CEGOV/UFRGS); o Programa de
sMkgWK Aperfeioamento em Polticas de Desenvolvimento Social, com apoio da
Escola Nacional de Administrao Pblica (ENAP); o Ciclo de Atualizao
acesse! de Servidores do MDS, em parceria com a Coordenao Geral de Recursos
Humanos do MDS (CGRH/MDS) e as oficinas EaD SAGI.
o que diz a norma? VIDEOS TUTORIAIS

76 CEGOV | UFRGS

EXEMPLOS DE PESQUISA DA SAGI aula
A seguir sero apresentadas algumas das pesquisas de avaliao

ateno!
4

realizadas pela SAGI/MDS e que foram includas em dois documentos:
leia
Cadernos de Estudos Desenvolvimento Social em Debate Sntese das As pesquisas apre-
Pesquisas de Avaliao de Programas Sociais do MDS 2011-2014 (nmero sentadas a seguir
16) e Avaliao de polticas pblicas: reflexes acadmicas sobre o esto resumidas.
Para visualiz-las na
desenvolvimento social e o combate fome.
ntegra, acesse o ma-
terial complementar
PESQUISA 1: AVALIAO DA NOVA MODALIDADE DE CONCESSO

DO BPC PESSOA COM DEFICINCIA (CIF)1 saiba
OBJETIVO: Avaliar, a partir dos profissionais do Instituto Nacional de

Seguridade Social (INSS), os alcances e limitaes do novo modelo para
concesso do Benefcio de Prestao Continuada (BPC) para pessoas que
possuem deficincia que as incapacitam a ter uma vida independente, acesse!
especialmente em relao ao trabalho, com base na Classificao Interna-
cional de Funcionalidade, Incapacidade e Sade (CIF).
MTODO: Qualitativo. Os dados foram coletados a partir de grupos fo-

cais compostos por mdicos peritos e assistentes sociais do INSS desde o
o que diz a norma?
incio da implementao do novo modelo de avaliao baseado no CIF.
Formaram-se dez grupos focais, cinco com 10 assistentes sociais, em m-
dia, e os outros cinco com 8 mdicos peritos, em mdia. Foram escolhidas
cinco cidades brasileiras: Braslia/DF, Belo Horizonte/MG, Recife/PE, So
Paulo/SP e Porto Alegre/RS. Os grupos focais duraram, em mdia, duas
FERRAMEN
horas e as dinmicas foram gravadas, com consentimento dos participan-
tes, e transcritas para anlise posterior.
PRINCIPAIS RESULTADOS: De acordo com os participantes, o instru-

VIDEOTEC
mento no est captando os reais beneficirios devido falta de capaci-
EXERCCIO
taes e conscientizao por parte da maioria dos profissionais sobre o
significado e fins do BPC. H, tambm, dificuldades na aplicao do instru-
mento de avaliao do BPC: grande nmero de avaliaes dirias impossi-
bilitando a realizao de outros trabalhos importantes e, ainda, a presena
GUIA DE E
de um pequeno nmero de profissionais para atendimento demanda.
Os grupos manifestaram a vontade de fixar as conversas no
contexto, no processo de implementao no BPC, no ambiente que
permeia a concesso e, principalmente, aproveitar o momento de
integrao para a retirada de dvidas, especialmente sobre o questionrio.
Constata-se, portanto, que h uma carncia de encontros peridicos para
CICLO DE
a troca de informaes e experincias sobre o processo de concesso CAPACITAO
entre os profissionais.
MDS
(1) Executada por pessoa fsica, Mariane Miguel Chaves e Cristiane Torisu Ramos
durante o perodo de setembro de 2010 a julho de 2011.

Quadro 2 - Sistematizao de pesquisa de avaliao, o caso da Avaliao da Nova Modalidade de
Concesso do BPC Pessoa com Deficincia (CIF)
pesquisa Avaliao da Nova Modalidade de Concesso do BPC Pessoa com Deficincia (CIF)
Avaliar, a partir da participao de profissionais do Instituto Nacional de Seguridade
Social (INSS), os alcances e limitaes do novo modelo para concesso do Benefcio
objetivo de Prestao Continuada (BPC) para pessoas que possuem deficincia que a
incapacita a ter uma vida independente
Avaliar e demonstrar potencialidades e limitaes dos processos de trabalho de
objetivos assistentes sociais e mdicos peritos;
especficos Explicitar o processo de aplicao do questionrio aos beneficirios;
Identificar possveis demandas de assistentes sociais e mdicos peritos.
abordagem Qualitativa
tcnicas de Grupos focais

pesquisa
10 grupos focais: 5 deles com 10 assistentes sociais, em mdia; e outros 5 com 8
amostra mdicos peritos, em mdia. Total de 90 profissionais, em mdia.
Fonte: elaborao prpria com base nas informaes dos Cadernos de Estudos Desenvolvimento Social em Debate
Sntese das Pesquisas de Avaliao de Programas Sociais do MDS 2011-2014 (nmero 16) e Avaliao de polticas
pblicas: reflexes acadmicas sobre o desenvolvimento social e o combate fome
PESQUISA 2: AVALIAO DO IMPACTO DOS PROGRAMAS SOCIAIS

ADMINISTRADOS PELO MDS NO VALE DO JEQUITINHONHA MG2
OBJETIVO: Analisar o impacto e avaliar as contribuies para a integra-

o dos programas sociais, especificamente o Programa Bolsa Famlia. Cap-
tar os impactos que as iniciativas tiveram na vida dos beneficirios em con-
trapartida aos no beneficirios da Regio do Vale do Jequitinhonha MG.
MTODO: Quantitativo. Foi utilizada uma amostra de 10.000 famlias,

sendo 2.000 titulares divididos em 1.000 beneficirios e 1.000 no benefi-
cirios, e 8.000 reservas, tambm divididos em 4.000 beneficirios e 4.000
no beneficirios. As famlias da mostra foram sorteadas aleatoriamente a
partir do Cadastro nico de residentes do Vale do Jequitinhonha, o qual,
na poca, abrangia, aproximadamente, 130.000 famlias.
De acordo com o cadastro, o nmero de famlias beneficirias
menor do que o de no beneficirias; portanto, optou-se por sortear pri-
meiro os indivduos no beneficirios e conhecer seus locais de residncia,
para depois sortear, nesses mesmos municpios, as famlias beneficirias.
Foram sorteadas 1.000 famlias no beneficirias, sendo 333 do
Alto Jequitinhonha, 333 do Mdio Jequitinhonha e 334 do Baixo Jequiti-
nhonha. Tais famlias abrangiam 51 municpios e 431 localidades distintas
(2) Executada pela Datamtrica Consultoria, Pesquisa & Telemarketing durante

o perodo de fevereiro de 2008 a maro de 2009.
78 CEGOV | UFRGS
(distritos, bairros, fazendas e etc.), que compuseram o universo para sor-
teio das famlias beneficirias (1.000) e as reservas dos dois grupos (4.000 aula
beneficirios e 4.000 no beneficirios).
Foram utilizadas duas metodologias para anlise dos dados. A
primeira consiste em testar, estatisticamente, as mdias e propores de
4
um conjunto de variveis, demonstrando as diferenas entre as famlias
beneficirias (grupo tratamento) e no beneficirias (grupo controle). A
segunda, de natureza economtrica, denomina-se Propensity Score. Tal
modelo, parte do princpio de que existe heterogeneidade entre o p-
blico-alvo do PBF e que estes, sejam de fato beneficirios ou no, podem
ser alocados em ordem crescente quando se tomam como referncia os
critrios objetivamente definidos para selecionar os beneficirios.
A heterogeneidade do grupo-meta (das duas categorias) visu-
alizada conforme a aplicao das variveis: a) a situao do chefe da fa-
mlia, b) a composio familiar c) a composio e valor da renda familiar,
d) a riqueza familiar; e) as condies da habitao e etc. Ao comparar os
valores das variveis aplicadas, cada famlia foi colocada em ordem cres-
cente, adquirindo tambm um nmero-sntese que representa a sua pro-
babilidade de ser selecionada para o programa.
PRINCIPAIS RESULTADOS: Traando um perfil das famlias partici-

pantes da pesquisa, percebeu-se que as beneficirias so, em mdia, um
pouco maiores que as do grupo controle e, considerando a renda familiar
(total e per capita), verificou-se, em mdia, que mais elevada nas fam-
lias pertencentes ao grupo controle. No que diz respeito escolaridade,
h praticamente o mesmo nmero de analfabetos nos grupos controle e
tratamento. No entanto, na questo do tempo mdio de permanncia na
escola, percebeu-se uma superioridade do grupo controle.
No foram encontradas diferenas significativas entre os dois
grupos, em relao ao fornecimento de infraestrutura disponvel no
local da residncia, considerando os seguintes aspectos: origem da gua
potvel, destino das guas servidas (esgoto), disponibilidade de energia
eltrica e presena de cisternas (para os habitantes rurais).
Ao analisar as evidncias de forma conjunta, e levando em con-
siderao os objetivos do PBF, notou-se que o grupo controle encontra-se,
em geral, em melhores condies em todas as variveis testadas, compa-
rando com o grupo beneficirio. Acredita-se que o nmero de indivduos e
a frequncia de aposentados e pensionistas nas famlias so variveis que
mais determinam a incluso ou no no PBF, pois se configuram como os
principais indicadores da diferena de renda per capita entre os dois gru-
pos.
IMPACTOS MAIS SIGNIFICATIVOS: Para testar a hiptese de que o

PBF teve impacto sobre os beneficirios, como a diminuio das desigual-
dades existentes, tomou-se como base a situao atual das famlias pes-
quisadas que apresentam renda per capita compatvel com aquela que as
famlias do grupo tratamento tinham antes de ingressarem no programa.
Considerando as distribuies de frequncias das diversas

variveis para o conjunto das famlias do grupo controle mas apenas as
famlias com renda per capita igual ou inferior a R$ 83,00 (oitenta e trs
reais) e testando as diferenas entre as mdias dessas distribuies
e aquelas correspondentes s famlias pertencentes ao grupo dos
beneficirios, chegou-se a seguinte concluso: as condies de vida dos
beneficirios teriam de fato evoludo aps o seu ingresso no Programa.
Essa evoluo, entretanto, foi discreta e no contemplou a maior parte dos
objetivos esperados. Houve melhoria das condies de habitao quanto
ao uso de energia eltrica e de banheiro; algumas pessoas comearam a
frequentar cursos de capacitao sobre gestao e cuidados com os bebs
e, em algumas famlias, o acesso ao crdito e acompanhamento das suas
atividades tornaram-se mais frequentes.
Quadro 3 - Sistematizao da pesquisa de avaliao, o caso da Avaliao do Impacto dos Programas

Sociais Administrados pelo MDS no Vale do Jequitinhonha MG
Avaliao do Impacto dos Programas Sociais Administrados pelo MDS no Vale do

pesquisa Jequitinhonha MG
Analisar o impacto e avaliar as contribuies para a integrao dos programas so-
objetivo ciais, especificamente o Programa Bolsa Famlia.
Captar os impactos que as iniciativas tiveram na vida dos beneficirios, em contra-
objetivos partida aos no beneficirios;
especficos Traar os perfis das famlias beneficirias e no beneficirias do PBF;
abordagem Quantitativa
tcnicas de Pesquisa amostral com entrevista estruturada

pesquisa
10.000 famlias, sendo 2.000 titulares divididos em 1.000 beneficirios e 1.000 no
amostra beneficirios, e 8.000 reservas, tambm divididos em 4.000 beneficirios e 4.000 no
beneficirios.
pblicas: reflexes acadmicas sobre o desenvolvimento social e o combate fome
PESQUISA 3: PESQUISA DE AVALIAO DA SITUAO DE SEGU-

RANA ALIMENTAR E NUTRICIONAL DE FAMLIAS INSCRITAS NO
CADNICO COM CRIANAS MENORES DE CINCO ANOS DE IDADE,
RESIDENTES NO SEMIRIDO3
OBJETIVO: Descrever o quadro atual de segurana alimentar e nutricio-
nal, assim como o perfil scio-econmico das famlias com crianas meno-
res de cinco anos inscritas no Cadastro nico.
(3) Executada por Indago Consultoria Ltda.
80 CEGOV | UFRGS
Avaliar o Programa de Formao e Mobilizao Social para
Convivncia com o Semirido Brasileiro: Segurana e Soberania Alimentar aula
Atravs do Acesso e Manejo Sustentveis da Terra e das guas - P1+2
por meio de dois grupos: o primeiro de famlias beneficirias efetivas do
programa e o segundo de famlias potenciais para o programa que ainda
4
no foram cadastrados.
MTODO: Quantitativo. Previu a realizao de entrevistas em domiclios

de famlias inscritas no Cadnico e que tinham dentre seus moradores
pelo menos uma criana com menos de cinco anos de idade. Foram co-
letados dados antropomtricos (peso e altura) de todas as crianas nesta
faixa etria do domiclio e a captura automtica das coordenadas geogr-
ficas dos domiclios visitados.
O acesso aos dados das famlias inscritas no Cadnico foi permitido
mediante adeso da Contratada ao Termo de Responsabilidade pelo uso
da base, ficando ela obrigada a resguardar a intimidade dos cadastrados e
a zelar pela confidencialidade dos dados acessados, cumprindo fielmente
o disposto no Termo de Responsabilidade e no Decreto n. 6.135, de 26 de
julho de 2007.
PRINCIPAIS RESULTADOS: Pessoas entrevistadas em 17.624 domic-

lios, distribudos em 375 municpios em nove estados da regio do Semi-
rido brasileiro. Nestes domiclios, coletaram-se informaes sobre 74.587
pessoas e foram realizadas medies antropomtricas em 20.928 crianas
com at cinco anos de idade (incompletos).
A taxa de analfabetismo entre os responsveis pelo domiclio
maior nas reas rurais (12,8%) do que urbanas (8,9%). Enquanto quase a
metade (49,2%) dos responsveis na rea rural possui grau de escolaridade
at a quinta srie completa (sexto ano do ensino fundamental), nas zonas
urbanas a metade dos responsveis (50,4%) possui a stima srie completa
(oitavo ano), indicando uma escolaridade maior nestas reas.
Por sua vez, a cobertura do PBF atinge 92,5 % dos elegveis (79,6%
das famlias). Aplicando-se a Escala Brasileira e Insegurana Alimentar
(EBIA), considerando a preocupao com o assunto (IA leve), a diminuio
de variedade e quantidade de alimentos disponveis (IA moderada) e a
diminuio do nmero de refeies realizadas (IA grave), verificou-se que
no, universo investigado, a IA grave atinge ainda 17,3% das casas e a IA
moderada cerca de um tero dos domiclios.

Quadro 4 - Sistematizao de pesquisa de avaliao, o caso da Pesquisa de avaliao da situao de
segurana alimentar e nutricional de famlias inscritas no Cadnico com crianas menores de cinco
anos de idade, residentes no Semirido
Pesquisa de avaliao da situao de segurana alimentar e nutricional de famlias inscri-

pesquisa tas no Cadnico com crianas menores de cinco anos de idade, residentes no Semirido.
Descrever o quadro atual de segurana alimentar e nutricional, assim como o perfil scio-
objetivo -econmico das famlias com crianas menores de cinco anos inscritas no Cadastro nico.
Estimar a prevalncia de eutrofia, de desnutrio e de excesso de peso em crianas me-
nores de 5 anos de idade (usando indicadores Peso/Idade, Altura/Idade e Peso/Altura);
Estimar a prevalncia de dficit de estatura em crianas menores de 5 anos de idade;
Estimar a prevalncia de baixo peso ao nascer;
objetivos Avaliar a situao de segurana alimentar das famlias;
especficos Descrever as caractersticas scio-econmicas das famlias;
Avaliar a situao de ocupao das famlias;
Identificar e avaliar o acesso das famlias a servios, benefcios e programas sociais e
servios pblicos.
tcnicas de Pesquisa amostral com questionrio estruturado

pesquisa
amostra 74.587 pessoas e 20.928 crianas.
pblicas: reflexes acadmicas sobre o desenvolvimento social e o combate fome.
PESQUISA 4: DO PONTO DE VISTA DAS CRIANAS: UMA AVALIAO

DO PROGRAMA BOLSA FAMLIA.
OBJETIVO: Mostrar resultados do projeto de pesquisa Do Ponto De

Vista Das Crianas: o acesso, a implementao e os efeitos do Programa
Bolsa-Famlia no semirido nordestino. Tal projeto avaliou o Programa Bol-
sa-Famlia considerando a opinio das crianas da cidade de Catingueira,
Paraba. Os dados da pesquisa utilizados foram aqueles levantados pelos
prprios usurios quando o assunto foi o Programa Bolsa-Famlia - PBF. Os
objetivos secundrios consistem em demonstrar a expanso do consumo
e discutir consequncias desse fenmeno, analisar o papel da condicio-
nalidade escolar na manuteno do benefcio e discutir a imposio da
frequncia escolar para a populao-alvo.
MTODO: Qualitativo. Foi utilizada a tcnica Observao Participante:

presena de pesquisador como hspede, por 5 dias, na casa de famlia be-
neficiada. Foram realizadas, tambm, Oficinas de Pesquisa, durante dois
dias em dois turnos, com 6 grupos focais (tcnica de pesquisa) com crian-
as de 06 a 08 anos de idade (2 grupos), 09 a 10 anos (2 grupos) e 11 a 12
anos (2 grupos).
82 CEGOV | UFRGS
Foi solicitado s crianas que desenhassem e escrevessem sobre
o Programa Bolsa-Famlia e, posteriormente, apresentassem para os de- aula
mais colegas e pesquisadores. As perguntas s crianas versavam sobre
o entendimento e avaliao do Programa Bolsa Famlia, acesso ou no a
bens de consumo e servios infantis, empoderamento feminino e infantil,
4
percepes de classe social, trabalho e escola.
INFORMAES IMPORTANTES E PERTINENTES: o municpio de

Catingueira, localizado no semirido do estado da Paraba, possui 4.812
habitantes e est dividido entre zona rural e urbana. A populao de be-
neficirios do Programa Bolsa-Famlia de 2.992 pessoas, ou seja, 62% da
populao total. Do ponto de vista da economia local, as famlias sobrevi-
vem atravs da agricultura de subsistncia, pequenos comrcios, empre-
gos na prefeitura e benefcios, como o PBF e as aposentadorias.
RESULTADOS E DISCUSSES: vale lembrar que o PBF garante o aces-

so a bens de consumo, mas, de outro lado, a escola que garante a sua
continuidade. Foi recorrente, em desenhos, a demonstrao do acesso ao
dinheiro, representado pelo carto do benefcio, a ida ao banco ou casa
lotrica e o prprio dinheiro (moedas e notas).
Como o benefcio endereado s mes, observou-se que as
crianas eram priorizadas no momento das compras, as quais tambm re-
cebem diretamente o dinheiro (as mes geralmente repassam de R$0,25
a R$2,00/R$5,00 para as crianas pequenas e at R$15,00/R$20,00 para os
adolescentes). Acredita-se que isto funciona como incentivo escolariza-
o e como forma de recompensar a criana que se esfora nos estudos.
Entre os artigos mais consumidos por mes e seus filhos esto
comidas, especialmente de crianas, chamadas de brebotos (bala, pelota,
chocolate, chiclete, etc) e burigangas (pastel, sanduche, coxinhas, etc),
e entre os adolescentes esto artigos de beleza e de higiene, vesturio e
diverso (internet).
Porm, constata-se, tambm, que o dinheiro do PBF utilizado
para garantir a alimentao das famlias extremamente pobres; fato tam-
bm constatado pelas crianas. O dinheiro empregado, tambm, para
pagamento de contas mensais, de despesas com a farmcia, do parce-
lamento de bens (eletrodomsticos, moto), investimentos no incremen-
to da renda familiar (gneros para revenda) at a doao de dzimo para
igreja evanglica e catlica. O mesmo ocorre para compra de bens s
crianas, como uma bicicleta, um celular, etc. Estas informaes eviden-
ciam o fenmeno do planejamento financeiro familiar.
Quanto associao entre recebimento do benefcio e a escola-
rizao das crianas, o objetivo do PBF que seja um motivador s fam-
lias a mandarem seus filhos escola. Na cidade pesquisada, observou-se
uma relao muito forte entre o recebimento do benefcio com a escola,
pois as prprias crianas fazem uma associao direta entre esses dois
elementos. Alm disso, elas requerem o benefcio, afirmando pertencer a
elas, pois esto estudando, deixando explcito o entendimento da obriga-
toriedade da presena escolar para a obteno do dinheiro.

Quadro 5 - Sistematizao de desenhos de pesquisa de avaliao, o caso da pesquisa Do Ponto De
Vista Das Crianas: o acesso, a implementao e os efeitos do Programa Bolsa-Famlia no semirido
nordestino
Do Ponto De Vista Das Crianas: o acesso, a implementao e os efeitos do Programa
pesquisa Bolsa-Famlia no semirido nordestino.
Avaliar o Programa Bolsa-Famlia considerando a opinio das crianas da cidade de
objetivo Catingueira, Paraba.
Demonstrar a expanso do consumo como efeito do programa;
objetivos Analisar o papel da condicionalidade escolar na manuteno do benefcio;
especficos Discutir as consequncias do aumento do consumo e da imposio da frequncia
escolar para a populao-alvo.
tcnicas de Multimtodo: observao participante e grupos focais

pesquisa
amostra -
Fonte: elaborao prpria com base nas informaes dos Cadernos de Estudos Desenvolvimento Social
em Debate Sntese das Pesquisas de Avaliao de Programas Sociais do MDS 2011-2014 (nmero 16) e
Avaliao de polticas pblicas: reflexes acadmicas sobre o desenvolvimento social e o combate fome.
PESQUISA 5: O PROGRAMA BOLSA-FAMLIA NA VOZ DAS PESCA-

DORAS ARTESANAIS DO LITORAL DE PERNAMBUCO
OBJETIVO: Demonstrar os impactos do Programa Bolsa-Famlia
atravs do discurso, construdo por narrativas, em suas especificidades e
particularidades, das pescadoras artesanais no litoral de Pernambuco.
MTODO: Qualitativo. Entrevistas construdas coletivamente pelo Grupo

de Pesquisa Desenvolvimento e Sociedade CNPq/UFRPE e coleta no Banco
de Teses da Capes, de teses e dissertaes relacionadas ao Programa Bolsa
Famlia. Foram aplicadas 88 entrevistas 88 mulheres em 11 localidades
de 10 municpios do litoral de Pernambuco.
PRINCIPAIS RESULTADOS: Nas suas narrativas, ficou evidenciada a

condio de excluso social destas mulheres pescadoras, habitantes,
muitas vezes em localidades sem infraestrutura, com dificuldades na
rentabilidade do trabalho da pesca.
No entanto, ao ouvir as pescadoras sobre o recebimento do
benefcio, com condicionalidades, so evidenciados alguns traos de como
o impacto do recebimento do benefcio marcante e importante para as
comunidades e famlias das pescadoras beneficirias, principalmente na
alimentao, na vida escolar das crianas e na sade de gestantes e recm-
nascidos.
84 CEGOV | UFRGS
As pescadoras insistiram que existe uma demanda por creches,
o que evidenciado na presena das crianas muitas vezes com as mes aula
nas atividades laborais, nos turnos em que no esto na escola. Tambm
foi sinalizado que no existe onde deix-las com segurana e ainda foi
apontada que muitas contam com o beneficio para pagar reforo escolar.
4
De modo geral, o benefcio garante s famlias maior rendimento
do que teriam numa intensificao, com as atuais condies, da extrao e
comercializao dos produtos da pesca, principalmente durante o inverno.
No que se refere alimentao, a maioria das entrevistadas relatou sobre
mudanas positivas na dieta alimentar, ao informar sobre as possibilidades
de consumir maior variedade e quantidade de alimentos e a incluso de
outras formas de protenas, alm de vegetais, frutas e alguns alimentos
industrializados.
Quadro 6 - Sistematizao de pesquisa de avaliao, o caso da pesquisa Programa Bolsa-Famlia na

voz das pescadoras artesanais do litoral de Pernambuco
O Programa Bolsa-Famlia na voz das pescadoras artesanais do litoral de

pesquisa Pernambuco.
Demonstrar os impactos do Programa Bolsa-Famlia atravs do discurso das pesca-
objetivo doras artesanais do litoral de Pernambuco.
Demonstrar o impacto do benefcio sobre a alimentao das famlias;
Demonstrar o impacto do benefcio sobre a vida escolar das crianas;
objetivos Demonstrar o impacto do benefcio sobre a sade de gestantes e recm-
especficos nascidos;
Demonstrar a contribuio do benefcio sobre o rendimento familiar.
tcnicas de Multimtodo: entrevistas e pesquisa documental (teses e dissertaes)

pesquisa
amostra 88 mulheres pescadoras.
Avaliao de polticas pblicas: reflexes acadmicas sobre o desenvolvimento social e o combate fome
PESQUISA 6: SEGURANA ALIMENTAR E ACESSO AOS PROGRA-

MAS DE DESENVOLVIMENTO SOCIAL E COMBATE FOME DE CO-
MUNIDADES QUILOMBOLAS DO ESTADO DO RIO GRANDE DO SUL
OBJETIVO: Avaliar o acesso aos programas de desenvolvimento social
e combate fome e prevalncia de insegurana alimentar e nutricional
das famlias residentes em comunidades quilombolas do Estado do Rio
Grande do Sul.

MTODO: Quantitativo. Estudo transversal de base populacional, in-
cluindo uma amostra representativa de famlias quilombolas do Estado
do Rio Grande do Sul. A populao de estudo foi composta por famlias
localizadas em 22 comunidades quilombolas rurais e urbanas no estado. A
amostra, de 634 pessoas, foi estimada levando-se em considerao a pre-
valncia de insegurana alimentar moderada e grave na populao negra
do estado Rio Grande do Sul, segundo a PNAD 2009, de 9,5 %.
O levantamento de dados foi realizado entre os meses de maio e
outubro de 2011 por meio de entrevistas domiciliares com um membro res-
ponsvel pela famlia, utilizando-se questionrios padronizados, pr-codifi-
cados e pr-testados. O questionrio, com 120 questes, abordava diversos
aspectos: condies demogrficas, scio-econmicas segundo critrios da
Associao Brasileira de Empresas de Pesquisa -ABEP (2012), acesso ao Pro-
grama Bolsa Famlia, Programa de Aquisio de Alimentos e distribuio de
Cestas a Grupos Especficos, Segurana Alimentar e Nutricional.
A amostra pode ser considerada representativa das comunidades
quilombolas do Estado do Rio Grande do Sul, tendo em vista o cuidado
metodolgico na seleo desta, o alto percentual de indivduos
entrevistados e o baixo ndice de perdas e recusas. Outro aspecto positivo
foi a padronizao dos mtodos de coleta de dados, incluindo o rigoroso
treinamento dos entrevistadores e o controle de qualidade durante todo o
perodo do trabalho de campo.
PRINCIPAIS RESULTADOS: possvel verificar que 2/3 das famlias

pertencentes a comunidades quilombolas do Estado do Rio Grande do Sul
tm acesso aos programas de Combate Fome, Programa Bolsa-Famlia
e Distribuio de Cestas de Alimentos e que o Programa de Aquisio
de Alimentos quase inexistente ou desconhecido pela ampla maioria
das famlias. Observou-se que apenas metade (56%) das famlias com
insegurana alimentar moderada ou grave j tinha recebido os programas
anteriormente citados e que, daquelas que recebiam, a grande maioria
(70%) estava em situao de insegurana alimentar. Ou seja, embora ainda
pouco abrangente, o maior acesso aos programas de combate fome
nas comunidades quilombolas esto direcionados s populaes mais
vulnerveis.
Este estudo identificou uma elevada prevalncia de insegurana
alimentar entre as comunidades quilombolas do RS, o que chama por ao
imediata, aumentando, por exemplo, o acesso e divulgao dos programas
de combate fome nessas populaes. Alm disso, seria importante a
implementao de polticas sociais e de sade que visam a promoo
da igualdade racial, garantindo a melhoria no acesso aos bens, servios e
programas para todos os segmentos populao.
Importante reforar que o racismo constitui uma carga adicional
para os grupos no dominantes, e a discriminao individual e institucional
causa no s impactos negativos na vida e sade deste segmento
populacional, como tambm violao dos direitos humanos bsicos.
As desigualdades raciais no Brasil configuram-se como um fenmeno
86 CEGOV | UFRGS
complexo, constituindo-se em um enorme desafio para governos e para
a sociedade em geral. aula
Quadro 7 - Sistematizao de pesquisa de avaliao, o caso da pesquisa Segurana alimentar e aces-

so aos programas de desenvolvimento social e combate fome de comunidades quilombolas do
4
Estado do Rio Grande do Sul
Segurana alimentar e acesso aos programas de desenvolvimento social e comba-
pesquisa te fome de comunidades quilombolas do Estado do Rio Grande do Sul
Avaliar o acesso aos programas de desenvolvimento social e combate fome e a
objetivo presena de insegurana alimentar e nutricional das famlias residentes em comu-
nidades quilombolas do Estado do Rio Grande do Sul.
Traar as condies demogrficas, scio-econmicas e de moradia dos entrevis-
tados;
objetivos Traar o nmero de famlias que utilizam determinados programas sociais;
especficos Traar as condies de segurana alimentar dos responsveis pelos domiclios;
Traar os diferentes graus de insegurana alimentar dos responsveis pelos do-
miclios.
tcnicas de Pesquisa amostral com questionrio estruturado

pesquisa
amostra 634 responsveis pelos domiclios.
Avaliao de polticas pblicas: reflexes acadmicas sobre o desenvolvimento social e o combate fome
PESQUISA 7: PESQUISA DE AVALIAO DE IMPACTO DO PROGRA-

MA BOLSA FAMLIA: SEGUNDA RODADA (AIBF II)
OBJETIVO: Avaliar o impacto do Programa Bolsa Famlia sobre a
melhoria do bem-estar das famlias beneficirias do programa. Para isso,
foram avaliadas as variveis dependentes, i) gastos com alimentao;
ii) diversificao dos itens de alimentao consumidos; iii) medidas
antropomtricas de crianas com menos de sete anos de idade e iv)
gastos com educao, sade, vesturio, dentre outros gastos da famlia.
Posteriormente, comparar os resultados obtidos nesta segunda
rodada de 2009 (mdio prazo) com os observados na rodada base de
2005 (curto prazo), destacando-se os impactos de cada rodada.
MTODO: Qualitativo. Para esta segunda rodada de pesquisa (2009)

foi utilizada a mesma amostra da rodada anterior (2005), a qual contou
com entrevistas com i) famlias beneficirias do PBF; ii) famlias que no
eram beneficirias, mas que estavam includas no Cadastro nico; iii)
famlias no includas no Cadastro nico, mas com perfil semelhante as

das famlias cadastradas. No total, a pesquisa entrevistou, em 2005, 15.426
famlias, em 269 municpios de 23 estados e o Distrito Federal.
Na segunda rodada da pesquisa em 2009 houve perda de
amostra, especialmente devido a dificuldades em localizar algumas
famlias. A perda, contudo, foi considerada dentro dos padres para
pesquisas deste perfil tendo, portanto, 11.433 famlias entrevistadas
novamente para que pudessem ser verificadas as mudanas nas suas
condies de vida e determinar quais dessas mudanas poderiam ser
atribudas exclusivamente sua participao no PBF.
PRINCIPAIS RESULTADOS: Os resultados apresentados so referentes

sade e educao pois at o momento da publicao em que esta
pesquisa se insere foram divulgados resultados somente acerca destes
dois temas. A comparao entre os resultados de 2005 e 2009 mostra as
seguintes situaes:
I) Quase todas (95%) as crianas de zero a um ano de idade das fa-
mlias beneficirias ou no beneficirias foram amamentadas at
2009 e crianas beneficirias do PBF receberam o leite materno
como nico alimento at os seis meses de vida em proporo maior
do que aquelas de famlias no beneficirias (61% contra 53%).
II) Quanto aos dados antopomtricos, a relao entre altura e
idade melhorou entre crianas de at cinco anos de idade tanto
de famlias beneficirias quanto entre aquelas no beneficirias.
III) A cobertura vacinal melhorou, mas as famlias beneficirias
apresentaram melhores ndices de vacinao do que aquelas no
beneficirias.
IV) A frequncia escolar alta na proporo de crianas de 8 a
13 anos de idade tanto as pertencentes s famlias beneficirias
quanto as de famlias no beneficirias.
Para identificar as mudanas atribudas ao Programa Bolsa Famlia
necessrio verificar os resultados que se referem ao impacto do programa
- referentes exclusivamente participao no PBF e ao cumprimento das
condicionalidades nas reas de sade e educao. Os quais so:
I) No que se refere s gestaes, houve menor quantidade de par-
tos prematuros entre as famlias beneficirias. Ou seja, a quanti-
dade de crianas nascidas aps um perodo de gestao entre 37
e 41 semanas (no prematuras), foi 7,9 pontos percentuais maior
nas famlias beneficirias, em comparao com as famlias no be-
neficirias.
II) A proporo de crianas beneficirias consideradas nutridas
foi, por sua vez, 29,8 pontos percentuais mais alta em compara-
o com crianas no beneficirias, considerando-se o ndice de
Massa Corporal (IMC), que estabelece uma relao entre o peso e
a altura das crianas.
88 CEGOV | UFRGS
III) A frequncia escolar de crianas de 6 a 17 anos de idade das
famlias beneficirias foi de 4,1 pontos percentuais maior em com- aula
parao com a frequncia escolar das crianas das famlias no
beneficirias. O impacto maior entre as meninas de 15 e 17 anos,
quando a diferena chega a 8,4 pontos percentuais no que se re-
4
fere frequncia e 10,5 pontos percentuais, no que diz respeito
progresso escolar.
Quadro 8 - Sistematizao da pesquisa de avaliao, o caso da Avaliao de Impacto do Programa

Bolsa Famlia: Segunda Rodada (AIBF II)
pesquisa Avaliao de Impacto do Programa Bolsa Famlia: Segunda Rodada (AIBF II).
Avaliar o impacto do Programa Bolsa Famlia sobre a melhoria do bem-estar das

objetivo famlias beneficirias do programa.
Avaliar o impacto do PBF sobre as variveis: i) gastos com alimentao; ii) diversifi-
cao dos itens de alimentao consumidos; iii) medidas antropomtricas de crian-
as com menos de sete anos de idade e iv) gastos com educao, sade, vesturio,
objetivos dentre outros itens de gastos da famlia.
especficos Comparar os resultados obtidos na segunda rodada (2009) com os resultados
observados na rodada base (2005), destacando-se os impactos de curto prazo
(rodada base) e os impactos de mdio prazo (segunda rodada).
tcnicas de Pesquisa amostral com entrevistas

pesquisa
Em 2005: 15.426 famlias
amostra Em 2009: 11.433 famlias
Avaliao de polticas pblicas: reflexes acadmicas sobre o desenvolvimento social e o combate a fome
PESQUISA 8: PESQUISA DE AVALIAO DA SITUAO DE SEGU-

RANA ALIMENTAR E NUTRICIONAL EM COMUNIDADES QUILOM-
BOLAS TITULADAS
OBJETIVO: Avaliar o perfil nutricional de crianas menores de cinco
anos de idade pertencentes a famlias de comunidades remanescentes
de quilombos em 14 estados brasileiros. A pesquisa pretendeu, tambm,
avaliar o acesso aos servios, benefcios e programas governamentais
pelas famlias e avaliar o perfil socioeconmico das comunidades
remanescentes de quilombos que vivem em territrios titulados emitidos
entre 1995 e 2009 pelo Instituto Nacional de Colonizao e Reforma
Agrria (INCRA) ou por rgos oficiais estaduais de regularizao fundiria.

MTODO: Quantitativo. Primeiramente, foram realizadas oficinas
regionais nas cidades de Braslia, So Luiz, Belm e Santarm para
apresentao da pesquisa s lideranas quilombolas para obteno do
consentimento prvio desses representantes. Houve discusso sobre os
mtodos de utilizao e a importncia dos resultados para as polticas
sociais dirigidas aos quilombolas.
O pblico-alvo da pesquisa compreendeu o conjunto de crianas
menores de cinco anos de idade, as famlias e lideranas comunitrias de 97
territrios titulados em 55 municpios, sendo assim, foram pesquisadas 169
comunidades quilombolas e 161 lideranas comunitrias entrevistadas. A
coleta de dados foi de tipo censitria atravs de questionrio estruturado,
elaborado e pr-testado pelo Departamento de Avaliao da Secretaria de
Avaliao e Gesto da Informao-DS/SAGI, assim como tambm foram
coletados dados antropomtricos de todas as crianas menores de cinco
anos de idade. Lideranas comunitrias tambm responderam questes
especficas sobre suas comunidades e territrios.
PRINCIPAIS RESULTADOS: Os resultados compreendem a trs aspectos:

comunidades, domiclios e crianas.
I) Comunidades: lideranas relataram que a titulao teve efeitos
positivos sobre o fortalecimento da identidade negra e quilombo-
la e na mobilizao e participao poltica comunitria. Porm, no
que diz respeito s polticas de proteo social ainda h necessida-
de de avanar nas suas abrangncias. Como ocorre com os Centros
de Referncia da Assistncia Social Quilombola, pois somente foi
encontrado em uma (01) das comunidades do universo pesquisa-
do. O atendimento bsico em sade, sua cobertura mnima e ini-
cial, no ocorreu em 15% das comunidades pesquisadas, somente
em 28,6% comunidades ocorreram aes de equipes da estratgia
de sade da famlia e em somente 14,7% haviam unidades bsicas
de sade. No que diz respeito educao, ainda faltavam escolas
primrias em quase 20% das comunidades pesquisadas, j as esco-
las secundrias esto presentes em 9,2%. Em relao infraestru-
tura de gua e esgoto, mais de 60% das lideranas apontaram que
no ocorreram alteraes positivas aps a titulao do territrio,
pois somente em 5% das comunidades pesquisadas havia esgota-
mento sanitrio e em quase 48% das comunidades no havia abas-
tecimento de gua. No que se refere produo agrcola coletiva,
somente 14,9% das lideranas entrevistadas indicaram existncia
desta atividade, a qual destinada mais para o autoconsumo do
que para o mercado externo.
II) Domiclios: quanto localizao dos domiclios, 53,8% dos do-
miclios das comunidades quilombolas em territrios titulados es-
tavam localizados na regio Norte, 30,5% no Nordeste, 11,7% no
Centro-Oeste, 3,8% no Sudeste e 0,3% no Sul do Brasil. Seis em
cada dez domiclios eram chefiados por homens relativamente
jovens, com idade mdia de 45,1 anos, com baixa escolaridade.
90 CEGOV | UFRGS
Metade dos domiclios possua at quatro pessoas residindo, in-
cluindo o chefe. Nas regies Sul e Centro-Oeste, a metade tinha aula
at trs pessoas residindo. Esta informao indica que, em termos
gerais, os domiclios eram formados pelo chefe, pelo cnjuge e
por mais dois filhos ou agregados. Os filhos residentes nos do-
4
miclios possuam em mdia 12,4 anos de idade e em quase dois
teros dos domiclios (62,6%) no existiam crianas menores de
cinco anos. Nada menos que 45% dos domiclios das comunida-
des quilombolas pesquisados possuam menos de R$ 70,00 de
renda domiciliar per capita j incluindo os valores transferidos
pelo Programa Bolsa Famlia (PBF). Na faixa de renda que vai de
R$ 70,00 a R$ 140,00 estavam 17,9% dos domiclios. Em mdia,
a renda mensal domiciliar per capita dos quilombolas era de R$
160,73. A regio Norte apresentava a menor renda mensal domi-
ciliar per capita entre as regies: R$ 140,72.
III) Crianas: em relao desnutrio por dficit estatural hou-
ve prevalncia global de 18,7% no conjunto das crianas com at
cinco anos de idade, assim como houve associao significativa
dessa desnutrio com o peso ao nascer, pois nas crianas que
nasceram com extremo baixo peso (< 1,5 kg), a prevalncia foi
de 33,3% e 50,0% para as crianas do sexo feminino e masculino,
respectivamente. Houve tambm associao significativa com a
realizao de pr-natal, o qual est associado a uma menor pre-
valncia de dficit estatural e a educao da me se mostrou um
potente fator protetor para o dficit estatural.
Em relao desnutrio por dficit de ndice de Massa Corporal

para idade a prevalncia s foi importante nas comunidades dos estados
de Pernambuco (5,8%) e Piau (6,5%). Houve associao com a idade das
crianas sendo que as de at seis meses de idade tinham prevalncia
quatro vezes maior de desnutrio (5,1%) do que aquelas que estavam
no quinto ano de vida (1,2%).
Em relao ao sobrepeso e obesidade, avaliado pelo ndice
de Massa Corporal para idade, as prevalncias de risco de sobrepeso e
obesidade (17,8%, 4,1% e 1,3%, respectivamente) j se apresentam em
nveis preocupantes. Houve associao com o estado nutricional das
mes pois as crianas cujas mes eram obesas tiveram prevalncia de
obesidade 2,3 vezes maior (3,0%) do que as crianas cujas mes tinham
estado nutricional adequado (1,3%) e excesso de peso foi encontrado em
crianas de domiclios de todas as categorias de vulnerabilidade ou renda
domiciliar mensal per capita.

Quadro 9 - Sistematizao da pesquisa de avaliao, o caso da Avaliao da Situao de Segurana
Alimentar e Nutricional em Comunidades Quilombolas Tituladas
Avaliao da Situao de Segurana Alimentar e Nutricional em Comunidades Qui-

pesquisa lombolas Tituladas
Avaliar o perfil nutricional de crianas menores de cinco anos de idade pertencen-
objetivo tes a famlias de comunidades remanescentes de quilombos em 14 estados brasi-
leiros.
Avaliar o acesso aos servios, benefcios e programas governamentais pelas fam-
objetivos lias.
especficos Avaliar o perfil socioeconmico das comunidades remanescentes de quilombos
que vivem em territrios titulados emitidos entre 1995 e 2009.
tcnicas de Multimtodo: oficinas e questionrio estruturado.

pesquisa
Em 169 comunidades quilombolas foram 161 lideranas comunitrias entrevista-
amostra das
Fonte: elaborao prpria com base nas informaes no Sumrio Executivo - Pesquisa de Avaliao da
Situao de Segurana Alimentar e Nutricional em Comunidades Quilombolas Tituladas.

Existem um conjunto de tcnicas de anlise de dados de natureza
quantitativa e qualitativa;
Um relatrio final composto por seis partes: sumrio executivo,

introduo, desenvolvimentos, concluses, anexos e referncias bi-
bliogrficas;

A disseminao de resultados pode ser feita pela internet ou em

seminrios sobre o tema;
A SAGI dissemina seus resultados em forma de sumrios executivos,

fichas tcnicas, microdados e publicaes.
92 CEGOV | UFRGS
? VIDEOS TUTORIAIS
REFERNCIAS aula

4
Avaliao de Polticas Pblicas: Reflexes Acadmicas Sobre o
Desenvolvimentosocial e o Combate Fome Vol. 1: Introduo e
Temas Transversais. Braslia: MDS - Secretaria de Avaliao e Gesto da
Informao, 2014.
Cadernos de Estudos: Desenvolvimento Social em Debate. Braslia, n.
16, 2014.
Ministrio do Desenvolvimento Social. Brasil, 2010. Disponvel em:
http://www.mds.gov.br/. Acesso em 20 de janeiro de 2012.
PAES-SOUSA, Rmulo; VAITSMAN, Jeni (Orgs). Sntese das Pesquisas
de Avaliao de Programas Sociais do MDS 2004-2006. Cadernos de
Estudos Desenvolvimento Social em Debate. Braslia, n. 5, 2007.
TAPAJS, Luziele; QUIROGA, Jnia. Sntese das Pesquisas de Avaliao
de Programas Sociais do MDS 2006-2010. Cadernos de Estudos
Desenvolvimento Social em Debate. Braslia, n. 13, 2010.

CICLO DE
CAPACITAO
MDS
Ministrio do
e Combate Fome
Campus do Vale - Prdio 43322 - Av. Bento Gonalves, 9500 ISBN 978-85-60700-93-6
Porto Alegre - RS - 91509-900 - Phone: + 55 51 3308.9860

IP Videoconference CEGOV 143.54.129.46
cegov.ufrgs.br 9 788560 700936

CEGOV - 2015 - MDS Avaliacao Caderno de Estudos

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

CEGOV - 2015 - MDS Avaliacao Caderno de Estudos

Hochgeladen von

Copyright:

Verfügbare Formate

CICLO DE

MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME - MDS

Brasil. Ministrio do Desenvolvimento Social e Combate Fome.

aula INTRODUO PESQUISA DE

aula DELINEAMENTO DE UMA

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 05

aula ttulo objetivos instrucionais

aula Introduo pesquisa Apresentar os principais aspectos acerca da

A partir do exemplo de duas pesquisas de

A partir do exemplo de duas pesquisas de

Apresentar diferentes tcnicas para anlise

Para uma melhor compreenso dos temas, nas aulas 2 e 3 os con-

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 07

Um timo curso a todos!

 Ol, gestor e gestora!

Nesta aula voc vai aprender sobre os principais aspectos da

O que um programa; leitura

o que diz a norma?

VIDEOS TUTORIAIS ramento e Avaliao,

FERRAMENTAS AVALIAO FINAL

Confira o exemplo a seguir:

O quadro 1 sintetiza os principais elementos de um programa:

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 11

IDENTIFICAO DO ATIVIDADES PRODUTOS RESULTADOS IMPACTOS

lao ou grupo especifico, produzidos por DESENVOLVIMENTO

Figura 2 - Componentes do Modelo Lgico

FERRAMENTAS AVALIAO FINAL

cos para produzir informacao e conhecimento, em perspectiva inter-

de garantir o cumprimento dos objetivos de programas e projetos (efi-

dos recursos, eficacia DEMANDAS

cacia), seus impactos mais abrangentes em outras dimensoes sociais,

EXERCCIOS ou seja, para alem

GUIA DE ESTUDOS SOBRE O CURSO

QUAL A DIFERENA ENTRE MONITORAMENTO

QUAL O OBJETIVO DA PESQUISA DE AVALIAO

possvel caracterizar os principais objetivos da pesquisa de

Queremos mostrar Queremos saber (perguntas avaliativas)

A QUEM SE DESTINA UMA PESQUISA DE AVALIAO

leia De acordo com Faria (2005) os usurios potenciais da pesquisa

o que diz a norma?

FERRAMENTAS AVALIAO FINAL

Um aspecto relevante, portanto, a prpria divulgao dos resul-

LANIF OAILAVA SATNEMARR

Ou seja, preciso cuidar para que os mtodos e estratgias de pro-

a CRITRIOS DE AVALIAO: O QUE SE QUER AVALIAR?

b INDICADORES: COMO MEDIR?

GUIA DE ESTUDOS SOBRE O CURSO

CARACTERSTICAS FALTA DE INFORMAO

Fonte: elaborao prpria.

Todos esses constrangimentos, juntos ou separados, afetam o de-

QUAIS OS TIPOS DE AVALIAO EXISTENTES?

Quadro 3 - Tipos de avaliao

a SEGUNDO O AGENTE QUE AVALIA 1

EXTERNA: Realizada por pessoas de fora da instituio responsvel pelo

INTERNA: Realizada dentro e pela instituio responsvel pelo programa.

MISTA: Combina a avaliao externa com a interna. Permite com que os

PARTICIPATIVA: Prev a participao dos beneficirios no planejamento,

FORMATIVAS: So avaliaes relacionadas etapa de formulao do pro-

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO 23

c SEGUNDO O MOMENTO DA AVALIAO

d SEGUNDO O OBJETIVO DA AVALIAO

AVALIAR O PROCESSO DE IMPLEMENTAO:

Segundo Figueiredo e Figueiredo (1986), tanto a avaliao de pro-

Ol, gestor e gestora!

Ol, gestor e gestora!

OBJETIVOS DE APRENDIZAGEM leitura