Avaliacao Metodologias

Avaliao para o investimento social privado: metodologias
ORGANIZAO
FUNDAO ITA SOCIAL FUNDAO ROBERTO MARINHO FUNDAO MARIA CECLIA SOUTO VIDIGAL MOVE
II Seminrio Internacional Avaliao para o Investimento Social Privado: Metodologias Rio de Janeiro, 3 de julho de 2013. Organizao Fundao Ita Social Fundao Roberto Marinho Fundao Maria Ceclia Souto Vidigal Parceria Move Avaliao e Estratgia em Desenvolvimento Social Apoio Fundao Santillana GIFE Grupo de Institutos, Fundaes e Empresas
ORGANIZAO
FUNDAO ITA SOCIAL FUNDAO ROBERTO MARINHO FUNDAO MARIA CECLIA SOUTO VIDIGAL MOVE
Avaliao para o investimento social privado: metodologias 2013 Fundao Santillana Organizao Fundao Ita Social (Antonio Bara Bresolin) Fundao Roberto Marinho (Rosalina Soares) Fundao Maria Ceclia Souto Vidigal (Eduardo Marino) Move Avaliao e Estratgia em Desenvolvimento Social (Rogrio Silva) Traduo Babeth Bettencourt (artigo de Donna M. Mertens) e Dolores Montero (artigo de Miguel Szkely) Reviso tcnica das tradues Rogrio Silva Produo editorial Fundao Santillana Diretoria de Relaes Institucionais Luciano Monteiro Lucia Jurema Figueira Edio Ana Luisa Astiz Projeto Grfico Paula Astiz Editorao Eletrnica e Grficos Laura Lotufo / Paula Astiz Design Reviso Cida Medeiros, Juliana Caldas e Katia Shimabukuro
Dados Internacionais de Catalogao na Publicao (CIP) (Cmara Brasileira do Livro, SP, Brasil) Avaliao para o investimento social privado : metodologias / organizao Fundao Ita Social, Fundao Roberto Marinho, Fundao Maria Ceclia Souto Vidigal, Move . So Paulo : Fundao Santillana, 2013. Vrios autores. ISBN 978-85-63489-16-6 1. Ao social 2. Desenvolvimento social 3. Empresas - Aspectos sociais 4. Participao social 5. Pesquisa social - Metodologia 6. Projetos sociais 7. Seminrio Internacional Avaliao para o investimento social privado : metodologias (2013: Rio de Janeiro) I. Fundao Ita Social. II. Fundao Roberto Marinho. III. Fundao Maria Cecilia Souto Vidigal. IV. Move. 13-11636 CDD-361.760981 ndices para catlogo sistemtico: 1. Brasil : Avaliao para o investimento social privado : Bem-estar social 361.760981
7 Apresentao
VALRIA VEIGA RICCOMINI, MNICA DIAS PINTO E EDUARDO QUEIROZ
11

Avaliao como aprendizagem

ANDRE DEGENSZAJN
17

A escolha de mtodos para fazer avaliao

ROGRIO SILVA E DANIEL BRANDO
29
Mtodos mistos de avaliao: aumentando a efetividade do investimento social privado

DONNA M. MERTENS
73

Vantagens e complexidades das avaliaes de impacto

MIGUEL SZKELY
93

Avaliaes vlidas, relevantes e teis

THOMAZ KAUARK CHIANCA
117

O uso da abordagem participativa na avaliao do Projeto Maleta Infncia

FUNDAO ROBERTO MARINHO CANAL FUTURA
125

O uso de mtodos mistos na avaliao do Programa Primeirssima Infncia

FUNDAO MARIA CECLIA SOUTO VIDIGAL
135

Abordagens quantitativas na avaliao de impacto do Programa Jovens Urbanos

FUNDAO ITA SOCIAL
143

Anexo Oportunidades para atualizao e publicao na rea de avaliao

FUNDAO ROBERTO MARINHO E INSTITUTO FONTE
159 Agradecimentos
Apresentao
VALRIA VEIGA RICCOMINI
Superintendente Fundao Ita Social.
MNICA DIAS PINTO

Gerente de desenvolvimento institucional Fundao Roberto Marinho.
EDUARDO QUEIROZ
Diretor-presidente Fundao Maria Ceclia Souto Vidigal.
Este livro rene um conjunto de contribuies oriundas do Seminrio Internacional Avaliao para o Investimento Social Privado: Metodologias, realizado em julho de 2013 no Rio de Janeiro, pela Fundao Ita Social, Fundao Roberto Marinho e Fundao Maria Ceclia Souto Vidigal, em parceria com a Move e com apoio da Fundao Santillana e do GIFE - Grupo de Institutos, Fundaes e Empresas. A parceria entre essas instituies vem gerando subsdios que enriquecem o debate e as prticas de avaliao de projetos e programas sociais, agenda que ganha cada vez mais importncia no Pas. Em 2012 tivemos a primeira edio do Seminrio Internacional, intitulado A Relevncia da Avaliao para o Investimento Social Privado, evento a partir do qual foi elaborada uma publicao com as reflexes produzidas no decorrer das apresentaes e debates. Na edio de 2013, o tema das metodologias ganhou destaque. Partimos do princpio de que as escolhas metodolgicas so essenciais para que os processos avaliativos produzam informaes relevantes e teis a respeito dos resultados e impactos do investimento social privado. Ressaltamos, contudo, que a escolha de uma ou de outra abordagem metodolgica depende dos objetivos e das questes que se pretende responder com a avaliao, e este um enfoque que procuramos abordar nesta publicao.
7
avaliao para o investimento social privado: metodologias
Com o evento que realizamos, promovemos o dilogo entre diferentes pontos de vista metodolgicos e entre perspectivas nacionais e internacionais, alm de alcanar frutfera troca de experincias entre os diversos participantes. Dessa forma, aprofundou-se a compreenso sobre os processos avaliativos e de como os resultados de projetos sociais podem ser relevantes para o desenvolvimento social. Nesta publicao, reunimos artigos e casos que retratam a diversidade de metodologias, suas potencialidades e limites, com o intuito de subsidiar escolhas diante de indagaes como Quando usar determinada metodologia?, Como equilibrar diferentes metodologias?, Qual metodologia a mais efetiva para os objetivos que se pretende alcanar?. Diante dessas e de outras perguntas pertinentes ao tema, o artigo de Andre Degenszajn, diretor executivo do GIFE, problematiza algumas caractersticas da cultura de avaliao no campo do investimento social privado. Na sequn cia, o artigo de Rogrio Silva e Daniel Brando, da Move, discorre sobre alguns dos principais fatores envolvidos nas escolhas metodolgicas nos processos avaliativos, da tica poltica, da tcnica viabilidade financeira. Em seguida, o leitor encontrar os artigos produzidos pelos trs palestrantes convidados para o seminrio, que ganham o centro da publicao. Miguel Szkely, doutor em Economia pela Universidade de Oxford, mestre em Polticas Pblicas pelo Instituto Tecnolgico Autnomo de Mxico e diretor do Instituto para Inovao em Educao, situado em Monterrey, aborda a perspectiva economtrica. Donna M. Mertens, doutora em Psicologia da Educao pela Universidade de Kentucky, ex-presidente e atual conselheira da American Evaluation Association e professora da Universidade de Gallaudet, explana os mtodos mistos. J Thomaz Kauark Chianca, doutor em Avaliao pela Western Michigan University, odontlogo da Universidade Federal do Rio de Janeiro (UFRJ) e avaliador com longa trajetria em consultorias no Brasil e no exterior, trata da produo de avaliaes vlidas, relevantes e teis. A fim de oferecer ao leitor um retrato de prticas avaliativas brasileiras, trs estudos so apresentados na sequncia que en8
apresentao
cerra o livro. A avaliao do projeto Jovens Urbanos, da Fundao Ita Social, retrata o uso da abordagem quantitativa para avaliar impacto; a avaliao do Projeto Maleta Infncia, do Canal Futura, demonstra um processo de avaliao participativa; e o caso do Projeto Primeirssima Infncia, da Fundao Maria Ceclia Souto Vidigal, mostra o uso de mtodos mistos. Para aqueles que estiverem interessados em aprofundar seu conhecimento no campo da avaliao, preparamos ainda um levantamento de Oportunidades para atualizao e publicao na rea de avaliao. Anexo ao livro, um material que poder inspirar leitores e leitoras a futuros movimentos de formao e articulao profissional. Esperamos que esta obra contribua para a disseminao do debate e do conhecimento produzido no seminrio Avaliao para o Investimento Social Privado: Metodologias, fortalecendo ainda mais as iniciativas sociais brasileiras. Boa leitura!
Avaliao como aprendizagem

ANDRE DEGENSZAJN
Diretor executivo do GIFE Grupo de Institutos, Fundaes e Empresas.
O lugar ocupado pela avaliao no investimento social privado brasileiro um bom indicador do seu grau de maturidade, com as distintas perspectivas que caracterizam prticas das organizaes do campo social, sejam financiadoras, executoras de projetos sejam combinaes desses elementos. Compreender as origens, os movimentos e as tendncias dessas perspectivas fundamental para o rduo exerccio de moldar a cultura de avaliao no Brasil. Fundado em 1995, o GIFE rene organizaes de origem privada que investem seus recursos em aes de interesse pblico. Diferentemente de outros pases, que adotaram o termo filantropia, o GIFE optou em se organizar em torno do conceito de investimento social privado. Essa deciso se deu em funo de o conceito de filantropia, no Brasil, estar mais associado caridade e ao assistencialismo do que atuao de organizaes que procediam, em sua maioria, do campo empresarial em busca de transformaes positivas no quadro social do Pas. Nesse deslocamento j se coloca uma questo importante para pensar avaliao. No campo social, um primeiro desafio a ser ultrapassado o das boas intenes. Essa ideia est presente nas aes voluntrias tradicionais e, em alguma medida, tambm disseminada entre investidores sociais e organizaes da sociedade civil. Ela refora a nfase na ao e no na transformao que capaz de gerar, da derivando um conjunto de vises e de prticas presentes nas avaliaes. Se o recurso privado e a inteno
11
contribuir para o bem comum, por que se preocupar em avaliar? No estamos todos remando na mesma direo? Ao final do dia, no estaremos todos contribuindo com causas sociais relevantes? Para refletir sobre o lugar da avaliao no investimento social, importante retomar o sentido da atuao de organizaes privadas na direo do interesse pblico, que se justifica pela capacidade de gerar benefcios tangveis para a sociedade. Nesse sentido que se admite, por exemplo, que o Estado favorea tal atuao por meio de um conjunto de incentivos fiscais, reconhecendo a legitimidade de organizaes privadas em suas contribuies para o bem comum. No entanto, tal legitimidade precisa estar ancorada em evidncias de que se est gerando, de fato, transformaes relevantes para a sociedade. E, para tanto, no bastam boas intenes. A construo do campo do investimentos social no Brasil deriva da confluncia de uma tradio filantrpica, pouco orientada pela mensurao de impacto, com a prtica empresarial, habituada a mtricas de monitoramento e de avaliao e, principalmente, a gerar resultados de curto prazo. Aqui se situa um desafio bastante relevante: sabe-se que o tempo das transformaes sociais no o mesmo tempo dos negcios. O campo social no Brasil composto por organizaes muito novas. Segundo dados da Fasfil 20101, que analisa as fundaes privadas e associaes sem fins lucrativos num universo mais amplo do que o setor de investimento social privado, a mdia de idade das organizaes 14 anos. Entre os associados do GIFE, 39% tm menos de 10 anos, e 62%, at 20 anos. Esse um contexto que precisa ser considerado ao refletirmos sobre avaliao, que tende a trabalhar com ciclos longos quando pretende identificar os impactos alcanados. importante considerar que a avaliao no um elemento isolado na gesto das organizaes. Organizaes com baixa institucionalizao, planejamentos pouco consistentes e investimen-
1. As Fundaes Privadas e Associaes sem Fins Lucrativos no Brasil 2010. IBGE, 2012. Disponvel em: <http://www.ibge.gov.br/home/estatistica/economia/fasfil/2010/> (ltimo acesso em setembro de 2013).
12
avaliao como aprendizagem
tos descontnuos so pouco propensas a desenvolver processos avaliativos efetivos. Ou seja, a qualidade da avaliao causa e efeito do fortalecimento e maturidade institucionais. Viso estratgica de longo prazo e estruturas de governana que deem consistncia e continuidade ao investimento so fundamentais para a construo de avaliaes melhores. Nos ltimos anos, no entanto, houve avanos expressivos na compreenso sobre avaliao, que se deslocou para um espao mais central na atuao de investidores sociais. indicativo desse movimento que 96% dos associados do GIFE declarem realizar avaliao de resultados2. Pode-se dizer que uma cultura de avaliao est instaurada e que h um amplo reconhecimento de sua importncia na qualificao dos investimentos. Apesar de essa constatao ser um passo fundamental, no se pode concluir que seja uma indicao direta da qualidade e da consistncia das avaliaes. Como esse campo marcado mais por diferenas do que semelhanas, convivem ainda vises contraditrias. Persiste a viso de que avaliar perda de tempo ou de recursos, ou ainda que avaliao apenas um instrumento de prestao de contas3. O esteretipo das boas intenes retorna: Sabemos que estamos fazendo um bom trabalho; a avaliao apenas funcional, para provar isso aos outros. Essas percepes sobre avaliao no so exclusividade de organizaes no Brasil. Apesar da tentao de acreditar que l fora as coisas so bem diferentes, um estudo conduzido pelo European Foundation Center com 56 fundaes europeias, indica desafios muito semelhantes aos nossos4. Metade das organizaes entrevistadas no acredita que seu trabalho, orientado a provocar transformaes sociais, pode ser avaliado de forma consistente. Persiste a viso de que a avaliao uma prtica burocrtica que impede
2. Censo GIFE 2011-2012. GIFE, 2012. Disponvel em: http://www.gife.org.br/publicacao-censo-gife-20112012-d23543a904f46c81.asp> (ltimo acesso em setembro de 2013). 3. Cf. pesquisa Abordagens e prticas da avaliao de iniciativas sociais no Brasil. Instituto Fonte, Fundao Ita Social, Instituto Paulo Montenegro, Ibope Inteligncia, 2012. 4. Cf. Ceci nest pas un evaluation guide! European Foundation Center, 2013. Disponvel em: <http://www.efc.be/programmes_services/resources/Documents/Learning_Lab5.pdf> (ltimo acesso em setembro de 2013).
13
a inovao e a tomada de risco. Muitos acreditam que podem avaliar instintivamente o impacto alcanado. Em outro sentido, vises simplificadoras da avaliao convivem com esse ceticismo, reforando a crena em modelos one size fits all. Mas, como seria de esperar, h vises que apontam para a avaliao como um processo constante de aprendizado. Ou, mais do que isso, que exigem a construo de uma cultura de aprendizagem nas organizaes. nesse campo que se insere um dos principais desafios para a qualificao da avaliao no Brasil: como transformar a avaliao em um instrumento estratgico de aperfeioamento, de aprendizado, de redefinio e de reflexo sobre a atuao de investidores sociais? Sem a pretenso de responder de maneira exaustiva a essa pergunta, um dos desafios que se coloca o que poderamos chamar de cultura do xito. sintomtico que falemos tanto em desafios, mas raramente em problemas ou dificuldades. A apropriao da avaliao para a prestao de contas ou, ainda pior, para o marketing social, dificulta o reconhecimento daquilo que no funcionou e limita o espao para o aperfeioamento e compartilhamento de experincias, no apenas as exitosas, mas tambm as que no foram capazes de gerar os resultados almejados. A cultura do xito favorece a viso de julgamento sobre as aes, estabelecendo dicotomias de sucesso e fracasso. Avanos efetivos no campo social se do pela sedimentao de experincias, mais ou menos bem-sucedidas, capazes de incorporar erros e acertos em seu processo de construo. Ao contrrio de inibir, esse reconhecimento tende a favorecer a inovao e a capacidade de correr riscos. E fundamental recordar que essas so potencialidades essenciais do investimento social privado. Ao observar dados do Censo GIFE sobre avaliao, possvel fazer uma curiosa inferncia: quanto piores os dados sobre avaliao, melhor! Em 2010, 80% dos respondentes declaravam realizar avaliao de impacto em um ou mais projetos. Em 2012, esse nmero caiu para 54%, reduo no compreendida como retrocesso nas prticas, mas como ampliao do senso crtico sobre os significados da avaliao de impacto. Assim como no se pode defender que atualmente mais da metade dos associados do GIFE
14
avaliao como aprendizagem
realiza, de fato, avaliaes de impacto, seria tambm insensato defender que em 2010 a situao fosse melhor. H um reconhecimento de que houve avanos nessa rea, mas ainda h uma baixa compreenso sobre as distines entre as estratgias avaliativas disponveis e o baixo aproveitamento das avaliaes. Esse contexto abre espao para a construo de uma viso setorial sobre a avaliao e de referenciais comuns que auxiliem no desenvolvimento de uma cultura de aprendizagem mais profunda no setor. A ampliao da compreenso sobre as abordagens metodolgicas e sobre a efetiva incorporao da avaliao nas estratgias de investimento tende a favorecer o reconhecimento do seu valor em diferentes dimenses: em termos de retorno econmico do investimento social; da justa e efetiva aplicao de recursos que se beneficiaram de algum incentivo fiscal; e da percepo pblica do valor e da contribuio dos investidores sociais ao desenvolvimento do Pas.
15
A escolha de mtodos para fazer avaliao

ROGRIO SILVA E DANIEL BRANDO
Scios-diretores da Move Avaliao e Estratgia em Desenvolvimento Social.
1. INTRODUO medida que as organizaes da sociedade civil brasileiras incrementam o uso estratgico de processos avaliativos, certas inquietaes tm crescido entre gestores e avaliadores, num evidente sinal do amadurecimento das prticas e do campo. Sendo parte desse movimento, provvel que o leitor familiar ao mundo das avaliaes, seja contratando-as, conduzindo-as ou delas tomando parte, j tenha se debruado sobre perguntas tais como: Qual mtodo mais adequado para avaliar este ou aquele programa?; Qual tipo de abordagem mais precisa?; Que tipo de informao mais relevante e convincente?; Que abordagem pode ser mais profunda e sensvel realidade social?; Que estratgia metodolgica mais abrangente?. Este ensaio tem o propsito de introduzir elementos capazes de auxiliar na resposta a perguntas como essas. Lanando mo de reflexes tericas articuladas ao pragmatismo de casos em que atua mos nos ltimos anos, projetamos a escolha dos mtodos como funo de seis variveis-chave s quais daremos ateno a seguir. Longe de esgot-las, papel realizado por outros artigos deste livro e por outras publicaes, propomos abordar as escolhas metodolgicas conforme expresso na figura a seguir, reconhecendo as caractersticas dinmica e multidimensional da escolha de mtodos.
17
O ATO MULTIDIMENSIONAL E DINMICO DA ESCOLHA METODOLGICA
POSIES TERICAS DOS INTERESSADOS
POSIES TICO-POLTICAS NATUREZA DO OBJETO DE ESTUDO
VIABILIDADE ECONMICA
ENQUADRE GERENCIAL
CULTURA ORGANIZACIONAL
2. CONSIDERAES SOBRE OS CAMINHOS METODOLGICOS O debate sobre mtodos ocupa lugar privilegiado no campo da avaliao, a ponto de alguns autores tomarem a maneira de investigar a realidade como nico critrio de julgamento vlido para definir a qualidade de uma avaliao. No toa que inmeras publicaes sejam inteiramente dedicadas s origens e sentidos das razes metodolgicas da avaliao contempornea. Em casos extremos, v-se o debate metodolgico reduzido escolha estritamente cientfica de tcnicas e instrumentos de medida, pondo margem quaisquer outras conexes entre a avaliao e as realidades socioinstitucionais em que ocorrem e, em particular, a relao umbilical entre avaliao e julgamento. Marvin Alkin (2004), em seu clssico Evaluation roots, foi um dos que primeiro reconheceu que o debate sobre mtodos esta18
a escolha de mtodos para fazer avaliao
va pressionado por aqueles que achavam que apenas os estudos experimentais combinando grupos de controle e de interveno, os famosos Randomized Control Trials (RCT), seriam capazes de produzir avaliaes de verdade, com incomparvel capacidade de atribuir causalidade. Nesse caso, o autor chamava ateno para o fenmeno de captura do julgamento por uma onda de rigor cientfico. Curiosamente, esse debate atravessou dcadas, estando atual mente presente tambm entre gestores e avaliadores brasileiros. Em paralelo, muitos autores tm advogado por um encontro mais dialgico entre rigor e uso, fazendo do debate metodolgico um campo em que posies ideolgicas e tcnicas, em que sujeitos e dinmicas organizacionais so tomados como reguladores dos mtodos, assim submetidos ao jogo democrtico. Entre os autores mais proeminentes dessa linha, Guba e Lincoln (2000) iro filiar as escolhas metodolgicas ao posicionamento dos sujeitos frente aos paradigmas cientficos, localizando os mtodos como realizaes prticas de posies cientficas e polticas bem mais profundas. Para eles, no haveria escolha metodolgica fora dos quatro paradigmas cientficos hegemnicos positivismo, ps-positivismo, teorias crticas e construtivismo , sendo necessrio reconhecer onde se est, no que se acredita e o que se deseja, para fazer escolhas coerentes. Em leituras mais pragmticas, Ernest House (1983) reconhecia, j no incio dos anos 1980, diferentes abordagens prticas que caracterizavam as avaliaes. A classificao proposta pelo autor, retomada por vrios outros, ofereceu a possibilidade de eleger modelos com base na capacidade dos estudos em: (1) medir o alcance dos objetivos planejados; (2) responder s perguntas dos principais gestores da iniciativa; (3) auxiliar usurios e consumidores a elegerem servios e produtos; (4) lanar mo de critrios tcnico-cientficos para julgar a realidade; (5) favorecer a comparao entre vises antagnicas de uma mesma iniciativa; e, finalmente, (6) abrigar as perspectivas de diferentes interessados no objeto avaliado. Quaisquer que sejam as portas de entrada para a escolha de mtodos, o que os anos de prtica no campo social nos mostraram a inadequao das posies que insistem em reivindicar para si o cetro real do mtodo sagrado, um tipo de solicitao que mais re19
memora o narcisismo perdido dos primeiros anos de vida do que evoca o estatuto fundamental da cincia contempornea: compreender, enxergar e praticar cincia como debate, como enuncia Pedro Demo (DEMO, 2011). Em boa medida, escolher mtodos demanda compreend-los como produtos de um itinerrio essencialmente tico e poltico. tico, se reconhecermos a importncia de submeter os mtodos ordem da realidade, para coloc-los a servio de um problema experimentado por sujeitos concretos, para constru-los em resposta a uma questo de investigao, modulando-os em funo do contexto scio-histrico no qual esto inseridos. Poltico, se apostarmos que tais escolhas se do em ambientes essencialmente coletivos e plurais onde sempre se est intervindo, produzindo e transformando, nos lembrando de que toda avaliao est inserida e funo de um ecossistema particular. O pragmatismo que cultivamos como practitioners, no melhor sentido da palavra, nos faz afirmar que mtodos no so avaliaes, ainda que sejam determinantes na modelagem de suas caractersticas e utilidade. Transformar um mtodo na principal preocupao de um gestor amplia o risco de esvaziar o potencial estratgico da avaliao, reduz a dinmica de aprendizagem e compromete a relao entre avaliao e desenvolvimento organizacional. Informaes rigorosas no so suficientes nas trincheiras do mundo real. Opor tcnica e plstica, cincia e poltica, saber e esttica so armadilhas a serem constantemente evitadas. Vejamos as variveis-chave que compem a espinha dorsal deste ensaio: o ato muldimensional e dinmico das escolhas metodolgicas. Multidimensional porque diferentes variveis compem o cenrio. Dinmico porque as relaes entre elas, bem como sua participao nas escolhas, esto em constante movimento. 3. VARIVEIS PARA A ESCOLHA DOS MTODOS
3.1. NATUREZA DO OBJETO DE ESTUDO
Deve-se reconhecer o objeto de estudo para compreender as caractersticas que sero fundamentais na eleio do mtodo. Se o
20
objeto do campo A ou B, como a Educao Bsica, o empreendedorismo ou a agricultura familiar, ser preciso acessar as bases tericas, polticas e normativas que o modulam e que conferem seu status na contemporaneidade das cincias e das articulaes sociais que o fundamentam. Por exemplo, como estudar um programa que visa qualificar prticas de Educao Infantil sem levar em conta as diretrizes curriculares nacionais para esta rea? Nessa aproximao, ser fundamental compreender tambm as expectativas que cercam um determinado projeto ou programa, as relaes lgicas que estabelecem entre insumos, processos e resultados ou sua teoria de mudana. Por exemplo, como avaliar um projeto que visa renovar o estoque de fauna de um determinado conjunto de lagoas, sem levar em conta que centros de pesquisa, associaes de pescadores, rgos ambientais e um comit de bacia possuem papis complementares entre si, num processo tcnico e poltico que s pode esperar impactos num intervalo de dez anos? Dessa forma, o status terico, poltico e normativo de um objeto, somado aos atores o que compreende e envolve as relaes, os recursos que utiliza, os resultados que espera e a sua lgica de interveno , so elementos que no podem ser esquecidos. Fechar os olhos para eles supe que um mtodo pode ser escolhido revelia do objeto, o que tende a levar a leituras superficiais e a julgamentos imprprios.
3.2. POSIES TERICAS DOS INTERESSADOS
natureza do objeto articulam-se as posies e preferncias tericas dos principais interessados em uma avaliao. Partindo do princpio de que o conjunto de interessados deve legitimar a avaliao para utiliz-la, fundamental que qualquer estudo seja capaz de produzir saberes inteligveis e confiveis a quem ele se destina. Se um programa voltado a incrementar a renda de um conjunto de mulheres tem como seus principais interessados um grupo de executivos do mercado financeiro, cuja familiaridade com teorias econmicas e com a linguagem matemtica elevada, haveria motivo para no dar nfase a uma abordagem economtrica?
21
Por outro lado, se um programa com a mesma finalidade tem como principais interessados um conselho composto por especialistas na multidimensionalidade da pobreza, por que no dar nfase a um mtodo que privilegie o estudo de casos a partir de entrevistas em profundidade com sujeitos tipo ideal, culminando em anlises de contedo crticas em sua capacidade de explicitar resultados e de marcar contradies e limites da interveno? Na tentativa de evitar rtulos, mas tambm de tornar plano um terreno de posies tericas que tende a ser bastante irregular, fundamental que as escolhas metodolgicas acessem as posies e preferncias tericas dos interessados, seja para que sua oferta de resultados responda a elas em harmonia, seja para que se escolha um caminho consciente para contrapor tais posicionamentos e provocar os interessados a expandirem suas compreenses.
3.3. CULTURA ORGANIZACIONAL
Se a natureza do objeto capaz de refutar certos caminhos e apontar outros, e as posies tericas dos interessados ajudam a deli near caminhos analticos e, em certa medida, a linguagem da avaliao, a cultura organizacional em que um estudo se d um componente determinante do sentido e do potencial de uma avaliao. Em texto anterior, apontamos quo delicadas so as relaes entre avaliao e cultura organizacional, destacando que quanto menos os estudos so tratados como prteses e mais como rgos, mais ampliam sua potncia transformadora nas organizaes (SILVA, 2012). Nesse sentido, a eleio de mtodos no pode se dar sem que certa leitura da organizao seja realizada, e que essa leitura contribua em sua modulao. De que maneira a organizao faz e usa planejamento? Que processos de aprendizagem se do ali? De que maneira a organizao lida com erros e acertos, fracassos e sucessos? H conflitos em torno do projeto ou programa que ser avaliado? De que maneira a organizao costuma conversar sobre seus projetos, programas e estratgias? Outras avaliaes ali realizadas produziram que tipos de fenmenos? Leituras advindas de perguntas como essas podem ser de grande ajuda na eleio de mtodos e at mes22
mo para que se possa reconhecer um momento inoportuno de se realizar uma avaliao. Se os processos avaliativos renem a possibilidade de explicitar e revisar premissas, eventualmente expondo suas fragilidades; se eles so potencialmente estimuladores da reflexo e do dilogo investigativo, j que partem da irrefutvel vontade de saber, acessar e manejar a permeabilidade da cultura organizacional aos processos avaliativos, crucial eleger mtodos dosando cuidado, respeito e prudncia. Uma vez mais, se o caminho o da contestao ou do uso da avaliao nas vezes de um cavalo de Troia, recomenda-se reflexo ttica, para evitar heros mos danosos.
3.4. VIABILIDADE ECONMICA
O volume de recursos financeiros, temporais e estruturais alocados em uma avaliao guarda proporo direta com o desenho metodolgico utilizado. O mais complexo, volumoso e rigoroso exige tambm um investimento maior. Contudo, ao que se deve ficar muito atento, que no se pode dizer o mesmo da relao entre investimentos e utilidade de uma avaliao. H casos de intensa eficincia, bem como os de vergonhoso desperdcio. O equilbrio entre o preciso e o vivel deve orientar gestores e avaliadores na elaborao dos desenhos que sero adotados. Tendo em vista as dimenses, j abordadas neste artigo, que iro modular as escolhas, o potencial de investimento em uma avaliao deve ser considerado de maneira cuidadosa em sua capacidade de regular a preciso necessria, o tempo de execuo, as demandas dos interessados e, por fim, a capacidade de permitir que se construam respostas para as perguntas em questo. Como a tarefa no simples, elegemos alguns tpicos para aprofundar a discusso, no quadro a seguir.
23
MITOS E REALIDADES DOS INVESTIMENTOS EM AVALIAO Mitos Boas avaliaes consomem de 5% a 10% do oramento de um programa. Realidade apreendida no longo tempo de trabalho Avaliaes brilhantes so realizadas com investimentos muito variveis, sendo inadequado, seno impossvel, propor uma associao entre investimento e qualidade. Quanto maior o volume de oramento de um programa, menor ser, percentualmente, o investimento em avaliao. A sugesto que, ao se planejar um programa, se planeje tambm, ainda que em linhas gerais, seus processos de avaliao. Trs componentes so centrais nos oramentos de uma avaliao: (a) o volume de tempo de trabalho de avaliadores seniores e/ou especialistas, geralmente destinados ao desenho e anlises; (b) o volume de trabalho de pesquisadores e/ou avaliadores assistentes, geralmente destinados a coleta de dados e pr-anlises; (c) os custos de logstica, tais como passagens, hospedagem etc. H muitos casos, sobretudo os estudos multicntricos, em que estudos quantitativos consomem mais recursos do que os qualitativos. Quando se leva em conta o desembolso direto, o mito se confirma. Por outro lado, se os custos de oportunidade forem olhados com cuidado, e somados efetividade dos processos, muitas vezes avaliaes externas custam menos. As equipes internas tm seus interesses e limites, e podem tambm ser incentivadas a desenvolver competncias avaliativas que confiram preciso e equilbrio aos estudos. Os avaliadores externos, se por um lado costumam gozar de maior iseno da dinmica organizacional, tambm tm suas preferncias, suas tendncias e seus pontos cegos. A busca de um processo equilibrado em sua capacidade de enxergar luzes e sombras no pode terminar refm de avaliadores externos. O cenrio brasileiro oferece centenas de profissionais autnomos, universidades, organizaes no governamentais prestadoras de servios e empresas especializadas em diferentes tipos de avaliao. Em funo de seus diferentes arranjos institucionais e sua distribuio em diferentes regies do Brasil, seus oramentos so extremamente variantes e viveis para organizaes de diferentes portes.
Estudos qualitativos so mais onerosos do que estudos quantitativos.
Avaliaes internas so menos onerosas do que avaliaes externas. Avaliaes neutras s podem ser externas e desse investimento no possvel escapar.
A oferta de servios de avaliao pequena no Brasil, tornando-os onerosos.
3.5. ENQUADRE GERENCIAL
Ao lado das dimenses at aqui explicitadas, cabe adicionar a perspectiva do ciclo de gesto de um projeto ou programa, tambm essencial eleio de mtodos. Em ciclos de gesto tradicionais, como o retratado na figura a seguir, cada um dos momentos tende a produzir perguntas com nfases distintas, a serem exploradas tambm de maneiras distintas.
24
CICLO DE GESTO DE UM PROJETO OU PROGRAMA SOCIAL
1 DIAGNSTICO
2 CONCEPO E PLANEJAMENTO
6 REINCIO
3 IMPLEMENTAO
5 AJUSTES E REPLANEJAMENTO
4 ENCERRAMENTO
Nos momentos que antecedem a implementao, de se supor que perguntas de duas naturezas tendam a emergir. A primeira delas diz respeito aos resultados que podero ser alcanados pela iniciativa, enquanto a segunda, ao desejo de comparar os resultados futuros com a situao presente. Essa dinmica tende a produzir o que se costuma chamar de estudos de linha de base, que iro eleger e medir indicadores a serem tomados como base para futuras comparaes. Ao longo dos processos de implementao, outros trs tipos de pergunta podem ganhar fora e ajudar a moldar as escolhas metodolgicas indagaes relacionadas dinmica da equipe de trabalho, s relaes entre equipe e beneficirios, capacidade de aprender e se ajustar realidade, entre outras. Ao mesmo tempo, podem haver questes concentradas em compreender em que medida as metas planejadas (ou resultados parciais) esto sendo alcanadas, remetendo o processo ao status de um monitoramento. Por fim, pode haver momentos em que avaliaes de meio-termo
25
sejam necessrias, ou seja, aquelas que procuram articular os resultados parcialmente alcanados qualidade dos processos de trabalho, propondo revises no planejamento inicial e repactuao dos resultados esperados. Nos perodos de encerramento, so as avaliaes de resultados as que ganharo fora, sendo essencialmente traduzidas pelo julgamento da relevncia e do mrito com os quais a iniciativa alcanou o final de seu ciclo. Nesse momento, a existncia de registros de linha de base pode ser um elemento importante para definir o desenho do estudo. Contudo, a ausncia de um levantamento dessa natureza no inviabiliza a comparao, mas demandar tcnicas retrospectivas para comparar presente e passado. tambm a partir da finalizao de um ciclo de projeto que se pode pensar em perguntas de impacto, como aquelas que tentaro identificar efeitos e consequncias socioambientais, econmicos, culturais e polticos de longo prazo, previstos e imprevistos, negativos ou positivos, alcanados a partir de uma interveno em um determinado grupo populacional. Sustentabilidade, profundidade, influncia, escala e abrangncia so significantes que tendem a emergir nesse momento, num desejo de atribuio de causalidade entre iniciativa e transformao social.
3.6. POSIES TICO-POLTICAS
O estudo de situaes sociais implica, inexoravelmente, a observao da relao de homens e mulheres entre si e com o mundo ou o territrio que habitam. A dinmica estabelecida entre os diversos sujeitos participantes de uma realidade social atravessada por relaes de interesse e poder que podem, ou no, se expressar por meio das opes metodolgicas presentes em uma avaliao. O mtodo cria configuraes que podem fortalecer determinados indivduos e enfraquecer outros, seja pela sua possibilidade de ser compreendido por diferentes interlocutores seja por permitir envolvimento e participao em decises relevantes. Da mesma forma, o mtodo pode privilegiar o lugar social de um certo gnero, de uma classe social, de um status poltico, e assim por diante, amplificando uns e calando outros, ainda que o faa sem conscincia.
26
Ao lado das outras cinco dimenses apresentadas, as posies tico-polticas de gestores e avaliadores tero grande peso na determinao dos mtodos avaliativos. A quem pertence um processo de avaliao? Quem deve e no deve falar ao longo do processo? Que perspectivas devem ser priorizadas? Quem toma parte e de que maneira? O encontro com tais perguntas um componente do qual no se deveria fugir. 4. CONSIDERAES FINAIS Mtodo palavra a ser pensada no plural: mtodos. No existe um mtodo, tampouco o mtodo, mas inmeros arranjos essencialmente caracterizados pelas correntes epistemolgicas que os fundamentam, que abrigam no apenas um caminho tcnico de acesso realidade, mas um caminho mediado por sujeitos que pensam e aspiram, num tabuleiro com tantos outros desejos e ideologias. Distante do pragmatismo necessrio aos processos de avaliao, um mtodo no nada. Ele assume seu lugar medida que se prope a responder perguntas cruciais para uma iniciativa, num esforo legtimo para compreender a realidade e, dessa maneira, alter-la. Quando articulado no campo avaliativo, um mtodo um dispositivo a servio de investigar, compreender e ajudar a mudar. Como versa a origem grega da palavra, com meta (relacionado a resultado) e hdos (caminho), os mtodos so caminhos, estradas para produzir resultados. Nesse sentido, fundamental que as escolhas metodolgicas no sejam tomadas por gestores e avaliadores como a preocupao central do processo avaliativo. Fetichizado, carregado de atributos e expectativas que no correspondem ao que ele ou ao papel que deve cumprir, abre-se uma forte via para a frustrao e o engodo. Mais ainda, essencial que no se construa nem se alimente fantasias de que os mtodos esto encastelados em torres acessveis apenas a especialistas, como se fossem cavaleiros mticos dotados do poder de vencer o drago. O debate pode e deve ser democrtico, acessvel, disponvel, num esforo de elevar a capacidade dos sujeitos para melhor compreenderem o seu entorno, numa cartografia que inclua as pedras e os espectros.
27
BIBLIOGRAFIA ALKIN, M. C. (Ed.). Evaluation roots: tracing theorists views and influences. Thousand Oaks, CA: Sage, 2004. DEMO, P. Praticar cincia. Metodologias do conhecimento cientfico. So Paulo: Saraiva, 2011. GUBA, E. G.; LINCOLN, Y. S. Paradigmatic controversies, contradictions, and emerging confluences. In: DENSZIN, N.; LINCOLN, Y. S. (Eds.). Handbook of qualitative research. 2. ed., Thousand Oaks: Sage Publication, 2000, pp. 163-88. HOUSE, E. R. Assumptions underlying evaluation models. In: MADAUS, G. F.; SCRIVEN, M.; STUFFLEBEAM, D. L. (Orgs.). Evaluation models: viewpoints of educational and human services evaluation. Boston: Kluwer-Nijhoff, 1983. SILVA, R. R. Avaliao e desenvolvimento organizacional. In: OTERO, M. R. (Org.). Contexto e prtica de avaliao de iniciativas sociais no Brasil: temas atuais. So Paulo: Peirpolis/ Instituto Fonte, 2012. SILVA, R. R. Avaliao de programas e projetos sociais no Brasil: histria, conquistas e desafios. In: Avaliao de programas e projetos sociais no Brasil. A experincia da Fundao Banco do Brasil. Braslia: FBB, 2013
28
Mtodos mistos de avaliao: aumentando a efetividade do investimento social privado

DONNA M. MERTENS
PhD, Universidade de Gallaudet, Washington, DC, Estados Unidos.
1. INTRODUO O investimento social privado tem grande potencial para melhorar as condies de vida dos povos mais pobres e destitudos do mundo. No Brasil evidente que a Fundao Ita Social, Fundao Roberto Marinho e Fundao Maria Ceclia Souto Vidigal, entre outras, oferecem um volumoso e importante suporte. Mas a conscincia sobre a responsabilidade social inclui no apenas a oferta de fundos e programas, mas tambm o trabalho de avaliar rigorosamente as iniciativas, a fim de responder s demandas das diferentes comunidades alcanadas pelo investimento. Em diferentes setores, o uso da avaliao aumentou significativamente nas duas ltimas dcadas. Na arena poltica, os atores responsveis pela formulao e implementao de programas e servios especialmente em uma poca de turbulncia econmica e austeridade fiscal so constantemente pressionados por seu eleitorado acerca dos resultados e do retorno econmico do investimento pblico. Tambm no contexto dos programas sociais, as
29
organizaes no governamentais avaliam frequentemente a eficcia de suas estratgias de implementao, para aprender como melhor servir a seus beneficirios e assegurar seu financiamento. Alm disso, gestores de iniciativas do setor privado usam avaliao para entender quais so as correes necessrias para melhorar suas estratgias de marketing e vendas e aumentar a satisfao de seus clientes, alm de aumentar lucros. Abordagens de avaliao que usam mtodos mistos fortalecem a habilidade da comunidade avaliativa em responder a essas demandas com maior rigor, responsabilidade e eficincia em grupos culturalmente diversos, tais como os encontrados no Brasil. Ao mesmo tempo em que essa comunidade endossa o uso de mtodos mistos com esse fim, no h um consenso sobre como integr-los em seu trabalho. Entre os avaliadores as divergncias que justificam o uso das combinaes de mtodos tm base nas premissas que guiam a conduta de cada profissional. H quatro abordagens principais para o uso de mtodos mistos, que enfatizam diferentemente o impacto, o processo, a relevncia cultural e o uso das avaliaes (MERTENS & WILSON, 2012; MERTENS & HESSE-BIBER, 2013). Para aqueles que acreditam que h uma realidade a ser medida, no importando o quo imperfeita, o enfoque est na avaliao do impacto e no uso de mtodos quantitativos, com um componente qualitativo. Outros avaliadores, construtivistas, acreditam que h vrias realidades tecidas socialmente e que os profissionais precisam interagir com as comunidades para poder relatar a natureza da situao vivida por seus integrantes. Assim sendo, priorizam o uso de mtodos qualitativos, com a incluso de dados quantitativos como parte das evidncias. Um terceiro grupo, formado pelos pragmticos, afirma que as perguntas avaliativas vo determinar a escolha dos mtodos e que, na maioria dos casos, a compreenso ser melhor lanando mo de mtodos qualitativos e quantitativos. O quarto grupo, de postura mais transformadora, enxerga a avaliao como uma maneira de contribuir para mudanas sociais positivas. Dito isso, o uso de mtodos mistos ser necessrio para entender a complexidade de comunidades culturalmente diversas e garantir que os direitos humanos e a justia social sejam priorizados. Avaliadores que
30
mtodos mistos de avaliao
endossam o pluralismo dialtico (JOHNSON & STEFURAK, 2013) recomendam que se utilizem as premissas filosficas do paradigma construtivista em seu trabalho qualitativo e as do paradigma ps-positivista em seu trabalho quantitativo. A mistura comea na hora de relacionar e cruzar os dados coletados segundo essas diferentes posies paradigmticas. Essas posturas implicam na forma como tais mtodos mistos so usados em avaliao. Os profissionais que se alinham ao paradigma ps-positivista enfatizam o uso de estudos randomizados controlados (RCT, na sigla em ingls) como a melhor maneira de responder s perguntas voltadas a estudar o impacto e a eficcia de um programa (WHITE, 2013). Eles reconhecem o valor de se acrescentar um componente qualitativo na etapa de coleta de dados sobre as cadeias causais, a escolha de pblico-alvo, as barreiras para a participao e a adeso dos beneficirios (p. 62). J os construtivistas defendem a incluso de perspectivas metodolgicas subjetivas ligadas a uma srie de mtodos cuja ontologia favorece uma viso da realidade como mltipla, tendo o propsito de entender mltiplas subjetividades (HESSE-BIBER, 2013, p. 51). Isso permite a coleta e o uso de dados qualitativos antes, durante e depois que uma interveno implementada, produzindo respostas para perguntas como: O quanto essa interveno responde cultura e ao contexto da populao-alvo?; At que ponto a populao-alvo dialoga com a diversidade de objetivos do projeto?; Quem ficou de fora?; Por qu? (p. 52). A postura do pluralismo dialtico defende o uso de avaliadores que partem de premissas filosficas divergentes para proteger a integridade das decises metodolgicas e mant-las de acordo com as crenas de cada paradigma, ao mesmo tempo em que permite a conversa frutfera que surge quando diferentes perspectivas so respeitadas. Nem o paradigma pragmtico nem o transformador preconizam o uso de mtodos mistos. Mas o pragmatismo tem sido usado como base para defender a utilizao de mtodos mistos quando as perguntas avaliativas podem ser mais bem respondidas com essa abordagem. Em contraste, o grupo de avaliadores com postura transformadora questiona a premissa de que as perguntas de uma avaliao so predeterminadas e apoiam o envolvimen31
to com todos os interessados de modo culturalmente respeitoso (MERTENS, 2009; MERTENS & WILSON, 2012). Isso significa que os avaliadores tm de fazer algum trabalho qualitativo preliminar para entender a comunidade antes de desenvolver as questes da avaliao, de modo a construir uma relao com ela e garantir que os grupos interessados sejam includos e apoiados. necessrio identificar a natureza das relaes de poder e suas implicaes sobre as vozes que devero ser privilegiadas no desenho da avaliao e do programa. Os mtodos devem ser capazes de identificar as verses da realidade sustentadas por cada grupo e compreender as implicaes dessas verses na busca por justia social e, em ltima instncia, por direitos humanos. Por exemplo: se um grupo acredita que a razo para o aumento da Aids/ HIV no Hemisfrio Sul deve-se ignorncia da populao sobre como evitar o contgio, pode propor uma interveno ensinando as pessoas a simplesmente dizer no ou usar preservativos. Porm, essa interveno no parece baseada na compreenso e/ou experincias com Aids/HIV entre as pessoas. Uma avaliao transformadora usaria dados quantitativos e qualitativos coletados em entrevistas, observaes e convvio com o pblico-alvo, alm de dados epidemiolgicos desagregados em dimenses relevantes para compreender o sentido da questo entre homens e mulheres (diversidade), o efeito da pobreza na disposio em praticar sexo sem proteo, a sensao de futilidade sobre o futuro quando tantas pessoas volta esto morrendo, e outros fatores que precisam ser incorporados aos planos para se chegar a uma interveno capaz de provocar mudanas (CHILISA, 2012). Assim sendo, os mtodos mistos tm grande potencial para aumentar a credibilidade das evidncias que os avaliadores podem oferecer s comunidades para apoiar a efetividade, propriedade e sustentabilidade dos investimentos sociais privados no Brasil. Seja trabalhando com educao, sade, desenvolvimento social e econmico, melhorias de infraestrutura, setores ambientais ou artes e cultura, basear o trabalho no claro entendimento das experincias das pessoas e alinhar a avaliao com as premissas filosficas apropriadas aumentam a possibilidade de contribuir para melhorar a justia social e garantir os direitos humanos.
32
O restante deste artigo traz uma anlise detalhada dos diferentes paradigmas e tipos de avaliao, com exemplos que ilustram como os estudos com mtodos mistos so conduzidos a partir dessas diferentes perspectivas. 2. MTODOS MISTOS E MLTIPLOS MTODOS EM AVALIAO: UMA BREVE HISTRIA Aps a publicao do primeiro enquadramento conceitual sobre avaliao com mtodos mistos no fim dos anos 1980 (GREENE, CARACELLI & GRAHAM, 1989) e com base no aumento da conscincia dos profissionais sobre a relevncia de seu uso, ocorreu uma srie de importantes avanos no mundo avaliativo, como se descreve a seguir.
Uma edio inovadora do New Directions in Evaluation (Novas Diretrizes na Avaliao, em traduo livre) dedicada aos mtodos mistos (GREENE & CARACELLI, 1997), com o objetivo de listar os avanos alcanados com seu uso na avaliao no fim dos anos 1990. O User-friendly handbook for mixed method evaluations (Guia para o uso de mtodos mistos em avaliao, em traduo livre) publicado pela Fundao Nacional de Cincia (NSF na sigla em ingls, em 1997). So publicadas a primeira e a segunda edies do Handbook of mixed methods in social and behavioral research (Manual dos mtodos mistos em pesquisa social e comportamental, em traduo livre) (TASHAKKORI & TEDDLIE (2003; 2012)). lanada uma publicao revisada por avaliadores, especificamente dedicada ao uso de mtodos mistos: o Journal of Mixed Methods Research (2007). O segundo volume do New Directions in Evaluation dedicado ao uso de mtodos mistos em 2013, focando em sua contribuio para a credibilidade das evidncias (MERTENS & HESSE-BIBER, 2013).
Concomitante com a disseminao desses avanos, estabeleceram-se grupos profissionais e comunidades de prtica com enfoque especfico nos mtodos mistos, incluindo os listados a seguir.
33
O Special Interest Group (SIG na sigla em ingls, Grupo de Interesse Especial em mtodos mistos) criado na American Educational Research Association (Associao Americana de Pesquisa Educacional), em 2009. O Topical Interest Group (TIG, Grupo de Interesse Temtico) nos mtodos mistos estabelecido na American Evaluation Association (AEA, Associao Americana de Avaliao), em 20101. O lanamento da Mixed Methods International Association (MMIRA, Associao Internacional de Mtodos Mistos), em 2013.
E diante da crescente popularidade do tema, tanto dentro como fora dos meios acadmicos, uma srie de conferncias sobre o uso de mtodos mistos foi realizada no mundo, entre elas:
Conferncia Internacional de Mtodos Mistos em Cambridge e Leeds (Reino Unido) e Baltimore, Maryland (Estados Unidos) em 2005-2012. O Dia dos Mtodos Mistos, evento de um dia de aprendizado organizado antes da Conferncia Internacional de Pesquisa Qualitativa na Universidade de Illinois, Urbana/Champaign (EUA), em 2012 e 2013. A conferncia anual da MMIRA em Boston (EUA), em 2014.
Mais recentemente, as avaliaes por mtodos mistos receberam ateno especial em duas comunidades. Na rea das cincias da sade, o National Institutes of Health (NIH), agncia do Departamento de Sade e Servios Humanos dos EUA, publicou um manual com as melhores prticas para pesquisas com mtodos mistos (NIH, 2011). Na comunidade internacional, o Departamento para o Desenvolvimento Internacional britnico (DFID, 2012) publicou um artigo sobre como expandir a gama de formulaes e mtodos para ava1. Conforme a petio apresentada a favor da constituio da MM TIG dentro da AEA em 2010, a misso e o objetivo deste novo grupo so: (a) examinar o uso dos mtodos mistos em avaliao por meio da anlise reflexiva da filosofia, teoria e metodologia que est sendo desenvolvida no campo dos mtodos mistos; (b) contribuir para a melhoria das prticas de avaliao, mtodos e uso; e (c) focar nas contribuies que um melhor entendimento dos mtodos mistos pode oferecer.
34
liaes de impacto, e Bamberger (2012) publicou uma introduo ao uso de mtodos mistos na avaliao de impacto. Mais precisamente, o interesse pela capacidade de os mtodos mistos realizarem triangulao de dados e alcanarem melhor entendimento da implementao dos processos e causas dos fenmenos em estudo foi aguado por dois fatores. Primeiro, pela identificao das limitaes e desafios prticos associados aos RCTs, financiados por uma srie de doa dores internacionais; e segundo, a conscincia da distino entre qualitativo e quantitativo deixou de ser aparente devido gama de ferramentas de coleta e anlise de dados disponveis para os avaliadores, como confirmado pelos autores da publicao da DFID:
A combinao de mtodos tambm se tornou mais fcil porque a clara distino entre mtodos quantitativos (variveis) e qualitativos (casos) se tornou mais diluda, com mtodos quantitativos que no so estatsticos e novas formas de anlises de casos, tornadas mais fceis pelo uso de ferramentas eletrnicas (DFID, 2012, ii).
3. RELEVNCIA DA AVALIAO NA TEORIA E NA PRTICA Como j foi mencionado anteriormente neste artigo, o ecltico uso dos mtodos mistos em avaliao est estreitamente ligado variedade de propsitos aos quais se aplica a combinao de mtodos quantitativos e qualitativos. Como resultado, os estudos baseados em mtodos mistos confirmam a diversidade de estruturas filosficas, lentes tericas, escolhas metodolgicas e prticas encontradas na comunidade de avaliadores. No campo dos mtodos mistos, existem mltiplas perspectivas do que representa uma evidncia ou do que d vigor aos achados, estando estas tambm baseadas no nvel de participao dos interessados, alm de nas matrizes disciplinares dos avaliadores e nas escolhas de paradigma. Por esse motivo, os mtodos mistos atuam em vrios nveis. Os dilogos sobre sua aplicao esto inerentemente ligados credibilidade da evidncia e ao critrio usado para estabelecer tal credibilidade (MERTENS & HESSE-BIBER, 2013). Os avaliadores voltam-se para os mtodos dos paradigmas ps-positivista, construtivista, pragmtico e transformador para critrios associados
35
com credibilidade e rigor particulares a estes paradigmas (MERTENS & WILSON, 2012). Mas, longe de se preocupar somente com a solidez dos dados nos quais suas concluses se baseiam, aqueles que usam os mtodos mistos procuram representar da maneira mais fiel possvel as vozes dos interessados menos favorecidos, de comunidades marginalizadas cujos pontos de vista vm sendo historicamente ignorados ou representados de maneira pouco fiel nas avaliaes. Em resposta pergunta que eles normalmente se fazem, sobre como a incluso dessas comunidades marginalizadas na avaliao aumenta a credibilidade das concluses, defensores dos mtodos mistos penam para justificar suas escolhas metodolgicas, por causa da quantidade de opes. Tamanha diversidade e riqueza de metodologias apresenta alguns desafios, inclusive a necessidade de trabalhar dentro e entre dois pontos ou perspectivas de mundo que esto em tenso um com o outro. 4. O PARADOXO DOS MTODOS MISTOS Como resultado do crescimento da literatura especializada na ltima dcada e da proliferao dos grupos profissionais citados anteriormente, o uso de mtodos mistos passou a ser um aspecto distinto de muitas metodologias de avaliao (MERTENS & HESSE-BIBER, 2013). O esforo para combinar mtodos quantitativos e qualitativos para aumentar a validade e credibilidade dos resultados representa um trabalho admirvel. No entanto, seu uso no sistemtico e no discutido tambm lana dvidas sobre a eficcia de sua aplicao. Portanto, necessria uma compreenso mais slida e compartilhada dos mtodos mistos. A seguir, apresentamos razes para seu uso2.
2. Apesar do aumento, de modo geral, da aplicao de mtodos mistos nas avaliaes, eles ainda correspondem a uma pequena porcentagem do total de estudos conduzidos em uma srie de campos. Um recente panorama de estudos publicados no Journal of Organizational Behaviour (2003-2008) citou a ocorrncia em 17 estudos, de um total de 318. Uma reviso do Journal of Addictive Behaviors citou seis casos em 932 artigos, e um levantamento dos estudos sobre sade na base de dados do Computer Retrieval of Information on Scientific Projects (CRISP, <http:// crisp.cit.nih.gov/>, ltimo acesso em setembro de 2013) cita apenas 272 entre 1997 e 2008. Ivankowa e Kawamura, 2010, observam que o nmero de estudos de mtodos mistos cresceu de 10 para 243 em 2008.
36
5. POR QUE USAR AVALIAO POR MTODOS MISTOS? Tradicionalmente, o argumento apresentado com mais frequncia para justificar o uso de mtodos mistos em avaliaes que a combinao de ferramentas quantitativas e qualitativas ajuda a mitigar as limitaes do uso exclusivo de um ou de outro. Mais recentemente, o uso de mtodos mistos tem sido visto como especialmente apropriado nos seguintes casos: 1. reduzir o risco de vieses e contrabalanar as limitaes do uso de um nico mtodo, aumentando assim a solidez das concluses (GERTLER et al, 2011, p. 119); 2. gerar um entendimento mais completo, contextual, circunstancial e complexo do fenmeno de interesse, do que seria gerado por um estudo usando apenas um mtodo (GREENE, 2005, p. 410); 3. aproveitar o melhor de cada um dos mtodos, ao mesmo tempo em que so superadas suas deficincias (DENZIN, 1989, p. 244); 4. celebrar a igualdade das diferenas (MCGEE, 2003, p. 135); e 5. lanar relaes e padres interessantes, muitas vezes surpreendentes e algumas vezes inesperados, atravs de pesquisas qualitativas (alm de perguntar quanto?) e estabelecer o grau de confiana nessas hipteses de trabalho com base na pesquisa quantitativa (GABARINO & HOLLAND, 2009 p.11). Como demonstrado pela ampliao da ideia de mtodos e avanando na compreenso de por que os mtodos mistos devem ser usados, as avaliaes com mtodos mistos representam uma inovao. Contribuem para a definio e a busca de novas abordagens caracterizadas por uma srie de fatores, como estrutura epistemolgica e conceitual ampliada, extenso, foco, anlises de dados e pblico-alvo, conforme o quadro a seguir.
37
VALOR AGREGADO DOS MTODOS MISTOS EM AVALIAO Campo Epistemologia Valor agregado Avana no entendimento e explica a complexidade dos programas com base no princpio de que os fenmenos so, normalmente, imprevisveis e no explicveis por mecanismos lineares de causas. Aumenta a triangulao, isto , o uso das concluses de diferentes fontes de dados, para responder mesma pergunta da avaliao (quanto mais convergentes os resultados, mais slidas as concluses correspondentes). Informa estratgias de coleta mltipla de dados e instrumentos que se alimentam mutuamente. Por exemplo: uma srie de estudos de caso etnogrficos sobre padres de alimentao em casas de famlia, prticas de agricultura e custos permitiria a identificao de itens que poderiam ser includos em uma pesquisa subsequente com o objetivo de medir as mudanas no status nutricional como resultado de um programa de alimentao em escolas. Facilita a validao cruzada entre diferentes estruturas conceituais e hipteses sobre como ocorrem mudanas resultantes de intervenes. Por exemplo: como resultado da identificao (por meio de anlise temtica) de padres de comportamento entre os beneficirios do programa, uma nova varivel pode ser criada e incorporada em uma anlise de regresso, aumentando assim o poder de previso de um modelo estatstico subjacente ao programa em avaliao. Oferece complementao aos resultados quantitativos e qualitativos. Por exemplo: alguns estudos de caso desenvolvidos a partir de um levantamento feito aps um programa de treinamento poderiam explicar por que as mulheres participantes tinham quatro vezes menos chances de encontrar um trabalho nove meses depois de completar o programa que est sendo avaliado. Extenso Combina o entendimento da extenso e profundidade das experincias humanas. Aumenta a preciso dos resultados ao qualific-los com base nos atributos temporais e espaciais de uma interveno, alm das caractersticas da(s) populao(es) afetada(s) pelo programa que est sendo avaliado. Transformao de dados: dados numricos so convertidos em narrativos e vice-versa, com o propsito de compreender e comunicar. Anlise de casos extremos: casos importantes de desempenho muito bom ou ruim so identificados e investigados mais a fundo a partir de um mtodo diferente. Desenvolvimento de teoria e teste: primeiro, identifica e analisa processos associados a indivduos, comunidades e outras entidades classificadas de acordo com uma tipologia guiada pela teoria; segundo, inclui variveis de categorias na anlise estatstica para ajudar a aumentar o poder de explicao do modelo desenvolvido. Fuso de dados: variveis qualitativas/categricas e quantitativas so criadas e fundidas na mesma disposio de dados e usadas na anlise estatstica de um modelo explanatrio. Entendimento ampliado dos processos/ mecanismos que levam aos resultados Amostragem Pblico-alvo Ajuda a abrir a chamada caixa-preta, combinando a identificao dos resultados finais de uma interveno com aqueles da implementao de processos e dinmicas (cultural, econmica, poltica, social) que influenciaram os efeitos dessa interveno.
Estrutura conceitual
Anlise de dados
Amostragens adicionais podem ajudar na formulao da questo da avaliao. Flexibilidade na combinao e anlise das concluses garantem maior entendimento e aceitao dos resultados, aumentando a responsabilidade do trabalho de avaliao. Quando as avaliaes conduzidas de maneira participativa respondem a vrias preocupaes dos interessados (capturam nuances dentro das comunidades/indivduos estudados) e interesses mltiplos.
Fonte: Tarsilla (2013).
38
A partir daqui sero exploradas diversas estruturas filosficas que guiam a utilizao de mtodos mistos em avaliao, junto com exemplos ilustrativos e anlises crticas dessas abordagens. 6. MLTIPLAS LENTES FILOSFICAS E TERICAS NA AVALIAO Alkin (2004) apresentou um retrato das razes tericas para a avaliao na Amrica do Norte na primeira edio do Evaluation Roots (Razes da Avaliao, em traduo livre), usando a metfora de uma rvore para descrever os ramos das teorias de avaliao, isto , Mtodos, Usos e Valores. O ramo dos Mtodos era povoado por aqueles que acreditavam que o rigor dos RCTs produziria conhecimento com credibilidade para os avaliadores. Os tericos do ramo do Uso perceberam que os avaliadores poderiam seguir rigidamente as regras baseadas no ps-positivismo, mas que o resultado de seus estudos no faria a menor diferena se ningum os usasse. Por isso, seu foco era identificar os potenciais usurios e criar estudos que teriam credibilidade perante os mesmos. Os tericos do ramo dos Valores enfatizavam a importncia do contexto e das construes de realidade dos diversos interessados como caminho para a criao de conhecimento que tivesse credibilidade. A primeira edio da Evaluation Roots foi descrita como algo que oferecia um bom comeo do processo de documentar a evoluo das teorias no campo da avaliao, mas foi criticada por no incluir avaliadores de fora da Amrica do Norte e por no ter representaes das perspectivas tericas de profissionais de minorias tnicas ou indgenas (DAVIDSON, 2006; MERTENS, 2006). Na segunda edio de sua obra, Alkin (2013) usou os mesmos ramos para descrever tericos da avaliao, e dois captulos adicionais foram acrescentados para incluir tericos do resto do mundo. Primeiro, o captulo de Stame (2013), sobre uma rvore da teoria da avaliao europeia que menciona a crescente necessidade de mtodos mistos3 como ferramenta para encerrar a tenso entre um
3. O uso das revises sistemticas combinado s revises narrativas defendidas por vrios tericos (PETTIGREW & ROBERTS, 2006) um dos exemplos mais ilustrativos dos mtodos mistos na teoria e prtica de avaliao europeia.
39
paradigma agrcola-botnico, usando as tradies de testes em psicologia experimental e mental (PARLETT & HAMILTON, 1997), e o paradigma iluminista da avaliao, referenciado antropologia, psiquiatria e sociologia4. Inspirado em Kushner (2000), Stame tambm lembra o leitor que necessria uma mudana no pensamento avaliador de documentar o programa e as vidas dos indivduos nesse contexto [para] documentar as vidas e trabalho das pessoas e usar isso como o contexto no qual identificamos a importncia e significado dos programas (p. 359). Da mesma forma, o captulo de Rogers e Davidson sobre as razes australianas e neozelandesas da avaliao menciona a relevncia da combinao de mtodos para capturar as diferenas substantivas das experincias humanas (frequentemente ditadas pela cultura de algum, como no caso dos aborgenes e moradores das ilhas do estreito de Torres, passagem nutica entre o extremo norte da Austrlia e a ilha de Nova Guin) e tornando a avaliao mais sintonizada com a cultura na qual aplicada (CRAM, 2009; DAVIDSON, 2010; KENNEDY & CRAM, 2010; WEHIPEIHANNA, DAVIDSON & MCKEGG, 2010). Embora as contribuies dos autores da Europa, Austrlia e Nova Zelndia tenham certamente ampliado a gama de tericos da avaliao representados, ainda no haviam sido includas as vozes dos avaliadores de comunidades marginalizadas e de outros defensores de justia social que vm fazendo contribuies significativas no campo da avaliao. Assim sendo, Mertens (2012) e Mertens e Wilson (2012) acrescentaram um quarto ramo rvore da avaliao identificado como Justia Social. Mertens e Wilson tambm questionaram a metfora da rvore com ramos separados e sugeriram uma metfora baseada em correntes martimas, que apresentam identidades distintas mas percorrem tra-
4. Uma abordagem de avaliao que parece apropriada para superar essa dcada de tenso a Avaliao Realista. Ao reconhecer a possibilidade de identificar os mecanismos escondidos que influenciam os processos por trs dos processos (a caixa-preta) e ao reconhecer a existncia de teorias no meio do caminho nos fenmenos mundiais, autores que adotam essas abordagens propem uma alternativa tanto ao movimento positivista quanto ao construtivista na avaliao.
40
jetos comuns no fundo do mar, o que corresponderia ao compartilhamento das ideias. Ns usamos esta estrutura de quatro ramos (sejam eles vistos como galhos de uma rvore, rios ou correntes martimas) para estruturar nossa discusso sobre as bases para o uso de mtodos mistos na avaliao. Nossa principal tese que a compreenso dessas abordagens envolve a compreenso das posturas filosficas, perspectivas tericas e estratgias prticas que surgiram no mundo da avaliao associadas aos avanos nos mtodos mistos. Avaliadores passaram pelo que chamamos de Guerra dos paradigmas, quando os ps-positivistas discutiam com os construtivistas sobre que mtodos resultariam na criao de evidncias com credibilidade (MERTENS & WILSON, 2012). primeira vista, as discusses pareciam ser sobre os mtodos em si, mas eram, fundamentalmente, sobre as vises de mundo dos avaliadores e como enxergavam a axiologia (tica), a ontologia (realidade), a epistemologia (conhecimento) e a metodologia (pesquisa sistematizada) (SHADISH, 1998). Greene (2012, p. 756) identificou uma importante lio da Guerra dos paradigmas:
Uma importante lio do grande debate quantitativo-qualitativo foi o reconhecimento em todas as divises metodolgicas de que o conhecimento sobre assuntos humanos parcialmente afetado pelas lentes e posturas do pesquisador humano. Ao aceitar a impossibilidade do empirismo puro e do conhecimento puramente objetivo sobre a ao humana proveniente do positivismo, os pesquisadores sociais tiveram que aceitar tambm a inevitvel presena dele mesmo no conhecimento gerado pelas pesquisas sociais. Suas prprias crenas filosficas e paradigmticas sobre a realidade e o conhecimento combinadas s suas teorias favoritas, s sensibilidades de seus mentores, s importantes experincias de vida, aos valores e crenas em geral todos contam nas decises metodolgicas tomadas pelo pesquisador e na interpretao da trama do conhecimento obtido. (p. 756).
Com base na verso ampliada de Guba e Lincoln (1989; 2005) que descreve os quatro paradigmas (positivista, construtivista,
41
pragmtico, teoria crtica), avaliadores operam atualmente em um mundo multiparadigmtico que inclui: ps-positivistas, construtivistas, pragmticos e transformadores (MERTENS, 2009; MERTENS, 2010; MERTENS & WILSON, 2012). Qualquer um desses paradigmas pode ser usado individualmente ou combinados como base para uma seleo de mtodos mistos. Por isso usamos essa estrutura organizacional de paradigmas e ramos na prxima parte deste captulo. 7. PARADIGMAS E RAMOS Os quatro principais paradigmas se alinham aos quatro ramos da teoria da avaliao, como descritos na Tabela 6.1. Os ps-positivistas se alinham aos tericos dos Mtodos; os construtivistas com os tericos do Valor; os transformadores com os tericos da Justia Social; e os pragmticos com os tericos do Uso. Os tericos que escolhem trabalhar com vrios paradigmas no aparecem na tabela a seguir, mas sero abordados adiante, quando chegarmos ao conceito de pluralismo dialtico.
PARADIGMAS FILOSFICOS E RAMOS DA AVALIAO Paradigma Ps-positivista Construtivista Transformador Pragmtico

Fonte: adaptado de Mertens & Wilson, 2012.
Ramo Mtodos Valores Justia social Uso
7.1. O PARADIGMA PS-POSITIVISTA E O RAMO DOS MTODOS NA AVALIAO
A tabela a seguir mostra as crenas filosficas associadas ao paradigma ps-positivista. Como suas crenas ontolgicas e epistemolgicas levam a uma metodologia que prioriza o uso de RCTs, perguntamo-nos como os mtodos mistos entram nesse ramo. O recente trabalho de Howard White5 (2013) lida com essa questo
42
e esclarece que a pergunta-chave feita nas avaliaes de impacto (Que diferena fez a interveno?) pode ser mais bem respondida com RCT ou com formulaes quase-experimentais se um RCT no vivel. No entanto, ele tambm admite que as avaliaes de impacto podem se beneficiar das abordagens qualitativas para obter respostas a diferentes tipos de questes (por exemplo: Quais so as principais causas das mudanas observadas?; Qual a qualidade da implementao?; Quo relevante a meta da interveno que est sendo avaliada?; Quais as barreiras para a adoo de um novo comportamento ou da participao no programa em questo?). Ou, dito de outra maneira, as avaliaes podem se fortalecer com o acrscimo de dados qualitativos (BELL, 2006; BRIGGS, 2006) a estudos essencialmente ps-positivistas (OAKLEY 2005a, 2005b). A perspectiva ps-positivista permanece como uma das mais utilizadas nas comunidades de pesquisa e avaliao da Amrica do Norte e da Europa. Mas o fato de os mtodos qualitativos serem considerados como um suporte til, ou segunda melhor opo, atrs apenas do quantitativo (HESSE-BIBER, 2010, p. 457), no passou ao largo das crticas. Frequentemente repreendidos por no terem recebido treinamento avanado em metodologias qualitativas (HOWE, 2004), os ps-positivistas j foram acusados de introduzir vises e jarges excessivamente quantitativos na comunidade avaliadora, marginalizando assim a pesquisa qualitativa de natureza aberta, com fluxo livre e emergente (DENZIN, 2010, p. 420) e deixando pouco espao para questes ligadas ao empoderamento, justia social e a polticas de esperana6 (DENZIN, 2010, p. 420).
5. Howard White o diretor executivo da Iniciativa Internacional da Avaliao de Impacto (3ie), um programa especial que prov fundos e desenvolvimento de capacidade para a conduo de avaliaes de impacto em conjunto com estudos qualitativos e revises sistemticas das polticas de desenvolvimento, projetos e programas internacionais. Seu artigo Ser que vamos aprender?, publicado pelo Centro de Desenvolvimento Global em 2007, enfatiza a relevncia da avaliao de impacto e ressalta a natureza complementar dos mtodos qualitativos para responder s questes da efetividade e impacto das intervenes de desenvolvimento internacional.
43
CRENAS DO PARADIGMA PS-POSITIVISTA O que se presume Axiologia Crenas Respeito/privacidade (confidencialidade) Beneficncia/no maleficncia Oportunidades iguais para participar e ser beneficiado, especialmente nos casos de RCT Justia (especialmente no caso de amostragem aleatria para evitar vieses e a eleio de participantes facilmente acessveis Ontologia Epistemologia Metodologia Uma realidade esperando ser descoberta e medida Objetiva, neutra e distante Quantitativa; RCT ou formulaes quase-experimentais (com o uso de tcnicas estatsticas para compensar a falta de aleatoriedade); pesquisa estruturada
O paradigma ps-positivista no mundo real: exemplos
Dada a quantidade de recursos alocados para rigorosas avaliaes de impacto em uma variedade de setores na ltima dcada, sua prtica contempornea apresenta muitas posturas que se filiam ao paradigma ps-positivista e em abordagens fortemente baseadas em mtodos. Visto como possvel aliana de interesses, seja para a obteno de financiamento adicional, seja para responder preocupao do pblico sobre a aleatoriedade (isto , fornecer bens e servios a algumas comunidades, mas neg-los a outras em nome do rigor), a combinao de mtodos quantitativos e qualitativos ganhou popularidade em diversos setores, especialmente no campo do desenvolvimento internacional, como ilustrado nos exemplos seguintes. Em primeiro lugar, os mtodos qualitativos vm sendo cada vez mais usados nas avaliaes de impacto conduzidas em todo
6. NT: Livre traduo da expresso politics of hope, as polticas de esperana so identificadas na plataforma do Partido Democrata Americano como aquelas voltadas a recuperar uma srie de direitos aos cidados americanos, bem como a reposicionar o papel dos EUA na comunidade internacional. A expresso marcadamente encontrada nos discursos do presidente Barack Obama, sendo inclusive ttulo de um de seus livros, The Audacity of Hope (no Brasil, A Audcia da Esperana, pela Larousse Editora).
44
o mundo pelo Laboratrio de Ao da Pobreza Abdul Latif Jameel (J-PAL, na sigla em ingls), afiliado ao Massachusetts Institute of Technology (MIT, Instituto de Tecnologia de Massachusetts), Estados Unidos. Ao longo de mais de cem RTC e avaliaes de impacto conduzidas na ltima dcada, e com base na concluso de que os resultados de avaliaes unicamente quantitativas deixavam perguntas-chave avaliativas sem resposta, alguns economistas e quantitativistas da instituio comearam a usar (ainda que marginalmente) mtodos qualitativos. Tradicionalmente cticas sobre a utilidade de mtodos no estatsticos para fins de pesquisa e avaliao, um grande nmero de avaliaes de impacto produzidas pelo J-PAL em meados dos anos 2000 comeou a usar mtodos qualitativos, primeiramente como meio de identificar e explicar os processos por trs das causas dos impactos detectados em anlises estatsticas (por exemplo, anlises de correlao ou de regresso). Foi esse o caso na avaliao de impacto do projeto de desenvolvimento comunitrio GoBifo7, financiado pelo Banco Mundial em Serra Leoa8 (KASEY et al, 2011). Ao longo dessa avaliao, a organizao de grupos focais combinada converso dos resultados qualitativos correspondentes em variveis e nmeros que serviram como base para o desenvolvimento das pesquisas seguintes provou-se especialmente til para explicar a dinmica social dentro do contexto dos vilarejos atendidos pelo projeto. Em segundo lugar, um exemplo ilustrativo dessa mudana de pensamento sobre os mtodos dentro das agncias, que favorecia os mtodos quantitativos h dcadas, a contratao recente de um avaliador qualitativo no Gender Innovation Lab (GIL, na sigla em ingls, Laboratrio de Inovao de Gnero), um novo escritrio criado dentro da unidade de Gesto Econmica e de Reduo de Pobreza (PREM, na sigla em ingls) da regio africana do Banco Mundial. Com a misso de conduzir doze avaliaes de impacto
7. GoBifo significa V em Frente na lngua Krio. 8. O projeto oferecia fundos em bloco para comunidades para serem usados na construo de bens pblicos como escolas, banheiros e locais para a secagem de gros; e/ou financiamento ou treinamento de habilidades profissionais e atividades para gerao de renda.
45
nas reas de produtividade agrcola, empreendedorismo, emprego e direitos de propriedade entre 2012-20159, o recm-contratado avaliador ajuda a equipe no desenvolvimento de estudos qualitativos e a integrar as questes relacionadas ao processo e ao contexto nas pesquisas quantitativas j existentes, com o propsito de medir de maneira mais eficiente o impacto das intervenes de desenvolvimento. Com base na concluso de que, no passado, os estudos quantitativos no apontaram uma forma de dar s mulheres acesso consistente aos insumos econmicos, a equipe do GIL reconheceu o papel crtico que os mtodos qualitativos desempenham na identificao de possveis solues10. Em terceiro lugar, a variedade de avaliaes predominantemente quantitativas conduzidas recentemente exemplificam alguns dos princpios-chave do paradigma ps-positivista: (a) a avaliao do impacto da reconstruo ps-conflito da Libria, financiada pelo Departamento de Desenvolvimento Internacional do Reino Unido (DFID, na sigla em ingls) e Comit Internacional de Resgate; (b) a avaliao de um programa de transferncia de renda no Cazaquisto, financiada pelo Save the Children; e (c) a avaliao do impacto do trabalho de emergncia e reabilitao da FAO (Organizao para Alimentao e Agricultura da ONU) na zona rural da Repblica Democrtica do Congo (RDC). Assim sendo, o paradigma ps-positivista e sua associao ao ramo dos Mtodos proposto por Alkin (2004) exemplifica o uso de mtodos mistos predominantemente quantitativos, em que o
9. Ao contrrio das tentativas passadas para medir as desigualdades de gnero dentro de uma interveno de desenvolvimento qualquer, essa nova gerao de avaliao de impacto pretende identificar, desenvolver e testar solues inovadoras para aliviar as limitaes subjacentes de gnero. 10. No passado, foi por mtodos qualitativos (por exemplo, estudos de caso e entrevistas aprofundadas e no estruturadas) que se identificou uma srie de estratgias eficientes para combater as questes de gnero: (1) prover campos para que mulheres plantem os gros que elas esto cultivando; (2) que tal rea ficasse perto da casa das mulheres (para minimizar as limitaes referentes a tempo e mobilidade); (3) a combinao do terreno com subsdios para insumo (devido s limitaes de crdito disponvel, reveladas nas entrevistas aprofundadas); e (4) o treinamento das mulheres mais influentes sobre como plantar cultivos de maior valor, tradicionalmente dominados pelos homens, sem alterar a extenso de terra disponvel em seus programas.
46
componente qualitativo usado para melhorar a compreenso do fenmeno estudado. Os exemplos refletem a crena de que uma medida quantitativa pode ser usada para capturar a realidade do impacto de um programa, e que os avaliadores, em sua maior parte, deveriam adotar postura neutra e objetiva. Na prxima seo, discutiremos as crenas do paradigma construtivista e como ele se alinha ao ramo dos Valores.
7.2. O PARADIGMA CONSTRUTIVISTA E O RAMO DOS VALORES DA AVALIAO
Como mencionado anteriormente, avaliadores construtivistas rejeitam a crena ontolgica de que h uma realidade l fora esperando ser medida em favor de uma postura que defende que as realidades so mltiplas e construdas socialmente (veja a tabela a seguir para a descrio das crenas filosficas associadas ao paradigma construtivista). Essa crena enfatiza o uso de mtodos qualitativos porque eles permitem ao avaliador interagir com os diversos interessados para juntos criarem diferentes verses da realidade social, necessrias para o total entendimento do contexto e do processo de implementao de uma interveno. Ainda nos anos 1980, os construtivistas reconheceram que dados quantitativos poderiam ser includos como parte de um estudo qualitativo primrio (GUBA & LINCOLN, 1989). Assim sendo, a porta tem estado e continua sendo aberta para considerar os estudos baseados em mtodos mistos dentro do paradigma construtivista.
CRENAS FILOSFICAS DO PARADIGMA CONSTRUTIVISTA O que se presume Axiologia Ontologia Epistemologia Metodologia
Crenas Representao equilibrada; empatia; respeito multicultural Realidades mltiplas socialmente construdas Interativa e interpretativa Abordagens primeiramente qualitativas
Denzin (2012) sugere que os estudos com mtodos mistos filiados ao paradigma construtivista tm maior potencial de produzir
47
achados que elucidem os objetos sociais do que aqueles baseados em mtodos mistos mais prximos ao paradigma ps-positivista. Associados ao paradigma construtivista, os mtodos mistos criam oportunidades de compreender os nveis contextuais e interpretativos da experincia nos quais os sentidos so produzidos, desenhando assim caminhos para promover justia social. Os construtivistas veem a pesquisa sistemtica como um processo interativo delineado pela histria pessoal, biografia, gnero, classe social, raa e enquadres tnicos das pessoas envolvidas (p. 85). Denzin prope uma moratria das conversas sobre desenho e tipologia de mtodos mistos para voltar tarefa original, que mudar o mundo (p. 85). Sua posio que pesquisadores precisam empregar estratgias construtivistas para criar textos que desafiem e estimulem os leitores ao e defende fortemente o uso de paradigmas construtivistas como estrutura para a pesquisa engajada. No entanto, uma grande parte da comunidade construtivista no visualiza essa como a primeira meta de seu trabalho (MERRIAM, 2009). Muitos argumentam que o trabalho deveria ser descritivo e interpretativo, e no de ativismo. O paradigma transformador e o ramo da Justia Social, que promovem os direitos sociais como sua principal premissa, sero discutidos na prxima seo. Hesse-Biber (2013) nos traz mais material para pensar sobre como a lente construtivista, informada pela teoria crtica, pode ser usada em combinao com abordagens quantitativas, como nos RCT. Em contraste com a viso de White (2013) sobre o papel dos mtodos qualitativos na avaliao, Hesse-Biber promove um papel mais forte para as investigaes qualitativas nas avaliaes com mtodos mistos. Ela argumenta que a abordagem qualitativa pode ser usada mais extensivamente para responder perguntas como: At que ponto a interveno responde ao contexto e cultura da populao-alvo? At que ponto funciona o trabalho de recrutamento? At que ponto a populao-alvo reflete a gama de objetivos finais do projeto? Quem ficou de fora? Por qu? Em que medida h prticas ticas (por exemplo: capacidade de responder s especificidades culturais, capacidade de reconhecer a desigualdade de poder) includas no processo de recrutamento? Em que medida a populao-alvo entende aquilo que est consentindo?
48
At que ponto os participantes aceitam os resultados da seleo aleatria? Esto dispostos a participar desses processos? A autora argumenta que os RCT seriam melhorados se envelopados em uma perspectiva subjetivista, o que levanta uma questo fundamental: possvel que as avaliaes com mtodos mistos de inspirao qualitativa contribuam para que os pesquisadores tenham mais capacidade de demonstrar uma relao causal entre variveis (MERTENS & HESSE-BIBER, 2012)?
O paradigma construtivista no mundo real: exemplos
Um crescente nmero de avaliaes de impacto financiadas pelo DFID e outros doadores no norte da Europa (Agncia de Desenvolvimento Internacional Sueca e Agncia de Desenvolvimento Internacional Dinamarquesa) tem dado renovada proeminncia ao paradigma construtivista nos ltimos anos. A ideia de que mtodos qualitativos ajudam a representar a pluralidade das perspectivas dos interessados em uma variedade de fenmenos foi certamente uma resposta s frustraes e limitaes associadas aos esforos finitos dos RCT em medir ligaes causais entre intervenes e efeitos. A literatura especializada parece ter sido especialmente til na revitalizao desse paradigma e na reafirmao de que mtodos qualitativos tm de ser includos na caixa de ferramentas das anlises causais (BRADY, 2002; PAWSON & TILLEY, 2007; YIN 2003). Knigge e Cope (2006) ilustram a abordagem qualitativa em sua avaliao dos jardins comunitrios na rea mais empobrecida da cidade de Buffalo, estado de Nova York, Estados Unidos, para determinar sua contribuio para a acumulao de capital social. Fortemente apoiados por mtodos qualitativos e tecnologias modernas, graas ao uso de uma plataforma virtual associada a sistemas de informao geogrfica (GIS, na sigla em ingls), a equipe de avaliao criou primeiro um mapa mostrando os recursos disponveis para a comunidade prximo dos jardins comunitrios. Depois, uma representao visual dos jardins comunitrios foi complementada com informaes adicionais sobre a composio tnica dos moradores e os atributos do territrio, alm de fotos da vizinhana e comentrios das pessoas em udio. Com base nas
49
especificaes fornecidas pela populao local, os responsveis por planejar a avaliao concordaram em redesenhar seu mapa para melhor refletir a realidade revelada pela plataforma virtual. Os mtodos incluram a realizao de entrevistas e observaes, lanando mo de passeios de bicicleta na regio-alvo como forma de medir a opinio das pessoas sobre o valor do projeto. O lder da equipe de avaliadores, Knigge, acrescentou estatsticas sobre o mercado de trabalho aos do GIS e usou a contagem de lotes disponveis no mapa original para mostrar a associao dos jardins comunitrios ao preo das casas. Como Fielding (2012) relatou em sua reviso sobre a integrao de dados com novas tecnologias:
Knigge percebeu que ao considerar somente os dados quantitativos, ela poderia ter ignorado a existncia de jardins comunitrios e todo um estudo etnogrfico teria ignorado potenciais correlaes e grupos que seriam melhor analisados pelo GIS (KNIGGE & COPE, 2006, p. 2.934, apud FIELDING, 2012, p. 7).
Um segundo exemplo ilustrativo do paradigma construtivista em avaliaes a investigao do impacto do Programa de Reforma para o Desenvolvimento na Comunidade Gram Panchayat, na ndia (BAMBERGER, 2012). A partir da designao aleatria de 200 vilarejos (Gram Panchayats) para o projeto e de grupos de controle (estrutura conceitual quantitativa), a avaliao baseou-se no estudo exploratrio da posse da terra, propriedade dos bens pblicos, participao e redes sociais (coleta de dados qualitativos), que serviram para criar a base da pesquisa realizada antes do incio da srie de treinamentos previstos no programa. A essas primeiras e poucas atividades seguiu-se a coleta de dados qualitativos em cinco projetos e cinco reas de controle para descrever os processos de mudanas de comportamento (por exemplo: novas estratgias de organizao das comunidades, tipos e variedades de projetos de desenvolvimento comunitrios, extenso da participao das mulheres e participao das castas). A avaliao incluiu visitas de campo e entrevistas nas comunidades, permitindo a descoberta dos processos pelos quais as dinmicas poltica e social, a corrupo, a mudana econmica e a afiliao a redes impactaram a
50
efetividade da iniciativa, medidos na comparao entre os efeitos antes e dois anos depois de sua implementao. Um terceiro exemplo de construtivismo uma avaliao com mtodos mistos conduzida em um estado majoritariamente rural na ndia, realizada para examinar as experincias das mulheres com induo de abortos, seus determinantes e sua prevalncia. A abordagem combinou pesquisa com mtodos quantitativos, que inclua perguntas abertas, grupos focais e estudos de caso voltados a compreender as tentativas de aborto e os abortos realizados, investigando tanto as motivaes pessoais quanto fatores culturais associados aos casos. Edmeades escreveu o seguinte:
A abordagem utilizada diminuiu significativamente o no relato de abortos, seja porque ofereceu s mulheres um espao seguro para discutir a questo, seja porque melhorou a memria delas em relao a eventos do passado. Como resultado, os dados sobre abortos e as circunstncias em que foram realizados so, provavelmente, mais representativos da totalidade das experincias com interrupo de gravidez do que os dados coletados em abordagens mais tradicionais. Isso tem o efeito de aumentar a validade e confiabilidade das concluses alcanadas por meio da anlise de dados, que so de particular importncia para pesquisadores e responsveis por polticas pblicas (EDMEADES et al, 2010, p. 194).
O paradigma construtivista e sua representao no ramo dos Valores da avaliao so demonstrados por uma amostra de estudos por mtodos mistos, cujas formulaes foram no apenas qualitativamente dominantes, mas focaram-se na construo do entendimento da realidade dos participantes por meios que permitiam que viesse tona a complexidade de suas experincias. Dados quantitativos tambm contriburam para a qualidade dos estudos, mas eles foram apurados a partir do conhecimento gerado pelos mtodos qualitativos. A prxima seo discute o paradigma pragmtico e o ramo do Uso da avaliao. O foco se dirige aos principais usurios das avaliaes e produo de estudos capazes de atender s suas necessidades.
51
7.3. O PARADIGMA PRAGMTICO E O RAMO DO USO DA AVALIAO
O paradigma pragmtico (MORGAN, 2007; JOHNSON & ONWUEGBUZIE, 2004) defende o uso de mtodos mistos baseado na crena de que no h apenas um grupo de mtodos apropriados; ao contrrio, o critrio para a escolha dos mtodos inclui identificar aqueles que melhor se adequam s questes da avaliao. As crenas filosficas associadas ao paradigma pragmtico, como so s vezes descritas na literatura dos mtodos mistos, aparecem na tabela a seguir.
CRENAS FILOSFICAS DO PARADIGMA PRAGMTICO O que se presume Axiologia Ontologia Crenas Alcanar conhecimento na busca dos fins desejados e melhorias na sociedade conforme influenciado pelos valores, polticas e experincia dos avaliadores A realidade continuamente criada com a experincia de interao e transao com o mundo Ideias e conhecimentos so avaliados de acordo com suas consequncias; o melhor resultado que os avaliadores podem conseguir a garantia de assertividade e verdades provisrias sobre os objetos Combina os mtodos s questes; mtodos mistos
Epistemologia Metodologia
Biesta (2010), Greene e Hall (2010), Hall (2013), e Denzin (2012) advertem contra uma aplicao excessivamente simplista do pragmatismo como filosofia de avaliao, como a que expressa na ideia se o mtodo se encaixa na questo, use-o. Biesta (2010) expe os princpios bsicos do pragmatismo de Dewey como uma filosofia capaz de orientar avaliaes com mtodos mistos, medida que Dewey defendia que nenhum processo de conhecimento pode ser considerado suficientemente slido para se constituir como verdade. Ao contrrio, diferentes formas de se engajar com o mundo social geram diferentes padres de conhecimento. Denzin (2012) pergunta: Ser que os defensores dos mtodos mistos cometeram uma injustia contra o pragmatismo como enquadre filosfico para os mtodos mistos?. Hall (2013) oferece uma viso com mais nuances do paradigma pragmtico com base no trabalho de Dewey, ampliando a compreenso. Ela defende o
52
uso do pragmatismo de Dewey porque este enfatiza a reflexo, a tica, a justia social e o uso de pesquisa sistemtica a servio da soluo de problemas da sociedade, com a adoo de aes inteligentes. Para poder implementar tais aes, os avaliadores precisam interagir com as comunidades onde trabalham e estar abertos a reflexes crticas sobre os significados gerados em termos de identificao de problemas e potenciais solues. Essas no so vistas como entidades estagnadas; ao contrrio, os avaliadores tm a responsabilidade de coletar dados sobre as consequncias das solues de forma contnua e de interagir com membros da comunidade da mesma forma, para garantir que sejam feitas as adaptaes necessrias a aumentar o sucesso da empreitada. Assim sendo, a coleta de evidncias tem de ser contnua, responder s demandas e ser multifacetada. Essa seria a razo fundamental para o uso de mtodos quantitativos e qualitativos em avaliaes pragmticas. Dewey enfatiza ainda a importncia das consequncias das intervenes na vida das pessoas num sentido democrtico, concluindo que programas sociais devem melhorar a vida de todos os interessados, tanto os privilegiados quanto os marginalizados.
O paradigma pragmtico: exemplos do mundo real
Robinson et al (2011) apresentam um exemplo de estudo com mtodos mistos que se alinha s crenas do paradigma pragmtico. O estudo foi formulado para avaliar as necessidades e experincias de famlias que cuidavam de seus membros com demncia. A justificativa da escolha dos mtodos foi a seguinte:
Julgamos que nossa medio objetiva dos pacientes com demncia e de seus cuidadores s teria significado se fosse levado em conta o contexto das famlias. Isso exemplifica por que uma abordagem com mtodos mistos se encaixa num estudo sobre demncia: problemas complexos pedem abordagens de investigao tambm complexas. A demncia uma condio profundamente complicada e o uso de mtodos mistos permite uma gama diversa de meios para se lidar com o problema (p. 311).
53
Eles mencionam especificamente ter escolhido o paradigma pragmtico porque, de acordo com Morgan (2007), ele oferece uma base para o uso de mtodos quantitativos e qualitativos sem precisar dar ateno a preocupaes metafsicas como a ontologia e a epistemologia. Tambm descrevem o paradigma pragmtico como algo que lhes permite mover-se entre componentes dedutivos, quantitativos, e indutivos, qualitativos, do estudo. Um segundo exemplo do paradigma pragmtico a avaliao feita em mltiplos nveis com mltiplos mtodos do programa de microemprstimos administrado por uma agncia de financiamento canadense, cujo alvo principal eram indivduos desempregados interessados em criar ou ampliar seus prprios negcios (JACKSON & TARSILLA, 2012, TARSILLA 2010). Vrios mtodos foram usados para responder tanto a questes sobre a efetividade do programa (At que ponto os beneficiados fortaleceram seus negcios como consequncia de sua participao no programa?; At que ponto os microemprstimos concedidos contriburam para o bem-estar de suas famlias?) e sobre processos de implementao (Que aspectos da relao entre banqueiros e beneficiados poderiam ser fortalecidos no futuro prximo?; Como o governo local poderia ajudar iniciativas similares no futuro?). A coleta de dados compreendeu trs nveis: a) micro: os indivduos que pegaram os microemprstimos e suas famlias; b) mdio: os funcionrios da financiadora; e c) macro: os funcionrios dos governos local e federal. Os mtodos de coleta de dados foram:
Entrevistas com funcionrios-chave que distribuam os microemprstimos na agncia financiadora e com professores da Universidade de Carleton com expertise em desenvolvimento econmico de comunidades (CED, na sigla em ingls) e retorno social do investimento (SROI, na sigla em ingls); Reviso de documentos sobre microfinanas e CED no Canad e no mundo (inclusive auditorias e relatrios anuais conduzidos no passado); Questionrio semiestruturado e grupos focais: usados para abordar perguntas relacionadas a indicadores-chave de resultados (emprego, situao de crdito, assistncia social e de sade etc.);
54
Questionrio on-line semiestruturado com perguntas abertas e fechadas; Grupo de discusso virtual para validar concluses preliminares; Dez estudos de caso com base em entrevistas individuais realizadas com sete tomadores de emprstimo adimplentes e trs inadimplentes. Clculo da Declarao de Valor Agregado Expandido (EVAS, na sigla em ingls) para quantificar o valor oculto das contribuies no monetrias do programa (MOOK, QUARTER & RICHMOND, 2007), tais como a oferta gratuita de sesses de educao financeira e as matrias publicadas pela mdia local.
Um terceiro exemplo foi a avaliao do processo de socializao de crianas e de seus padres de circulao no territrio de um municpio na Dinamarca. Como parte desse estudo, a equipe combinou trabalho de campo etnogrfico com a tecnologia GPS (sistema de posicionamento global) usando um questionrio interativo que as crianas respondiam via celular (CHRISTENSEN et al, 2011). A metodologia inovadora usada nessa avaliao procurou enfocar as experincias subjetivas das crianas com observaes sistemticas, mapeamento e aplicao de questionrios. Nas palavras da equipe responsvel:
Nosso grupo se formou a partir de um reconhecimento quase coincidente: dois pesquisadores do campo da mobilidade urbana sentiram necessidade de incluir contribuies qualitativas da cincia social para entender a base subjetiva e contextual do movimento das pessoas pela cidade; e dois antroplogos precisavam entender o padro dirio da mobilidade infantil. Portanto, neste estudo, uma abordagem pragmtica, que acentua a flexibilidade dos mtodos e tcnicas, aliada colaborao interdisciplinar levou formulao de uma pesquisa integrada que uniu nossos esforos em uma abordagem holstica (CHRISTENSEN, 2011, p.230).
O ltimo exemplo relacionado ao paradigma pragmtico a avaliao de impacto dos processos comunitrios integrados de tomada de deciso conduzidos pelo National Democratic Institute
55
(NDI, na sigla em ingls). A coleta de dados para pesquisa combinou entrevistas em profundidade com membros da comunidade aleatoriamente escolhidos, com o objetivo de aferir mudanas de conhecimento, opinio e atitudes de funcionrios pblicos locais a respeito de mecanismos de governana. Os mtodos qualitativos foram utilizados nessa rigorosa avaliao de impacto para identificar qualquer aspecto inesperado e/ou fatores externos que pudessem prejudicar a efetividade do projeto. Os resultados foram bastante interessantes: enquanto as respostas aos questionrios sugeriam que o programa estava alcanando os objetivos esperados, as entrevistas em profundidade e os grupos focais evidenciaram que funcionrios pblicos corruptos e a apreenso injustificada de terras das comunidades prejudicaram gravemente o sucesso do projeto, questionando o valor democrtico dos processos de tomada de deciso que haviam sido implementados. Os quatro exemplos anteriores ilustram as crenas do paradigma pragmtico e do ramo dos Usos em avaliaes onde o objetivo primordial melhorar a utilizao dos resultados pelos principais interessados. Embora algumas investigaes envolvam membros dos pblicos-alvo, a nfase est no uso das informaes pelos atores que detm poder de deciso. O paradigma transformador e o ramo da Justia Social, tratados a seguir, posicionam o uso das avaliaes para melhorar a vida dos membros marginalizados da sociedade.
7.4. O PARADIGMA TRANSFORMADOR E O RAMO DA JUSTIA SOCIAL DA AVALIAO
As crenas filosficas do paradigma transformador (MERTENS, 2009; MERTENS & WILSON, 2012) emanam de uma postura tica que enfatiza a busca por justia social e, em ltima instncia, a garantia de direitos humanos11. Espera-se aqui que os avaliadores, a partir de suas crenas ticas fundamentais, elejam critrios que
11. Sweetman et al (2010) realizaram uma reviso da literatura ou de estudos a respeito de mtodos mistos conduzidos a partir de lentes transformadoras. Foi identificado um grande nmero (272) deles. A forma mais popular de integrao de mtodos foi a sequencial, em que um grupo de dados se estendia, ou acrescentava, a outro grupo de dados.
56
impliquem certa compreenso sobre a realidade, sobre o papel do conhecimento e sobre o sentido de investigar a realidade de forma sistemtica. Nesse sentido, a natureza da realidade tomada como multifacetada e como reflexo das diferentes posies de poder dos sujeitos na sociedade. Um resumo das crenas filosficas transformadoras apresentado na tabela a seguir.
CRENAS DO PARADIGMA TRANSFORMADOR O que se presume Axiologia Ontologia Epistemologia Metodologia
Crenas Respeito cultural; promoo de justia social e dos direitos humanos; combate s desigualdades; reciprocidade Multifacetada; consequncias do privilgio Interativa; confiana; ponto de vista Transformadora; por dilogo; emancipatria; mtodos mistos
As crenas axiolgicas do paradigma transformador priorizam a igualdade de direitos e a justia social, levando os avaliadores a fazer perguntas como: Se eu iniciar minha avaliao com o objetivo de garantir direitos humanos e promover justia social, o que isso significa sobre como eu vejo a realidade, o papel do conhecimento e o sentido de investigar a realidade de forma sistemtica?; e Como essa postura dever influenciar minhas crenas filosficas e minha prtica como avaliador?. Uma preocupao imediata que surge dessa primeira postura tica a necessidade de entender a cultura da comunidade em toda sua complexidade, inclusive as diferenas de poder associadas s posies sociais, culturais e econmicas. Outras questes so a importncia de enxergar os ativos de uma comunidade e propiciar condies para que os membros de uma equipe de avaliao sejam encorajados a trazer seus pontos fortes para o estudo. Alm disso, os estudos devem ser formulados de forma a permitir a reciprocidade: O que os membros da comunidade ganham com a avaliao?. As crenas axiolgicas transformadoras levam considerao das crenas ontolgias e epistemolgicas associadas a este paradigma. Os avaliadores precisam se engajar na coleta de dados de maneira a respeitar a cultura, permitindo que mltiplas verses
57
da realidade venham tona (ontologia) e que sejam construdas relaes de confiana (epistemologia). Assim sendo, os mtodos mistos no so um requisito para a realizao de avaliaes transformadoras, mas eles costumam gerar melhores oportunidades de compreenso das comunidades em sua complexidade quando comparados ao uso de apenas um mtodo. No paradigma transformador, a realidade vista como construda com base em diferentes posies sociais e culturais, como as de gnero, raa, etnia, pobreza, deficincia, surdez, religio, idade, indigncia, situao imigratria e identidade sexual. O avaliador tem ento responsabilidade de revelar tais verses, expondo suas fontes e as consequncias de se privilegiar uma verso em detrimento de outra. As diferentes verses surgem de diferentes situaes de acordo com privilgios conquistados e no conquistados, assentados nas posies sociais e culturais antes mencionadas. Por exemplo: pessoas sem deficincia auditiva podem ter uma verso da realidade de que ouvir melhor do que no ouvir. Esse entendimento contrasta com o entendimento dos deficientes auditivos, para os quais ser surdo significa ser membro de um grupo cultural lingustico minoritrio. Se for privilegiada a verso de realidade das pessoas sem deficincia auditiva, isso pode resultar em uma negao dos direitos das pessoas com deficincia auditiva em termos de uso de linguagem visual, como a lngua americana ou britnica de sinais. Foi exatamente isso que aconteceu nos anos de 1800, no Congresso Internacional de Educao de Surdos (Iced, na sigla em ingls), quando as pessoas sem deficincia auditiva decidiram que uma abordagem oral para a comunicao, que envolvia leitura labial e fala, era o melhor mtodo para educar deficientes auditivos. A consequncia da aceitao da viso de realidade dos no surdos que, por mais de um sculo, deficientes auditivos em todo o mundo tiveram negado o acesso linguagem de sinais em sua Educao. Resta alguma dvida sobre por que os alunos surdos que se formavam nas escolas americanas tinham nveis primrios de leitura? Os avaliadores precisam conhecer todas as verses de realidade associadas aos privilgios no conquistados dentro das comunidades em que trabalham e precisam tornar visveis as verses que mantm um status quo opressivo e aquelas que aumentam a
58
possibilidade de estender o alcance dos direitos humanos. Mtodos mistos proveem mecanismos para revelar essas diferentes verses, suas fontes e as consequncias de se privilegiar uma verso sobre a outra. Por exemplo: uma avaliao sobre o acesso ao sistema judicirio para pessoas surdas e com deficincia auditiva nos Estados Unidos usou coleta de dados qualitativos em grupos focais com pessoas surdas para revelar a gama de experincias que eles tiveram nos tribunais (MERTENS, 2009). Suas experincias foram influenciadas pelo grau de deficincia auditiva, uso da linguagem (por exemplo: lngua americana de sinais, lngua mexicana de sinais, ingls falado) e sua habilidade de se beneficiar de tecnologias de apoio (por exemplo: aparelhos auditivos, implantes cocleares, legendagem em tempo real). Essa diversidade tambm precisou ser refletida no treinamento dos funcionrios de tribunais e na avaliao quantitativa da implementao de planos para aumentar a acessibilidade nos tribunais. Epistemologicamente, avaliadores transformadores esto cientes das relaes de poder nas comunidades em que trabalham e da necessidade de estarem em constante estado de aprendizagem sobre como interagir de maneira culturalmente apropriada. A natureza do conhecimento dentro do paradigma transformador inclui as diferentes maneiras de conhecer inerentes a cada grupo interessado. Por exemplo: formas de conhecimento indgena foram exploradas por Chilisa (2012), Cram (2009) e outros. O processo envolve o estudo de uma histria de opresso, tratados violados, roubo de terras e colonialismo que pode no parecer relevante para um avaliador no indgena. Mas esses saberes vm sendo transmitidos por membros de comunidades indgenas e podem ofuscar questes que os responsveis por desenvolver e avaliar programas tenham em mente. Mtodos mistos podem ser importantes para a obteno de bons dados, tanto pela possibilidade de responderem a rituais ou prticas culturais dessas populaes, quanto por lanarem mo de instrumentos linguisticamente adequados para a coleta de dados. Metodologicamente, recomenda-se uma formulao cclica para a investigao, de modo a garantir o entendimento da complexidade cultural de uma comunidade. preciso desenhar meca59
nismos para o trabalho em conjunto, registrar o conhecimento j existente e desenhar processos de coleta de dados que sejam vistos como legtimos e esperanosos para os membros da comunidade. Isso pode implicar o incio de uma investigao qualitativa por meio de dilogos entre os grupos interessados. Pode tambm permitir a coleta desagregada de dados demogrficos ou de incidncia de diferentes tipos de variveis relevantes sobre diversidade (por exemplo: gnero, filiao tribal, idade, lngua). Esses dados qualitativos e quantitativos devem ser mostrados comunidade para guiar a interpretao e formular os prximos passos.
O paradigma transformador no mundo real: exemplos
Bledsoe (2010) conduziu um estudo transformador, usando mtodos mistos, sobre um programa de reduo de obesidade desenvolvido em uma cidade com alto ndice de pobreza e muitos membros de minorias tnicas e raciais, alm de imigrantes da frica e do LesteEuropeu. Quando ela se juntou aos gestores, disseram-lhe que os motivos para a obesidade nas escolas era a autoestima dos estudantes, reconhecida como muito baixa. Formulou-se ento um programa para elevar a autoestima dos jovens e, quando Bledsoe perguntou se havia dados para comprovar essa teoria, a resposta foi negativa. Como primeiro passo, ela usou uma combinao de mtodos qualitativos e quantitativos para averiguar as caractersticas demogrficas dos estudantes e suas perspectivas sobre obesidade. Os resultados revelaram que eles se sentiam bem sendo obesos, mas queriam evitar problemas de sade associados obesidade, como doenas cardacas ou diabetes. Portanto, foi necessrio formular um programa diferente do que o inicialmente planejado. O diagrama a seguir ilustra o desenho cclico transformador criado com mtodos mistos. Ele mostra que os avaliadores enfatizaram a importncia de entender a cultura da comunidade e as foras ali atuantes que dificultavam escolhas alimentares saudveis. O desenho cclico porque as informaes reveladas a cada etapa foram usadas como base para a prxima. Por exemplo: uma vez entendido que certas barreiras estavam prejudicando a possibilidade de os estudantes perderem peso, um mapeamento quantitativo foi usado
60
para apontar os locais de maior dificuldade de acesso a frutas frescas e legumes, bem como a inexistncia de lugares seguros para a prtica de exerccios. As intervenes incluram negociar com os comerciantes do bairro maior oferta de alimentos saudveis; o uso de pedmetros pelos jovens durante uma dana para contar o nmero de passos realizados; e festivais culinrios que ensinavam como comidas tradicionais podiam ser preparadas de maneira mais saudvel. OS CICLOS DA AVALIAO TRANSFORMADORA DE UM PROGRAMA VOLTADO REDUO DA OBESIDADE
ESTGIO 1 (QUALITATIVO)
ESTGIO 2 (QUALITATIVO)
ESTGIO 3 (QUANTITATIVO)
ESTGIO 4 (QUALITATIVO E QUANTITATIVO) Questionrio com pais Dirios alimentares Dados fsicos Reunies comunitrias
Fonte: adaptado de Bledsoe, 2010.
Identificar vises de mundo dos interessados e dos avaliadores
Identificar parceiros na comunidade e iniciar o trabalho em conjunto
Questionrio com os estudantes Mapeamento quantitativo dos locais Discusses em grupos de estudantes
Outro exemplo de avaliao transformadora com mtodos mistos o trabalho conduzido por Chilisa (2005; 2012) em Botswana. Selecionada para avaliar o impacto de uma interveno voltada a reduzir o contgio por HIV/Aids na frica, ela comeou questionando a formulao do projeto e, mediante coleta de dados e anlise, conseguiu demonstrar uma variedade de mal-entendidos sobre a cultura e a lngua do pas. Como provado tanto pelos questionrios quanto pelas entrevistas em profundidade com jovens, Chilisa demonstrou que as dinmicas de poder entre homens e mulheres ocorriam de tal forma que elas jamais conseguiriam pedir a eles que usassem preservativos. Da mesma maneira, ela
61
conseguiu enfatizar que o uso de campanhas de orientao com mensagens em ingls no tinha efetividade, j que aqueles com maior risco de transmisso do HIV s falavam as lnguas locais. Outros exemplos interessantes de avaliaes transformadoras com mtodos mistos so fornecidos pelo crescente nmero de estudos sobre igualdade, financiados por vrias agncias da Organizao das Naes Unidas (ONU) nos ltimos anos. No caso da avaliao de resultados do programa Tostan do Unicef (que tem o objetivo de diminuir a circunciso feminina em vilarejos do Senegal), por exemplo, os mtodos mistos provaram-se cruciais para determinar o impacto total da interveno. Em particular, o uso quantitativo de uma pesquisa nas casas foi combinado a observaes, grupos focais e entrevistas em profundidade, com o objetivo de avaliar o processo de implementao, as dinmicas em torno do compromisso das comunidades de abandonar a prtica da circunciso e a percepo do impacto do programa entre as mulheres que eram alvo da iniciativa. Outro exemplo similar a Avaliao em Tempo Real da resposta humanitria crise de deslocamento do Paquisto em 2009 (BAMBERGER & SEGONE, 2012). Graas ao uso de mtodos mistos, as concluses apontaram para o fato de que a iniciativa havia sido planejada consultando apenas os ancies dos vilarejos e os chefes de famlia masculinos (eles formavam a maioria dos que responderam pesquisa e participaram dos grupos focais), e que no foi dada nenhuma ateno s necessidades especiais das mulheres e crianas das famlias mais pobres e vulnerveis. A avaliao do programa de Educao do Unicef para o Timor Leste (2003-2009) tambm ilustra bem o uso transformador de mtodos mistos e confirma como a combinao de mtodos quantitativos e qualitativos, alm de servir ao propsito da igualdade, foi chave para compensar o acesso limitado aos dados quantitativos do pas. Um ltimo exemplo transformador a avaliao do impacto da assistncia social para diminuir a pobreza infantil e a excluso social de crianas na Albnia. Ao longo desse processo, o garimpo de dados nacionais permitiu a identificao de diferentes grupos vulnerveis, que foram ento entrevistados e produziram recomendaes capazes de apoiar os gestores a melhorar diferentes mecanismos da rede nacional de proteo social.
62
8. COMBINANDO PARADIGMAS: O PLURALISMO DIALTICO Uma abordagem dialtica estabelece um dilogo entre suposies, prticas, entendimentos, pontos de vista e concluses de um ou mais estudos que emanam de diferentes posies paradigmticas (GREENE & HALL, 2010; JOHNSON, 2011). Greene (2012) explica os complexos desafios que os avaliadores encontram em termos de contexto, valores e papel ao investigar na sociedade. Ela destaca que diferentes tradies metodolgicas na comunidade avaliativa respondem diferentemente a esses desafios e, por sua vez, moldam o conhecimento gerado por um estudo e os fundamentos deste conhecimento... [Ela] apresenta uma resposta metodolgica mista para esses desafios, sob o argumento primordial de que tal abordagem oferece oportunidades dialgicas para gerar melhor entendimento de fenmenos sociais importantes, precisamente porque legitima e respeita as mltiplas respostas a essas questes crticas e convida ao dilogo entre elas (p. 755). O pluralismo dialtico (DP, na sigla em ingls) uma postura filosfica que permite aos avaliadores engajarem-se em avaliaes por mtodos mistos enquanto vivenciam as tenses que surgem quando diferentes posturas paradigmticas passam a dialogar. Johnson e Stefurak (2013) descrevem o DP como capaz de incluir uma ontologia pluralista confiando nos processos dialtico, dialgico e hermenutico que caracterizam a contnua interao entre atores com interesses diferentes (por exemplo: na filosofia, paradigma, cultura, metodologia, mtodo). Os mtodos dialticos engajam atores que aparentemente detm posies dspares em um dilogo significativo, usando mltiplas estratgias sociais, psicolgicas, dialgicas e de negociao. Eles identificam as seguintes caractersticas no paradigma: construo de equipes heterogneas e inclusivas; equalizao de poderes; construo conjunta de critrios e parmetros de julgamento; e compromisso com a democracia deliberativa e transformadora. O DP pode incluir observao, experincia, experimentos etc., com a expectativa de que dados empricos mltiplos no vo convergir tipicamente em uma concluso simples, mas que frequentemente fornecero divergncias que resultaro em melhor compreenso do objeto. A maioria dos fenmenos humanos complexa e portanto existem muitas
63
perspectivas, pontos de vista e verdades parciais em torno de quase todos os objetos de estudo.
O paradigma do pluralismo dialtico no mundo real: exemplos
Um exemplo ilustrativo de um estudo de DP com mtodos mistos a avaliao do Projeto de Demonstrao de Gesto de Pessoal do Departamento de Agricultura dos Estados Unidos (USDA, na sigla em ingls) (MARK et al, 1997). O propsito da avaliao era testar a efetividade da nova estratgia de gesto de recursos humanos (RH) com o objetivo de melhorar os processos de recrutamento e seleo para a contratao de funcionrios federais (por exemplo: a descentralizao e simplificao das tarefas administrativas e responsabilidades associadas ao processo de contratao em duas reas da USDA). Primeiramente, com base nos dados quantitativos (isto , reviso de informaes sobre aes dos funcionrios e candidatos e sobre os indivduos contratados para cada vaga), a avaliao fez uso extensivo de mtodos qualitativos (uma teoria de mudana tambm foi desenvolvida antes do incio do trabalho, baseada em entrevistas semiestruturadas, reviso de documentos e um total de 95 visitas subsequentes a 45 locais). Vrias caractersticas de pluralismo dialtico foram identificadas no caso. Primeiro, a divergncia das concluses entre as respostas pesquisa, que indicavam que os gestores apreciavam o valor agregado do novo sistema de contratao, e s entrevistas pessoais, demonstrando que eles no estavam satisfeitos com o novo sistema. A pluralidade de vozes discordantes entre os usurios finais da nova estratgia de RH levou reviso do instrumento e substituio da expresso sistema de contratao (que gerava confuso e mal-entendidos) por um rtulo mais preciso. Em segundo lugar, o sistema de entrevistas empregado pela USDA permitia aos avaliadores qualificar at que ponto a relao entre o candidato e a pessoa de RH influenciou o nvel de satisfao do funcionrio com a experincia de contratao como um todo (a anlise de dados qualitativos confirmou a relevncia dessa relao, enquanto a anlise de dados quantitativos levou erroneamente a crer que se tratava de um erro de varincia).
64
Outro exemplo de DP com mtodos mistos a avaliao da ideologia de masculinidade conduzida entre vrios grupos tnicos na frica do Sul (LUYT, 2011). Como parte dessa avaliao, um instrumento quantitativo (o MANI-II, uma medio multidimensional da ideologia de masculinidade) desenvolvido em 2001 foi revisto com base em resultados qualitativos que reconheceram diferenas conceituais bsicas entre os grupos culturais no entendimento da masculinidade. Baseado em uma anlise temtica das transcries de grupos focais, os resultados qualitativos do estudo apontaram falta de equivalncia de contedo entre as culturas estudadas nas trs verses da ferramenta (em ingls, afrikaans e xhosa12). Simultaneamente, foi conduzida uma anlise fatorial do instrumento para aferir a validade de sua construo cultural. Ao fim da fase de coleta de dados quantitativos, analisou-se grande nmero de respostas (434 em afrikaans, 890 em ingls e 273 em xhosa) e tambm foi calculado o coeficiente de congruncia (Pi de Tucker). Como escreveu o autor:
[] dados qualitativos descritivos de um pequeno grupo e dados quantitativos normativos de um grande grupo facilitaram a rigorosa explorao da perspectiva de vrios participantes entre e dentro dos grupos culturais [...] Dados quantitativos foram considerados antes dos dados qualitativos. Ainda assim, os dados qualitativos no foram considerados simplesmente suplementares, j que eles proporcionavam informao nica, alm de suplementar. Isso contribuiu para a noo de que formulaes de status igual so possveis em termos da soma de suas contribuies individuais. (EDMEADES, NYBLADE et al, 2010, p. 190).
Em resumo, o DP depende tipicamente da incluso de mtodos que provavelmente geraro diferentes entendimentos e perspectivas dos avaliados. A construo proposital de uma equipe participativa de interessados mltiplos divergentes (incluindo aqueles com menos poder) uma estratgia-chave para incluir as diferenas das vozes na avaliao.
12. NT: trs das diversas lnguas oficiais faladas na frica do Sul.
65
9. QUESTES FUTURAS NA AVALIAO COM MTODOS MISTOS Talvez porque as avaliaes estejam inerentemente situadas no mundo, os profissionais do campo abraaram o uso dos mtodos mistos antes que fossem desenvolvidas estruturas filosficas ou tericas que tratassem explicitamente do significado de seu uso em vrios nveis. Atualmente, mais do que aplicar mtodos mistos como um padro, os avaliadores tm disposio uma rica gama de opes do nvel filosfico ao nvel da prtica para estimular o pensamento crtico necessrio a estudos complexos. As diferenas de opinio sobre as metodologias apropriadas e a credibilidade das evidncias tm lastro nas premissas filosficas dos profissionais, como foi demonstrado neste artigo. E muitas questes relevantes surgem quando exploramos o terreno dos mtodos mistos na avaliao em suas diversas perspectivas. Os profissionais que seguem diferentes estruturas filosficas provavelmente respondero de maneira diferente ao uso dos mtodos mistos. Por exemplo: os profissionais precisam decidir o momento de usar os mtodos mistos, de integrar a anlise de dados e de lidar com resultados divergentes. Alm disso, necessrio empreender uma reflexo crtica para decidir quando os mtodos mistos so a melhor estratgia, em substituio a mtodos unicistas ou mltiplos. Dada a natureza dinmica do conhecimento, o envolvimento dos interessados e o rpido desenvolvimento dos mtodos mistos na histria recente da avaliao, esperamos que a comunidade avaliativa continue a contribuir com o avano da compreenso sobre os mtodos mistos, em diversos nveis. BIBLIOGRAFIA ALKIN, M. C. (Ed.). Evaluation roots: tracing theorists views and influences. Thousand Oaks, CA: Sage, 2004. ALKIN, M. C. (Ed.). Evaluation roots. 2. ed. Thousand Oaks, CA: Sage, 2013 BAMBERGER, M. Introduction to mixed methods in impact evaluation. In: Interaction impact evaluation notes n. 3. Dis ponvel em: <http://www.interaction.org/document/guidance
66
note-3-introduction-mixed-methods-impact-evaluation> (ltimo acesso em setembro de 2013). BAMBERGER, M.; SEGONE, M. How to design and manage equity-focused evaluations. UNICEF: New York, 2012. BELL, V. The Cochrane qualitative methods group. 2006. Disponvel em: <http://www.lancs.ac.uk/fass/ihr/research/publich/ cochrane.htm> (ltimo acesso em setembro de 2013). BLEDSOE, K. A transformative mixed methods evaluation of an obesity reduction program. In: Presentation at the annual meeting of the American Evaluation Association, November 2010. Anaheim, CA. BRADY, H. E. Models of causal inference: Going beyond the Neyman-Rubin-Holland Theory. In: Annual meetings of the political methodology group. University of Washington, Seattle, Washington. Disponvel em: <http://www.polmeth.wustl. edu/media/Paper/brady02.pdf> (ltimo acesso em setembro de 2013). BRIGGS, J. Cochrane qualitative research methods group. In: The Cochrane collaboration. 2006. Disponvel em: <http://www. joannabriggs.eduau/cqrmg/role.html> (ltimo acesso em setembro de 2013). BRYMAN, A. Integrating quantitative and qualitative research: how is it done? In: Qualitative research, 6(1), pp. 97-113, 2006. CASEY, K.; GLENNERSTER, R.; MIGUEL, E. The GoBifo project evaluation report: assessing the impacts of community driven development in Sierra Leone. World Bank, 2011. CHILISA, B. Indigenous research methodologies. Thousand Oaks, CA: Sage, 2012. . Education research within postcolonial Africa: a critique of HIV/AIDS research in Botswana. In: International journal of qualitative studies in education, 18, pp. 659-684, 2005. CHRISTENSEN, C.; MIKKELSEN, M. R.; SICK NIELSEN, T.A.; HARDER, H. Children, mobility, and space: using GPS and mobile phone technologies in ethnographic research. In: Journal of mixed methods research, 5, pp. 227-246, 2011. DOI: 10.1177/1558689811406121. CRAM, F. Maintaining indigenous voices. In: MERTENS, D. M.;
67
GINSBERG, P. E. (Eds.). The Sage handbook of social research ethics. Thousand Oaks, CA: Sage, 2009. CRESWELL, J. W.; FETTERS, M. D.; PLANO CLARK, V. L.; MORALES, A. Mixed methods intervention trials. In: ANDREW, S.; HALCOMB, L. (Eds.). Mixed methods research for nursing and the health sciences. Oxford, UK: Blackwell, 2009. DAVIDSON, E. J. Process values and deep values in evaluation. In: Journal of multidiscplinary evaluation, 6(13), pp. 206-208, 2010. . Book review: evaluation roots: tracing theorists views and influences. In: American Journal of Evaluation, 2, pp. 273-276, 2006. DECUIR-GUNBY, J.T.; MARSHALL, P.L.; MCCULLOCH, A.W. Using mixed methods to analyze video data: a mathematics teacher professional development example. In: Journal of mixed methods research, 6: pp. 199-216, 2011. DOI: 10.1177/1558689811421174. DENZIN, N. K. Triangulation 2.0. In: Journal of mixed methods research, 2012. . Moments, mixed methods and paradigm dialogs. In: Qualitative inquiry, 2010. 16 (6), pp. 419-427, 2010. DOI: 10.1177/1077800410364608. . The research act: a theoretical introduction to sociological methods. 3. ed. Englewood Cliffs, NJ: Prentice Hall, 1989. DFID. Department for International Development. The working paper on broadening the range of designs and methods for impact evaluation. London: Author., 2012. GARBARINO, S.; HOLLAND, J. Quantitative and qualitative methods in impact evaluation and measuring results. DFID Issue Paper: London, 2009. Disponvel em: <http://www.gsdrc.org/ docs/open/EIRS4.pdf> (ltimo acesso em setembro de 2013). GERTLER, P.; MARTINEZ, S.; PREMAND, P.; RAWLINGS, L. B.; VERMEERSCH C.M.J. Impact evaluation in practice. World Bank Publications, 2011. GREENE, J. C. Engaging critical issues in social inquiry by mixing methods. In: American behavioral scientist, 56(6), pp. 755-773, 2012. . Synthesis: a reprise on mixing methods. In: T. S. WEISNER (Ed.). Discovering successful pathways in childrens
68
development: mixed methods in the study of childhood and family life, pp. 405-420. Chicago, IL: University of Chicago Press, 2005. GUBA, E.; LINCOLN, Y. S. Fourth generation evaluation. Newbury Park, CA: Sage, 1989. HALL, J. Introduction to mixed methods research for nursing and the health sciences. In: ANDREW, S.; E. J. HALCOMB (Eds.). Mixed methods research for nursing and the health sciences, pp. 3-12. Oxford, UK: Blackwell, 2009. HESSE-BIBER, S. Thinking outside the randomized controlled trials experimental box: strategies for enhancing credibility and social justice. In: MERTENS, D.M.; HESSE-BIBER, S. (Eds.). New directions in evaluation, 138, Summer, pp. 49-60, 2013. HESSE-BIBER, S. N.; LEAVY, P. Introduction: pushing on the methodological boundaries: the growing need for emergent methods within and across the disciplines. In: HESSE-BIBER, S. N.; LEAVY, P. (Eds.). Handbook of emergent methods, pp. 1-15. New York: Guilford, 2008. HESSE-BIBER, S. Qualitative approaches to mixed methods practice. In: Qualitative inquiry, 16: pp. 455-468, 2010. HOWE, K. R. A critique of experimentalism. In: Qualitative Inquiry, 10, pp. 42-61, 2004. IEG. World Bank and IFC Support for Youth Employment Programs. Washington, D.C.: World Bank, 2012. JACKSON, E.T.; TARSILLA, M. Mixed methods in social accounting: evaluating the Micro-Loan Program of Alterna Savings Credit. In: Mook, L. (Ed.). Accounting for social value, pp.117-138. Toronto, ON: University of Toronto Press, 2013. JOHNSON, R. B.; STEFURAK, T. Dialectical pluralism: a process philosophy for understanding, valuing, and dynamically combining our differences. In: MERTENS, D. M.; HESSE-BIBER, S. (Eds.). New directions in evaluation, 138, Summer, pp. 37-48, 2013. JOHNSON, R. B. Dialectical pluralism: a metaparadigm to help us hear and combine our valued differences. Paper presented at the Seventh International Congress of Qualitative Inquiry, University of Illinois, Urbana-Champaign, May 21, 2011. LUYT, R. A framework for mixing methods in quantitative measu69
rement development, validation and revision: a case study. In: Journal of mixed methods research 6 (4), pp. 294-316, 2011. MARK, M.; FEKV, I.; BUTTON, S.B. Integrating qualitative methods in a predominantly quantitative evaluation: a case study and some reflections. In: New directions for evaluation, 74, pp. 47-60, 1997. MERRIAM, S. Qualitative research. San Francisco, CA: Jossey-Bass, 2009. MERTENS, D. M. Transformative research and evaluation. NY: Guilford, 2009. . Research and evaluation in education and psychology: integrating diversity with quantitative, qualitative, and mixed methods. 3. ed. Thousand Oaks, CA: Sage, 2013. MERTENS, D. M.; WILSON, A. T. Program evaluation theory and practice: a comprehensive guide. NY: Guilford, 2013. MERTENS, D. M.; HESSE-BIBER, S. Mixed methods and credibility of evidence in evaluation. In: MERTENS, D. M.; HESSE-BIBER, S. (Eds.). New Directions in Evaluation, 138, Summer, pp. 5-14, 2013. MCGEE, R. Qualitative and quantitative poverty appraisal workshop: some reflections and responses. In: KANBUR, R. (Ed.). Q-Squared: aualitative and quantitative methods of poverty appraisal. Permanent Black: Delhi, 2003. MOOK, L.; QUARTER, J.; RICHMOND, B. J. What counts: social accounting for non-profits and cooperatives. 2. ed. London: Sigel Press, 2007. MORSE, J. M. Principles of mixed methods and multi-method research design. In: TASHAKKORI, A.; TEDDLIE, C. (Eds.). Handbook of mixed methods in social e behavioral research. pp. 189-208. Thousand Oaks, CA: Sage, 2003. NATIONAL INSTITUTE OF HEALTH. Best practices for mixed methods research in the health sciences. 2011. Disponvel em: <http://obssr.od.nih.gov/mixed_methods_research/pdf/Best_ Practices_for_Mixed_Methods_Research.pdf> (ltimo acesso em setembro de 2013). NATIONAL SCIENCE FOUNDATION. User-friendly handbook for
70
mixed method evaluations. 1997. Disponvel em: <http:// www.nsf.gov/pubs/1997/nsf97153/> (ltimo acesso em setembro de 2013). OAKLEY, A. Whos afraid of the randomized controlled trial? Some dilemmas of the scientific method and good research practice. In: OAKLEY, A. The Ann Oakley reader, pp. 233-244. Cambridge, UK: Polity, 2005a. OAKLEY, A. Paradigm wars: Some thoughts on a personal and public trajectory. In: A. OAKLEY. The Ann Oakley reader, pp. 245-250. Cambridge, UK: Polity, 2005b. OCATHAIN, A. Mixed methods research in the health sciences: A quiet revolution [Editorial]. In: Journal of mixed methods research, 3, pp. 3-6, 2009. OLATZ LOPEZ-FERNANDEZ, O.; MOLINA-AZORIN, J. F. The use of mixed methods research in the field of behavioural sciences. In: Quant-Qual, 45: pp. 14591472, 2011. DOI 10.1007/s11135011-9543-9. PARLETT, M. & HAMILTON, D. Evaluation as illumination: A new approach to the study of innovatory programs. In: HAMILTON, D.; JENKINS, D.; KING, C.; MACDONALD, B.; PARLETT, M. (Eds.). Beyond the numbers game: a reader in educational evaluation, pp. 6-22. London, England: Macmillan, 1977. PAWSON, R. Causality for beginners. In: NCRM Research Methods Festival, 2008, Leeds University. Disponvel em: <http:// eprints.ncrm.ac.uk/245> (ltimo acesso em setembro de 2013). PETTIGREW, M.; ROBERTS, H. Systematic reviews in the social sciences. Oxford, England: Blackwell, 2006. ROBINSON, A. L.; EMDEN, C. G.; CROFT, T. D.; VOSPER, G. C.; ELDER, J. A.; SIIRLING, C. & VICKERS, J. C. Mixed methods data collection in dementia research: A progressive engagement approach. In: Journal of mixed methods research, 5(4), pp. 330-344, 2011. ROGERS, P.; DAVIDSON, E. J. Australian and New Zealand Evaluation Theorists. In: ALKIN, M. (Ed.). Evaluation roots. 2. ed. Thousand Oaks, CA: Sage, 2013. SCRIVEN, M. Evaluation thesaurus. 4. ed. Thousand Oaks, CA: Sage, 1991.
71
SHADISH, W. Evaluation theory is who we are. In: American Journal of Evaluation, 19, pp. 1-19, 1998. STAME, N. A european evaluation theory tree. In: ALKIN, M. (Ed.). Evaluation roots. 2. ed. Thousand Oaks, CA: Sage, 2013. STERN, E.; STAME, N.; MAYNE, J.; FORSS, K.; DAVIES, R.; BEFANI, B. DFID Working Paper 38. In: Broadening the range of designs and methods for impact evaluations. DFID, London, UK, 2012. SWEETMAN, D.; BADJEE, M.; CRESWELL, J.W. Use of the transformative framework in mixed methods studies. In: Qualitative inquiry, 16 (6), pp. 441-454. DOI: 10.1177/1077800410364610. TARSILLA, M. Social impact evaluation of the Alterna Savings Community Micro-Loan Program. Ottawa: Carleton Centre for Community Innovation, Carleton University, 2010. TEDDLIE, C.; TASHAKKORI, A. Major issues and controversies in the use of mixed methods in the social and behavioral sciences. In: TASHAKKORI, A.; TEDDLIE, C. (Eds.). Handbook of mixed methods in social & behavioral research, pp. 3-50. Thousand Oaks, CA: Sage, 2003. TETI, M.; BOWLEG, L.; COLE, R.; LLOYD, L.; RUBINSTEIN, S.; SPENCER, S.; AARON, R.; RICKSECKER, A.; BERHANE, Z.; GOLD, M. A mixed methods evaluation of the effect of the protect and respect intervention on the condom use and disclosure practices of women living with HIV/AIDS. In: AIDS Behavior, 14: pp. 567579, 2010. WEHIPEIHANA, N.; DAVIDSON, E. J.; MCKEGG, K.; SHANKER, V. What does it take to do evaluation in communities and cultural contexts other than our own? In: Journal of multidisciplinary evaluation, 16(3), pp. 182-192, 2010. WHITE, H. The use of mixed methods in randomized controlled trials. In: MERTENS, D. M.; HESSE-BIBER, S. (Eds.). New directions in evaluation, 138, Summer, 61-74, 2013. . Will we ever learn? Improving lives through impact evaluation. Washington DC: Center for Global Development, 2006. YIN, R. K. Case study research: design and methods. 3. ed. Thousand Oaks CA: Sage, 2003.
72
Vantagens e complexidades das avaliaes de impacto

MIGUEL SZKELY
Diretor do Instituto de Educao Tecnolgica de Monterrey, Mxico.
1. INTRODUO Ao longo do sculo XX, o campo das polticas e programas sociais foi palco de um deslocamento progressivo do foco nos gastos como medidas de sucesso para um enfoque concentrado nos indicadores de insumos (inputs), ou seja, nos bens e servios considerados determinantes do bem-estar de uma sociedade como, por exemplo, a quantidade de estradas, escolas, postos de sade ou habitaes disponveis. Foi apenas em perodo relativamente mais recente que o interesse migrou dos gastos e indicadores de insumos para os resultados, entendidos como evidncias baseadas nos indicadores diretos do bem-estar coletivo, tais como bem-estar familiar, capacidade de gerar renda, acumulao de capital humano, condies de sade, acesso efetivo aos bens e servios bsicos e melhores oportunidades de trabalho, entre outros. A evoluo para o foco em resultados implica utilizar outros mecanismos para medir e avaliar o progresso. Enquanto os gastos e insumos podem ser monitorados por meio de mecanismos de auditoria e contabilidade, a mensurao de resultados geralmente mais complicada, uma vez que demanda novos esforos de coleta de dados, ferramentas
73
estatsticas e mtodos que permitam associar aes especficas de polticas ou programas a impactos tambm especficos. Essa mudana de enfoque foi fortemente influenciada pela percepo de diversos agentes vinculados ao financiamento e ajuda internacional, segundo os quais a quantidade crescente de recursos alocados no impacta necessariamente os nveis de desenvolvimento ou as perspectivas dos pases mais pobres em parte devido ao j mencionado enfoque nos gastos e indicadores de insumos. Birdsall e Savedoff (2010) mostraram que a ajuda externa aumentou cerca de 70% apenas durante a dcada de 2000 passando de aproximadamente US$ 70 bilhes para cerca de US$ 120 bilhes entre 2000 e 2007 , ao passo que as preocupaes com sua efetividade cresceram paralelamente, em grande parte em funo das escassas evidncias quanto ao seu efeito nos resultados finais de desenvolvimento1. Paradoxalmente, essa mudana relativamente recente de enfoque foi acompanhada, na literatura, por duas preocupaes sobre desenvolvimento e polticas sociais. Por um lado, segundo Savedoff, Levine e Birdsall (2006), entre outros autores, porque a quantidade de evidncias e conhecimento sobre os efeitos dos diferentes tipos de polticas de intervenes nos resultados do desenvolvimento ainda pequena. Por outro, existem tambm percepes documentadas de que as evidncias disponveis so usadas de maneira ainda muito limitada no desenho e execuo de tais polticas para lograr seu aperfeioamento (vide, por exemplo, Ravallion (2008), Jones et al. (2009) e Weiss (1999)). Discutiremos neste artigo alguns dos principais problemas que surgem ao se introduzir e implementar avaliaes de impacto usando a constituio de grupos aleatrios como dispositivo para medir resultados, com o objetivo de melhorar a prestao de contas e a transparncia e tambm para gerar informaes destinadas ao aperfeioamento contnuo do desenho de polticas e programas. Como costuma acontecer em todas as cincias sociais, o problema subjacente que lidar com o comportamento individual
1. Ver Banerjee (2007) e Pitman et al. (2005), para manifestaes da mesma preocupao.
74
vantagens e complexidades das avaliaes de impacto
como centro das anlises, ao avaliar o impacto de determinada ao, implica altos graus de incerteza, e algo muito mais complexo do que simplesmente medir gastos ou insumos. A mensurao dos resultados requer compreenso do comportamento e das reaes do indivduo, e, embora se tenha avanado substancialmente em termos metodolgicos nas ltimas dcadas, at mesmo a literatura sobre o tema tem sido capaz de oferecer no mais do que aproximaes a respeito da avaliao do efeito das aes2. 2. AS COMPLEXIDADES DA AVALIAO DO IMPACTO H pelo menos quatro aspectos mais amplos que aumentam a complexidade da mensurao do impacto das polticas sobre o desenvolvimento humano e tornam sua produo e uso extremamente desafiadores:
2.1. HETEROGENEIDADE
O primeiro problema a heterogeneidade. A ao das polticas geralmente se dirige a grupos de indivduos que compartilham certas caractersticas ou problemas, e raras vezes a ao do governo pode ser concebida para cada circunstncia e necessidade individual. No entanto, dependendo das preferncias e valores de cada indivduo e de sua exposio a condies, contextos, situaes e antecedentes particulares, a mesma poltica pode desencadear rea es e efeitos totalmente diferentes. Dado que as preferncias individuais e os valores inerentes s posies e funes sociais so
2. No esse o caso das cincias que analisam materiais ou corpos inertes, nas quais possvel obter baixas margens de erro por meio de avaliaes e anlises sobre como cada tipo ir reagir ao ser exposto a condies diferentes. As margens de incerteza na poltica social, em geral, so tambm muito maiores do que na anlise cientfica em reas como a sade, em que previses podem ser feitas, por exemplo, quanto reao mecnica do corpo humano diante de um tratamento externo. Nesse caso, haver sempre margens de erro devido falta de conhecimento de todas as reaes ou mecanismos de resposta possveis. Porm, uma vez que se estabelece certa regularidade, as variaes provavelmente sero decorrentes de elementos externos que no foram at ento considerados, e no em funo de que um corpo tenha decidido subitamente se comportar de modo diferente.
75
desconhecidos e no passveis de observao devido a sua heterogeneidade, haver sempre uma margem de erro e de incerteza em qualquer tentativa de medir as reaes a determinada interveno. Existem abordagens diferentes para se inferir preferncias e valores, mas no fim das contas o melhor que se pode esperar uma boa aproximao baseada em mdias, nas quais o valor mediano de uma interveno talvez no corresponda ao caso de qualquer um dos indivduos da populao3.
2.2. CONTEXTO
O segundo desafio relaciona-se ao contexto. At mesmo na hiptese de haver informao disponvel suficiente a respeito das preferncias individuais, elas interagem com condies, contextos, situaes e antecedentes diversos, gerando uma resposta especfica dos indivduos s circunstncias. A informao gerada ao se analisar tais respostas ser til para medir o impacto da ao, porm pode no ser necessariamente relevante para inferir o impacto em outro ambiente. Dado que praticamente impossvel replicar exatamente o mesmo cenrio em todos os casos, efeitos idnticos no sero necessariamente observados em uma populao diferente. Assim, o que funciona em um caso pode no funcionar em outro. Um exemplo o efeito da concesso de bolsas de estudos vinculadas frequncia das meninas na escola. Em ambientes onde existir uma preferncia cultural pela igualdade de gneros e participao de mulheres no mercado de trabalho, um apoio em dinheiro poder ter efeitos significativos na educao, ao passo que exatamente o mesmo apoio, em um ambiente onde se valoriza o casamento precoce, poderia gerar um impacto muito menor.4 Contextos diferentes podem levar a uma ampla faixa de efeitos esperados e inesperados, que podem ir alm do esforo de
3. Vide Heckman (1997) para uma discusso detalhada sobre os desafios metodolgicos que implica a heterogeneidade na avaliao de um programa. 4. Attanasio et al. (2004) apresentam uma abordagem para simular o efeito de transpor para outros cenrios o Programa Oportunidades, iniciativa mexicana de transferncia de renda, e discutem os desafios e limitaes envolvidos nesse tipo de anlise.
76
mensurao e avaliao. As avaliaes em geral se preocupam em medir o impacto previsvel de uma interveno e podem at coletar informaes adicionais quanto a outras consequncias correlacionadas, mas, a menos que haja uma situao de total equilbrio, onde todos os efeitos cruzados, secundrios e adicionais possam ser captados, a informao completa sobre o impacto total no estar disponvel. Nesse caso, tambm podem existir boas aproximaes para quantificar consequncias previsveis, mas ainda assim a incerteza quanto a outros impactos poder deixar abertas enormes avenidas de risco, e o efeito geral da interveno continuar desconhecido. Vejamos, por exemplo, o caso do investimento em educao. Ao promover o acmulo de capital humano, seria de se esperar que as novas geraes tivessem oportunidades de melhorar sua renda, e possvel que assim seja. No entanto, se o contexto estiver moldado por determinadas condies do mercado de trabalho, a incorporao de indivduos de maior nvel educacional leva a um menor retorno associado escolaridade, e a salrios reduzidos, com o impacto final da interveno podendo ser at negativo na dimenso da renda. Essa apenas uma ilustrao do fato de que nenhuma avaliao ter condies de capturar absolutamente todas as reaes desencadeadas por determinada poltica, e o mximo que podemos esperar gerar alguma informao quanto diversidade de dinmicas que podem ser contempladas.
2.3. MULTIDIMENSIONALIDADE
Outro exemplo dentro da mesma linha tem a ver com a multidimensionalidade. Dado que o bem-estar se expressa por meio de diferentes dimenses, efeitos inesperados podero ser observados porque afetam este mesmo bem-estar a partir de um ngulo no previsvel. Por exemplo: recentemente, programas de transferncia condicional de verbas incorporaram o empoderamento das mulheres, dando chefe de famlia o controle da transferncia de renda pela frequncia escolar dos filhos, compromissos de sade e de nutrio. O argumento que isso melhora a alocao de recursos no domiclio e melhora as oportunidades das mulheres. H
77
de fato evidncias de que isso pode ocorrer. Porm, em alguns ambientes, a pessoa que recebe essa novo recurso pode estar sujeita a violncia e at a maior discriminao, situaes que contrabalanam o efeito da interveno, resultando em condies negativas ainda piores do que as observadas originalmente. As avaliaes que se concentram apenas no efeito direto da transferncia de renda poderiam levar a concluses enganosas no sentido de inferir que todos os indivduos daquele lar esto em melhor situao , devido ao escopo limitado da anlise, que no leva em conta o contexto cultural.
2.4. TEMPORALIDADE
Outro aspecto que a maioria das intervenes para o desenvolvimento tem efeitos intertemporais que no podem ser observados imediatamente. A educao um bom exemplo. Um melhor capital humano deveria gerar melhores oportunidades, que se traduziriam em mais riqueza material, desenvolvimento profissional, liberdade, cultura etc. Porm, todos esses elementos s podero ser inteiramente apreendidos se houver um acompanhamento de todos os ciclos de vida de cada indivduo, assim como dos efeitos sobre o restante da sociedade. Boas aproximaes, como fluxos correntes e passados de receitas, situao no mercado de trabalho etc. poderiam trazer alguma informao sobre a relao entre incremento educacional e bem-estar, porm sero sempre mensuraes parciais. Outros efeitos positivos, tais como a reduo na taxa de criminalidade, impactos sobre a produtividade ou a reduo da corrupo, apenas para mencionar algumas reas, no so geralmente capturados, trazendo como consequncia a potencial subestimao dos benefcios da interveno.
2.5. IDENTIFICAO
Outra caracterstica que, mesmo se fosse possvel medir efeitos globais, as avaliaes raramente tm condies de identificar os mecanismos precisos mediante os quais o resultado gerado. Todo bem ou servio tm uma funo de produo envolvendo
78
uma mescla de insumos que podem render efeitos positivos ou negativos e identificar o papel de cada um virtualmente impossvel. Poderia inclusive haver situaes em que uma interveno sublinha o efeito positivo de algum input s custas de uma influncia negativa sobre outro. Essas dinmicas, porm, normalmente ficam ocultas no processo de agregao do impacto final. A dificuldade de identificar cada contribuio individual poder obscurecer o quadro resultante e levar a concluses equivocadas ou a impresses enganosas quanto influncia dos diferentes elementos. Quando muitos indivduos participam da entrega de um servio ou da operao de um programa, o problema poder ser ainda maior. Um exemplo so os servios educacionais. Mesmo passando apenas pela educao primria, estamos expostos a um nmero grande de professores, materiais, equipamentos, contedos etc. que se acumulam at chegar ao nvel de capital humano atingido na graduao. A identificao do efeito de cada um dos inputs individuais exigiria um acompanhamento do que ocorre praticamente a cada dia com cada um deles, o que invivel. Isso, acrescido ao carter intertemporal da acumulao de capital humano, implica, por exemplo, que o efeito de um bom ou mau professor ser difcil de identificar no presente e medir seu efeito total e influncia no futuro impensvel. Da mesma forma, isolar a causalidade entre determinada ao e o efeito sobre um indivduo ou grupo tambm tarefa difcil. Os programas so aplicados em um contexto no qual uma ampla gama de foras e elementos interagem simultaneamente, e a capacidade de extrair uma resposta precisa de uma poltica especfica tambm pode ser virtualmente impossvel. At mesmo em casos em que se observa uma melhoria das condies de vida depois de implementado determinado programa, no uma relao direta atribuir o efeito ao, a menos que o nico elemento modificador do status quo naquele momento tenha sido exatamente aquela ao especfica. Porm, mesmo nesses casos, se houver diferenas nos antecedentes ou nas condies iniciais que provoquem um resultado observado exatamente no mesmo momento em que esperada a resposta poltica mas que no
79
tenham relao com o programa , o efeito poder ser erroneamente atribudo interveno. Existem diversas formas de lidar com esse problema. Por exemplo: a literatura sobre avaliao de programas sociais tomou emprestadas metodologias consistentes da rea mdica e de outros campos cientficos para desenvolver desenhos experimentais comparando a evoluo de um tratamento com grupos controle. Essa abordagem tem proliferado, especialmente para medir o impacto de programas de transferncia de renda o que vem a ser uma evoluo considervel com relao a inferir o impacto dos programas na base de comparaes amplas do tipo antes e depois5. amplamente reconhecido que os desenhos experimentais so capazes de gerar, talvez, as aproximaes mais teis e robustas quanto ao impacto, no estando estas, contudo, isentas de limitaes. Alm das consideraes metodolgicas (discutidas, por exemplo, em Deaton (2006)), h desafios tcnicos significativos relativos s tcnicas economtricas utilizadas (alguns deles resumidos em Ravallion (2008) e Jones et al (2009)). H, ainda, as consideraes ticas e polticas (discutidas mais adiante) que no permitem uma aplicao direta e seu uso generalizado. Assim, a avaliao da efetividade do desenvolvimento no fcil e, at mesmo quando se utilizam as melhores ferramentas disponveis, as evidncias geradas so inevitavelmente limitadas. Por um lado, isso, claro, clama por esforos sustentados para melhorar os dados e os mtodos de estimativa. Por outro, exige que seus usurios se mantenham alertas quanto ao potencial e aos possveis senes das evidncias. Um terceiro elemento, que poderia ajudar a explicar o atual status quo da baixa produo e do baixo uso dos conhecimentos disponveis, tem a ver com a natureza dos atores que participam do processo. A seguir, analisa-se esse aspecto.
5. Skoufias (2005) documentou o que talvez tenha sido o primeiro programa de transferncia de renda avaliado usando tcnicas que vo alm da mensurao de gastos, inputs ou simplesmente pela comparao da situao antes e depois da implementao. O programa Progresa (sigla em espanhol do programa de educao, alimentao e sade), iniciado em 1998 no Mxico, foi acompanhado desde o incio por uma avaliao com desenho experimental.
80
3. A IMPORTNCIA DE COMPREENDER OS ATORES ENVOLVIDOS Analisaremos brevemente o papel dos atores que so chave no processo de avaliao do impacto.
3.1. OS INVESTIDORES PRIVADOS E A REALIZAO DE AVALIAES DE IMPACTO
Um dos atores que mais influem no processo de produo e uso das avaliaes so os doadores ou investidores. Eles so externos operao do programa e agncia encarregada de sua execuo, mas proporcionam o financiamento para a implementao das polticas e aes. So desde instituies e fundaes multilaterais at entidades privadas em mbito local, cujo interesse apoiar esforos destinados a resolver determinado problema. Existem diversos motivos para que esses atores no sejam, conscientemente, partidrios da mensurao do impacto da aplicao de seus recursos sobre os resultados do desenvolvimento e que at, em algumas circunstncias, minem, racionalmente, os esforos de avaliao. O primeiro motivo que avaliar exige recursos. Para realizar um processo adequado, normalmente preciso produzir dados sob medida, investir no desenvolvimento de um desenho adequado e financiar os servios profissionais de anlise de dados e elaborao dos relatrios de achados e concluses. Quando os recursos so limitados (e esse frequentemente o caso), surge o dilema moral de destinar mais recursos para a avaliao do impacto ou para beneficiar mais pessoas. O argumento bvio a favor do primeiro que a avaliao ajudar a verificar se a ao teve impacto, positivo ou negativo, e que seus resultados evidenciaro como melhorar a efetividade e a eficcia dos recursos gastos, com maiores benefcios para uma populao mais ampla no futuro. O argumento contra a alocao de recursos para essa atividade surge quando as necessidades so to graves que qualquer recurso que no seja destinado a um beneficirio poderia significar a diferena entre a vida e a morte de um ser humano. O segundo motivo que, sendo o conhecimento um bem pblico, o incentivo para alocar recursos para a avaliao, com benefcios que vo muito alm do interesse imediato de conhecer
81
melhor o impacto de uma ao, muito menor. Esse argumento debatido em detalhe por Avery et al (1999) e Savedoff et al (2006). O aspecto de bem pblico das avaliaes exacerbado quando existem mltiplos doadores participando da arrecadao de fundos para grandes iniciativas, o que faz que cada um perceba a sua contribuio como meramente marginal (uma gota no oceano). Sob essa tica, o incentivo e o poder de cada doador para exigir uma prestao de contas so fracos.
3.2. OS FORMULADORES DAS POLTICAS
O segundo ator estratgico o responsvel pela formulao das polticas e pelo processo de deciso de alto nvel, que pode ser simultaneamente usurio e produtor (indireto) dos resultados da avaliao. usurio em potencial na medida em que as decises gerais que orientam o financiamento e a implementao das polticas esto sob sua responsabilidade, e a informao gerada pelas avaliaes poder ser estratgica para identificar as reas de melhoria e para fornecer feedback para tomar decises de melhor qualidade. Pode ser considerado produtor visto que sua responsabilidade autorizar a realizao de uma avaliao de programa ou atividade pblica sob sua jurisdio. Nesse caso, podemos imaginar os motivos a favor ou contra a alocao de recursos para viabilizar uma avaliao. Uma explicao para o uso limitado das avaliaes que as decises sobre polticas so tomadas dentro de um quadro de restries e condies que poderiam desviar o interesse pela atividade. Entre os fatores relevantes destacam-se o tempo, os grupos de interesse, os aspectos normativos, as decises institucionais, as polticas e o financiamento. A questo est frequentemente em conflito com a dinmica de produzir evidncias confiveis. Na ao pblica, os prazos para entregar resultados so rgidos, enquanto uma avaliao slida de impacto requer tempo para ser desenhada, captar dados de linha de base, gerar informaes ex-post e, por fim, produzir o relatrio e a anlise. Tudo isso poderia significar anos alm de um ciclo poltico, o que desencorajaria at os mais fervorosos adeptos das avaliaes, uma vez que estes no teriam condies de colher os frutos da iniciativa.
82
Os grupos de interesse tambm podem representar uma significativa restrio para os formuladores de polticas e impedi-los de promover avaliaes de impacto, especialmente no caso de desenhos experimentais. A definio dos grupos de tratamento e de controle poderia ser perfeitamente justificvel do ponto de vista metodolgico; porm explicar aos excludos dos benefcios que no foram selecionados ao acaso, enquanto outros o foram, geraria oposio suficiente para inviabilizar a avaliao. At mesmo nos casos em que um experimento possa ser lanado, as evidncias de resultados positivos poderiam gerar presses do grupo de controle para ser incorporado, o que perfeitamente compreensvel, ameaando contaminar o experimento. O interessante que as presses normalmente surgem quando mais importante manter o grupo de controle como tal, uma vez que o efeito pleno pretendido s poder ser medido quando a interveno tiver tido tempo de apresentar seus impactos de mdio ou longo prazos. A capacidade dos formuladores para lidar com as presses polticas ou dos grupos de interesse , em geral, o fator determinante da viabilidade do experimento. Outro aspecto importante so os fatores normativos. Se, por exemplo, as regras e as regulamentaes impedem o uso dos recursos do programa para avaliar o seu impacto, mesmo quando os formuladores da poltica esto a favor da avaliao, haver um subinvestimento nessa atividade. Da mesma forma, as disposies institucionais poderiam ser um obstculo. Quando os governos so alinhados em torno do conceito de medir gastos e insumos, pode no existir um mandato para avaliar resultados ou sequer agncias capacitadas a faz-lo, tornando impossvel ou mesmo ilegal a realizao da avaliao. E h ainda a questo poltica. Gerar informaes sobre a efi cin cia da ao de determinada iniciativa pode representar um alto risco em certos ambientes. Enquanto os efeitos positivos podem ser capitalizados politicamente, os resultados desfavorveis tendem a ser muito mais difceis de encarar, exigindo investimentos de capital poltico para lidar com eles. Como argumenta Pritchett(2002), o risco de obter resultados negativos (ou no to positivos) com uma avaliao pode ser um forte impedimento
83
para realiz-la. Os resultados dariam munio para a oposio, com resultados politicamente adversos e at letais, ou desencorajariam doadores e investidores externos a contribuir com mais recursos. Normalmente, o risco mais alto em sociedades onde os mecanismos de transparncia e prestao de contas so institucionalizados e em ambientes de restries oramentrias agudas (onde, paradoxalmente, ter informao sobre quais polticas so as mais necessrias muito importante), nos quais diversos grupos de interesse concorrem pelos recursos. Nessas circunstncias, fornecer evidncias slidas quanto ao impacto de um programa pode ser o equivalente a assinar seu atestado de bito.
3.3. OS AVALIADORES
O avaliador tem um papel importante no processo. comum que este seja uma pessoa externa operao do programa e que tenha independncia suficiente para garantir credibilidade. As autoavaliaes tambm so uma alternativa, mas como esto atravessadas pela subjetividade, sua credibilidade fica prejudicada. Como foi reconhecido, pelo menos desde Alkin e Daillak (1979), a abordagem escolhida pelos avaliadores varivel crtica para promover ou desencorajar o uso e a produo de evidncias. Do lado positivo, gerar informao slida e confivel quanto aos efeitos da ao de uma poltica pode ser de grande valor para os doadores e investidores externos que precisam se certificar sobre o efeito de sua interveno no desenvolvimento. Para os formuladores de intervenes, a informao oportuna, confivel e relevante, que ajuda a capitalizar aes positivas de governo e que oferece elementos para melhorar o desempenho na esfera poltica, algo apreciado. O risco poltico dos resultados no to bons pode s vezes ser at mitigado se, desde o incio, os formuladores e gestores do programa se envolverem na definio das perguntas a serem respondidas e da estratgia para a comunicao adequada dos resultados. Por outro lado, a escolha de abordagens que restringem o uso das avaliaes poderia prejudicar o interesse dos formuladores das polticas e/ou dos doadores e investidores externos. Por exem84
plo: um estudo que requer esperar uma gerao inteira para obter informaes relevantes poder ser inteiramente invivel para ambos. Da mesma forma, as abordagens metodolgicas que geram resultados vlidos apenas para um determinado ambiente podem ser de escassa utilidade para ampliar a escala de uma determinada ao ou para fundamentar decises em outros contextos. Concentrar-se em questes acadmicas interessantes, porm operacionalmente irrelevantes, desencorajar, da mesma maneira, a demanda por avaliaes. As concluses sensatas do ponto de vista metodolgico, mas inviveis no mbito poltico, em geral encontram contrapartes pouco receptivas, enquanto as avaliaes ideais no campo tcnico, mas que exigem oramentos inalcanveis ou difceis de administrar, muito provavelmente no sero realizadas ou, se o forem, quase certo que sejam pouco usadas. Tais situaes podem ocorrer porque os objetivos e as restries dos doadores e investidores externos e dos formuladores das polticas no necessariamente coincidem com os dos profissionais com capacidade para fazer avaliaes slidas. Esses, sobretudo dos crculos acadmicos, podem priorizar a pureza terica, o prestgio profissional, o reconhecimento, a gerao de conhecimento, o sucesso em termos de publicaes em meios ilustres etc., aspectos incompatveis com avaliaes oportunas, confiveis, relevantes, pertinentes e comunicveis do ponto de vista dos usurios. Uma das razes para explicar a percepo de que a informao disponvel subutilizada poderia muito bem ser a sua incompatibilidade com as necessidades dos usurios, dentro das linhas descritas anteriormente.
3.4. GESTORES E TCNICOS DE PROGRAMAS
Por diversos motivos, talvez os atores mais afetados, em termos prticos, pelo processo de gerao de evidncias das avaliaes e da implementao de mudanas nos programas e servios segundo seus resultados sejam os gestores das iniciativas e os tcnicos que trabalham diretamente no campo. Da perspectiva da gerao de evidncias, uma das razes que a produo de dados e de informaes necessrias para desenhar e implementar as avaliaes
85
em geral demanda trabalho e esforos adicionais, que no vm necessariamente acompanhados de incentivos ou de benefcios identificveis a curto prazo para eles. Alm disso, falhar na entrega dos benefcios para as populaes especficas, de acordo com os cronogramas rgidos, poderia colocar em risco a avaliao ou contaminar um experimento, com consequncias significativas para a qualidade do trabalho. H ainda outro motivo, no caso de desenhos experimentais: que os tcnicos esto diretamente expostos s presses dos indivduos do grupo de controle, ou de outros grupos, que exigem ser incorporados ao programa. Mas talvez o principal desafio se relacione ao uso dos resultados das avaliaes. Passar de uma abordagem baseada em gastos ou indicadores de insumos como medida do sucesso da poltica para enfocar resultados de desenvolvimento como benchmark , em si, uma mudana cultural significativa. Quando as novas avaliaes so apresentadas e so propostos conjuntos de recomendaes que vo modificar normas, processos e as prticas cotidianas, os que tm o nus de colocar em prtica essas mudanas so precisamente os tcnicos. A introduo e a implementao gradual de novos padres e mtodos nas operaes e nas atividades do dia a dia pode ser a mais complexa e laboriosa tarefa no uso efetivo das avaliaes, dado que exige uma mudana de conduta e costumes individuais. comum que mesmo o que parece uma mudana mnima nas normas e processos leve vrios anos para ser plenamente implementado e a oposio implcita ou explcita nesse nvel poderia inibir o uso de avaliaes. Tambm frequente que gestores e tcnicos se tornem, em alguns casos, o eleitorado do programa ao qual dedicaram anos de esforos e experincia. Quando esses indivduos so tambm os clientes de seu prprio programa, podem ser os primeiros a obstruir ou a se opor abertamente s mudanas, tornando o uso da avaliao impossvel na prtica. Mesmo se, no nvel decisrio mais alto, houver forte compromisso quanto ao uso dos resultados da avaliao para aperfeioar o desenho e a implementao das polticas, a resistncia na base pode inviabilizar a avaliao. Seja por razes prticas como exigir esforos adicionais , seja porque esto intimamente identificados com o programa e com a
86
maneira como foi desenhado e gerido at ento, qualquer desafio ao status quo encarado como algo pessoal.6 O treinamento intensivo e a divulgao de informao sobre a natureza e os propsitos das avaliaes contribuiriam para reduzir a oposio a sua produo e uso. A experincia tem demonstrado que envolver esses atores no processo de desenho da avaliao (por exemplo: participando na definio das questes a serem respondidas, incluindo-os no processo de elaborao das hipteses, e at identificando as reas de melhoria potencial), poderia ajudar a redirecionar seus esforos para um uso mais efetivo dos resultados obtidos com as avaliaes. 4. COMENTRIO FINAL Dada a complexidade tcnica e os diferentes incentivos aos quais esto sujeitos os atores-chave envolvidos no processo, no surpresa que as avaliaes experimentais nem sempre sejam realizadas, nem mesmo em ambientes em que poderiam representar uma ferramenta estratgica para delinear o desenho de um programa. Existem evidentemente outras abordagens metodolgicas para fazer avaliao, mas seu uso, como ocorre com os mtodos experimentais, depender do contexto especfico, do tempo oportuno e da situao que prevalece no momento em que for necessrio gerar evidncias sobre os efeitos de um determinado programa ou interveno. BIBLIOGRAFIA ALKIN, M. C.; DAILLAK, R. H. A study of evaluation utilization. In: Educational Evaluation and Policy Analysis, v. 1, n. 4, jul. -ago., pp. 41-49, 1979. ALKIN, M. C.; DAILLAK, R.; WHITE, P. Using evaluations: does eva-
6. Ferman (1969) apresenta uma caracterizao interessante do relacionamento geral entre avaliadores e gestores. Embora o trabalho tenha sido publicado h 40 anos, ilustra claramente os conflitos e tenses que podem surgir entre os diferentes atores do processo de avaliao, o que pode ser determinante para sua viabilidade.
87
luation make a difference?. In: Library of Social Research #76. Beverly Hills: Sage Publications, 1979. ANDERSON, O.W. Influence of social and economic research on public policy in the health field: a review. In: Milbank Memorial Fund Quarterly, v. 44, n. 3, pp. 11-51, 1966. ATTANASIO, O.; MEGHIR, C.; SZKELY, M. Using randomized experiments and structural models for scaling up: evidence from the Progresa evaluation. In: BOURGUIGNON, F.; PLESKOVIC, B. (Eds). Annual World Bank Conference in Development Economics. Oxford University Press, 2004. AVERY, C.; RESNICK, P.; ZECKHAUSER, R. The market for evaluations. In: The American Economic Review, v. 89, n. 3, pp. 564584. American Economic Association, 1999. BANERJEE, A. Making aid work. MIT Press, 2007. BARBER, M.; MOURSHED, M. Cmo hicieron los sistemas educativos con mejor desempeo del mundo para alcanzar sus objetivos. In: Programa de Promocin de la Reforma Educativa en Amrica Latina y el Caribe (PREAL), n. 41, Santiago do Chile, jul. 2008. BARKDOLL, G. L. Type III evaluations: consultation and consensus. In: Public Administration Review, v. 40, n. 2, mar.-abr., pp. 174-179, 1980. BIRDSALL, N.; SAVEDOFF, W. Cash on delivery: a new approach to foreign aid. Center for Global Development, 2010. BRASKAMP, L. A.; BROWN, R. D. Utilization of evaluative information. San Francisco: Jossey-Bass, 1980. BROWN R. D.; NEWMAN D. L.; RIVERS L. S. A decision making context model for enhancing evaluation utilization. In: Educational Evaluation and Policy Analysis, v. 6, n. 4, pp. 393-400, inverno de 1984. CARO, F. G. Issues in the evaluation of social programs. In: Review of Educational Research, v. 41, n. 2, Science and Mathematics Education, pp. 87-114, abr. 1971. CUMMINGS, R. Rethinking evaluation use. In: Australasian Evaluation Society. Nov. 2002. DEATON, A. Evidence-based aid must not become the latest in a long string of development fads. In: Boston Review. Jul. 2006. DRUMMOND, M. Making economic evaluations more accessible
88
to health care decision-makers. In: The European Journal of Health Economics, v. 4, n. 4, pp. 246-247, 2003. FERMAN, L. A. Some perspectives on evaluating social welfare programs. In: Annals of the American Academy of Political and Social Science, 1969. GAARDER, M. Introduction. In: Journal of Development Effectiveness, v. 3, n. 3, 2010. GAARDER, M.; GLASSMAN, A.; TODD, J. Conditional cash transfers and health: unpacking the causal chain. In: Journal of Development Effectiveness, v. 3, n. 3, 2010. GONZALEZ DE COSSIO, T.; RIVERA, J.; LPEZ ACEVEDO, G. Nutricin y pobreza. In: World Bank, Washington DC, 2008. GREENBERG, B. G. Evaluation of social programs. In: Review of the International Statistical Institute, 1968. HADDAD, W.; DRAXLER, A. Technologies for Education: potentials, parameters, and prospects. UNESCO, Paris, 2002. HANUSHEK, E.; KAIN, J.; OBRIEN, D. M.; RIVKIN, S. The market for teacher quality. In: Working Paper 11154, National Bureau of Economic Research, Cambridge, Massachussetts, 2005. HANUSHEK, E.; WOESSMANN, L. The role of school improvement in economic development. In: CESifo Working Paper, n. 1911, fev. 2007. HENRY, G.; MARK, M. Beyond use: understanding evaluations influence on attitudes and actions. In: American Journal of Evaluation, v. 24, n.3, pp. 293-314, 2003. HECKMAN, J.; SMITH, J.; CLEMENS, N. Making the most out of programme evaluations and social experiments: accounting for heterogeneity in programme impacts. In: Review of Economic Studies, 64, n. 4, pp. 487-535, 1997. HOWARD R.; SALASIN, D.; SALASIN, S. The utilization of evaluation. In: Handbook of Evaluation Research, v. 1, E. L. Streuning and M. Gutentag, Beverly Hills, CA: Sage, 1975. JOHN, E. S. L.; THOMAS, J. C. Designing useful evaluations, evaluation and program planning, 5(4):327-36, 1982. JONES, N.; JONES, H.; STEER, L.; DATA, A. Improving impact evaluation production and use. Overseas Development Institute, 2009.
89
JORDAN, H.; MENDRO, R.; WEERASINGHE, D. Teacher effects on longitudinal student achievement. In: Mimeo, Indianapolis, IN, 1997. JUNG, I. ICT - pedagogy integration in teacher training: application cases worldwide. In: Educational Technology &Society, 8 (2), pp. 94-101, 2005. KORETZ, D. Developing useful evaluations: a case history and some practical guidelines. In: New Directions for Program Evaluation: Making Evaluation Research Useful to Congress, L. Saxe and D. Koretz, San Francisco: Jossey-Bass, pp. 25-50, 1982. KIRKHART, K. E. Reconceptualizing evaluation use: an integrated theory of influence. In: CARACELLI, V.J.; PRESKILL, H. (Eds.). The expanding scope of evaluation use. New Directions for Evaluation, n. 88, 2000. LEONARD, R. Barriers to the utilization of evaluation research. In: Annual Meeting of the Society for the Study of Social Problems, Chicago, IL, set. 1977. LEVINTON L. A.; HUGHES, E. F. Research on utilization of evaluations: a review and synthesis. In: Evaluation Review, pp. 525548, 1981. MARK, M.; HENRY, G. The mechanisms and outcomes of evaluation influence. In: Evaluation, n. 10, 2004. MARRA, M. How much does evaluation matter: some examples of the utilization of the evaluation of the World Banks anti corruption activities. In: Evaluation, v. 6, n. 1, pp. 22-36, 2000. OECD. Teachers matter; attracting, developing and retaining effective teachers. Organization for Economic Co-Operation and Development, Paris, 2005. OECD. Are the new millennium learners making the grade? Organization for Economic Co-Operation and Development, Centre for Educational Research and Innovation, Paris, 2010. PATTON, M., In search of impact: an analysis of the utilization of federal health evaluation research. Center for Social Research, Minnesota, 1975. PATTON, M. Q. Utilization-focused evaluation. Beverly Hills: Sage Publications, 1978.
90
PELGRUM, H. Promoting equity through ICT: what can international assesments contribute to help fight low achievement?. In: KARPATI, A. (Ed.). Promoting equity through ICT in education: projects, problems, prospects. Budapest, Hungarian Ministry of Education, OECD, 2004. PITTMAN, G.; FEINSTEIN, O.; INGRAM, G. Evaluation development effectiveness. New Brunwsick, Transaction Publishers, 2005. PRITCHETT, L. It pays to be ignorant. In: Journal of Economic Policy Reform, v. 5, n. 4, pp. 251-269, 2002. RAVALLION, M. Evaluation in the practice of development. World Bank, 2008. RAWLINGS, L. Evaluating the impact of conditional cash transfer programs. In: World Bank Research Observer, v. 20 (1), pp. 29-55, 2005. RIVKIN, S. G.; HANUSHEK, E.; KAIN, J. Teachers, schools and academic achievement. Econometrica, v. 73, n. 2, pp. 417-458, mar. 2005. SANDERS, W.; RIVERS, C. Cumulative and residual effects of teachers on future student academic achievement. University of Tenesee, 1996. SAVEDOFF, W.; LEVINE, R.; BIRDSALL, N. When will we ever learn? Improving lives through impact evaluation. The Evaluation Gap Working Group, Center for Global Development, Washington DC, 2006. SADOFSKY, S. Utilization of evaluation results: feedback into the action program. In: SHMELZER, J. (Ed.). Learning in action. Washington: U.S. Government Printing Office, 1966. SCHULBERG, H.; BAKER, F. Program evaluation models and the implementation of research findings. In: American Journal of Public Health, 1968. SKOUFIAS, E. Progresa and its impact on the welfare of rural households in Mexico. In: International Food Policy Research, Washington DC, 2005. SWEET, R.; MEATES, A. ICT and low achievers: what does PISA tell us?. In: KARPATI, A. (Ed.). Promoting equity through ICT in education: projects, problems, prospects. Budapest, Hungarian Ministry of Education, OECD, 2004.
91
SZKELY, M. Nmeros que mueven al mundo: la medicin de la pobreza en Mxico. Editorial Porra, Mxico DF, 2006. SZKELY, M.; RASCN, E. Mxico 2000-2002: reduccin de la pobreza con estabilidad y expansin de programas sociales. In: Economa mexicana, v. XIV, n. 2, 2005. WALTER, J. Can evaluations influence programs? The case of compensatory education. In: Journal of Policy Analysis and Management, v. 2, n. 2, pp. 174-184, inverno de 1983. WEISS, C. H. The many meanings of research utilization. In: Public Administration Review, set-out. 1979. WEISS, C. H. Measuring the use of evaluations. In: HOUSE, E. (Ed.). Evaluation studies review annual, v. 7, pp. 129-146, Beverly Hills, CA: Sage, 1982. WEISS, C. H. The interface between evaluation and public policy. In: Evaluation, v. 5, n. 4, pp. 468-486, 1999. WEISS, C. H. Theory-based evaluation: theories of change for poverty reduction programs. In: FEINSTEIN, O.; PICCIOTO, R. (Eds.). Evaluation and poverty reduction, Transaction Publications, 2001.
92
Avaliaes vlidas, relevantes e teis

Doutor em avaliao pela Universidade de Western Michigan, consultor internacional de avaliao e odontlogo da Universidade Federal do Rio de Janeiro.
1. INTRODUO O interesse pelo campo da avaliao no Brasil tem aumentado significativamente nos ltimos anos. notvel a crescente demanda por avaliaes profissionais por parte dos diferentes setores da sociedade governos, organizaes do terceiro setor e empresas. O aumento do nmero de eventos ligados ao tema e a criao de organizaes que renem profissionais que atuam na rea, como a Rede Brasileira de Monitoramento e Avaliao e a Associao Brasileira de Avaliao Educacional, so exemplos claros desse cenrio. Apesar dos avanos, a avaliao enquanto campo profissional no Brasil ainda est em sua infncia. A produo de conhecimento sobre a teoria e a prtica da avaliao no contexto brasileiro ainda limitada, tanto em termos de quantidade quanto de qualidade. No momento, so apenas duas as instituies de ensino em todo o Pas que oferecem formao especfica para profissionais interessados em se tornar avaliadores. Fica clara, portanto, a necessidade de realizar avanos para que a avaliao alcance maior maturidade, que possa ser refletida no aperfeioamento das prticas adotadas pelos avaliadores. Uma preocupao constante por parte das organizaes contratantes com a qualidade das avaliaes realizadas. So vrios os relatos de frustrao com os processos avaliativos que no as
93
ajudam. Tais avaliaes normalmente geram um relatrio extenso, com detalhes sobre mtodos e instrumentos de pesquisa utilizados, mas portadores de um defeito fatal: no respondem diretamente s perguntas realmente importantes. E, consequentemente, no ajudam a melhorar ou a tomar decises estratgicas sobre o futuro daquilo que estava sendo avaliado, o avaliando1. O presente artigo prope-se a contribuir para qualificar o trabalho realizado por avaliadores, principalmente os que atuam no terceiro setor, de modo que as avaliaes que realizem tenham mais validade e sejam mais relevantes e teis. So trs as principais mensagens contidas neste artigo: 1. A avaliao vai muito alm da aplicao de mtodos de pesquisa para estudar variveis relacionadas ao avaliando, normalmente as que so de medio direta, rpida e confivel. O que muitos profissionais no se do conta, ou no se perguntam mais seriamente, se estas variveis so os aspectos realmente importantes a serem considerados para determinar se o avaliando tem qualidade, importncia ou valor. muito fcil ficar perdido em mtodos e medies. As avaliaes, porm, superam aferio de variveis. Elas exigem a apresentao de respostas bem fundamentadas para perguntas importantes e realmente avaliativas. 2. H metodologias que so especficas do campo da avaliao, e que diferenciam efetivamente um processo avaliativo de uma pesquisa. Se no so utilizadas, torna-se impossvel identificar e selecionar os parmetros-chave para determinar quo bom um avaliando , e tampouco chegar a concluses avaliativas vlidas sobre seu desempenho nas dimenses e/ou componentes considerados estratgicos.
1. Para evitar repeties, o termo avaliando (entre aspas) ser utilizado no decorrer do texto para representar os diferentes tipos de coisas que podem ser avaliadas: programas, projetos, polticas, produtos, servios, organizaes, pessoas, performance, propostas, avaliaes etc.
94
avaliaes vlidas, relevantes e teis
3. A essncia da avaliao est na resposta vlida e direta a perguntas realmente relevantes, que ajudem a tomar decises sobre a melhoria ou o futuro de um avaliando. Para que uma avaliao consiga cumprir essa sua funo essencial com qualidade preciso desprender-se da ideia de reproduzir pura e simplesmente a lgica das pesquisas acadmicas tradicionais. H seis elementos-chave que precisam ser considerados com cuidado para realizar avaliaes com qualidade. Tais elementos sero apresentados neste artigo. 2. PARA ALM DA PESQUISA H profissionais que consideram a avaliao nada mais do que a aplicao de mtodos de pesquisa tomados emprestados, principalmente das cincias sociais e econmicas, para apoiar decises ou responder a indagaes sobre um determinado avaliando. Quantos j no se depararam com a situao representada na tira abaixo?
Fonte: o autor, utilizando ferramentas do site <www.makebeliefscomix.com>.
Normalmente, a encomenda feita aos avaliadores para que determinem em que medida os objetivos do programa foram atingidos a partir de alguns indicadores de preferncia quantitativos e de aferio relativamente fcil e consistente. Como ato contnuo primeira conversa entre o avaliador e o cliente, d-se um salto direto para escolher quais os mtodos de pesquisa que melhor se prestam para identificar o cumprimento ou no dos objetivos traados, com base nos indicadores selecionados. Indagaes bsi95
cas sobre, por exemplo, em que medida os objetivos estabelecidos eram realmente vlidos ou atendiam s necessidades especficas de pessoas ou organizaes; ou quais os atributos essenciais para determinar qualidade, importncia ou valor do avaliando passam, em geral, ao largo das discusses. No exemplo (exagerado) representado na ilustrao, h questes bsicas que um avaliador precisaria levantar para fazer um bom trabalho. Entre vrios outros questionamentos que precisam ser feitos para que uma avaliao efetivamente gere concluses vlidas e relevantes, podemos citar: Ser que o nmero de rvores a serem plantadas suficiente para resolver o problema do desmatamento na regio mencionada?; Ser que o tipo de rvore plantada era o mais adequado?; As rvores foram bem cuidadas e vingaram ao longo do tempo?; H um trabalho de manuteno e proteo dessas rvores?. Michael Scriven, um dos mais importantes nomes dessa rea de conhecimento em todo mundo, ajuda-nos a identificar a diferena essencial entre a avaliao e a pesquisa. Ele defende que um estudo s pode ser considerado uma avaliao se chegar a concluses sobre quo bom, importante ou valioso o avaliando (Scriven, 1991). Independentemente do mtodo selecionado para coletar e analisar dados, preciso que esse gere concluses sobre a situao ou desempenho daquilo que est sendo estudado. Esse ponto essencial, pois muitas das crticas que os avaliadores recebem esto baseadas no fato de que grande parte do trabalho que realizam no responde diretamente s principais preocupaes daqueles que precisam tomar decises. Para tornarem-se bons avaliadores, necessrio que os profissionais desenvolvam uma percepo clara da lgica e dos mtodos que formam a essncia do processo avaliativo. E o que o torna diferente da pesquisa no avaliativa a combinao bem fundamentada de valores (por exemplo: necessidades ou aspiraes da populao-alvo de um programa, critrios ticos, custo-efetividade etc.) que servir de base para julgar a qualidade, a importncia e a performance do que est sendo estudado. Infelizmente, os profissionais que atuam nesse campo tm dado menos ateno essncia da avaliao do que aplicao e adaptao
96
de mtodos de pesquisa quantitativos e qualitativos, deixando de levar em conta que as metodologias especficas desta rea de conhecimento so a principal garantia da validade, relevncia e dos usos de uma avaliao. 3. MTODOS ESPECFICOS DA AVALIAO Os mtodos particulares do campo da avaliao fazem que estudos possam ser considerados efetivamente avaliativos. A seguir sero descrito quatro mtodos.
3.1. IDENTIFICAO E SELEO DOS VALORES DE UMA AVALIAO
Valores so os princpios ou as propriedades inerentes dos avaliandos que os tornam bons e relevantes. Em qualquer avaliao, os valores formam a base para a identificao e a seleo dos critrios e indicadores que iro orientar a coleta de dados e o estabelecimento de concluses avaliativas. O atendimento a necessidades, direitos e/ou prioridades das pessoas, grupos, organizaes etc., que sero servidos de alguma maneira pelo avaliando a principal fonte de valores que o avaliador deve considerar. Na avaliao de programas, tipo de estudo realizado com maior frequncia, o profissional precisa identificar em que medida se est realmente dando conta de necessidades importantes de pessoas e grupos. Por exemplo: um programa de aes complementares escola (realizado no contraturno escolar) pode conseguir atender bem necessidade de manter as crianas ocupadas e, potencialmente, menos vulnerveis aos riscos das ruas. Porm, pode no contribuir de maneira significativa para a soluo de outras necessidades igualmente ou mais importantes como desenvolver as habilidades cognitivas, sociais e emocionais necessrias para o sucesso na escola e na vida de maneira geral. Outras fontes determinantes de valores em uma avaliao de programas incluem:
97
Alcance de resultados: o programa dever produzir resultados significativos para o benefcio de famlias e comunidades participantes, sem gerar efeitos colaterais negativos significativos. Solidez cientfica: a lgica do programa e suas prioridades, estratgias e atividades devem ser consistentes com o conhecimento mais atual sobre as questes que esto sendo abordadas. Padres ticos e profissionais: o programa deve estar em conformidade com princpios profissionais e ticos aceitos pela sociedade. Eficincia: o programa deve permitir o mnimo de desperdcio e usar os recursos com eficincia mxima. Custo-efetividade: o programa deve produzir os resultados esperados, dentro de padres ticos e de qualidade, pelo menor custo em comparao com outras opes.
Para cada avaliando, os profissionais tero de trabalhar junto com os principais interessados para determinar quais os valores especficos que, naquele contexto, devero ser levados em conta para orientar o processo avaliativo.
3.2. DETERMINAO DO DESEMPENHO DO AVALIANDO EM RELAO A DIMENSES, INDICADORES E/OU COMPONENTES
Aps a coleta das diversas evidncias quantitativas e qualitativas a partir dos valores selecionados, o avaliador precisa determinar como foi o desempenho de um avaliando em relao a diferentes dimenses de qualidade e/ou importncia. O grande desafio como combinar diferentes evidncias para concluir se o desempenho foi excelente, bom, razovel ou ruim. Uma ferramenta muito efetiva so as rubricas avaliativas. A rea de educao foi a primeira a utilizar rubricas como instrumento para orientar os professores a avaliar a qualidade de redaes e de outros trabalhos escritos pelos alunos. Mais recentemente, tm sido adotadas por avaliadores na elaborao de parmetros para determinar o grau de sucesso de um avaliando em diferentes dimenses de resultado, processo e/ou contexto. Concretamente, uma rubrica avaliativa apresenta uma descrio clara
98
dos diferentes nveis de desempenho (ou situao) de um avaliando. Ou seja, traz os detalhes que possibilitam aos avaliadores afirmar se o desempenho ou a situao do avaliando, em relao s diferentes dimenses analisadas, podem ser considerados:
Excelente: muito superior em relao a todas as evidncias coletadas; pode ser considerado como tendo atingido o ponto ideal, ou chegado muito prximo dele. Bom: slido em relao s evidncias coletadas, mas com pequenas limitaes ou problemas que o distanciam um pouco mais da situao ideal. Razovel: inconsistncia nas evidncias, positivas em sua maioria; atende razoavelmente s expectativas; nenhum dos problemas encontrados grave. Ruim: maioria das evidncias traz resultado negativo, apesar de haver poucos resultados positivos; alguns dos problemas encontrados so considerados graves. Muito ruim: todas as evidncias trazem resultado negativo; vrios dos problemas encontrados so considerados graves.
As rubricas avaliativas podem ser tanto genricas quanto especficas. As genricas, parecidas com as descries apresentadas acima, podem ser usadas para definir o desempenho do avaliando em todas as dimenses includas no estudo. Os avaliadores teriam ento que apresentar, detalhadamente, as justificativas que os levaram a determinar que o desempenho do programa em uma determinada dimenso foi bom em vez de ruim ou excelente. As rubricas especficas so aquelas construdas utilizando as evidncias pertinentes a cada uma das dimenses analisadas, sendo, portanto, diferentes para cada dimenso. Podem variar tambm em termos de complexidade, dependendo do nmero de evidncias includas. Um exemplo de rubrica avaliativa especfica ser apresentado na p. 108.
99
3.3. DETERMINAO DO NVEL DE IMPORTNCIA DE CRITRIOS, INDICADORES E/OU COMPONENTES
Ao considerar as diferentes dimenses ou componentes de um avaliando, fica bvio que nem todas possuem o mesmo nvel de importncia. Usando um exemplo extremo, consideremos um programa que tem como principal objeto diminuir a pobreza rural. provavelmente mais importante que as famlias tenham aumentado de forma sustentvel sua capacidade de produzir mais comida e de se alimentar melhor, do que terem passado a participar mais das reunies da associao comunitria de onde vivem. Saber que dimenses ou componentes so mais importantes essencial para determinar que melhorias precisam ser priorizadas, a fim de identificar se os problemas/limitaes encontrados so srios ou menos importantes e/ou determinar se um avaliando que tem um desempenho inconsistente (ou seja, com bons e maus resultados) est mais para o lado positivo ou negativo. A figura abaixo traz um exemplo hipottico de representao de desempenho de um programa em relao a trs dimenses, cuja importncia est explicitada:
Dimenso 1
Extremamente importante
Dimenso 2
Razoavelmente importante
Dimenso 3
Pouco importante Ruim Razovel Bom Muito Bom
Muito Ruim
Fonte: adaptado de Davidson (2005; p. 101).
Um desempenho no muito bom na dimenso 3, considerada pouco importante, pode no ser um grande problema. Por outro lado, um desempenho ruim na dimenso 1, considerada extremamente importante, pode significar um desastre para o programa. Se os avaliadores no tivessem determinado o nvel de importn100
cia dessas dimenses, os coordenadores ou os financiadores deste programa hipottico poderiam concluir que a dimenso 3 seria a que precisaria de maior ateno imediata, por estar em situao pior em comparao com as outras. Na realidade, a dimenso 1 a que provavelmente precisaria ser priorizada, tendo em vista sua importncia para o programa. H diferentes tcnicas para determinao do nvel de importncia de dimenses ou componentes de um avaliando. Entre elas destacam-se: (i) votao realizada pelos principais interessados no avaliando; (ii) consulta a alguns interessados-chave que conhecem bem o avaliando; (iii) uso de evidncias da literatura; (iv) opinio de especialistas; (v) uso de evidncias coletadas durante estudos de necessidades do pblico-alvo ou para seleo dos valores da avaliao; e (vi) uso de teorias de impacto do programa e de conexes causais. A atribuio de pesos para caracterizar o nvel de importncia das diferentes dimenses pode ser feita tanto quantitativa quanto qualitativamente. A descrio mais detalhada sobre estas estratgias foge dos objetivos desta publicao e pode ser encontrada em Scriven (1991) ou em Davidson (2005).
3.4. SNTESE DE RESULTADOS PARA CHEGAR A CONCLUSES AVALIATIVAS
Sntese avaliativa o processo de combinar uma srie de evidncias complexas sobre o desempenho ou a situao de um avaliando em diferentes dimenses ou componentes para se chegar a concluses avaliativas. As rubricas avaliativas so consideradas tambm como snteses avaliativas. Porm, h casos em que as evidncias so muito diversificadas provm de diferentes fontes de informao ou so de mltiplas naturezas (quantitativas e qualitativas) , tornando-se complexas demais para que se possam elaborar rubricas avaliativas capazes de abranger de forma correta todos os aspectos importantes envolvidos. H vrias tcnicas para se fazer snteses avaliativas. Antes de escolher uma delas preciso saber se o objetivo gerar concluses avaliativas sobre um nico avaliando ou se a inteno comparar o desempenho de diferentes avaliandos. Se a sntese destina101
-se a determinar o mrito de um nico avaliando, os tipos mais comuns de perguntas que podem ser respondidas so: Quo bom foi o desempenho do avaliando no geral?; Quo bom foi o desempenho do avaliando em relao s principais dimenses de interesse?; Valeu a pena implementar este componente do avaliando, levando em conta o investimento feito?. Exemplos de snteses que visam classificar diferentes avaliandos podem incluir o ranqueamento de universidades, comparaes entre diferentes programas para reduzir a pobreza rural, seleo de candidatos para uma vaga de emprego, ou comparao entre diferentes produtos. Existem as snteses quantitativas e as qualitativas. As quantitativas usam pesos numricos tanto para determinar a importncia das diferentes dimenses (por exemplo: peso 1 para dimenses pouco importantes e peso 4 para as extremamente importantes), quanto para definir a pontuao do desempenho do avaliando (por exemplo: 1 ponto para desempenho muito ruim e 5 pontos para desempenho excelente). Nesses casos, as concluses avaliativas so determinadas a partir de multiplicaes de pesos e pontuaes, alm de somatrios e mdias dos resultados para cada dimenso e/ou avaliando. As qualitativas usam smbolos ou categorias para representar o nvel de importncia (peso) de cada dimenso, bem como do desempenho do avaliando. Chega-se s concluses avaliativas atravs de um processo complexo de reflexes lgicas e no pelo resultado de multiplicaes e mdias numricas. Quando se tem um nmero razoavelmente grande de dimenses ou aspectos compondo as avaliaes, os mtodos qualitativos so melhores do que os quantitativos. Nessas situaes, as snteses numricas podem levar a concluses invlidas, pois tendem a diluir a contribuio das dimenses realmente importantes no resultado final e acabam deixando que o bom desempenho em vrias dimenses pouco importantes influencie mais o resultado final do que o mau desempenho em dimenses realmente importantes. Outro elemento relevante nas snteses diz respeito criao de barreiras. Elas constituem o desempenho mnimo que um avaliando deve ter em determinadas dimenses ou aspectos estratgicos para ser considerado aceitvel. Determinam tambm que se um avaliando no tiver um desempenho pelo menos razovel em uma
102
dimenso-chave, ser considerado, como um todo, ruim, no importando se teve timo desempenho em outras dimenses. Usando um exemplo extremo: no processo seletivo de um profissional, se ele no apresentar postura tica adequada, no deve ser contratado, mesmo que seja considerado tecnicamente excelente. Pelas consequncias importantes que as barreiras tm para um processo avaliativo, elas devem ser usadas com muito cuidado e parcimnia. Mais detalhes sobre as diferentes metodologias para a realizao de snteses podem ser encontrados nos livros de Scriven (1991) e de Davidson (2005). Os quatro mtodos citados anteriormente so exemplo das principais metodologias especficas para a avaliao aquelas que efetivamente contribuem para determinar a qualidade, a importncia ou o valor de determinado avaliando. No podem ser considerados como pertencentes mesma categoria os mtodos estatsticos ou os outros mtodos padro de pesquisa, como entrevistas, observaes, questionrios, anlise de contedo ou mesmo de inferncia causal. Certamente os avaliadores fazem uso constante de tais mtodos, mas eles no so especificamente avaliativos, porque no tratam da questo dos valores de maneira explcita. Ou seja, os profissionais podem recorrer a eles (sejam quantitativos ou qualitativos), mas no estaro, necessariamente, fazendo avaliaes. Entretanto, se empregarem uma ou mais das quatro metodologias descritas acima, certamente estaro realizando avaliao. Em sntese: as metodologias especficas da avaliao produzem, de forma sistemtica e transparente, evidncias slidas sobre o desempenho de um avaliando e permitem chegar a concluses avaliativas com base nos valores selecionados. Como produzir, na prtica, avaliaes de qualidade, que respondam diretamente s perguntas avaliativas formuladas e que gerem ao? 4. PONTOS-CHAVE PARA SE FAZER AVALIAES VLIDAS, RELEVANTES E TEIS As ideias apresentadas neste texto esto muito influenciadas pelo trabalho de Michael Scriven e de E. Jane Davidson. Scriven pode ser considerado como um dos pais da avaliao, tendo sido res103
ponsvel por estabelecer boa parte da fundamentao terica e prtica do campo. Seu livro Evaluation thesaurus1 (Scriven, 1991) , at hoje, a principal referncia sobre lgica e metodologia da avaliao. Outra referncia fundamental de sua autoria, o Key evaluation checklist2 (Scriven, 2011), apresenta em detalhe os aspectos-chave que precisam ser considerados em qualquer avaliao, tendo sido Jane Davidson quem melhor conseguiu traduzir tais construes para a prtica. Ao longo dos ltimos anos, ela vem estabelecendo as bases da metodologia batizada de avaliaes relevantes (Davidson, 2012). A combinao do Key evaluation checklist e da metodologia de avaliaes relevantes o que orienta os pontos-chave para realizar boas avaliaes apresentados a seguir. Sabe-se que uma avaliao vlida, relevante e til quando:
claramente focada nas mudanas que o avaliando est tentando produzir ou alcanar; vai direto ao cerne do que realmente importante no avaliando, em vez de se perder em aspectos menos importantes; gera informaes teis nos nveis estratgico e no prtico; influencia e esclarece pensamentos e decises; e traz insights que ajudam na tomada de decises sobre quais aes devem ser tomadas.
Em contraste, avaliaes de baixa relevncia e utilidade tendem a:
ir direto para o planejamento dos mtodos de pesquisa para coletar e analisar dados, sem formar uma ideia clara do que e para quem servir a avaliao; abordar de forma incorreta o envolvimento de diversos grupos interessados ou afetados diretamente pela avaliao: s
1. Tesauro da avaliao, em traduo livre. 2. Lista de checagem-chave da avaliao, em traduo livre.
104
vezes so envolvidos muitos, poucos ou as pessoas erradas, ou no momento inadequado; formular perguntas muito especficas e descritivas, sem abordar os pontos mais importantes que fazem o avaliando ser bom, razovel ou ruim; apresentar muitos dados quantitativos e/ou qualitativos meramente descritivos, sem concluir se a situao ou o desempenho do avaliando foi boa/bom; e deixar o leitor incerto sobre o que precisa ser feito em relao ao avaliando pontos positivos e negativos podem ter sido identificados, mas no est claro quo importantes ou srios so, ou no h pistas claras sobre o que est funcionando melhor ou pior para quem, onde ou por qu.
So seis os pontos-chave que devem ser levados em considerao para se ter certeza de que se obter uma avaliao de alta qualidade. Para ilustrar alguns deles, vejamos exemplos prticos de um projeto em nvel nacional, apoiado pela Fundao Roberto Marinho (mais informaes sobre esta avaliao esto presentes nas pp. 117 a 124). 1. O primeiro ponto-chave entender claramente quais os principais propsitos da avaliao para as pessoas que tm interesse direto nos seus resultados os stakeholders. necessrio que os avaliadores identifiquem quem precisa saber o que, com qual objetivo e quando a informao ser mais til. Para fazer isso de maneira adequada, precisam interagir com os stakeholders, ajudando-os a identificar se a avaliao est focada mais em gerar informaes que sirvam para melhorar o avaliando ou para tomar decises sobre o futuro (por exemplo: expandir, reduzir, manter etc.) ou ambos. Um exerccio importante para ajudar nesse processo reunir os principais stakeholders e solicitar que reflitam conjuntamente e que, a seguir, explicitem as discusses em uma matriz, como no exemplo a seguir, para esclarecer os propsitos da avaliao.
105
QUEM precisa aprender? Gestores da fundao
O QUE precisa ser aprendido? Relevncia dos resultados do projeto para o pblico-alvo
Com que PROPSITO?
QUANDO a informao ser til?
Prestar conta aos Reunies anuais do parceiros mantenedores Conselho (dezembro) Aprimorar os modelos Prestao de contas de interveno aos financiadores (semestralmente) Prospectar novos parceiros Melhorar o projeto ao longo de sua implementao Melhorar futuros projetos Gerar ideias para novos contedos e projetos Contribuir para fortalecer as organizaes parceiras Melhorar futuros projetos Gerar ideias para novos contedos e projetos Reunies semestrais da equipe do projeto Planejamento de novo projeto (dezembro 2013)
Equipe coordenadora/ implementadora
Metodologias empregadas so eficazes e eficientes Relevncia dos resultados do projeto para o pblico-alvo Lacunas de contedo no projeto Em que medida o projeto fortalece as organizaes parceiras Em que medida o projeto fortalece as organizaes parceiras Relevncia dos resultados do projeto para os educadores
Organizaes parceiras
Ao longo de 2013/2014
Fonte: o autor, com autorizao da Fundao Roberto Marinho.
2. O segundo elemento-chave requer o planejamento e a adoo de estratgias para envolver os principais stakeholders na avaliao: quem precisa estar envolvido, quando e como? necessrio no s identificar quem so as pessoas, mas tambm criar mecanismos para viabilizar sua participao. importante aqui pensar no envolvimento estratgico e inteligente, que alcance o equilbrio com a viabilidade da avaliao dentro das limitaes de tempo e de outros recursos restries presentes em qualquer processo avaliativo. O quadro a seguir apresenta o mapeamento dos principais stakeholders e a definio de quem deve ser envolvido em que fases da avaliao, bem como de que forma se dar o envolvimento.
106
Em que ETAPAS envolver? QUEM envolver?* Perguntas avaliativas (1); (2); (3); (4); (5)
COMO envolver? (1) e (2) reunies presenciais; (3) consulta distncia (Skype/telefone/e-mail); (4) e (5) consulta (reunio de apresentao e discusso do documento final). (1), (2) e (7) reunies presenciais; (4) consulta (reunio de apresentao e discusso do documento final). (1), (2) e (3) apoio logstico.
Definio de qualidade e valor (rubricas) Coleta de evidncias Interpretao e discusso de resultados Planejamento para ao
(1); (2); (4); (7)
(1); (2); (3)
(1); (2); (3); (4); (5); (6) Reunies presenciais para discusso dos resultados da avaliao. (1); (2); (3); (4) Reunies presenciais para discutir o uso dos resultados da avaliao.
* (1) Equipe gestora da fundao; (2) Equipe gestora da rea onde est localizado o projeto; (3) Equipe implementadora do projeto; (4) Organizaes parceiras; (5) Conselheiros da fundao; (6) Parceiros mantenedores; (7) Especialistas na rea do projeto
3. O terceiro elemento-chave definir as perguntas estratgicas que iro orientar todo o processo avaliativo. Devem ser perguntas que tratem da qualidade e do valor do programa e no apenas descrevam o que aconteceu. Percebam a diferena entre indagar Que mudanas o programa conseguiu provocar? e Quo importantes foram as mudanas provocadas pelo programa?. A primeira formulao meramente descritiva e no gera informaes que possibilitaro chegar a concluses sobre quo bom e relevante o programa . No h dvida de que, em qualquer processo avaliativo, ser necessrio saber quais as mudanas provocadas pelo programa. Porm, se no se investiga a importncia das mesmas, torna-se difcil saber se foi um sucesso retumbante ou um total fracasso, ou algo entre esses extremos. Consequentemente, a tomada de deciso sobre o que fazer com o programa (por exemplo: melhorar, expandir, terminar etc.) ser pouco fundamentada. No quadro a seguir, apresentamos alguns exemplos de perguntas avaliativas para a avaliao de um programa na rea de educao e mobilizao social:
107
1. Em que medida o projeto contribui para atender a necessidades e prioridades das organizaes parceiras e dos potenciais beneficirios finais (educadores, crianas, famlias e comunidade)? 2. Quo bem desenhado e implementado foi o projeto? 2.1. As estratgias e critrios adotados para selecionar as organizaes parceiras foram os mais acertados para identificar as organizaes mais efetivas onde implement-lo? 2.2. O apoio inicial e ao longo do projeto oferecido pela equipe gestora s organizaes parceiras foi suficiente e efetivo para garantir o alcance de resultados significativos? 2.3. O apoio inicial e ao longo do projeto oferecido pelas organizaes parceiras s outras organizaes participantes foi efetivo e suficiente? 2.4. Os mecanismos de monitoramento presencial e a distncia adotados e o uso dos resultados desse acompanhamento foram adequados para a boa execuo do projeto? 3. Qual a qualidade e importncia dos resultados alcanados pelo projeto junto aos educadores, crianas, famlias/comunidade e organizaes parceiras? 3.1. Quo importante foi sua contribuio para aumentar o conhecimento e melhorar o trabalho dos educadores nas escolas e em outros espaos educativos? 3.2. Em que medida ajudou a fortalecer as organizaes parceiras? 4. Quo bem o projeto funcionou nas diferentes realidades geogrficas (por exemplo: zona urbana rural; regio Nordeste regio Sudeste) e para os diferentes tipos de organizaes parceiras (por exemplo: ONGs secretarias municipais)? Por qu? 5. Os resultados do projeto justificaram os custos incorridos com seu planejamento e implementao e com o tempo e outros recursos investidos pela equipe de gesto da fundao e das organizaes parceiras para sensibilizao, apoio e monitoramento? 6. Qual a probabilidade de as mudanas positivas provocadas pelo projeto perdurarem aps a finalizao das aes planejadas?
4. O quarto elemento envolve obter uma combinao acertada de evidncias (quantitativas e qualitativas) capazes de dar respostas convincentes s perguntas avaliativas elaboradas. essencial estabelecer os parmetros para definir quo bom bom. Ou seja, que critrios devero ser usados para concluir se o desempenho do programa em relao s perguntas avaliativas foi excelente, bom, razovel, ruim ou pssimo/inaceitvel. Como mencionado anteriormente, as rubricas avaliativas so um instrumento muito til para dar conta desse trabalho. Uma estratgia para desenvolv-las de maneira correta envolve, primeiro, identificar os critrios de mrito do avaliando, ou seja, aqueles que definem a situao ideal/desejada para a pergunta avaliativa. Depois, faz-se necessrio descobrir quais
108
evidncias precisaro ser coletadas para determinar se os critrios de mrito foram bem cumpridos ou no. O quadro a seguir apresenta um exemplo de critrio de mrito e de evidncias a serem coletadas.
Pergunta avaliativa 2.4. Os mecanismos de monitoramento presencial e a distncia adotados e o uso dos resultados desse acompanhamento foram adequados para a boa execuo do projeto?
Critrio de mrito Os mecanismos de monitoramento adotados foram efetivos para informar, no momento certo, sobre a necessidade de ajustes na implementao de aes que contriburam para resultados significativos do projeto.
Evidncias Parecer da equipe de avaliao externa sobre a qualidade das estratgias de monitoramento Percepo da equipe de coordenao da fundao sobre a qualidade, eficincia e usabilidade das estratgias de monitoramento do projeto Percepo da equipe de implementao sobre a qualidade, eficincia e usabilidade das estratgias de monitoramento Percepo dos representantes das organizaes parceiras sobre a qualidade, eficincia e usabilidade das estratgias de monitoramento Exemplos de como os resultados dos relatrios de monitoramento escritos (por exemplo: relatrio formal impresso, comunicao por e-mail etc.) e orais (por exemplo: apresentaes formais, conversas por telefone etc.) foram utilizados para melhorar a implementao do projeto
As rubricas avaliativas so ento elaboradas considerando a melhor combinao das diferentes evidncias identificadas para determinar o que seria um desempenho excelente, bom, razovel, ruim ou pssimo/inaceitvel. O quadro a seguir traz um exemplo prtico de rubrica avaliativa elaborada para responder pergunta avaliativa 2.4. do exemplo, utilizando as evidncias includas no quadro anterior.
109
Concluso Excelente
Rubricas Os relatrios de monitoramento so considerados de alta qualidade (formato e contedo) pelos avaliadores externos, sem problemas ou omisses importantes. Os relatrios foram socializados com todos da equipe de implementao do projeto e com quase todas (95% ou mais) as organizaes parceiras. H um nmero muito grande de exemplos de uso dos resultados do monitoramento feito pela equipe de implementao, bem como pelas organizaes parceiras para melhorar a implementao do projeto. Os relatrios de monitoramento so considerados de boa qualidade (formato e contedo) pelos avaliadores externos, com quase nenhum problema ou omisses importantes. Os relatrios foram socializados com todos da equipe de implementao do projeto e com um grande nmero (80% a 95%) de organizaes parceiras. H um nmero grande de exemplos de uso dos resultados do monitoramento feito pela equipe de implementao, bem como pelas organizaes parceiras, para melhorar a implementao do projeto. Os relatrios de monitoramento so considerados de qualidade razovel (formato e contedo) pelos avaliadores externos, mas existem alguns problemas e/ou omisses importantes. Os relatrios foram socializados com todos da equipe de implementao do projeto e com um nmero razovel (65% a 80%) de organizaes parceiras. H um nmero razovel de exemplos de uso dos resultados do monitoramento feito pela equipe de implementao, bem como pelas organizaes parceiras, para melhorar a implementao do projeto. Os relatrios de monitoramento so considerados de baixa qualidade (formato e contedo) pelos avaliadores externos e contm diversos problemas e/ou omisses importantes. Os relatrios no foram socializados com todos da equipe de implementao do projeto e um nmero pequeno (menos que 65%) de organizaes parceiras tiveram acesso a eles. H poucos exemplos de uso dos resultados do monitoramento feito pela equipe de implementao, bem como pelas organizaes parceiras, para melhorar a implementao do projeto.
Bom
Razovel
Ruim
As rubricas podem variar no nmero de categorias e no nvel de complexidade, dependendo da quantidade e complexidade das evidncias. H rubricas genricas que podem ser utilizadas como base para determinar o nvel de desempenho do avaliando em relao a todas as perguntas avaliativas ou a dimenses de impacto selecionadas. Um exemplo de rubrica avaliativa genrica pode ser encontrado no artigo de Davidson (2012; p. 27). No processo de construo das rubri110
cas, essencial o envolvimento dos principais stakeholders do avaliando. S assim elas se tornaro precisas, possibilitando tambm uma oportunidade para que os responsveis e usurios do avaliando formem uma ideia mais clara sobre o que efetivamente esto fazendo e que mudanas visam alcanar.
5. O quinto elemento envolve elaborar relatrios claros e sucintos dos resultados da avaliao. Relatrios descritivos e longos, inspirados nos relatrios acadmicos, em geral, no so muito teis. Como produzir um relatrio que v direto ao ponto, sem se perder em detalhes triviais, um desafio que os avaliadores precisam encarar. Um bom relatrio de avaliao caracteriza-se principalmente por responder de forma direta e sinttica s perguntas avaliativas, usando a linguagem que os principais usurios da avaliao entendem, com diferentes camadas que interessem aos diferentes pblicos leitores. Para isso, o relatrio precisa ter: (i) um sumrio executivo entre uma e trs pginas, respondendo resumidamente s perguntas avaliativas ou discutindo o desempenho do avaliando em cada uma de suas dimenses ou componentes, e trazendo as principais concluses e ideias para subsidiar a tomada de decises estratgicas; (ii) um corpo principal contendo no mais que 30 pginas, focado nas respostas s perguntas avaliativas e na apresentao das evidncias que basearam as concluses avaliativas, incluindo representaes grficas que facilitem o entendimento do material; e (iii) anexos contendo todos os detalhes metodolgicos, incluindo as etapas percorridas para elaborar as perguntas avaliativas, identificar e selecionar as evidncias e rubricas, alm dos mtodos e instrumentos utilizados para coletar e analisar dados.
111
6. Por fim, a avaliao deve ser capaz de gerar ideias e insights que ajudem os stakeholders a agir. Na grande maioria dos relatrios, os avaliadores devem oferecer recomendaes em nvel micro, que no incorram em custos adicionais significativos para o programa. Devem deixar as recomendaes macro apenas para os casos em que a equipe de avaliao tiver conhecimento profundo no s da parte tcnica do avaliando, mas tambm do contexto poltico e financeiro das organizaes e dos outros atores envolvidos o que muito difcil de se conseguir. Mais detalhes sobre os seis pontos-chave de uma avaliao de qualidade podem ser encontrados no artigo publicado por Davidson (2012). 5. EXEMPLOS PRTICOS H trs experincias recentes nas quais o autor teve a oportunidade de aplicar os conceitos aqui descritos. A primeira foi uma srie de avaliaes de projetos apoiados pela Heifer International, uma ONG baseada nos Estados Unidos que atua em mais de 40 pases, apoiando organizaes locais que desenvolvem projetos de reduo de pobreza e de proteo do meio ambiente junto a pequenos agricultores. O modelo bsico de interveno inclui a doao, a pequenos agricultores, de animais de grande, mdio e pequeno portes (por exemplo, respectivamente: vacas e camelos; cabras e porcos; e abelhas e minhocas); capacitao para o manejo dos animais; e atividades de mobilizao, como a criao de organizaes comunitrias. Um aspecto marcante do modelo da Heifer o compromisso assumido pelas pessoas que recebem os animais de repassar o mesmo nmero, com a mesma qualidade, a outras pessoas, em determinado perodo de tempo. A avaliao foi implementada pelo Centro de Avaliao da Universidade de Western Michigan entre 2007 e 2011 e englobou quase 200 projetos em 23 pases, envolvendo mais de 90 profissionais, entre avaliadores externos, consultores locais e tradutores3.
3. As avaliaes foram dirigidas por Michael Scriven e gerenciadas pelo autor deste artigo.
112
Foi um processo muito complexo, que, na essncia, definiu, junto com as equipes da Heifer no nvel central e nos diferentes pases, os principais valores (seis no total) de todo o trabalho realizado pela organizao e por seus parceiros. A partir da, foram criados mais de cem critrios e indicadores que explicitavam tais valores em cada projeto. Foram criadas rubricas avaliativas que possibilitaram a produo de concluses avaliativas sobre cada indicador, critrio e grupo de valores, baseadas em evidncias quantitativas e qualitativas levantadas em cada projeto. Houve o cuidado de realizar reunies para a discusso dos resultados das avaliaes com os coordenadores dos projetos em cada pas e com o escritrio central nos Estados Unidos. Tambm foram desenvolvidas estratgias para representar graficamente os resultados e assim facilitar sua comunicao e uso. No Brasil, dois processos avaliativos representam fielmente a aplicao da abordagem descrita acima. O primeiro j dura quase cinco anos e est sendo realizado junto ao Programa Primeirssima Infncia da Fundao Maria Ceclia Souto Vidigal no Estado de So Paulo (o estudo de caso encontra-se nas pp. 125 a 134). O programa tem como objetivo principal mobilizar a sociedade e capacitar profissionais que atuam junto a gestantes, crianas de 0 a 3 anos e suas famlias em temas-chave dessa etapa da vida, buscando assim contribuir para que novas geraes tenham o apoio necessrio para seu pleno desenvolvimento. A implementao se d em parceria com diversos municpios e atualmente conta tambm com a parceria da Secretaria de Estado de Sade. A avaliao utilizou diversas estratgias, cabendo destacar:
desenvolvimento de um modelo de impacto, em consulta com a equipe de gerentes da Fundao Maria Ceclia Souto Vidigal, especialistas e equipes dos projetos locais o modelo definiu as oito principais dimenses nas quais o programa deveria produzir mudanas em prol da primeira infncia; criao de 50 indicadores diretamente conectados com a qualidade dessas dimenses; criao de rubricas avaliativas combinando evidncias quantitativas e qualitativas para cada indicador; e
113
elaborao de relatrios preliminares para cada municpio, discutidos em reunies devolutivas em que se confirmam os achados da avaliao e se promove o debate entre as equipes locais e da fundao, para que sejam tomadas decises visando aperfeioar o trabalho.
Muitos outros aspectos interessantes desse processo esto sendo sintetizados em uma publicao que dever estar disponvel para o pblico em breve. O exemplo mais recente de utilizao da mesma abordagem o da avaliao do Projeto Maleta Infncia, do Canal Futura, da Fundao Roberto Marinho (o estudo de caso encontra-se nas pp. 117 a 124). Esta , provavelmente, a experincia em que se tem conseguido aplicar de forma mais didtica os seis pontos-chave aqui descritos. Esse projeto tem mbito nacional e est focado na promoo do debate e de aes por diferentes organizaes que atuam no campo da Educao de crianas de 0 a 11 anos. A estratgia principal o envio de uma maleta com vrios materiais audiovisuais sobre Educao Integral, principalmente programas do Canal Futura, para aproximadamente 550 organizaes em todo o Pas. Elas recebem apoio de mobilizadores comunitrios do Canal Futura, que promovem a troca de experincias entre organizaes para aprimoramento e convergncia do trabalho local. A avaliao teve incio em janeiro de 2013 e, at o momento, foi realizado um processo participativo para identificao dos interessados (estratgias de envolvimento), formulao de perguntas avaliativas, identificao de critrios e evidncias, e elaborao de rubricas avaliativas. H outro componente interessante no processo, que o estudo de casos de sucesso, visando analisar determinado nmero de organizaes que conseguiram realizar o trabalho com xito e outras que enfrentaram dificuldades para alcanar resultados positivos. A informao gerada por esse estudo ajudar a fundao a entender melhor para quem, onde e por que o projeto funcionou melhor, para orientar edies futuras do projeto. O processo est em implementao e ter durao estimada de dois anos.
114
6. PRINCIPAIS DESAFIOS Na prtica, os desafios contextuais so sempre os mais difceis para implementao desta abordagem avaliativa pelos profissionais. A situao mais complicada ocorre quando h diferentes perspectivas ou mesmo conflitos entre os stakeholders. Na maioria dos casos, possvel superar as diferenas por meio do dilogo e da negociao, estabelecendo acordos para garantir que a avaliao seja realizada com a qualidade necessria. H, entretanto, casos mais srios, felizmente a minoria, nos quais as divergncias so to extremas que chegam a comprometer a viabilidade da avaliao seja pelo boicote ao acesso a informaes cruciais, seja pela criao de movimento para desacreditar o processo e criar barreiras para que seus resultados sejam utilizados. Outras situaes desafiadoras envolvem tenses em relao a limitaes oramentrias, ausncia de profissionais capacitados para realizar avaliaes dessa natureza e pouco tempo para implementar de forma adequada todas as etapas necessrias, principalmente as que exigem o envolvimento dos interessados no estudo. 7. COMENTRIOS FINAIS A avaliao um trabalho complexo, que tem papel fundamental para a melhoria de processos e de resultados em todos os campos do conhecimento. Entretanto, s conseguir cumprir esse potencial de maneira plena, se for realizada corretamente. Tanto os avaliadores quanto os stakeholders precisam estar conscientes sobre os aspectos que influenciam diretamente a qualidade das avaliaes. Precisam tambm se livrar de ideias equivocadas que tm influenciado negativamente o campo, principalmente as herdadas da academia. Vale relembrar as trs mensagens bsicas enfocadas neste artigo: 1. A avaliao no se restringe a medir indicadores. Ela visa essencialmente apresentar respostas bem fundamentadas para perguntas importantes e realmente avaliativas.
115
2. H metodologias especficas do campo da avaliao que ajudam a navegar pelos meandros complexos dos avaliandos, principalmente os programas sociais. So elas que tornam um estudo realmente avaliativo. 3. Para que uma avaliao seja vlida, relevante e til preciso: ter clareza sobre o que se quer avaliar; identificar as pessoas-chave interessadas na avaliao, criando estratgias para envolv-las nos momentos estratgicos; formular perguntas realmente avaliativas, que tratem da essncia do que o avaliando se prope a realizar; estabelecer meios concretos para responder clara e diretamente s perguntas avaliativas; criar relatrios claros e sucintos que respondam diretamente s perguntas importantes; e gerar ideias que ajudem as organizaes a tomarem boas decises.
BIBLIOGRAFIA DAVIDSON, E. J. The nuts and bolts of sound evaluation. Thousand Oaks, CA: Sage, 2005. . Tornar as avaliaes estrategicamente prticas e relevantes. In: FUNDAO ITA SOCIAL, FUNDAO ROBERTO MARINHO E MOVE (Orgs.). A relevncia da avaliao para o investimento social privado. So Paulo: Fundao Santillana, 2012. SCRIVEN, M. Evaluation thesaurus. Newbury Park, CA: Sage, 1991. . The key evaluation checklist, abr. 2011. Disponvel em: <http://michaelscriven.info/images/KEC_4.18.2011.pdf> (ltimo acesso em setembro de 2013).
116
O uso da abordagem participativa na avaliao do Projeto Maleta Infncia

FUNDAO ROBERTO MARINHO CANAL FUTURA
1. O CANAL FUTURA O Futura um projeto social de comunicao e educao, de interesse pblico, gerado e construdo por parceiros da iniciativa privada e do terceiro setor. comprometido com a transformao social, veiculando na tela da TV contedos educativos. Para alm da programao televisiva, o Futura atua nos territrios de forma presencial, atravs da rea denominada Mobilizao e Articulao Comunitria, que conta com educadores sociais (mobilizadores) espalhados pelo Brasil. Essa equipe est em constante articulao com instituies pblicas, privadas e no governamentais, mediando um dilogo crtico e contnuo, que permite a disseminao e o uso do contedo do canal para alm da tela da TV e a incluso na programao de temas e abordagens na perspectiva de diferentes grupos sociais. 2. A PESQUISA E A AVALIAO NO CANAL FUTURA A avaliao percorre a histria do Canal Futura, que realiza continuamente acompanhamentos, pesquisas e avaliaes quantitativas e qualitativas de suas iniciativas.
117
So realizadas pesquisas anuais sobre o perfil do pblico e a audincia, grupos focais sobre programas e avaliaes constantes de projetos especiais. Essa sistemtica gera um crculo virtuoso para o canal, que planeja suas atividades utilizando as informaes das pesquisas e avaliaes que realiza. As escolhas avaliativas como o propsito, as perguntas, os mtodos etc. so fruto de dilogo que conecta pessoas, ideias, redes e instituies. Podemos dizer, nesse sentido, que a abordagem das avaliaes do Canal Futura est atrelada a sua prpria histria, aos stakeholders e a seus valores. 3. O PROJETO MALETA INFNCIA A Educao Integral se estabelece como prioritria e orienta tanto o desenho de programas federais, como o Mais Educao e o Plano de Desenvolvimento da Educao1, quanto aes do investimento social privado. Entretanto, apesar dos esforos, persistem no Brasil diversos desafios para a sua implementao, entre eles a carncia de materiais apropriados e o desafio de aprofundar a compreenso dos pressupostos relacionados ao conceito de Educao Integral. Ao longo de seus quinze anos no ar, o Canal Futura inseriu-se no debate e desenvolveu aes para contribuir com a qualificao da educao por meio de produes audiovisuais e da insero, em sua grade de programao, de temticas ligadas s reas de educao ambiental, lazer, direitos humanos, cincias, linguagens, artes e sade, entre outras. Nesse contexto, e em parceria com organizaes da sociedade civil, o Canal Futura estabeleceu um programa denominado Projeto Maleta, j em sua quinta edio em 2013. A verso atual, denominada Maleta Infncia, tem o intuito de estimular o debate e aes educativas que favoream a Educao Integral da criana. A Maleta Infncia voltada a educadores e cuidadores, tanto de escolas formais como de espaos educacio-
1. Programas lanados com o intuito de otimizar as aes e os investimentos j existentes no Pas para que complementem a formao escolar com uma viso integradora do ensino.
118
o uso da abordagem participativa na avaliao do projeto maleta infncia
nais alternativos que existem nas comunidades. Esses educadores e cuidadores podem atuar diretamente com crianas, bem como com outros educadores, cuidadores, comunidades escolares e organizaes que trabalhem com a implementao de polticas pblicas relacionadas Educao Integral e famlia. A definio dos contedos das edies do Projeto Maleta feita por meio de fruns temticos realizados com representantes de ONGs, instituies sociais e profissionais que atuam nas reas priorizadas em cada projeto. Nesses fruns so estabelecidos os pontos essenciais a serem abordados nos contedos dos produtos audiovisuais includos em cada Maleta. So reunidas na Maleta tanto produes do Canal Futura quanto materiais das instituies parceiras que so referncias na temtica. Quando necessrio, novos materiais so especificamente produzidos. Por meio da equipe de mobilizao comunitria do Canal Futura, o projeto estabelece parcerias com organizaes de referncia em vrias regies do Brasil. No caso do Projeto Maleta Infncia, so 50 organizaes parceiras entre ONGs, universidades e outras instituies que trabalham com educadores, creches e Ensino Bsico, bem como organizaes formadoras que implementam polticas pblicas de Ensino Integral. Os critrios para a seleo desses parceiros so: (i) instituies que tm atuao em rede, com capilaridade de aes em um ou mais territrios; (ii) organizaes de referncia na temtica; e (iii) instituies que atuam estrategicamente junto s redes de Educao Bsica. Cada uma das 50 organizaes de referncia selecionadas tem como responsabilidade identificar cerca de dez instituies locais que trabalhem direta ou indiretamente com aes de Educao Integral para a infncia. As organizaes de referncia recebem uma Maleta Completa, enquanto as demais instituies recebem Maletas Bsicas que sero usadas em aes pedaggicas. Ao aderir ao projeto, as instituies firmam um termo de cooperao tcnica com o Canal Futura e passam a contar, durante um ano, com o apoio dos mobilizadores comunitrios do canal na implementao das maletas por meio de diferentes estratgias de acompanhamento, tanto presenciais quanto virtuais.
119
4. A AVALIAO DO PROJETO MALETA INFNCIA A Fundao Roberto Marinho (FRM) realizou, antes da atual edio do Projeto Maleta, estudo exploratrio dos processos de implementao e dos resultados alcanados pelas quatro edies anteriores, que trataram dos temas Beleza, Democracia, Meio Ambiente e Sade. O estudo envolveu consultas a uma amostra regional de organizaes de referncia. Os indicadores adotados pelo estudo permitiram entender dimenses relacionadas ao uso e finalidade dos materiais, importncia da presena do mobilizador comunitrio para a realizao das aes do projeto, e relevncia do material para a organizao parceira. No entanto, os indicadores no foram suficientemente sensveis na identificao das contribuies do projeto para possveis mudanas produzidas. Decidiu-se ento pela construo de um novo modelo de avaliao orientado por perguntas avaliativas estratgicas que levassem ao, formuladas com base no envolvimento amplo e inteligente dos principais interessados no processo e nos resultados da avaliao. O novo modelo, inspirado no trabalho de E. Jane Davidson2, vem sendo aplicado junto ao Projeto Maleta Infncia desde o incio de 2013. O primeiro passo do novo modelo incluiu a definio dos principais propsitos da avaliao. Foi feito um mapeamento dos interessados estratgicos pela avaliao e foram definidos: (i) quais as necessidades de informao desses grupos; (ii) por que essas informaes so importantes; e (iii) quando tais dados precisam estar disponveis. O passo seguinte envolveu a identificao dos momentos estratgicos em que membros dos diferentes grupos de interessados na avaliao, explicitados na lista a seguir, precisam ser envolvidos no processo avaliativo.
2. Ver o livro Evaluation methodology basics e o artigo da autora Tornar as avaliaes estrategicamente prticas e relevantes, publicado em A relevncia da avaliao para o investimento social privado (Fundao Santillana, So Paulo, 2012), disponvel para download em pdf em: <http://www.fundacaosantillana.com.br/images/Avaliao%20investimento.pdf?f ileId=8A8A8A833ABBDD9B013ABCBA40C517A1> e como livro eletrnico em: <http://issuu. com/ed_moderna/docs/avalia__o_investimento?e=2064801/1086043> (ltimos acessos em setembro de 2013).
120
1. Equipe de Desenvolvimento Institucional da Fundao Roberto Marinho (FRM) 2. Equipe de Mobilizao Comunitria do Canal Futura/FRM 3. Organizaes parceiras (Maleta Infncia) 4. Equipe gestora do Canal Futura 5. Secretaria- geral da FRM 6. Parceiros mantenedores 7. Consultores especialistas Como se visualiza na tabela a seguir, a intensidade e a forma de envolvimento destes atores variam, havendo interaes dos mesmos desde a formulao das perguntas avaliativas at a discusso e uso dos resultados.
FORMAS DE ENVOLVIMENTO DOS PRINCIPAIS INTERESSADOS NA AVALIAO Etapas Perguntas avaliativas Quem envolver? (1); (2); (3); (4); (5) Como envolver? (1) e (2) reunies presenciais; (3) consulta distncia (Skype/telefone/e-mail); (4) e (5) consulta (reunio de apresentao e discusso do documento final).
Definio de qualidade e valor (rubricas)
(1); (2); (4); (7)
(1), (2) e (7) reunies presenciais; (4) consulta (reunio de apresentao e discusso do documento final). (1), (2) e (3) apoio logstico. Reunies presenciais para discusso dos resultados da avaliao.
Coleta de evidncias Interpretao e discusso de resultados
(1); (2); (3) (1); (2); (3); (4); (5); (6)
Planejamento para ao
(1); (2); (3); (4)
Reunies presenciais para discutir o uso dos resultados da avaliao.
O propsito principal da avaliao foi o de apoiar o aprendizado das equipes do Canal Futura e da FRM e trazer contribuies que permitissem o aperfeioamento do trabalho realizado, para ampliar o impacto da interveno. A relevncia dos resultados do projeto para o pblico-alvo, as qualidades e limitaes de sua implementao, a importncia e a sustentabilidade dos resultados
121
produzidos e os diferentes aspectos (contextuais, metodolgicos etc.) que potencializaram ou limitaram o nvel de sucesso constam entre as questes avaliativas definidas pela equipe, listadas a seguir: 1. Em que medida o projeto contribui para atender necessidades e prioridades das organizaes parceiras e dos potenciais beneficirios finais (educadores, crianas, famlias e comunidade)? 2. Quo bem o projeto foi desenhado e implementado? 2.1. As estratgias e critrios adotados para selecionar as organizaes parceiras foram os mais acertados para identificar as organizaes mais efetivas para implementar o projeto? 2.2. Os apoios iniciais e ao longo do projeto oferecidos pela equipe do Canal Futura s organizaes parceiras (Maleta Completa e Maleta Bsica) foram adequados para garantir o atingimento de resultados significativos? 2.3. O apoio inicial e ao longo do projeto oferecido pelas organizaes parceiras que receberam a Maleta Completa s demais organizaes que receberam a Maleta Bsica foi adequado para o atingimento de resultados significativos? 2.4. Os mecanismos de monitoramento presencial e distncia adotados e o uso dos resultados desse monitoramento foram adequados para a boa execuo do projeto? 3. Qual a qualidade e a importncia dos resultados alcanados pelo projeto junto aos educadores, crianas, famlias/comunidade e organizaes parceiras? 3.1. Quo importante foi a contribuio do projeto para aumentar o conhecimento e melhorar o trabalho dos educadores nas escolas e em outros espaos educativos junto a
122
crianas de 0 a 11 anos e seus familiares ou a comunidade onde atuam? 3.2. O projeto contribuiu de forma significativa para o fortalecimento das organizaes parceiras? 4. Onde (por exemplo: zona urbana versus rural; Nordeste versus Sudeste), para quem (por exemplo: ONGs versus governo; grandes versus mdias/pequenas organizaes parceiras; educadores infantis versus educadores do Ensino Fundamental) e por que o Projeto Maleta conseguiu ou no produzir resultados relevantes? 5. Os resultados justificaram os custos incorridos na elaborao e na distribuio da Maleta Infncia e o tempo e outros recursos investidos pela equipe do Canal Futura e das organizaes parceiras para sensibilizao, apoio e monitoramento do projeto? 6. Qual a probabilidade de as mudanas positivas provocadas pelo projeto perdurarem aps a finalizao das aes planejadas pela equipe do Canal Futura? Para que cada pergunta avaliativa pudesse ser efetivamente respondida, foram definidos os critrios de avaliao e as evidncias que deveriam ser coletadas sobre cada um dos critrios ao longo da implantao. A fim de criar parmetros que pudessem orientar a definio de quo boa foi a performance do projeto em cada uma das perguntas avaliativas, foram criadas rubricas avaliativas, que mostram como as evidncias devem aparecer em cada nvel de performance (excelente, bom, razovel e ruim). As rubricas foram desenvolvidas pelas equipes de Mobilizao Comunitria do Canal Futura, do nvel central e regional, pela equipe de Desenvolvimento Institucional da FRM e pelo consultor externo que facilitou o desenho da avaliao. A avaliao utilizou abordagem mista, lanando mo de metodologia quantitativa e qualitativa, prevendo o acompanhamento de todo o ciclo de implementao do Projeto Maleta Infncia. As
123
tcnicas para coleta de dados incluram: (i) entrevistas presenciais e telefnicas junto a diferentes grupos (educadores, organizaes parceiras, mobilizadores comunitrios, e equipe da FRM); (ii) pareceres de especialistas; (iii) reviso de documentos e outras evidncias relevantes sobre o projeto e as organizaes envolvidas; e (iv) estudos de caso de uma amostra intencional de organizaes que tiveram maior e menor sucesso na implementao do projeto. Entre os principais desafios decorrentes da opo feita pela nova metodologia esto: (i) o tempo necessrio para a construo da avaliao, j que o processo pressups o envolvimento de vrios atores em diferentes momentos; e (ii) a necessidade de estruturar uma estratgia de coleta de dados que fosse financeiramente vivel e capaz de lidar com a complexidade e abrangncia (inclusive geogrfica) do projeto. Nesse sentido, privilegiou-se a realizao de um nmero maior de entrevistas telefnicas em lugar de entrevistas presenciais. Na viso da FRM, a metodologia adotada tem permitido a rea lizao de um processo avaliativo orientado pelas questes que realmente importam para o grupo, o que viabiliza que sejam tiradas concluses avaliativas a respeito do programa a partir de evidncias concretas.
124
O uso de mtodos mistos na avaliao do Programa Primeirssima Infncia

FUNDAO MARIA CECLIA SOUTO VIDIGAL
1. A FUNDAO MARIA CECLIA SOUTO VIDIGAL Desde 2006, a Fundao Maria Ceclia Souto Vidigal (FMCSV) atua na promoo do desenvolvimento da primeira infncia por meio de um conjunto de aes integradas, voltadas para a gerao e a disseminao do conhecimento prtico e cientfico sobre o tema. Essa orientao se traduz em projetos que vo da interveno social em municpios do estado de So Paulo a parcerias com centros de excelncia no Brasil e no exterior; no incentivo a pesquisas; e na articulao de especialistas em desenvolvimento infantil com agentes que esto no centro da tomada de deciso da esfera pblica, entre outras atividades. Nosso trabalho se apoia no conceito de desenvolvimento integral e integrado da criana, ou seja, no entendimento de que ela deve ser vista como um todo, para que consiga atingir a plenitude do seu potencial. Isso significa que precisa das condies adequadas para se desenvolver fsica, emocional, social e culturalmente, e que essas dimenses interdependentes no podem ser tratadas de forma isolada. Todos so responsveis por dar criana os re125
cursos necessrios para o seu desenvolvimento, dos pais aos gestores pblicos, atuando conjuntamente, somando e partilhando conhecimentos e estimulando seu crescimento de forma saudvel e estruturada. 2. A AVALIAO NA FUNDAO MARIA CECLIA SOUTO VIDIGAL A avaliao do impacto de suas iniciativas sempre fez parte de todas as aes da FMCSV, de tal modo que, em 2011, a organizao decidiu criar uma rea dedicada exclusivamente avaliao e pesquisa. A rea responsvel pela concepo dos processos de monitoramento e avaliao dos projetos e programas, pela realizao de pesquisas aplicadas para gerar informaes teis definio de estratgias da FMCSV, e para informar e mobilizar seus pblicos de interesse. O escopo das atividades de avaliao das prticas dos programas vai alm dos aspectos tradicionais de gesto e aprendizagem com a implantao de projetos. As aes envolvem tambm a produo e gesto do conhecimento sobre programas e projetos voltados ao desenvolvimento na primeira infncia. Internamente, a FMCSV acredita que, quanto mais uma organizao avalia suas prticas e estratgias, mais ela aprende, se desenvolve e se torna efetiva. A prtica da avaliao, uma vez inserida nas estratgias, polticas e procedimentos, passa a ser parte da cultura organizacional. 3. O PROGRAMA PRIMEIRSSIMA INFNCIA Ao propor e implementar o Programa Primeirssima Infncia em diversos municpios do estado de So Paulo, a Fundao Maria Ceclia Souto Vidigal (FMCSV) teve o objetivo de conceber um conjunto de estratgias para aprimorar as prticas de atendimento e cuidado criana pequena e gestante, por meio da disseminao de conhecimento sobre o Desenvolvimento da Primeira Infncia (DPI) junto aos profissionais de unidades de sade, Educao Infantil e assistncia social, e pelo estmulo mobilizao comunitria e apoio gesto e liderana.
126
o uso de mtodos mistos na avaliao do programa primeirssima infncia
Esses conhecimentos propiciam uma viso integral e integrada da criana como sujeito de direitos, especialmente quanto ao desenvolvimento pleno e saudvel. O programa representa grandes desafios tanto para a FMCSV como para os municpios que aceitaram trilhar esse caminho. O programa foi planejado em 2008 a partir de uma srie de estudos na rea de desenvolvimento infantil realizados por pesquisadores e consultores que compunham um comit criado na FMCSV. J naquela etapa, a avaliao foi identificada como um componente essencial no apoio ao planejamento da iniciativa. Dois avaliadores foram convidados para apoiar a definio de indicadores e critrios orientadores da seleo dos municpios que seriam contatados, o que foi feito a partir de dados secundrios (Datasus, IBGE e Edudata) relacionados a aspectos-chave do desenvolvimento infantil. A partir dos critrios, foram selecionados oito municpios convidados a apresentar propostas para o programa. Ao final, seis municpios foram escolhidos e as aes foram iniciadas. O dilogo e a articulao com as novas administraes municipais foram as primeiras atividades. O programa parte da premissa de que a sociedade tem conhecimentos tcitos sobre desenvolvimento infantil, especialmente na etapa do 0 aos 3 anos. Estudos apontam que tal conhecimento no suficiente para a promoo do desenvolvimento infantil, por estar centrado em aspectos biolgicos como o crescimento, o peso etc. Alm desses aspectos, a cincia tem demonstrado que as dimenses emocionais, cognitivas e sociais so fundamentais para o desenvolvimento integral das crianas. Existem evidncias de que o vnculo entre a gestante/me e o feto/beb muito importante para o bom desenvolvimento do crebro. Poucos sabem que a aceitao da gravidez pela me e pelas pessoas que interagem com ela aspecto crtico para a criao e o fortalecimento desse vnculo, possibilitando o melhor desenvolvimento de certas estruturas cerebrais do feto que, adiante, afetaro funes operativas. Nesse contexto localiza-se o desafio central do programa: melhorar as aes de promoo do desenvolvimento na primeirssima infncia, perodo que se inicia na gravidez e perdura at o terceiro ano de vida das crianas, nos mbitos poltico, dos servios de aten127
dimento, familiar e comunitrio, com base nas novas evidncias da cincia nesse campo. Os objetivos principais do programa so:
qualificar o atendimento das gestantes e crianas de 0 a 3 anos; mobilizar as comunidades para a promoo da primeira infncia; desenvolver a governana local para construir polticas pblicas integradas; levantar boas prticas de promoo do desenvolvimento infantil; disseminar o conhecimento gerado.
Para alcanar esses objetivos, lanou-se mo de trs estratgias centrais:
capacitaes e formaes de reeditores locais de conhecimentos e prticas; seminrios de aprendizagem entre os municpios; perspectiva de avaliao como ferramenta de devolutiva (feed back) ao longo do programa.
Com eixos de interveno voltados a profissionais, servios, famlia, comunidade e polticas pblicas, o primeiro ciclo do programa teve durao de quatro anos (2009-2012), visando cobrir todos os anos de uma gesto municipal. Um novo ciclo foi iniciado em 2011, dentro de uma perspectiva de ganho de escala e com novo formato, inclusive na avaliao. Inputs diretos nos municpios perderam intensidade, assim como a expectativa de resultados. Foi desenvolvida uma estrutura de governana regional do programa. Desde ento, parcerias com a Universidade de Harvard e com outras instituies, que se dedicam a estudar o scaling up, alimentam mudanas no programa, visando alcanar mais municpios, sem perder a qualidade nos aspectos mais relevantes. Nesse novo ciclo, os principais grupos de atores/parceiros envolvidos no programa so: (i) profissionais (tcnicos) de sade, educao e assistncia beneficirios de aes de capacitao e formao de multiplicadores; (ii) comrcio e mdia local meios de divulgao
128
de aes do programa abertas na cidade; (iii) sociedade em geral beneficiria de eventos abertos, tais como campanhas e aes educativas; (iv) gestores de secretarias e outros atores do executivo (prefeituras) responsveis pelo alinhamento de estratgias locais e parcerias para realizao das aes do programa junto s equipes necessrias e sociedade em geral. 4. A POTNCIA, OS LIMITES E OS DESAFIOS EM AVALIAR O PROGRAMA Aps a etapa de seleo de projetos, foram planejados a sistemtica e os instrumentos de marco zero, monitoramento e avaliao de resultados e impacto. Nesse processo foi elaborada a teoria de mudana (Theory of Change) do programa, que definia suas estratgias centrais e o que deveria ser transformado no cenrio do desenvolvimento infantil nos municpios e os impactos que se poderia esperar. A abordagem adotada pela avaliao dispensou a construo de perguntas avaliativas, mas trouxe preocupaes em conhecer em que medida a teoria de mudana fora efetivada, bem como os avanos dos municpios em resultados desejados, alm dos previstos. A avaliao carregava, assim, dois sentidos principais: buscar evidncias em relao teoria de mudana e servir como subsdio para a gesto ao longo do ciclo de vida dos projetos locais e do programa como um todo. O processo de amadurecimento dos indicadores deu-se por todo o ciclo do projeto. Buscou-se identificar e selecionar apenas aqueles que fossem sensveis realidade e que traduzissem de fato as estratgias essenciais do programa. De um conjunto inicial de 139 indicadores, chegou-se a 50, aps trs anos de implantao. A distribuio dos indicadores em oito dimenses manteve-se em todo o processo, a saber:
profissionais preparados; pr-natal adequado; puericultura adequada; parto e puerprio adequados;

129
Educao Infantil adequada; espaos ldicos adequados; mes e pais preparados; e comunidade mobilizada. Exemplos de indicadores dentro das dimenses:
a. pai ou companheiro(a) acompanha o pr-natal de sua mulher; b. profissionais estimulam e possibilitam a participao do pai/ outro(a) acompanhante no parto; c. encontros de grupos de famlias grvidas oferecem apoio especfico para adolescentes grvidas. O desenho metodolgico buscou contemplar a possibilidade de estar sensvel ao que o campo pudesse trazer e revelar, sem se fixar rigidamente nos indicadores assumidos no incio. Alm de avaliar os ganhos de capacidade dos profissionais, a melhoria dos servios de ateno a crianas, as mudanas nas polticas pblicas e a ampliao da mobilizao comunitria em torno da primeira infncia, considerou-se importante avaliar o desenvolvimento das crianas e tambm como identificar e compreender mais amplamente o impacto das mudanas. Aps ampla pesquisa sobre alternativas para avaliar o desenvolvimento das crianas na primeira infncia, a equipe da FMCSV identificou o Early Development Instrument (EDI), um instrumento desenvolvido pelo Offord Centre for Child Studies, ligado Universidade McMaster, em Ontrio, Canad. Ele indicado para avaliar aspectos do desenvolvimento infantil no final da primeira infncia, podendo ser aplicado em crianas entre 4 e 6 anos. Prope-se a medir a maturidade e o grau de prontido delas em cinco domnios crticos para o ingresso na vida escolar. O EDI vem sendo aplicado no Canad e na Austrlia como um instrumento para avaliao em escala nacional. Seus resultados so utilizados para orientar polticas pblicas para a primeira infncia. O levantamento das informaes feito por meio do preenchimento de questionrios por educadores, tomando como base sua observao dos comportamentos de seus alunos em cinco domnios:
130
1. 2. 3. 4. 5.
bem-estar fsico; competncia social; sade e maturidade emocional; desenvolvimento cognitivo e linguagem; capacidade de comunicao e conhecimentos gerais.
O EDI contempla 120 questes que buscam identificar em que medida a famlia, a escola e a comunidade so capazes de estimular o desenvolvimento de suas crianas at o ingresso na escola, alm de indicar o grau de preparo delas para conviver no ambiente escolar e usufruir dele. O EDI no usado como avaliao individual de uma criana, mas como diagnstico populacional aplicado em todas as crianas de determinada comunidade. Em parceira com o Programa Infncia Melhor (PIM)1 e o Offord Center, a FMCSV promoveu a traduo de todo o material do EDI para o portugus e sua adaptao realidade brasileira. O resultado do esforo foi um EDI validado para o contexto brasileiro, a partir de um estudo piloto nos seis municpios parceiros da FMCSV. O instrumento foi aplicado em 2011 para o estabelecimento de uma linha de base em todas as crianas de 5 anos que frequentam os centros de Educao Infantil nesses municpios e em algumas unidades de Educao Infantil da Microrregio de Cidade Ademar, na cidade de So Paulo. Esse estudo servir de base de comparao com um prximo estudo, a ser feito em 2015, que avaliar o impacto no grau de maturidade e de prontido das crianas que foram beneficiadas pelo Projeto de Interveno Local da FMCSV. Alm de servir como parmetro para a avaliao de impacto dos projetos sociais, seus resultados podero ser utilizados para orientar polticas locais para a primeira infncia.
1. O PIM integra a poltica de governo do estado do Rio Grande do Sul, sob a coordenao da Secretaria da Sade e apoio das secretarias da Educao, Cultura, Trabalho e Desenvolvimento Social. Desenvolvido desde 2003, tornou-se Lei Estadual n 12.544 em 03 de julho de 2006. um programa institucional de ao socioeducativa voltado s famlias com crianas de zero at seis anos e gestantes, que se encontram em situao de vulnerabilidade social.
131
ETAPAS DA AVALIAO NO CICLO DE VIDA DO PROGRAMA PRIMEIRSSIMA INFNCIA Atividades de Avaliao Linha de base Devolutivas de linha de base Monitoramento Devolutivas do monitoramento Aplicao do inventrio Early Development Instrument (EDI) Avaliao de resultados parciais Devolutivas de resultados parciais Avaliao de impacto Devolutivas de avaliao de impacto Reaplicao do EDI
Fonte: Fundao Maria Ceclia Souto Vidigal.
2009
2010
2011
2012
2013
2014 2015
3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
A avaliao envolveu diversos atores. Na coleta de informaes, alm dos prprios avaliadores, foram envolvidos pesquisadores contratados e educadores de algumas unidades escolares na aplicao do EDI. Um grande pblico formado por profissionais de diversas reas (tcnicos e gestores de sade, Educao e assistncia, principalmente) participou das devolutivas, dentro de um processo aberto participao e construo de conhecimentos e de aprendizagens sobre o programa de maneira colaborativa. O modelo avaliativo misto utilizado para o programa, associando o instrumento quantitativo (EDI), aplicado censitariamente s crianas, grupos focais e entrevistas individuais, bem como questionrios e fontes secundrias, teve elevada capacidade de
132
aprofundar a busca de evidncias de resultados em relao aos impactos sugeridos pelos indicadores. O modelo favoreceu a produo, a partilha e o uso de achados da avaliao pelos municpios parceiros, e tambm a anlise e redesenho de estratgias de expanso do programa pela FMCSV. Outros potenciais podem ser ainda apontados nos seguintes aspectos: a. o programa construiu um claro modelo da mudana que se queria implementar (teoria de mudana); b. o programa realizou uma avaliao de marco zero; c. o programa construiu indicadores recomendados e reconhecidos por especialistas, fortalecendo-se no campo do desenvolvimento infantil e facilitando a apresentao e o debate sobre o tema; d. a avaliao implementou devolutivas cuidadosas, buscando verificar o quanto os resultados eram condizentes com o que realmente estava acontecendo, ou se sub ou superestimava a realidade, favorecendo o amadurecimento e a calibragem dos indicadores; e e. a avaliao lanou mo de formas grficas para apresentar os resultados, facilitando o dilogo com os pblicos externo e interno do programa. Quanto aos principais desafios enfrentados pela FMCSV, podem ser resumidos da seguinte maneira: a. no fato da avaliao ter consumido cerca de 20% do oramento total do programa; b. na dificuldade de transmitir ao grupo de tcnicos que estruturou o programa, a importncia e a capacidade de um modelo de avaliao de natureza no experimental, com orientao qualitativa, mas baseado em evidncias capazes de apontar para o entendimento dos resultados; c. no esforo para identificar indicadores de dados secundrios sensveis que pudessem dialogar com o programa e os resultados previstos nas cidades;
133
d. no trabalho com o Conselho da FMCSV, com a perspectiva de no se ter metas quantitativas rgidas estabelecidas nas cidades em todas as frentes, dado que em alguns casos isso no era possvel; e e. na negociao intensa com prefeitura e educadores em relao ao tempo necessrio para a aplicao do EDI, por conta do impacto na rotina de trabalho gerado (de 12 a 15 horas demandadas de cada educador) para o preenchimento dos instrumentos de todas as crianas de uma turma de crianas (20 a 25). Quanto aos limites do modelo, eles podem ser percebidos, primeiro, pela composio dos 50 indicadores que concentram um maior nmero de indicadores qualitativos que no permitem o estudo da extenso dos resultados nas unidades de Educao ou de sade especficas nas cidades. Em complemento, outro limite esteve na forma como os resultados do programa nas dimenses e nos municpios foram calculados e apresentados, agregando nmeros e usando mdias que nem sempre representam um parmetro preciso dos alcances. A utilidade complementar da avaliao, alm dos insumos gerados pelo prprio processo na gesto do programa, foi a gerao de contedos para a gesto de conhecimento na FMCSV. A fundao fez uso de dados e de resultados para influenciar a formao de opinio, divulgando briefings para gerar matrias jornalsticas sobre o tema (desenvolvimento infantil) em mdias diversas, inclusive em cada um dos municpios parceiros. Foi gerado um documento de registro dos principais resultados e bases conceituais, que tem favorecido dilogos com outras prefeituras e organizaes que trabalham para o desenvolvimento infantil.
134
Abordagens quantitativas na avaliao de impacto do Programa Jovens Urbanos

FUNDAO ITA SOCIAL
1. A FUNDAO ITA SOCIAL A Fundao Ita Social, uma das organizaes responsveis por realizar o investimento social do Ita, tem como atividades centrais a formulao, a implantao e a disseminao de metodologias voltadas melhoria de polticas pblicas na rea educacional e avaliao econmica de projetos sociais. A atuao da Fundao abrange todo o territrio brasileiro, desenvolve-se em parceria com governos, setor privado e organizaes da sociedade civil e orientada pelo foco em resultados, buscando contribuir de maneira efetiva para a transformao social. 2. A AVALIAO NA FUNDAO ITA SOCIAL A constante preocupao em relao aos resultados atingidos pelas escolhas inerentes aos programas em que atua, assim como o questionamento sempre presente a respeito dos impactos sociais efetivamente gerados pelo investimento realizado, revela a compreenso da avaliao como um instrumento fundamental para qualificar e aprimorar o investimento social realizado pela Fundao Ita Social.
135
Uma gesto de projetos fundamentada na efetividade dos programas exige princpios de atuao e prticas avaliativas que tragam respostas objetivas sobre os resultados alcanados frente aos recursos investidos, alm de contribuir com a transparncia, a gesto e a prestao de contas junto a todas as partes interessadas. Refletida em sua misso, as prticas de avaliao so uma importante ferramenta na busca das respostas necessrias para a conduo e o aprimoramento das aes sociais realizadas pela Fundao Ita Social. 3. O PROGRAMA JOVENS URBANOS Na sua concepo original, o Programa Jovens Urbanos teve como principal objetivo ampliar o repertrio sociocultural na perspectiva da Educao Integral de jovens entre 16 e 21 anos em situao de vulnerabilidade social em contextos urbanos. O programa tinha durao de 16 meses e realizava atividades no contraturno escolar, com foco em processos que possibilitassem o desenvolvimento de competncias e habilidades dos jovens para a vida pblica e pessoal, colaborando para a qualificao do seu acesso ao mundo do trabalho. Alm disso, estimulava o acesso aos equipamentos e bens culturais e sociais disponveis na cidade e incentivava a permanncia dos jovens na escola e sua vinculao a novos processos formativos. Desde a sua primeira edio, o programa atua em rede: iniciativa da Fundao Ita Social com coordenao tcnica do Cenpec1, execuo por ONGs locais e aes de formao desenvolvidas em parceria com o poder pblico, fundaes, institutos e assessores tecnolgicos, corresponsveis pela produo de condies de aprendizagem qualificadas e pelo alcance dos resultados pretendidos. O programa assume diferentes formatos conforme o municpio e parceiro que o implementa, e sua metodologia est centrada em quatro eixos vinculados ao direito cidade e ao desenvolvi-
1. Centro de Estudos e Pesquisas em Educao, Cultura e Ao Comunitria.
136
abordagens na avaliao do programa jovens urbanos
mento integral: (1) juventudes e culturas urbanas; (2) juventudes e tecnologias contemporneas; (3) juventudes e mundo do trabalho; e (4) juventude e participao poltica. A estratgia de formao deriva de quatro concepes de aprendizagem: explorao, experimentao, produo e expresso. O objetivo dessa metodologia promover o desenvolvimento de competncias e o envolvimento reflexivo dos jovens com os territrios da cidade, oferecendo oportunidades para que conheam e explorem espaos onde esto concentradas prticas juvenis, artsticas, tecnolgicas, relativas ao mundo do trabalho, das polticas, das cincias, de promoo da sade, de lazer e de esportes. 4. A AVALIAO DO PROGRAMA O propsito da avaliao do Programa Jovens Urbanos foi conhecer o impacto dessa iniciativa na vida dos jovens participantes nos aspectos (1) insero no mercado de trabalho; (2) frequncia escolar; (3) renda pessoal; (4) envolvimento com a poltica; (5) leitura de livros e revistas; e (6) escolaridade. Houve quatro processos avaliativos, acompanhando a primeira e a terceira edies do programa. A referncia metodolgica para esses estudos foi a economtrica, fundamentada em princpios de estatstica e econometria, em consonncia com a cultura organizacional da Fundao Ita Social, que realiza avaliao econmica de seus investimentos sociais, sendo esta composta pela avaliao de impacto e retorno econmico. A avaliao de impacto permite quantificar relaes causais entre as aes do projeto e os indicadores de interesse, permitindo afirmar se foi de fato o projeto o elemento responsvel pelas alteraes ocorridas, ou seja, se foram realmente resultado da interveno ou se ocorreriam de qualquer forma. O retorno econmico mede o retorno do programa em termos monetrios para a sociedade, por meio da comparao dos custos do projeto com os benefcios gerados para o pblico atendido. Essa abordagem de avaliao exige a definio de um grupo de tratamento, sendo este constitudo dos indivduos que recebem uma interveno, e outro de controle, que rene indivduos com
137
caractersticas semelhantes queles do grupo de tratamento, sem, contudo, receberem a interveno. O desempenho dos grupos comparado de tal forma que as diferenas em seus resultados podem ser associadas ao programa. A primeira edio do Jovens Urbanos ocorreu nos bairros de Campo Limpo, zona sul de So Paulo, e Brasilndia, zona norte de So Paulo, regies com altos ndices de vulnerabilidade juvenil, o que pode ser comprovado pela leitura de indicadores produzidos pela Fundao Seade2. Ao se inscreverem no processo seletivo, os candidatos realizaram uma prova de habilitao em matemtica, para identificao do nvel de conhecimento mnimo que tinham nessa disciplina. Dentre esses jovens, 960 foram considerados habilitados para o programa e formaram o universo para compor o sorteio que iria, de maneira aleatria, definir os grupos de tratamento e de controle. Parte do grupo de jovens habilitados participaria do programa, enquanto outra parte no o faria, sendo contudo acompanhada pelo processo de avaliao. Todos os 960 jovens foram includos no cadastro do Programa Pr-Social da Secretaria Estadual de Assistncia e Desenvolvimento Social, para que recebessem a bolsa Ao Jovem da Secretaria. Contudo, o grupo tratamento recebeu, alm da bolsa, a interveno do Programa Jovens Urbanos. Nesse contexto, a primeira avaliao, realizada em 2006, teve amostra de 480 jovens no grupo de tratamento e a mesma quantidade no grupo de controle. A amostra da segunda avaliao, realizada em 2010, e que buscou os mesmos jovens, foi de 329 jovens para o grupo de tratamento (53%) e 294 para o grupo de controle (47%). Um ano aps o trmino das intervenes do programa, os jovens dos dois grupos foram convidados a responder um questionrio no qual se buscava conhecer a existncia de melhora de vida nos seguintes aspectos relacionados formao proporcionada pelo programa:
2. Fundao Sistema de Anlise de Dados, ligada Secretaria de Planejamento e Desenvolvimento Regional do Governo do Estado de So Paulo.
138
insero no mercado de trabalho; frequncia escolar; renda pessoal; envolvimento com a polcia; leitura de livros e revistas.
Para estimar eventuais diferenas de resultados entre os dois grupos, foram comparados seus desempenhos em relao a essas variveis. No caso do sorteio, a metodologia de avaliao nos garante que as diferenas entre os resultados dos grupos pode ser lida como impacto. Os resultados indicaram que houve diferena entre os grupos nos aspectos relacionados ao mercado de trabalho, renda pessoal e envolvimento com a polcia; todos favorveis aos participantes e de acordo com as expectativas iniciais para os resultados do programa. A segunda avaliao, realizada trs anos aps o trmino das aes, entretanto, indicou que o programa no gerou efeitos duradouros sobre a vida daqueles jovens, o que significa que o impacto foi de curto prazo, diluindo a diferena observada na primeira avaliao, entre participantes e no participantes, ao longo do tempo. Os resultados das avaliaes orientaram os ajustes abaixo na formatao das novas edies do Programa Jovens Urbanos:
Dimenso Renda e empregabilidade Ajustes Incluso do eixo mundo do trabalho Qualificao do monitoramento da evaso do programa gerada por insero no mercado de trabalho Reforo no eixo letramento Continuidade das aes de expresso Criao da semana Expresso Jovens Urbanos Reforo no monitoramento de jovens que se evadem da escola Programa ocorrendo dentro das escolas em parceria com Secretarias de Educao Parceria com universidades
Hbitos de leitura
Escolaridade formal
Ensino Tcnico Profissionalizante Parcerias com escolas tcnicas Ensino Superior
A terceira edio do Programa Jovens Urbanos, iniciada em 2007 e finalizada em 2008, passou por alguns ajustes fundamentados em informaes de monitoramento e avaliao de resultado
139
das duas primeiras edies, somadas s aprendizagens identificadas pela avaliao econmica da primeira edio. Nela, os grupos de participantes da avaliao foram definidos a partir das inscries realizadas no programa. Nesse caso, o grupo de controle foi selecionado a partir da lista de espera do programa, sem uma seleo aleatria dos participantes, caracterizando o desenho como quase-experimental. A amostra foi composta por 185 jovens no grupo de controle e 366 no grupo de tratamento. Na ausncia do sorteio, foi utilizado um mtodo de pareamento para garantir que a comparao de resultados fosse feita entre grupos semelhantes. A ideia era atribuir pesos diferenciados aos jovens do grupo de controle de acordo com caractersticas e probabilidades de participao no programa para criar um grupo mais parecido com o dos beneficirios. Na segunda avaliao da terceira edio a amostra foi de 122 jovens do grupo de controle e 254 jovens do grupo de tratamento. Os resultados indicaram que houve impacto de curto prazo na vida dos jovens nos aspectos renda pessoal, mercado de trabalho, leitura de jornal e participao em ONGs. Em 2012, dois anos aps a primeira avaliao, a avaliao com os mesmos grupos indicou impacto positivo de longo prazo nos aspectos ingresso no Ensino Superior e na escolaridade. O quadro a seguir sintetiza o desenho adotado pela avaliao econmica na primeira e na terceira edies do programa:
PROCESSO AVALIATIVO DO PROGRAMA JOVENS URBANOS Primeira edio Primeira avaliao Data Grupo de tratamento Grupo de controle 2006 Aleatrio Amostra: 480 Aleatrio Amostra: 480 2010 Aleatrio Amostra: 329 Aleatrio Amostra: 294 Terceira edio Segunda avaliao Primeira avaliao 2010 No aleatrio Amostra: 366 No aleatrio Amostra: 185 Segunda avaliao 2012 No aleatrio Amostra: 254 No aleatrio Amostra: 122
Os principais desafios que a avaliao enfrentou na utilizao desse mtodo foram: (a) a dificuldade de encontrar os jovens que participaram do programa nos anos anteriores para verificar o im140
pacto de longo prazo em suas vidas; (b) a desistncia de participao dos jovens sorteados ainda na primeira edio do programa, que trouxe limitaes ao uso do mtodo aleatrio, exigindo a utilizao de mtodos de estimao mais sofisticados que a simples comparao de mdias. Importante tambm ressaltar que metodologias complementares de avaliao esto presentes em todas as etapas do programa. Processos estruturados de monitoramento do planejamento e das aes desenvolvidas, associados a diferentes avaliaes de resultados ao final das atividades realizadas e somados s avaliaes de impacto, compem um ferramental analtico extremamente valioso e til para o constante aperfeioamento do Programa Jovens Urbanos. Aps avaliaes sistemticas de diferentes naturezas, o programa foi aperfeioado em relao a critrios de idade do pblico participante, atualmente de 15 a 20 anos; durao da edio, atualmente de 12 meses; e a intervenes do programa em escolas pblicas do territrio. Hoje o programa est na oitava edio em So Paulo (SP) e na segunda edio em Serra (ES) e em Pouso Alegre (MG). Desde sua primeira edio, alcanou aproximadamente 7 mil jovens. As modificaes at aqui produzidas no programa, com base nas avaliaes economtricas, qualitativas e no monitoramento, tm sido essenciais para aperfeioar a iniciativa e ampliar seu potencial de produzir resultados positivos na vida dos jovens participantes.
141
Oportunidades para atualizao e publicao na rea de avaliao

A Fundao Roberto Marinho e o Instituto Fonte realizaram um levantamento sobre oportunidades de formao, publicao (em revistas direcionadas avaliao e outras acadmicas) e articulao para aqueles que estiverem interessados em aprofundar seu contato com a avaliao, tanto no Brasil quanto na Amrica Latina e em outros continentes. O objetivo contribuir para o fortalecimento da troca e da formao entre pessoas interessadas no campo. Nos quadros a seguir, esto identificadas tais iniciativas, seguidas de seus endereos eletrnicos na Internet, e de pequenas explicaes sobre sua natureza, periodicidade etc. Esses textos explicativos foram construdos com base nos sites pesquisados e por isso reproduzem suas informaes. Nesse sentido, no fazemos referncias bibliogrficas especficas em cada caso e afirmamos que as citaes entre aspas so transposies diretas dos contedos dos sites. Recomendamos que os leitores visitem as iniciativas de seu interesse para maiores esclarecimentos.
143
144
OPORTUNIDADES DE FORMAO Organizao Escola Nacional de Sade Pblica (ENSP/ Fiocruz) Descrio O curso parte da estratgia nacional de institucionalizao do Monitoramento e Avaliao (M&A) no Sistema nico de Sade. Est voltado para o desenvolvimento de habilidades e competncias necessrias prtica do avaliador, no sentido da promoo da melhoria de qualidade das prticas em sade e da transformao social. O curso faz parte de uma ao interinstitucional, de carter inovador, promovida pela Escola Nacional de Sade Pblica Sergio Arouca, da Fundao Oswaldo Cruz, por meio do Laboratrio de Avaliao de Situaes Endmicas Regionais, do Departamento de Endemias Samuel Pessoa, e da Coordenao de Educao a Distncia. A ao desenvolve-se em parceria com a Central de Monitoramento e Avaliao do Departamento de DST/Aids e Hepatites Virais da Secretaria de Vigilncia em Sade do Ministrio da Sade e conta com o apoio do Center for Disease Control and Prevention. O Mestrado em Avaliao de Polticas Pblicas da UFC, modalidade profissional, foi aprovado pela Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes) em 21/12/2004. Foi o primeiro curso de mestrado com rea de concentrao especfica em avaliao de polticas pblicas no Pas. Alm do carter indito e inovador da proposta, vem constituindo produo cientfica na rea desde 2005, em decorrncia da defesa de dissertaes fato bem-vindo, dada a escassa literatura nacional especializada. Tem como principal objetivo formar profissionais de avaliao capazes de planejar, conduzir, relatar e utilizar a avaliao de sistemas, programas, instituies e materiais quanto aos avanos tericos, metodolgicos e prticos da rea. Grupo que tem como uma das reas de atuao a avaliao. Segundo informaes do site, A construo de sistemas e matrizes de monitoramento e avaliao uma aposta da Cedepe na perspectiva de contribuir para o fortalecimento da gesto pblica. Nessa perspectiva, a Cedepe pode apoiar e reforar o desenvolvimento institucional de organizaes pblicas e privadas para subsidiar a tomada de decises sobre polticas, programas e projetos. UFC Fundao Cesgranrio PUC-SP
Nome
Tipo
Disponvel em*
Curso de Especializao de Avaliao em Sade
Especializao a distncia
http://www. ead.fiocruz.br/ curso/index. cfm?cursoid=1574
Programa de Ps-Graduao em Avaliao de Polticas Pblicas da Universidade Federal do Cear (UFC)
Mestrado profissional
http://www.mapp. ufc.br/
Mestrado Profissional em Avaliao (stricto sensu)
Mestrado profissional
http://mestrado. cesgranrio.org. br/mestrado/ objetivo.aspx
Coordenadoria de Estudos e Desenvolvimento de Projetos Especiais/Pontifcia Universidade Catlica de So Paulo (Cedepe/ PUC-SP)
Grupo acadmico
http://www.pucsp. br/cedepe/acedepe.html
* ltimo acesso em setembro de 2013.
OPORTUNIDADES DE FORMAO Organizao TQM, Investigacin y Formacin, S.L./ Universidad de Alcal de Henares, Espanha Descrio Curso a distncia voltado especialmente para gesto de polticas pblicas oferecido pela Universidad de Alcal de Henares, Espanha. Os objetivos so formar os participantes como analistas e avaliadores de polticas pblicas; gerar uma rede de assessores que proponham melhorias no funcionamento das organizaes; vincular a avaliao com a modernizao administrativa e as ferramentas da Nova Gesto Pblica; ensinar tcnicas e mtodos para realizar uma anlise e avaliao de qualidade; delimitar o papel da avaliao em sua contribuio para a melhoria da tomada de decises e a reformulao de polticas pblicas; conhecer boas prticas na avaliao de polticas pblicas e contribuir com uma tica de desempenho comprometida com a equidade. Centro de estudos e formao sediado em Ottawa, Canad. Criado em 2001, o Programa Internacional de Treinamento para a Avaliao do Desenvolvimento (IPDET) um programa de treinamento executivo que tem por objetivo dar a gestores e profissionais as ferramentas genricas necessrias para avaliar polticas, programas e projetos de desenvolvimento em mbito local, nacional, regional e global. O programa consiste em um curso de duas semanas, que cobre os aspectos essenciais, seguido por duas semanas de workshops aprofundados, ensinados por um grupo dinmico de professores de renome internacional, de organizaes dos hemisfrios Norte e Sul. Uma iniciativa de treinamento intensiva e nica do Grupo de Avaliao Independente do Banco Mundial e da Universidade de Carleton. Unidade de Pesquisa e Avaliao Organizadas dos Claremont Colleges. A misso do CEC (Centro de Avaliao Claremont, em portugus) prestar servios e conduzir pesquisas e avaliaes para melhorar a eficincia de uma ampla gama de projetos, programas, polticas e organizaes. Usando conhecimento cientfico e metodologias de ltima gerao, o CEC j prestou esse tipo de servio para mais de 150 organizaes diferentes nos ltimos 15 anos. Vale a pena assistir aos web nars produzidos em 2012 (Claremont Evaluation Center Webinar Series: <http:// www.cgu.edu/pages/10257.asp>). Plataforma interativa da web para compartilhar conhecimentos nos sistemas nacionais de monitoramento e avaliao em todo o mundo. Alm de ser uma fonte de aprendizado, promove o fortalecimento de uma comunidade global, enquanto identifica boas prticas e lies sobre monitoramento e avaliao em geral, e sobre os pases que usam os sistemas M&E em particular.
Nome
Tipo
Disponvel em*
Master: Gestin, Analisis y Evaluacion de Asuntos Publicos (e-learning)
Curso e-learning
http://www. iestqm.com/
International Program for Development Evaluation Training Apoiado pelo Independent Evaluation Group of the World Bank e pela Faculty of Public Affairs at Carleton University, Canad
Especializao presencial e a distncia
http://www.ipdet. org/default.aspx
Claremont Evaluation Centre (CEC) http://www.cgu. edu/pages/9962. asp Institute of Organizational and Program Evaluation Research (IOPER)/ Claremont Evaluation Centre/Claremont University, Califrnia, EUA Unicef Evaluation Office e International Organization for Cooperation in Evaluation (IOCE)
Webnars
My M&E http://mymande. org/
Plataforma de partilha de informaes e e-learning
anexo
145
146
OPORTUNIDADES DE FORMAO Organizao Unicef Evaluation Office e IOCE Descrio Iniciativa vinculada ao My M&E com ateno especial s organizaes da sociedade civil, ao fortalecimento dos VOPEs (Voluntary Organizations of Professional Evaluators, Organizaes Voluntrias de Avaliadores Profissionais, em portugus) e troca entre pases. O nmero de VOPEs est crescendo rapidamente mundo afora. H grande espao para a troca de solues, ideias e experincias domsticas e voltadas para pases em particular, para ajudar a capacidade de desenvolvimento de avaliao. Nesse contexto, a EvalPartners tem como objetivo fortalecer a capacidade de avaliao das organizaes da sociedade civil por meio de cooperao triangular e do apoio dos profissionais uns aos outros e do aprendizado mtuo. A EvalPartners tambm aproveita as novas tecnologias de informao e comunicao para facilitar o networking e o aprendizado. A Ideas (Associao Internacional de Avaliao do Desenvolvimento, em portugus) uma associao independente de profissionais de avaliao, pessoas interessadas no tema e aqueles que buscam trazer informao e conhecimento com credibilidade para a agenda do desenvolvimento. A Ideas foi criada em setembro de 2002 em Pequim, na China. Est aberta a indivduos e organizaes de todo o mundo e, nesse momento, conta com quase 800 membros em mais de 100 pases. A misso da Ideas melhorar e estender a prtica de avaliao do desenvolvimento, aprimorando o conhecimento, fortalecendo capacidades e expandindo as redes para a avaliao do desenvolvimento, em particular nos pases em desenvolvimento e em transio. Website elaborado por Rick Davies, desde 1997, com suporte de diversas organizaes inglesas (Oxfam, Action Aid, SCF and Christian Aid, entre outras). Este site enfoca mtodos de monitoramento e avaliao de progresso e resultado de programas de ajuda para o desenvolvimento. Muitos dos mtodos discutidos aqui tambm so relevantes para a prtica de avaliao quando aplicados a polticas e programas implementados por governos e organizaes da sociedade civil em pases ricos, no apenas em pases que recebem ajuda internacional. Preval uma plataforma internacional nica em seu gnero que assessora governos, unidades tcnicas e organizaes rurais para fortalecer sua capacidade de elaborar e desenvolver sistemas de Planejamento, Seguimento e Avaliao (PSA), como espaos de produo e informao para a tomada de decises e a aprendizagem. Desde 1997, tem prestado servio a mais de 30 organizaes e 15 pases da regio. Tem como foco a questo do desenvolvimento rural. Alm disso, publica boletim e oferece cursos a distncia. Ideas Diversas Preval
Nome
Tipo
Disponvel em*
EvalPartners
http://www. mymande.org/ evalpartners/
International Development Evaluation Association (Ideas)
http://conference. ideas-int.org/
Monitoring and Evaluation News
Website
http://mande. co.uk/
Plataforma Regional de Desarrollo de Capacidades en Evaluacin y Sistematizacin de Amrica Latina y el Caribe (Preval)
http://preval. org/es
OPORTUNIDADES DE PUBLICAO REVISTAS DIRECIONADAS AVALIAO Organizao Fundao Carlos Chagas Descrio Estudos em Avaliao Educacional publica trabalhos inditos referentes avaliao educacional, apresentados sob a forma de relatos de pesquisa, ensaios tericos, metodologias, revises crticas, artigos e resenhas.
Nome
Tipo
Disponvel em*
Estudos em Avaliao Educacional
Revista quadrimestral
http://www.fcc. org.br/biblioteca/ apresenta_eae. php?area= publicacoes Fundao Cesgranrio
Ensaio Avaliao e Polticas Pblicas em Educao Rede Brasileira de Monitoramento e Avaliao, Secretaria de Avaliao e Gesto da Informao do Ministrio do Desenvolvimento Social e Combate Fome (SAGI/MDS) e da Secretaria de Assuntos Estratgicos da Presidncia Repblica (SAE/PR)
Revista trimestral
http://www. cesgranrio.org. br/publicacoes/ principal.aspx
Trata-se de um veculo de divulgao de pesquisas, levantamentos, estudos, discusses e outros trabalhos crticos no campo da Educao, concentrando-se nas questes de avaliao e polticas pblicas e enfatizando as experincias e perspectivas brasileiras. A Revista Brasileira de Monitoramento e Avaliao uma nova proposta editorial para a sistematizao e disseminao de experincias e conhecimentos em Monitoramento e Avaliao (M&A) em polticas pblicas, programas e projetos sociais no Brasil. uma iniciativa de pesquisadores, tcnicos e participantes da Rede Brasileira de Monitoramento e Avaliao (RBMA), com apoio da Secretaria de Avaliao e Gesto da Informao do Ministrio do Desenvolvimento Social e Combate Fome (SAGI/MDS) e da Secretaria de Assuntos Estratgicos da Presidncia Repblica (SAE/PR). Sua criao foi motivada pela necessidade de oferecer novos espaos para publicao de trabalhos no campo, cada vez mais frequentes em funo do avano da cultura de formulao, monitoramento e avaliao de polticas e programas. Alm disso, a disperso desse crescente volume de estudos dentre os diversos e consagrados peridicos j existentes nas cincias sociais brasileiras cada um com seu vis disciplinar e sua comunidade acadmica almejada tem criado dificuldades para que os interessados possam ter uma viso mais integrada, multidisciplinar e holstica da rea de M&A. A revista procura, pois, criar oportunidades para o registro e intercmbio de estudos de distintas naturezas conceitual, metodolgica e aplicada e diferentes abordagens de pesquisa emprica qualitativa, quantitativa, quase-experimental, estudos de caso etc. A Revista Avaliao de Polticas Pblicas (Aval) volta-se primordialmente a: publicao de anlises e resultados de pesquisas em avaliao de polticas pblicas; reflexes terico-metodolgicas sobre avaliao; desenvolvimento de ferramentas e estratgias metodolgicas que contribuam para a avaliao de polticas pblicas e reflexes sobre o exerccio da multi e da interdisciplinaridade.
Revista Brasileira de Monitoramento e Avaliao
Revista semestral
http://apl.mds. gov.br/ojs/index. php/RBMA/index
Revista Avaliao de Polticas Pblicas Sob responsabilidade do Mestrado Profissional em Avaliao de Polticas Pblicas, da Universidade Federal do Cear (UFC)
Revista semestral
http://www.mapp. ufc.br/wp-aval/ institucional/ sobre-a-aval
anexo
147
148
OPORTUNIDADES DE PUBLICAO REVISTAS DIRECIONADAS AVALIAO Organizao Rede de Avaliao Institucional da Educao Superior em parceria com a Universidade de Sorocaba (Uniso) Cesgranrio Descrio A revista foi publicada durante trs anos, voltada a trabalhos relacionados avaliao do Ensino Superior. Tratava-se de revista aberta difuso, aos intercmbios e aos debates de interesse da comunidade universitria, publicando prioritariamente trabalhos relacionados aos temas da avaliao da Educao Superior, em portugus ou em espanhol. Seus exemplares continuam on-line, apesar de a revista no estar sendo mais editada. A revista do mestrado profissional em avaliao da Fundao Cesgranrio, Meta: Avaliao uma publicao cientfica, de periodicidade quadrimestral, que veicula exclusivamente por meio da internet, nos meses de abril, agosto e dezembro. A publicao possui carter multidisciplinar, porm com nfase especial nas reas de Educao, sade e sociedade. Meta: Avaliao um canal de divulgao da prtica e da teoria da avaliao no Brasil e no mundo. O peridico dedica-se a publicar pesquisas, resenhas de livros, teses e dissertaes. Revista voltada para a administrao pblica e a capacitao de gestores pblicos. A Revista do Servio Pblico, editada pela Escola Nacional de Administrao Pblica h mais de 70 anos, publica artigos inditos sobre temas relacionados a Estado e sociedade; polticas pblicas e administrao pblica. Os artigos passam por anlise prvia de adequao pela editoria da revista e posterior avaliao de dois a trs pareceristas por sistema de blind review. A Enap tambm enfoca a avaliao de polticas pblicas. A Revista de Gesto e Avaliao Educacional (Regae) publica trabalhos inditos resultantes de pesquisas j concludas, pesquisas com resultados preliminares e estudos tericos sobre a temtica da revista, ou seja, gesto e avaliao educacional. Escola Nacional de Administrao Pblica (Enap) Universidade Federal de Santa Maria, Rio Grande do Sul (UFSM) Grupo Avaliao em Foco Avaliao em Foco uma publicao voltada aos professores e gestores de escolas e redes pblicas de ensino, que coloca o tema avaliao no centro das discusses acerca da qualidade de ensino. Aberta a receber artigos, prev publicar oito edies entre 2013 e 2014.
Nome
Tipo
Disponvel em*
Avaliao: Revista da Avaliao da Educao Superior
Revista eletrnica
http://periodicos. uniso.br/ojs/index. php?journal=av aliacao&page= index
Revista Meta: Avaliao
Revista eletrnica quadrimestral
http:// metaavaliacao. cesgranrio.org. br/index.php/ metaavaliacao/ about/editorial Policies#focus AndScope
Revista do Servio Pblico
Revista trimestral
http://www.enap. gov.br/index.php? option=content&t ask=view&id=257
Revista de Gesto e Avaliao Educacional**
Revista eletrnica
http://cascavel. ufsm.br/revistas/ ojs-2.2.2/index. php/regae/ index
Revista Avaliao em Foco
Revista trimestral
http://www. avaliacao emfoco.com.br/
** Revistas descontinuadas at o momento da publicao (setembro de 2013).
OPORTUNIDADES DE PUBLICAO REVISTAS DIRECIONADAS AVALIAO Organizao Descrio A AJE (Revista Americana de Avaliao, em portugus) publica artigos originais sobre mtodos, teorias, prticas e concluses de avaliaes. O objetivo geral da publicao apresentar o que h de melhor sobre e no campo para aumentar a base de conhecimento e prtica de seus leitores. Os artigos refletem a diversidade de tradies intelectuais, abordagens e prticas, alm de domnios de aplicao. No entanto, dada preferncia aos textos que tm potencial de interessar uma vasta gama de avaliadores e que so escritos de forma acessvel. American Evaluation Association (AEA) A revista NDE (Novas Direes para a Avaliao, em portugus), de periodicidade trimestral, uma publicao oficial da Associao Americana de Avaliao que serve como fonte de dados. Publica trabalhos sobre todos os aspectos da avaliao, com nfase na apresentao apropriada de reflexes, com questes de ponta sobre a teoria, a prtica, os mtodos e a profisso da avaliao, alm do contexto organizacional, cultural e da sociedade em que ela ocorre. Cada edio destinada a um nico tpico, com contribuies encomendadas, organizadas, editadas e revisadas por um ou mais editores convidados. A revista Evaluation (Avaliao) tem como objetivo avanar na teoria, metodologia e prtica da avaliao, juntando conhecimento e expertise de muitas disciplinas, profisses e pases. Sua inteno ser um frum internacional de dilogo e debate entre acadmicos e profissionais. Foi criada em 1995, pertencendo SAGE, uma das maiores editoras acadmicas do mundo.
Nome
Tipo
Disponvel em*
American Journal of Evaluation (AJE)
Revista trimestral
http://www.eval. org/Publications/ AJE.asp, http:// aje.sagepub. com/
New Directions for Evaluation (NDE)
Revista trimestral
http://www.eval. org/Publications/ NDE.asp, http:// onlinelibrary. wiley.com/ journal/10.1002/ (ISSN)1534-875X Vinculada European Evaluation Society (EES), The Tavistock Institute e publicada pela Sage
Evaluation: The International Journal of Theory, Research and Practice Canadian Evaluation Society (CES/CSE)
Revista trimestral
http://evi. sagepub.com/
Canadian Journal of Program Evaluation
http://www. evaluation canada.ca/site. cgi?s=4&ss=2&_ lang=EM
A Revista Canadense de Avaliao de Programa publicada trs vezes ao ano pela CES (Sociedade Canadense de Avaliao, em portugus). Ela busca promover a teoria e a prtica de avaliaes de programas no Canad, publicando artigos sobre todos os aspectos da teoria e prtica da avaliao incluindo metodologias, parmetros de avaliao, implementao de avaliaes, relatrios e uso de estudos e a auditoria, ou meta-avaliao, da avaliao. A revista tambm publica artigos sobre os desafios da prtica de avaliao, apresentando casos reais para a avaliao de profissionais; notas sobre a prtica da avaliao, sobre todos os aspectos da prtica da avaliao, que tm por objetivo compartilhar conhecimento prtico, experincias e lies aprendidas para o benefcio da comunidade de avaliadores; e resenhas de livros que trazem crticas a publicaes de interesse e relevncia no campo (compilaes e autorais).
anexo
149
150
OPORTUNIDADES DE PUBLICAO REVISTAS DIRECIONADAS AVALIAO Organizao Sage Descrio A revista Evaluation Review (Resenha da Avaliao, em portugus) um frum interdisciplinar para pesquisadores da rea de cincias sociais, profissionais de planejamento e criadores de polticas que desenvolvem, implementam e usam estudos designados a melhorar a condio humana. Publicada h trs dcadas sob responsabilidade de diferentes editores e publicada pela Sage. A Revista de Eficincia do Desenvolvimento (traduo do ttulo para o portugus) publica artigos relatando evidncias do impacto de intervenes para o desenvolvimento. A revista no comunga de nenhuma abordagem de avaliao de impacto, mas exige que as tcnicas usadas sejam aplicadas rigorosamente, dando preferncia a estudos que sejam bem contextualizados e com uso apropriado de diferentes mtodos. Ela tambm publica artigos de natureza mais conceitual referentes avaliao de impacto, alm de trabalhos que tratem dos aspectos prticos da conduo de estudos de impacto. A revista tem uma poltica explcita de cobrir os aspectos prticos da conduo de estudos de impacto. O peridico tem ainda a poltica explcita de aprender com nossos erros, desencorajando a publicao de artigos que tendem a apresentar resultados positivos. Por outro lado, artigos relatando intervenes com nenhum impacto, ou impacto negativo, so bem-vindos. Uma lista sobre novos estudos de impacto includa a cada edio. Jornal de acesso aberto. Publica artigos sobre avaliao de forma ampla: editoriais, introduo, artigos, reviso de livros, Ideas to Consider, entre outros. International Initiative for Impact Evaluation (3ie) The Evaluation Center/Western Michigan University, Estados Unidos
Nome
Tipo
Disponvel em*
Evaluation Review
Revista bimestral
http://erx. sagepub.com/
Journal of Development Effectiveness
Revista trimestral
http:// www.3ieimpact. org/en/ publications/ journal/
Journal of MultiDisciplinary Evaluation
Revista eletrnica semestral
http://journals. sfu.ca/jmde/ index.php/ jmde_1/index
OPORTUNIDADES DE PUBLICAO REVISTAS ACADMICAS (REAS DE SADE E EDUCAO) Organizao Centro de Estudos Educao e Sociedade da Universidade Estadual de Campinas, So Paulo (Cedes Unicamp) Cedes Unicamp Descrio Cadernos Cedes so publicaes peridicas do Centro de Estudos Educao e Sociedade (Cedes), de carter temtico, dirigidas a profissionais e pesquisadores da rea educacional com o propsito de abordar questes que se colocam como atuais e significativas nesse campo de atuao. Os Cadernos so editados desde 1980, mantendo de trs a seis novos ttulos por ano. Idealizada como instrumento de incentivo pesquisa acadmica e debate amplo sobre o ensino nos seus diversos prismas, a publicao atinge, aps anos de publicao ininterrupta, um grande acmulo de anlises, informaes, debates, fontes tericas, relatos de experincias pedaggicas, entre outros, de grande interesse para cientistas e educadores que atuam nas cincias humanas e outros campos do saber. Publica artigos originais que contribuem para o estudo da sade pblica em geral e disciplinas afins, como epidemiologia, nutrio, parasitologia, ecologia e controle de vetores, sade ambiental, polticas pblicas e planejamento em sade, cincias sociais aplicadas sade, entre outras. Publica debates, anlises e resultados de investigaes sobre um tema especfico considerado relevante para a sade coletiva.
Nome
Tipo
Disponvel em*
Cadernos Cedes
Revista sem periodicidade definida
http://www.cedes. unicamp.br/cad_ apresentacao.htm
Revista Educao & Sociedade
http://www.cedes. unicamp.br/ rev_apresentacao. htm Escola Nacional de Sade Pblica Sergio Arouca Fundao Oswaldo Cruz Associao Brasileira de Sade Coletiva (Abrasco)
Cadernos de Sade Pblica
Revista mensal
http://www4.ensp. fiocruz.br/csp/
Cincia & Sade Coletiva
Revista bimestral
http://www. abrasco.org.br/ publicacoes/csc. php Centro de Estudos de Cultura Contempornea (Cedec)
Lua Nova
http://cedec.org. br/luanova.asp?rl n=current&page=r ln&subpage=rln
Fundada em 1984, como uma revista de debate e de interveno nas grandes questes que mobilizavam a sociedade na poca. A partir de 1988, com o nmero 15, ganhou seu formato atual, com nmeros centrados em ncleos temticos e com artigos avulsos voltados para a reflexo de longo alcance, tanto na anlise emprica quanto nos fundamentos tericos, sobre questes relativas a trs campos bsicos: a democracia, a cidadania e os direitos. Atualmente, publicao de primeira linha no campo acadmico, com altas avaliaes nos rgos de fomento pesquisa e com indexao nacional e internacional. Dedica-se a fomentar a reflexo que oferea fundamentos ao debate em profundidade de questes substantivas da atualidade, com nfase na anlise de polticas pblicas buscando nelas o que tm de pblico e do panorama internacional com nfase na posio brasileira. Dedica tambm especial ateno reflexo terica nacional e internacional (na qual publica textos dos principais autores). Orienta-se tambm de modo sistemtico para a publicao de trabalhos de autores jovens ou iniciantes.
anexo
151
152
Organizao Centro Brasileiro de Anlise e Planejamento (Cebrap) Instituto de Medicina Social da Universidade do Estado do Rio de Janeiro (IMS - UERJ) Descrio Publica estudos relevantes sobre temas das cincias sociais e humanidades, contribuindo para o debate de ideias em mbito nacional e internacional, com discusses em reas diversas, desde crtica de arte at implementao de polticas econmicas e sociais. Sua orientao editorial aberta para a produo na rea de sade coletiva, com nfase nas reas de cincias humanas e sociais e de poltica, planejamento e administrao em sade. Dada a existncia de publicaes relevantes nacionais na rea de epidemiologia, o corpo editorial optou por priorizar artigos que abordem dimenses conceituais da rea ou ainda repercusses sociais dos conhecimentos produzidos pela pesquisa epidemiolgica. A revista composta por artigos de livre submisso dos autores e possui uma seo de resenhas e crticas bibliogrficas, uma seo de entrevistas e uma de cartas. Ocasionalmente, so propostos temas especficos considerados relevantes, com textos de autores convidados, com insero relevante no debate sobre o tema. Mesmo esses, contudo, so submetidos reviso por pares pelos editores da publicao. Publicao voltada difuso de textos orientados para ampliar o debate intelectual no campo da sade coletiva. Nesse sentido, um veculo de apresentao da produo corrente do IMS - UERJ, no qual continua sendo prioritria a publicao de textos de autoria de professores e alunos. A revista pblica artigos de autores nacionais e estrangeiros selecionados com base em critrios de originalidade, qualidade e criatividade. IMS UERJ Departamento de Administrao da Faculdade de Economia, Administrao e Contabilidade Faculdade de Economia e Administrao da Universidade de So Paulo (FEA-USP)
OPORTUNIDADES DE PUBLICAO REVISTAS ACADMICAS (REAS DE SADE E EDUCAO)
Nome
Tipo
Disponvel em*
Novos Estudos Cebrap
http://www. novosestudos. com.br/v1/
Physis: Revista de Sade Coletiva
Revista trimestral
http://www. ims.uerj. br/i_publicacao_ physis.php
Srie Estudos em Sade Coletiva (Sesc)
Revista eletrnica
http://www. ims.uerj.br/i_ publicacao_serie_ coletiva.php
Revista de Administrao
Revista trimestral
http://www.rausp. usp.br/
OPORTUNIDADES DE PUBLICAO REVISTAS ACADMICAS (REAS DE SADE E EDUCAO) Organizao Departamento de Administrao da Faculdade de Economia, Administrao e Contabilidade (FEA-USP) Descrio Publicao trimestral para divulgao de trabalhos de natureza acadmica relacionados a temas da administrao de empresas. Seu objetivo colaborar para a disseminao do conhecimento por meio da publicao de trabalhos que atendam a critrios de qualidade cientfica e relevncia na rea. Busca ainda obter diversidade e abrangncia nos temas publicados, bem como na origem geogrfica dos autores, de modo a garantir uma cobertura ampla da pesquisa realizada em mbito nacional. Procura tambm incentivar o envio de artigos em ingls ou espanhol, com o objetivo de permitir a disseminao de seu contedo internacionalmente. Publicao aberta s contribuies de todas as reas de conhecimento preocupadas com a efetividade e equidade da ao pblica, entre as quais se destacam: administrao e desenvolvimento; administrao pblica; cincias humanas, sociais e sociais aplicadas; estudos organizacionais; gesto social; movimentos sociais; poltica pblica. Segue, em seus princpios, a misso da FGV: avanar nas fronteiras do conhecimento na rea das cincias sociais e afins, produzindo e transmitindo ideias, dados e informaes, alm de conserv-los e sistematiz-los, de modo a contribuir para o desenvolvimento socioeconmico do Pas, a melhoria dos padres ticos nacionais, uma governana responsvel e compartilhada e para a insero do Brasil no cenrio internacional. Tem por finalidade publicar contribuies cientficas originais sobre temas relevantes para a sade pblica em geral.
Nome
Tipo
Disponvel em*
Revista de Gesto (Rege)
Revista trimestral
http://www. regeusp.com.br/
Revista de Administrao Pblica Fundao Getlio Vargas (FGV)
Revista bimestral
http://ebape.fgv. br/publicacoes/rap
Revista de Sade Pblica Faculdade de Sade Pblica da USP
Revista bimestral
http://www. rsp.fsp.usp.br/ mensagem/ pub/bemvindo. php?tipo=0 Faculdade de Sade Pblica da USP e Associao Paulista de Sade Pblica
Sade e Sociedade
Revista trimestral
http://www. scielo.br/scielo. php?script=sci_ serial&pid= 0104-1290&l ng=pt&nrm=isso
A publicao divulga a produo das diferentes reas do saber sobre prticas da sade, visando ao desenvolvimento interdisciplinar do campo da sade pblica. Destina-se comunidade de profissionais, docentes, pesquisadores, especialistas da rea de sade pblica/coletiva e de disciplinas afins. Desde sua criao, tem publicado trabalhos de diferentes campos que se relacionam ou que tenham como objeto de preocupao a sade pblica/coletiva. Nesse sentido, abarca a produo de diferentes ramos das cincias humanas e sociais e da emergente cincia ambiental, incorporando a produo cientfica, terica e aquela mais especificamente relacionada s propostas de interveno e prtica institucional.
anexo
153
154
OPORTUNIDADES DE ARTICULAO Organizao Diversas. Apoio: Fundao Joo Pinheiro (FJP), Banco Interamericano de Desenvolvimento, Banco Mundial Instituto Fonte Descrio Seo da Rede de Monitoramento e Avaliao da Amrica Latina e Caribe, fundada em novembro de 2008, com o apoio da Fundao Joo Pinheiro (FJP), do Banco Interamericano de Desenvolvimento e do Banco Mundial. Os principais objetivos so: promover o uso de prticas de monitoramento e avaliao; promover a troca de experincia e de instrumentos de trabalho; facilitar a identificao das instituies trabalhando nesse tema no Brasil; formar uma comunidade de prtica. Iniciativa realizada pelo Instituto Fonte com apoio da Fundao Ita Social e com diversas parcerias com Fundao Roberto Marinho, Instituto Paulo Montenegro, Ibope Inteligncia, entre outros. O objetivo o fortalecimento do campo da avaliao de programas e projetos Sociais no Brasil por meio de estudos, articulao e espaos de formao. Realiza encontros abertos e gratuitos para a discusso de temas relacionados avaliao. Tambm realiza pesquisas sobre o campo e a sistematizao de casos de avaliao de iniciativas sociais. O material do projeto disponibilizado no site. Associao de profissionais interessados no tema da avaliao educacional. Realiza encontros e publicaes; no tem uma revista peridica. A Abave um espao plural e democrtico para o intercmbio de experincias entre os acadmicos e os implementadores da avaliao educacional. O que justifica a sua criao o crescimento, nos ltimos anos, do nmero de pessoas que lidam com a avaliao e que comeam a v-la como seu campo de atuao profissional, seja como pesquisadores ou como responsveis pela conduo das polticas de avaliao nos sistemas educacionais. Mais importante ainda, observa-se a disposio desses dois grupos de se relacionarem entre si para aprender e maximizar o potencial dos seus trabalhos a favor da melhoria da Educao. Organizao internacional que congrega 24 associaes e redes de avaliao no mundo. A Organizao Internacional para a Cooperao na Avaliao (IOCE, na sigla em ingls) uma aliana informal de organizaes avaliadoras regionais e nacionais (associaes, sociedades e redes) de todo o mundo que colaboram para: construir liderana e capacidades em avaliao em pases em desenvolvimento; promover a troca de teorias e prticas de avaliao mundo afora; lidar com os desafios internacionais da avaliao e ajudar os profissionais a usar uma abordagem mais global, contribuindo para a identificao e soluo de problemas.
Nome
Tipo
Disponvel em*
Rede Brasileira de Monitoramento e Avaliao
Rede de avaliadores e interessados
http:// redebrasileira demea.ning.com/
Projeto Avaliao
Grupo voltado avaliao
http:// institutofonte. org.br/projetoavaliacao
Associao Brasileira de Avaliao Educacional (Abave)
Associao voltada avaliao
http://www.abave. org.br/
International Organization for Cooperation in Evaluation (IOCE)
http://www.ioce. net/
OPORTUNIDADES DE ARTICULAO Organizao Descrio Ligada ao Banco Mundial, a Clear d suporte ao desenvolvimento de grupos que fortaleam a avaliao regionalmente, especialmente por meio da capacitao e produo de publicaes. A Clear um esforo colaborativo de doadores e pases parceiros com o objetivo de fortalecer os sistemas e capacidades de monitoramento e avaliao das naes participantes, alm da gesto de desempenho para embasar o foco nos resultados. Organizao que financia estudos e iniciativas de avaliao de impacto, financiada pela Fundao Bill e Melinda Gates e outras. Os objetivos da instituio so: gerar novas evidncias do que funciona, sintetizar e disseminar essas evidncias, construir uma cultura de produo de polticas a partir de evidncias e desenvolver a capacidade e o uso das avaliaes de impacto. O objetivo da EES (Sociedade Europeia de Avaliao, em portugus) estimular e promover a teoria, a prtica e a utilizao da avaliao de alta qualidade na Europa, em particular, mas no exclusivamente. Esse objetivo alcanado com a reunio de acadmicos e profissionais de todo o continente, de diferentes setores, criando um frum em que todos os participantes podem se beneficiar da cooperao e oportunidades de colaborao. O principal veculo para essa troca de conhecimento a conferncia bienal. Alm disso, a EES trabalha para oferecer uma plataforma de interao, discusso e contato entre os profissionais de avaliao, por meio de ferramentas disponveis na internet, fruns e eventos. Associao de referncia em avaliao no mundo, promove encontros anuais e tem entre seus objetivos promover propsitos cientficos e educacionais, melhorar a teoria, prtica e mtodos da avaliao; aumentar o uso da avaliao; promover a avaliao como profisso; e apoiar a contribuio da avaliao para a gerao de teoria e conhecimento sobre a ao humana eficiente. Organizao dedicada ao avano da prtica e teoria da avaliao. No campo da avaliao, promove: liderana, conhecimento, suporte ativo e desenvolvimento profissional. Conjunto de redes voltado a contribuir com o fortalecimento de capacitao em monitoramento e avaliao, alm de profissionalizar a funo de avaliao na Amrica Latina.
Nome
Tipo
Disponvel em*
Clear Innitiative
Organizao de suporte avaliao
http://www. theclearinitiative. org/index.html
International Initiative for Impact Evaluation (3ie)
Organizao de suporte avaliao
http:// www.3ieimpact. org/
European Evaluation Society (EES)
http://www. european evaluation.org/
American Evaluation Association (AEA)
http://www.eval. org/
Canadian Evaluation Society
http://evaluation canada.ca/
Red de Seguimiento, Evaluacion y Sistematizacin en America Latina y el Caribe (ReLAC)
http://www. relacweb.org
anexo
155
156
OPORTUNIDADES DE ARTICULAO Organizao Descrio A Rede de Monitoramento e Avaliao (M&A), apoiada desde 1995 pelo Banco Mundial, pelo Programa Prodev do Banco Interamericano de Desenvolvimento (BID) e por um crescente grupo de pases da Amrica Latina. Pretende servir de cenrio para a anlise de resultados e de dificuldades encontrados durante a institucionalizao dos sistemas M&A nos nveis nacionais e subnacionais, bem como promover o dilogo, compartilhar experincias, fortalecer a capacidade institucional e estimular a colaborao. O ECG (Grupo de Cooperao de Avaliao, em portugus) foi criado pelos chefes de avaliao de bancos de desenvolvimento multilaterais (MBDs, na sigla em ingls), em 1996, para fortalecer o uso da avaliao e contribuir para sua disseminao, para obter maior eficincia e responsabilidade nos servios de avaliao dessas instituies, harmonizar os indicadores de desempenho, metodologias e abordagens de avaliao, melhorar o profissionalismo da avaliao internamente e a colaborao entre diretores de avaliao de organizaes bilaterais e multilaterais de desenvolvimento e facilitar o envolvimento de pases membros devedores na avaliao, alm de construir sua capacitao na rea. O ECDG (Grupo para o Desenvolvimento da Capacidade Avaliativa, em portugus) uma organizao norte-americana, fundada por profissionais interessados na promoo da cultura de avaliao, pertencentes a diversos pases. Disponibiliza textos, oportunidades de formao e possibilidade de debate entre profissionais. Rede da OCDE (siga em ingls para Organizao para a Cooperao e o Desenvolvimento Econmico) voltada para o tema da avaliao do Desenvolvimento e para contribuir para promover melhores resultados do desenvolvimento utilizando avaliao para construo de bases com fortes evidncias para a elaborao de polticas e para a aprendizagem. Grupo orientado avaliao das iniciativas do Banco Mundial em diversas esferas. Publica parte das avaliaes que realiza. Grupo de unidades profissionais que atuam com avaliao dentro do sistema ONU. O UNEG (Grupo de Avaliao das Naes Unidas, em portugus) uma rede profissional que junta unidades responsveis por avaliao no sistema da organizao, incluindo agncias especializadas, fundos, programas e entidades afiliadas [...] Busca aumentar a objetividade, a eficincia e a visibilidade da funo de avaliao no sistema da ONU e defender a importncia da avaliao para o aprendizado, tomadas de decises e responsabilidade. Tambm publica editais de contratao de servios de avaliao para a ONU. Grupo dos Bancos Multilaterais de Desenvolvimento ECDG OCDE Banco Mundial Organizao das Naes Unidas (ONU)
Nome
Tipo
Disponvel em*
Red de Monitoreo y Evaluacin de Amrica Latina y el Caribe (REDLACME)
http://redlacme. org/
Evaluation Cooperation Group (ECG)
https://wpqr4. adb.org/ LotusQuickr/ecg/ Main.nsf/h_Toc/ c4d2972a55a951 4948257bbe002 3aa84/?OpenDoc ument
The Evaluation Capacity Development Group ECDG
http://www.ecdg. net/
DAC Network on Development Evaluation
http://www. oecd.org/dac/ evaluation/
Independent Evaluation Group
http://ieg. worldbankgroup. org/
The United Nations Evaluation Group (UNEG)
http://www. uneval.org/
OPORTUNIDADES DE ARTICULAO Organizao Fundo das Naes Unidas para a Infncia (Unicef) Descrio Agrega e articula as avaliaes realizadas dos projetos vinculados ao Unicef. O Unicef conduz avaliaes em cinco nveis institucionais, refletindo o sistema de responsabilidade organizacional: local ou projeto; programa nacional de cooperao; regional; estratgico global; e desempenho institucional. A descentralizao caracterstica-chave do sistema de avaliao do Unicef: junto com pases do programa, escritrios nacionais da entidade vo continuar a encomendar a maior parte dos trabalhos de avaliao. A avaliao faz trs perguntas-chave: Estamos fazendo a coisa certa? Estamos fazendo do modo certo? Como podemos fazer melhor?. A IOCOM uma organizao virtual de profissionais e acadmicos, e uma aliana de organizaes nacionais e internacionais (associaes, sociedades e redes) comprometidas com a disciplina da gesto de resultado e desenvolvimento. Criou um frum on-line de troca de teorias, metodologias e prticas e oferece conexes globais para profissionais de gesto de resultado e desenvolvimento, alm de notcias de eventos e iniciativas. Blog com curadoria de Pablo Rodriguez-Bilella, socilogo e avaliador argentino, membro do Comit Executivo da Ideas (International Development Evaluation Association, ver oportunidades de formao), consultor na Conicet (Conselho Nacional de Investigaes Cientficas e Tcnicas do governo argentino) e professor na Universidad Nacional de San Juan. No blog, Pablo disponibiliza notcias e links relacionados com avaliao. Site do Ncleo de Avaliao de Polticas Pblicas da Universidade do Chile, disponibiliza oportunidades, textos e uma base de documentos produzidos pelo prprio Ncleo.
Nome
Tipo
Disponvel em*
Unicef Evaluation Office
http://www.unicef. org/evaluation/ index_60801.html
International Organization for Collaborative Outcome Management (IOCOM)
http://www. iocomsa.org/ node/1
Desarrollo, Evaluacin & Complejidad
Blog
http://www. scoop.it/t/ albordedelcaos
Evaluacin Politicas Publicas Ncleo de Avaliao de Polticas Pblicas da Universidade do Chile (NEPP, em espanhol)
http://www. evaluacion politicaspublicas. com/evaluoteca/
Evaluateca Informacin, novedades, opiniones y comentarios crticos sobre Evaluacin
Blog
http://evaluateca. wordpress.com/
Blog com curadoria de Rafael Monterde Daz, professor na rea de gesto de projetos e diretor de programa de ps-graduao nesse tema na Universidade Politcnica de Valncia, Espanha. Disponibiliza notcias, textos, oportunidades de troca entre profissionais.
anexo
157
Agradecimentos Um grande grupo de profissionais participou ativamente da organizao do II Seminrio Internacional Avaliao para o Investimento Social Privado: Metodologias e foi fundamental para o alcance de seus objetivos. Da concepo do evento produo deste livro, queremos registrar nossos mais sinceros agradecimentos a: Aline Chagas Ana Carolina Moraes Andre Degenszajn Anna Lvia Solon Arida Antnio Ribeiro Carlos Eduardo Garrido Cludio Silva Daniel Brando Donna M. Mertens Geraldine de Arajo Silva Madelene Barbosa Martina Rillo Otero Miguel Szkely Priscila Dias Leite Thomaz Kauark Chianca Vanessa Orban Vanessa Panchieri
159
Este livro foi composto nas fontes Milo e Milo Serif e impresso em outubro de 2013 pela Corprint Grfica e Editora Ltda., sobre papel offset 90g/m2.
PARCERIA
Os mtodos dialticos [de avaliao] engajam, em um dilogo significativo, atores que aparentemente detm posies dspares, usando mltiplas estratgias dialgicas e de negociao. Em sua linha investigativa, podem incluir observao, experincia e experimentos, com a expectativa de que dados empricos mltiplos no vo convergir tipicamente em uma concluso simples, mas que fornecero divergncias que resultaro em melhor compreenso do objeto...
DONNA M. MERTENS
APOIO
ORGANIZAO
...isolar a causalidade entre determinada ao e o efeito sobre um indivduo ou grupo tarefa difcil. Os programas so aplicados em um contexto no qual uma ampla gama de foras e elementos interagem simultaneamente, e a capacidade de extrair uma resposta precisa de uma poltica especfica tambm pode ser virtualmente impossvel.
MIGUEL SZKELY
... a avaliao vai muito alm da aplicao de mtodos de pesquisa para estudar variveis relacionadas ao avaliando, normalmente as que so de medio direta, rpida e confivel. O que muitos profissionais [...] no se perguntam [...] se estas variveis so os aspectos realmente importantes a serem considerados [...]

Avaliacao Metodologias

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Avaliacao Metodologias

Hochgeladen von

Copyright:

Verfügbare Formate

Avaliao para o investimento social privado: metodologias

Avaliao para o investimento social privado: metodologias

Avaliao para o investimento social privado: metodologias

Avaliao como aprendizagem

A escolha de mtodos para fazer avaliao

Mtodos mistos de avaliao: aumentando a efetividade do investimento social privado

Vantagens e complexidades das avaliaes de impacto

Avaliaes vlidas, relevantes e teis

O uso da abordagem participativa na avaliao do Projeto Maleta Infncia

O uso de mtodos mistos na avaliao do Programa Primeirssima Infncia

Abordagens quantitativas na avaliao de impacto do Programa Jovens Urbanos

Anexo Oportunidades para atualizao e publicao na rea de avaliao

MNICA DIAS PINTO

avaliao para o investimento social privado: metodologias

Avaliao como aprendizagem

avaliao para o investimento social privado: metodologias

avaliao como aprendizagem

avaliao para o investimento social privado: metodologias

avaliao como aprendizagem

A escolha de mtodos para fazer avaliao

avaliao para o investimento social privado: metodologias

O ATO MULTIDIMENSIONAL E DINMICO DA ESCOLHA METODOLGICA

POSIES TERICAS DOS INTERESSADOS

POSIES TICO-POLTICAS NATUREZA DO OBJETO DE ESTUDO

a escolha de mtodos para fazer avaliao

avaliao para o investimento social privado: metodologias

a escolha de mtodos para fazer avaliao

avaliao para o investimento social privado: metodologias

a escolha de mtodos para fazer avaliao

avaliao para o investimento social privado: metodologias

Estudos qualitativos so mais onerosos do que estudos quantitativos.

A oferta de servios de avaliao pequena no Brasil, tornando-os onerosos.

3.5. ENQUADRE GERENCIAL

a escolha de mtodos para fazer avaliao

CICLO DE GESTO DE UM PROJETO OU PROGRAMA SOCIAL

avaliao para o investimento social privado: metodologias

a escolha de mtodos para fazer avaliao

avaliao para o investimento social privado: metodologias

Mtodos mistos de avaliao: aumentando a efetividade do investimento social privado

avaliao para o investimento social privado: metodologias

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

Fonte: Tarsilla (2013).

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

PARADIGMAS FILOSFICOS E RAMOS DA AVALIAO Paradigma Ps-positivista Construtivista Transformador Pragmtico

Ramo Mtodos Valores Justia social Uso

7.1. O PARADIGMA PS-POSITIVISTA E O RAMO DOS MTODOS NA AVALIAO

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

Fonte: adaptado de Mertens & Wilson, 2012.

O paradigma ps-positivista no mundo real: exemplos

mtodos mistos de avaliao

avaliao para o investimento social privado: metodologias

mtodos mistos de avaliao