Avaliao de Polticas Pblicas e Programas Sociais: aspectos conceituais e metodolgicos*

Marlia Ramos Resumo: O foco deste artigo so os aspectos conceituais e principalmente metodolgicos relacionados com a avaliao de polticas e programas sociais. So apresentados o desenho de uma pesquisa de avaliao; quais os procedimentos(economtricos) necessrios para que uma poltica possa ser objetivamente avaliada e quais so alguns dos recursos metodolgicos e estatsticos que so necessrios para possamos ter os resultados mais fidedignos e vlidos possveis. So descritos e explicados os principais aspectos a serem considerados no processo de avaliao de uma poltica ou programa social, quais sejam: conhecer em detalhe o programa que se quer avaliar, saber sobre seus objetivos, o formato (em termos de desenho de pesquisa, se foi um experimento ou no) e possuir uma vasta gama de informaes sobre o programa bem como sobre os atingidos por ele. Tambm devem constar no banco de dados catractersticas (heterogeneidade do universo a ser analisado) daqueles no atingidos pelo programa. Outras variveis necessrias no banco dizem respeito aos aspectos (caractersticas dos pesquisados) que influenciam a participao no programa mas que no afetam diretamente os resultados do programa. Outro aspecto seria a identificao de possveis fontes de visess: o fato dos grupos (atingidos e no atingidos pela poltica) no serem comparveis Neste caso a seleo cuidadosa do grupo comparativo (no atingido pela poltica) pode eliminar aquele vis, e esta seleo pressupe a escolha do grupo comparativo (contrafactual) com a mesma distribuio de caractersticas observveis que o grupo tratado (atingido pela poltica).Dentre os mtodos para lidar com o vis da falta de comparabilidade dos grupos trs solues so apresentadas, atravs de exemplos concretos, neste artigo: a tcnica da diferena na diferena, a tcnica do escore propenso para pareamento (propensity score matching) e por fim apresentamos o procedimento que utiliza variveis instrumentais.

Trabalho apresentado no XVI Encontro Nacional de Estudos Populacionais, ABEP, realizado em Caxamb- MG Brasil, de 29 de setembro a 03 de outubro de 2008

PhD em Sociologia pela Purdue University, EUA. Ps-doutora em Mtodos Quantitativos e Avaliao de Polticas Pblicas pela Universidade do Texas, EUA. Professora e Pesquisadora do Programa de Mestrado e Doutorado em Desenvolvimento Regional da Universidade de Santa Cruz do Sul.

2 Introduo O presente artigo visa discutir aspectos conceituais e principalmente metodolgicos relacionados com a avaliao de polticas e programas sociais. Num primeiro momento so discutidas questes relacionadas com os objetivos e a necessidade de avaliao, logo em seguida enfatizado um conjunto de procedimentos metodolgicos relacionados com tcnicas do processo de avaliao. Cabe destacar que no visamos aqui julgar ou apontar estratgias de avaliao de polticas ou programas sociais no sentido de definir a melhor tcnica ou a mais correta. Visamos basicamente apontar e discutir as condies necessrias para a aplicao de tcnicas de avaliao bem como os pontos fortes e as limitaes de algumas delas. Ressaltamos que o foco aqui ser a avaliao dos resultados da aplicao de uma poltica ou programa social, em termos de um ou muitos indicadores, sendo que no o foco deste artigo a discusso sobre uma parte da avaliao que prioriza a opinio e avaliao dos atingidos por aquelas formas de interveno na realidade social. No negamos a importncia de ouvirmos aqueles diretamente atingidos, apenas tomamos como foco aspectos concernentes avaliao tcnica de resultados. importante deixar claro, que estamos tratando da avaliao formal, a qual consiste no exame sistemtico de certos objetos, baseado em procedimentos cientficos de coleta e anlise de informao sobre o contedo, estrutura, processo, resultados e/ou impactos de polticas, programas, projetos ou quaisquer intervenes planejadas na realidade (Rua, 2000). As definies de avaliao so muitas, mas um aspecto consensual a sua caracterstica de atribuio de valor. A deciso de aplicar recursos em uma ao pblica sugere o reconhecimento do valor de seus objetivos pela sociedade, sendo assim, sua avaliao deve verificar o cumprimento de objetivos e validar continuamente o valor social incorporado ao cumprimento desses objetivos (Mokate, 2002). Alm de ser til para medir a eficcia da gesto pblica, a avaliao decisiva tambm para o processo de aprendizagem institucional e tambm contribui para a busca e obteno de ganhos das aes governamentais em termos de satisfao dos usurios e de legitimidade social e poltica. Por essas e outras razes, tem sido ressaltada a importncia dos processos de avaliao para a reforma das polticas pblicas, modernizao e democratizao da gesto pblica. No Brasil, a importncia da avaliao das polticas pblicas reconhecida em documentos oficiais e cientficos, mas esse reconhecimento formal ainda no se traduz, em algumas regies do Brasil, em processos de avaliao sistemticos e consistentes que subsidiem a gesto pblica (Hartz et Pouvourville, 1998). Especificamente observa-se a proliferao de pesquisas, denominadas de avaliao, as quais no se utilizam de tcnicas objetivas de avaliao e ficam restritas opinio dos sujeitos participantes, ou seja, a viso subjetiva dos atingidos diretamente pela referida poltica. Assim sendo, visando complementar os estudos que j existem sobre avaliao, apresentamos neste artigo em que consiste um desenho de pesquisa de avaliao; quais os procedimentos necessrios para que uma poltica possa ser objetivamente avaliada e quais so alguns dos recursos metodolgicos e estatsticos que so necessrios para possamos ter os resultados mais fidedignos e vlidos possveis.

1-O problema da avaliao e as solues alternativas: a questo da necessidade de comparao

Quando pensamos em avaliar uma determinada poltica ou um programa social especfico devemos ter claro que as condies para a avaliao j devem estar presentes desde o processo de formulao da referida poltica/programa. Isto porque precisamos ter informaes sobre as condies dos grupos (ou regies, ou instituies, ou qualquer outra unidade de anlise) antes da poltica/programa ter sido implantado(a). Sem esta informao se torna praticamente invivel pensarmos em qualquer tipo de avaliao. Assim sendo tomamos a possibilidade de acessarmos informaes, referentes ao resultado que estamos buscando com as referidas polticas, antes das mesmas terem sido implementadas e aps sua realizao como um dos requisitos primeiros para a possibilidade de avaliarmos alguma poltica ou programa social. Estes dois momentos no tempo (o antes e o depois) so essenciais, pois sem eles no temos como identificar possveis mudanas que possam ter ocorrido em funo daquela interveno. Um outro pr-requisito crucial em desenhos de avaliao diz respeito necessidade de um grupo comparativo. Aqui entramos numa das mais complexas discusses presentes no processo de delineamento de uma pesquisa de avaliao. Basicamente, como o leitor j deve ter podido se dar conta, o desenho de uma pesquisa de avaliao se baseia nas diretrizes de uma pesquisa de carter experimental, onde informaes antes e depois do tratamento so necessrias, bem como a necessidade de pelo menos 2 grupos: o que recebe o tratamento (grupo experimental ou, no nosso caso, que foi atingido pela poltica/programa social) e grupo de controle (aquele que no recebe ou no caso no foi atingido pela poltica/programa social). Idealmente falando, o mais correto seria que pudssemos comparar o mesmo grupo (ou sujeitos, instituies, regies) fazendo parte de uma poltica/programa social e ele mesmo sem ter feito parte. Isto , o ideal seria ter na pesquisa o sujeito atingido e seu clone exato. Como isso no possvel, um dos pontos mais delicados do desenho de avaliao diz respeito tentativa de encontramos o grupo comparativo ou, como se chama na literatura sobre avaliao, o contra-factual. Cabe retomar aqui de forma breve a explicao metodolgica para a necessidade de um grupo comparativo, para deixar claro porque no podemos somente trabalhar com informaes referentes ao grupo tratado (que alvo de uma determinada poltica ou programa social) antes e depois do tratamento. Especificamente, quando estamos tentando verificar o impacto de uma poltica/programa social, estamos lidando com relaes de causa e efeito. O que queremos poder identificar o impacto daquele programa/poltica em alguma dimenso da vida econmica, social ou poltica (resultados esperados). por isso que a lgica por trs das pesquisas de avaliao est inserida na lgica dos experimentos, ainda que nem sempre a aplicao polticas/programas sociais seja feita de forma experimental. Neste caso retomamos a discusso, presente na literatura na rea metodolgica sobre a necessidade do grupo controle. Se analisamos somente o grupo de tratamento (no nosso caso os atingidos pela poltica/programa social), antes e depois teremos muita dificuldade de separar o impacto daquele programa/poltica do efeito de outros aspectos que interferem no resultado que est sendo investigado. Este aspecto diz respeito questo da validade interna da pesquisa. Especificamente devemos isolar, controlar, tudo aquilo que poderia afetar o resultado, mas que no diz respeito o tratamento que estamos querendo avaliar. Por exemplo, se dizemos que um curso de redao melhora as habilidades de redao dos alunos iniciantes na universidade, devemos demonstrar que no foram outras causas atravs do tempo que melhoraram tal habilidade como, por exemplo, o fato deles terem se tornado mais velhos e maduros.

4 Podemos citar aqui algumas variveis que podem afetar os resultados da aplicao de algum tratamento e que podem atrapalhar nossa avaliao se no as considerarmos: 1- Histria: existem experincias nicas que os sujeitos tm entre os momentos da pesquisa (antes e aps o tratamento). Estas experincias podem afetar as respostas dos sujeitos. 2- Maturao: Mudanas que ocorrem naturalmente, dada a passagem do tempo. Por exemplo, quanto mais tempo leva um estudo existem mais chances dos sujeitos envolvidos ficarem cansados ou chateados, mais ou menos motivados. Ou sujeitos podem ter envelhecido e por isso suas respostas mudaram. 3-Teste: Muitos experimentos realizam um pr-teste com os sujeitos para saberem em que nvel eles esto. Uma conseqncia que este pr-teste pode contaminar as respostas futuras ao teste aps o tratamento recebido. 4-Instrumentao: Mudar os mtodos de medida (ou a maneira de administr-los) pode afetar o que est sendo medido. Por exemplo: se sujeitos humanos so os observadores, pode ser que julgamento do observador tenha mudado atravs do tempo e no a performance dos pesquisados. 5-Regresso em direo mdia: Quando os sujeitos participantes de um estudo so escolhidos porque eles apresentam escores em alguma varivel, muito altos ou muito baixos. Ao re-testar este sujeitos as mdias daqueles com altos escores somente podero baixar e daqueles com baixos tendero a subir.O escore maior pode apenas diminuir e o escore mais baixo apenas aumentar. 6-Seleo: Os grupos devem ser comparveis. O que garante isso nos experimentos a aleatoriedade (nem sempre possvel). 7-Mortalidade: Quando sujeitos saem do estudo. Se por exemplo um grupo de comparao tem um alto nvel de sujeitos que saram fora do experimento ou morreram, em comparao com o outro grupo, as diferenas observadas entre os grupos so questionveis. Isto muito comum em estudos atravs do tempo. Assim sendo o grupo controle, ou no caso das pesquisas de avaliao, o contrafactual, essencial nas pesquisas sobre causas e efeitos (no nosso caso, impacto). Experimentos sociais se constituem no mtodo mais adequado para estimarmos o impacto de programas ou polticas sociais. O desenho experimental aplicado s cincias sociais resolve o problema da avaliao pelo processo aleatrio de designao de quem receber ou no a interveno (poltica). A partir de um conjunto de potenciais participantes alguns so aleatoriamente selecionados para receber o tratamento, grupo tratamento e outros para no receber, grupo controle. O resultado para o grupo controle o contrafactual; este permite identificar o resultado no estado no tratado. O elemento chave a aleatoriedade das unidades dentro e fora do tratamento de forma que os resultados se tornam independentes da seleo ao tratamento. Isto , a seleo para receber ou no o tratamento independente de qualquer caracterstica especfica, observada ou no, que os grupos possam ter, e isso garante o bloqueio de possveis vieses de seleo quando comparamos o resultado observado entre grupo tratamento e grupo controle. Entretanto, os experimentos sociais no so sempre possveis de serem realizados por uma srie de razes tais como os custos polticos e monetrios, a inabilidade de realizar experimentos em desenho universais de polticas (onde a poltica ou programa no tem um pblico alvo, mas vale para todos) e porque o uso de grupos de controle pode levantar discusses ticas. Consequentemente, o teste da fidedignidade de um no experimento uma questo central na literatura sobre avaliao. Mtodos no experimentais tipicamente

5 permitem identificar os impactos impondo pressupostos no testveis; experimentos aleatrios, quando possveis, podem ser usados para se acessar a validade daqueles pressupostos e a performance de tcnicas alternativas de avaliao. Um dos maiores desafios na tentativa de se estimar intervenes de polticas sociais, apresentados na literatura sobre avaliao, medir o resultado de interesse utilizando-se um contra-factual. Dado que os possveis resultados no podem ser observados atravs de uma nica unidade de observao (por exemplo, um mesmo sujeito ter participado e no ter participado), a essncia da estratgia de identificao seria identificar os resultados num contrafactual. Os experimentos sociais, onde o um grupo de unidades elegveis (indivduos, domiclios, localidades etc) so aleatoriamente excludos do tratamento ou interveno, proporcionam a estimativa mais clara do resultado no contrafactual e tm sido a referncia para se avaliar polticas de interveno social. Experimentos aleatrios no so uma panacia; eles podem prover um estimador do impacto bastante consistente, quando no h vis por desistncia de participantes ou por substituio dos mesmos. Para ilustrarmos a importncia da aleatoriedade na seleo dos grupos na pesquisa de avaliao podemos citar o seguinte exemplo: suponhamos que queremos avaliar o impacto de programas de qualificao profissional (por exemplo, cursos profissionalizantes) na empregabilidade. Se os participantes do curso no forem selecionados aleatoriamente entre um grupo de desempregados, mas decidirem por n razes procurar o referido curso, pode ser que aqueles que procuraram sejam pessoas com caractersticas especiais, as quais afetariam sua capacidade de conseguir um emprego e a no conseguiremos isolar o efeito especfico do curso na probabilidade de conseguirem um emprego. Assim sendo, a aleatoriedade garantiria que teramos, entre aqueles que participaram do curso e aqueles que no participaram, indivduos com caractersticas equivalentes. Contudo, uma limitao dos experimentos que eles podem ser muito custosos para serem implementados e tambm podem privar certos grupos de receber certos benefcios, o que traz a tona questes de ordem tica. Entretanto, quando aplicados corretamente, o consenso entre os pesquisadores de que este mtodo produz estimadores mais acurados para se avaliar o impacto de programas. Quando os experimentos no so possveis, os pesquisadores tm de se basear em mtodos no experimentais para lidar com problemas de vis de seleo na estimativa dos impactos dos programas. Muitos modelos estatsticos e economtricos tm sido desenvolvidos para controlar variveis de confundimento (efeitos misturados) e aspectos relacionados com a seletividade. Estas tcnicas requerem a imposio de certos pressupostos, os quais no so testveis, apesar de muitas de suas implicaes possam ser, e podem ou no ser viveis com dados disponveis. Mtodos no experimentais podem produzir vieses de auto-seleo por causa das diferenas nas fontes e qualidade dos dados. Infelizmente, os pesquisadores raramente tm a oportunidade de tornar aleatrias variveis tais como o desempenho educacional, a imigrao, ou salrio mnimo por exemplo. Muitos pesquisadores precisam confiar em estudos que geralmente falham em produzir a mesma fora de evidncia de um experimento aleatrio (ANGRIST & KRUEGER, 1998). Alguns estudos, baseados em mtodos quase-experimentais, trazem dvidas quanto credibilidade da pesquisa emprica na economia. Isto ocorre porque praticamente impossvel controlar adequadamente todas as variveis relevantes.

6 A partir destas consideraes um aspecto importante seria verificar, quando possvel, se mtodos no experimentais so bons substitutos para os experimentos aleatrios. 2-Seleo aleatria dos grupos de tratamento (recebedor da poltica ou programa social) e controle Quando a aplicao de uma determinada poltica/programa social diz respeito a um projeto onde os autores da poltica definem quem participa e quem no participa, isto , quando os executores decidem, tal como em experimentos clssicos, quem ser o alvo e quem no, o critrio primeiro para garantir a construo de um grupo controle (contrafactual) o mais parecido possvel com o grupo tratamento deve ser a aleatoriedade. A anlise causal, e portanto, no caso do impacto de uma poltica ou programa social, est inserida em um problema que, segundo MOFFITT (2003a), baseado na noo fundamental do contra-factual de uma unidade de anlise, como o indivduo, o estado ou o pas. Esta noo torna-se clara ao considerar a seguinte situao: o indivduo i tem dois possveis resultados, Y1i e Y0i, em que Y1i o resultado se o indivduo experimenta um evento particular ou toma uma determinada deciso, e Y0i o resultado caso ele no experimente o evento, mantendo o resto constante. A diferena entre os dois (Y1i - Y01) o efeito causal do evento ou da ao. Somente um dos resultados pode ser observado, j que o indivduo no pode fazer duas coisas ao mesmo tempo. O resultado do grupo que no recebeu o tratamento chamado de contra-factual (MOFFITT, 2003a). Autores como ANGRIST & KRUEGER (1998), concordam que o maior desafio da pesquisa emprica, e no nosso caso na avaliao de uma poltica/programa social, envolve afirmaes sobre respostas contra-factuais (what if). Diferentes esferas, como o indivduo ou o governo, gostariam de saber qual resposta poderia ser observada se a varivel fosse manipulada de outra maneira. Na prtica, no sempre claro definir o mundo contra-factual. Na prtica, o pesquisador pode aprender mais sobre os resultados contra-factuais se ele considerar o experimento aleatrio. Em muitas pesquisas, principalmente na rea mdica, acredita-se que a melhor evidncia sobre o resultado contra-factual observada a partir de um experimento aleatrio. A falta deste uma das principais razes porque a pesquisa economtrica sempre convence menos do que a pesquisa em outras cincias mais experimentais (ANGRIST & KRUEGER, 1998). Outros autores, como ROSENZWEIG & WOLPIN (2000), tambm salientam a importncia da realizao de experimentos aleatrios, que, junto com outras suposies adicionais, produzem estimativas de interesse geral na economia. Assim sendo, conforme j mencionado acima, existem algumas tcnicas especficas, que contribuem para que, na impossibilidade da seleo aleatria daqueles que sero atingidos por uma poltica ou programa social, possamos garantir a comparabilidade. Apresentamos a seguir algumas destas tcnicas. 3-O procedimento da diferena na diferena A estratgia chamada de diferena na diferena utiliza dados em painel (atravs do tempo), aplicados para um conjunto de grupos, nos casos em que alguns desses esto expostos a variveis causais de interesse e outros no. Um importante componente desta estratgia a escolha de variveis para fazer comparaes e responder a questes contra-factuais (ANGRIST & KRUEGER, 1998).

7 Esta tcnica se utiliza de informaes sobre os participantes e no participantes, coletadas antes da aplicao da poltica ou programa social comparadas com aquelas mesmas informaes coletadas aps a aplicao da interveno. Basicamente se subtrai as duas diferenas (antes e depois e tratamento e controle) ou se usa, numa anlise de regresso, uma varivel dicotmica para participantes (=1) e outra para o momento posterior interveno (= 1). Da interao entre as duas temos a varivel que nos dar o efeito do programa. Tomamos como exemplo um programa de educao remediatria que foi aplicado entre 1994 e 2001 na ndia (Mumbai e Vadadora), chamado Programa Balsakhi. Este programa visava melhorar a performance de alguns estudantes com dificuldades em matemtica e nas habilidades para leitura. Para tanto foram selecionados aleatoriamente, entre escolas e estudantes com dificuldades, aquelas que iriam participar do programa e aquelas que no iriam. O Programa Balsakhi se constitua na contratao de tutores (os balsakhis) que iriam fornecer, quelas escolas e crianas selecionadas, aulas extras de matemtica e leitura. A equao a seguir ilustra, matematicamente, como podemos identificar o impacto do programa exemplificado acima nas notas das crianas nas escolas participantes em comparao com aquelas escolas no participantes. Tomemos a equao: Y= 0 + 1+ 2+ 3 Onde: Y= Diferena nos Escores nos testes (notas aps menos notas antes) 1 = ano posterior ao programa (=1) 2= participou do programa (=1) 3= interao ano * participou. Para identificarmos a diferena na diferena substitumos os valores nas variveis dicotmicas como mostra o esquema a seguir. O valor estimado do Y para os quatro grupos representados nas linhas e colunas da tabela abaixo podem ser calculados pela soma dos s, notando que vrios deles so iguais a zero. Participante Antes Aps Diferena 0 + 2 0 + 1 + 2 + 3 1 + 3 No participante 0 0 + 1 1 Diferena 2 2 + 3 3

Podemos observar no esquema acima que o 3 indica a diferena na diferena. Concretamente quando colocamos as informaes do projeto exemplificado acima numa planilha estatstica e efetuamos a anlise de regresso obtemos os resultados a seguir:

Source | SS df MS -------------+-----------------------------Model | 2796447,76 3 932149.255

Number of obs = 24208 F( 3, 24204) = 1986.70 Prob > F = 0.0000

8
Residual | 11356418,4 24204 469,195934 -------------+-----------------------------Total | 14152866.2 24207 584.660063 R-squared = Adj R-squared = Root MSE = 0.1976 0.1975 21.661

-----------------------------------------------------------------------------Teste(y) | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------aps | 18,19565 ,397692 45,75 0,000 17,41615 18,97515 participante | ,7492239 ,3892857 1,92 0,054 -,0138002 1,512248 partic*aps | 5,574539 ,5571308 10,01 0,000 4,482528 6,666549 _cons | 25,40569 ,277887 91,42 0,000 24,86102 25,95037 ------------------------------------------------------------------------------

Se substituirmos e somarmos os valores encontrados nos coeficientes de regresso calculados e fornecidos pelo software obtemos o esquema abaixo: Participantes Antes Aps Diferena 26,16 49,92 23,76 No participantes 25,41 43,61 18,20 Diferena 0,75 6,32 5,57

Note que os valores encontrados dizem respeito aos resultados do clculo da estimativa de Y, por exemplo: o valor 26,16 foi obtido somando os coeficientes 0 e 2, porque os demais ficam igual a zero j que neste caso estamos lidando com o perodo antes (1=0) e assim sendo o coeficiente 3 fica tambm igual a zero (0 * 1). Podemos observar que, levando-se em conta que as escolas participantes e no participantes foram aleatoriamente selecionadas espervamos que as diferenas entre participantes e no participantes, antes da realizao do programa, fossem estatisticamente no significativas como ilustra o coeficiente 2. Entretanto, a diferena apareceu como marginalmente significativa (P=0,054),o que indica que havia diferenas entre os grupos antes do programa ter sido implantado. Cabe destacar que sempre que encontrarmos diferenas significativas entre os grupos antes do programa ser implantado, devemos pensar em acrescentar controles em nossos modelos ou nos utilizarmos de tcnicas de pareamento tais como escore de propenso para pareamento, o qual ser discutido na sesso seguinte, para tornarmos os grupos comparveis. A diferena entre os resultados dos testes antes e depois do programa no grupo das escolas participantes 23,76 e se manifestou estatisticamente significativa (P=0,000). A diferena entre o momento antes do programa e depois no grupo das escolas no participantes 18,20 . A diferena entre participantes e no participantes aps o programa 6,32 e estatisticamente significativa. Isto acontece na medida em que, apesar das mdias das notas dos alunos de ambos os grupos terem crescido aps o programa, o crescimento foi maior no grupo das escolas participantes. Entretanto, para verificarmos o impacto do programa temos de olhar para a diferena na diferena, a qual foi igual a 5,57 e estatisticamente significativa, indicando que o programa teve um impacto nas notas dos alunos das escolas participantes. Cabem aqui duas observaes finais relacionadas com a tcnica da diferena na diferena. Uma delas que esta tcnica pode ser substituda por um simples teste de diferena de mdias entre participantes e no participantes, onde a varivel testada (dependente) seria a diferena de mdias entre os dois momentos no tempo entre os 8

9 participantes e no participantes. Se fizermos isso e compararmos os resultados obteremos um valor idntico obtido no teste t e o valor do coeficiente que indica a diferena na diferena na diferena (no exemplo acima o 3). pertinente salientar que somente obteremos estes mesmos resultados nas diferenas em ambos os procedimentos quando tivermos exatamente os mesmos sujeitos (grupos) antes e depois do programa. No caso do exemplo do Projeto Balsakhi os mesmos estudantes e escolas em ambos os grupos (participantes e no participantes) foram observados antes e depois. 4-Escore de propenso para pareamento (Propensity score matching) Esta tcnica visa encontrar um grupo unidades comparveis entre no participantes e participantes de alguma interveno. Basicamente ela utilizada quando os grupos (participantes e no participantes de um programa ou poltica social) no foram selecionados aleatoriamente e por isso pode haver algum vis nos resultados dado o fato da possibilidade de incomparabilidade dos grupos. Esta tcnica consiste em identificar unidades no tratadas que sejam similares as unidades tratadas e comparar as mdias no resultado procurado entre estes dois grupos para identificar o impacto do tratamento (programa). A tcnica do pareamento baseado no escore de propenso a participar considera que a seleo se d por caractersticas observveis. Os procedimentos de pareamento so implementados utilizando-se um escore balanceado, computado a partir de um modelo de regresso logstica onde a varivel dependente seria 1=participou e 0= no participou. Especificamente usamos o logaritmo das chances de participar (log odds). Ns estimamos um modelo logit utilizando todas as variveis observadas como preditoras para obtermos a probabilidade predita e computar a razo das chances (log odds ratio) para cada observao na amostra do grupo controle e do grupo tratamento. Basicamente o procedimento desta tcnica testa se os escores de propenso a participar, tendo como variveis independentes algumas caractersticas observadas, so estatisticamente os mesmos no grupo controle e tratamento. Se no forem, o processo continua, com a retirada de unidades que esto mais distantes, at que tenhamos um balano nas observaes. Uma vez que haja certo balano, isto , as unidades estejam comparveis, podemos efetuar o teste de diferena de mdias, da nossa varivel que refere ao resultado do programa que estamos querendo estimar, entre o grupo controle e o tratamento. Um conceito importante dentro desta tcnica a idia de um suporte comum, o qual se constitui na regio onde o balano dos escores de propenso, entre os grupos controle e tratamento, se apresenta. Esta regio de suporte comum obtida a partir do descarte daqueles casos que estiverem muito abaixo ou muito acima da mdia dos escores. Entretanto, este procedimento de descarte dos casos que estiverem fora da regio de suporte comum pode causar alguns problemas tais como: bons pares podem ser perdidos prximo aos limites da regio de suporte comum e a excluso de casos pode mudar os parmetros a serem estimados (reduo do tamanho da amostra). Em funo do fato de que esta tcnica se baseia nas caractersticas observveis, ele apresenta certa limitao no que diz respeito s caractersticas no observadas que podem estar na base de processos de seletividade na. Contudo, a literatura sobre esta tcnica (Heckman, Ichimura and Todd, 1997, 1998 e Heckman, Ichimura, Smith and Todd,1998) enfatiza que uma estratgia de avaliao que consegue controlar rigorosamente pelas caractersticas observadas e que consegue informaes sobre o

10 grupo controle e o tratamento de forma semelhante pode permitir estimadores confiveis do impacto de um programa. Como exemplo do uso do escore de propenso para pareamento podemos citar a pesquisa de avaliao do Programa Nacional de Suporte ao Trabalho, desenvolvido em meados dos anos 70 nos EUA para oferecer experincia de trabalho a trabalhadores que estivessem enfrentando problemas econmicos e sociais. Aqueles aleatoriamente designados participar do programa participaram de treinamento em restaurantes e na construo civil. As informaes relacionadas com o perodo anterior ao programa (ganhos, educao, estado civil e raa) foram medidas atravs de enquetes e de arquivos da administrao pblica. Em que pese o fato dos candidatos terem sido aleatoriamente selecionados, o fato da avaliao ter sido feita num perodo de 2 anos fez com que aqueles que entraram cedo no programa pudessem, ter caractersticas diferentes daqueles que entraram mais tarde. Alm disso no havia informao sobre se os particpantes e no participantes haviam estado no mercado de trabalho antes do program, assim sendo a varivel de interesse, a renda em 1978, poderia ser afetada caso tivessem sido empregados antes do programa. Ento, havia a necessidade do procedimento de pareamento, a partir das caractersticas observadas antes do tratamento. O que exatamente este procedimento faz calcular a propenso (probabilidade) a participar baseado em caractersticas observveis, aps feito o clculo do valor estimado (y) na equao para todos os sujeitos (participantes e no participantes), isto , baseado nos coefieicntes da regresso logstica soma-se as caractersticas de cada indivduo (multiplicando-se pelo valor dos coeficientes da regresso) e cada indivduo ter um valor de y diferente (um escore). Ressaltamos que para cada indivduo no grupo participante do programa o pesquisador quer encontrar o indivduo no grupo controle (no participante) que apresenta o escore de propenso mais prximo (medido pela diferena absoluta entre os escores). Este procedimento se chama vizinho mais prximo (nearest neighbor). Aps este procedimento no h mais necessidade uma anlise de regresso com variveis de controle, basta fazer um teste de diferena de mdias do resultado que estamos querendo observar. Apresentamos a seguir a ilustrao, a partir do output fornecido pelo software estatstico Stata, do clculo do escore de propenso e do resultado da diferena nos ganhos entre o grupo tratamento e controle na avaliao do impacto do Programa Nacional de Suporte ao Trabalho nos ganhos dos participantes em 1978.

Regresso Logstica

Log likelihood = -292.12772

Number of obs LR chi2(10) Prob > chi2 Pseudo R2

= = = =

445 19.94 0.0298 0.0330

10

11

-----------------------------------------------------------------------------Participao Progr.Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------ida | .0082756 .0145206 0.57 0.569 -.0201842 .0367355 educ | -.0828202 .072303 -1.15 0.252 -.2245314 .058891 negro | -.2215734 .3684377 -0.60 0.548 -.943698 .5005513 hisp | -.8556853 .5127832 -1.67 0.095 -1.860722 .1493513 casado | .196035 .2783724 0.70 0.481 -.3495648 .7416348 s/curso sup | -.8980952 .3145636 -2.86 0.004 -1.514629 -.2815618 renda 1974 | -.0000447 .0000301 -1.48 0.138 -.0001037 .0000143 taxa des 1974| -.1927101 .376494 -0.51 0.609 -.9306248 .5452045 renda 1975 | .0000292 .0000479 0.61 0.541 -.0000646 .0001231 taxa des.1975| -.3368532 .3213219 -1.05 0.294 -.9666325 .2929262 _cons | 1.622268 1.101926 1.47 0.141 -.5374665 3.782002 -----------------------------------------------------------------------------Matching Method = kernel Metric = pscore -----------------------------------------------------------------------------Variable Sample | Treated Controls Difference ----------------------------+------------------------------------------------Renda aps o Programa No pareados | 6349.14537 4554.80229 1794.34308 Pareados| 6336.15652 4443.92743 1892.2291 ----------------------------+-------------------------------------------------

Observamos que as diferenas nas rendas entre o grupo tratamento e o controle, aps o tratamento, bem menor quando no utilizamos o procedimento do pareamento. Especifiamente esta diferena de 1.794, 34 dolares antes do pareamento e de 1.892,22 dlares aps o pareamento. O grfico abaixo ilustra a regio de suporte comum entre os grupos controle e tratamento. As observaes nos cantos extremos so aquelas que esto fora da regio de suporte comum.

.2

.4 Propensity Score

.6 Treated: On support

.8

Untreated Treated: Off support

Observando a tabela a seguir podemos ver as diferenas nas variveis observadas entre grupo tratamento e controle sem o pareamento e com o pareamento. Podemos observar que em todas as variveis observadas, aps o pareamento, no existe diferena estatisticamente significativa entre o grupo controle e o tratamento.

11

12
Tabela 1 Caracteristicas antes do programa, grupo de controle e de tratamento ---------------------------------------------------------------------------| Mean %reduct | t-test Variable Sample | Treated Control %bias |bias| | t p>|t| ------------------------+----------------------------------+---------------T No pareados | 1 0 . | . . Pareados| 1 0 . . | . . | | idade No pareados| 25.816 25.054 10.7 | 1.12 0.265 Pareados| 25.809 25.75 0.8 92.3 | 0.08 0.934 | | Educ No pareados | 10.346 10.088 14.1 | 1.50 0.135 Pareados| 10.328 10.392 -3.5 75.1 | -0.34 0.731 | | Negro No pareados | .84324 .82692 4.4 | 0.45 0.649 Pareados| .85246 .86475 -3.3 24.7 | -0.36 0.720 | | hisp No Pareados | .05946 .10769 -17.5 | -1.78 0.076 Pareados| .06011 .05464 2.0 88.7 | 0.24 0.811 | | Casado No pareados | .18919 .15385 9.4 | 0.98 0.327 Pareados| .19126 .18852 0.7 92.3 | 0.07 0.944 | | s/cursosup No pareados | .70811 .83462 -30.4 | -3.22 0.001 Pareados| .71585 .70628 2.3 92.4 | 0.21 0.830 | | Renda 1974 No pareados | 2095.6 2107 -0.2 | -0.02 0.982 Pareados| 2081.5 1899.1 3.4 -1493.1 | 0.39 0.697 | | u74 No pareados | .70811 .75 -9.4 | -0.98 0.326 Pareados| .71038 .73361 -5.2 44.6 | -0.53 0.599 | | Renda 1975 No pareados | 1532.1 1266.9 8.4 | 0.87 0.382 Pareados| 1488.3 1542.7 -1.7 79.5 | -0.17 0.867 | | u75 No Pareados | .6 .68462 -17.7 | -1.85 0.065 Pareados| .60656 .63525 -6.0 66.1 | -0.60 0.548 | | ----------------------------------------------------------------------------

5-Variveis Instrumentais sempre desejvel procurar situaes, quando trabalhamos com anlise de regresso mltipla, nas quais seja razovel supor que as variveis omitidas no sejam correlacionadas com as variveis de interesse. Tais situaes podem surgir se o pesquisador supe aleatoriedade ou alguma situao prxima desta. Na economia, estas situaes no so facilmente percebidas, o que torna alguns estudiosos cticos ou pessimistas em relao pesquisa econmica emprica (ANGRIST & KRUEGER, 1998). Apesar disso, evidncias sobre as relaes causais so possveis de ser captadas. Alguns estudos tentam controlar as diferenas observadas a partir de tcnicas de regresso, usando comparaes pr-ps da mesma unidade observada para reduzir o vis das diferenas no-observadas, e usando variveis instrumentais como uma fonte de variao quase-experimental. Estes so exemplos de tentativas em esclarecer uma relao causal. O caminho aleatrio forma uma referncia conceitual na avaliao do sucesso ou fracasso de estudos que utilizam estas idias, mesmo sabendo que impossvel, ou pelo menos impraticvel, estudar algumas questes usando a idia de aleatrio (ANGRIST & KRUEGER, 1998). Um importante pressuposto sobre o efeito causal que ele deve ser diferente entre os indivduos, o que implica que somente o efeito causal mdio pode ser estimado. 12

13 De acordo com GUJARATI (2000), variveis endgenas so aquelas cujos valores so determinados dentro do modelo, enquanto que as exgenas ou prdeterminadas so aquelas cujos valores so determinados fora do modelo. Este autor tambm salienta que responsabilidade do pesquisador especificar quais variveis so endgenas e quais so exgenas. A varivel-resposta, Yi, afetada por caractersticas observveis e por noobservveis (imensurveis). O problema de endogeneidade surge porque o evento (ou ao) tambm afetado por caractersticas imensurveis. Isto ocorre porque no possvel explicar totalmente os determinantes ou os motivos que levam um indivduo a tomar uma deciso ou ter alguma experincia, enquanto outros no (por exemplo, alguns fumam, estudam, se casam, enquanto outros indivduos no). Se estas caractersticas no-observveis so correlacionadas com as no-observveis que afetam a varivel-resposta, uma correlao espria ser estabelecida entre o evento (ou a ao) e a varivel-resposta Yi (MOFFITT, 2003a). Um ponto bsico na literatura sobre o efeito causal, que este no pode ser estimado sem algum tipo de hiptese ou restrio, a princpio, devido a inerente noobservao do resultado contrafactual. A maioria dos problemas causais importantes na pesquisa econmica e na populacional surge quando a varivel que afeta Yi endgena, o que equivale a dizer que os valores da varivel podem se diferenciar de maneiras noobservadas. Este problema produz uma estimativa incorreta do efeito causal em Yi, correspondendo assim, a um coeficiente de regresso no-ajustado. Isto significa que hipteses ou estratgias de identificao devem ser feitas (MOFFITT, 2003a). 5.1 Estratgias de identificao para relaes causais Segundo GUJARATI (2000), o problema de identificao surge porque diferentes conjuntos de coeficientes estruturais podem ser compatveis com o mesmo conjunto de dados (p. 663). A estratgia de identificao a combinao entre a variao identificada (rotulada) em uma varivel causal, e o uso de uma tcnica economtrica particular que explora esta informao. Algumas estratgias de identificao podem ser mencionadas como, por exemplo, o controle por variveis de confundimento, por variveis instrumentais, pelo experimento natural, entre outras. Uma estratgia simples o controle por variveis de confundimento. A associao entre duas variveis pode estar sendo afetada por caractersticas que confundem a existncia de uma possvel relao causal. A associao positiva entre educao e renda um exemplo disto. observado, por exemplo, que indivduos com mais educao parecem ter outras caractersticas como, pais mais ricos ou maior habilidade. A estratgia mais comum de identificao na educao (e na economia em geral) a tentativa de reduzir o vis que surge a partir de comparaes simples (ou ingnuas). Para tanto, so utilizadas regresses para controlar variveis que so confundidas com a educao. Por exemplo, a habilidade do indivduo pode ser um dos principais determinantes do desempenho educacional. O controle desta varivel, assim como de outras como o background, pode diminuir a magnitude do coeficiente de

Por exemplo, considere a relao entre a me fumante e o peso do filho ao nascer. Se alm de fumante, uma me tambm tem desvantagens em seu background, que no podem ser medidas, e que levam a um baixo peso ao nascer de seu filho, poder ser observado uma correlao negativa entre mes fumantes e o peso do filho ao nascer, no (somente) devido ao ato de fumar por si s. Mes fumantes poderiam ter filhos com baixo peso, mesmo se no fumassem.

13

14 educao na regresso, implicando que parte da associao entre educao e renda pode ser atribuda a outras variveis, e no s a educao (ANGRIST & KRUEGER, 1998). Um problema pode surgir quando se controla atravs da regresso. necessrio saber se as estimativas so realmente sensveis incluso de variveis-controle adicionais. Por exemplo, o impacto negativo da habilidade do indivduo no coeficiente de educao pode ser eliminado ou mesmo revertido, se so considerados dois fatores: erro de mensurao no regressor de interesse e o uso de uma varivel endgena para servir de proxy para a habilidade. Tais problemas levam a busca de outros mtodos de estimao. Algumas estratgias de identificao so baseadas em variveis instrumentais. Estas podem ser tratadas como uma variao exgena para a aproximao de um teste aleatrio. O mtodo utilizando variveis instrumentais pode eliminar o vis de endogeneidade, ao encontrar uma varivel que seja correlacionada com o regressor e no com a varivel-resposta (ANGRIST & KRUEGER, 1998). Da mesma forma, GUJARATI (2000) confirma que varivel instrumental uma proxy para varivel explicativa estocstica, que embora deva ser altamente correlacionada com esta varivel, no pode ser relacionada com a perturbao estocstica (termo do erro). Ao encontrar uma proxy para o regressor endgeno, pode-se aplicar diretamente o mtodo dos mnimos quadrados ordinrios (MQO). Uma maneira de se empregar uma varivel instrumental a partir do mtodo de mnimos quadrados em dois estgios (MQ2S), que envolve duas sucessivas aplicaes do MQO. Na economia, as variveis instrumentais so relativamente comuns. O modelo de regresso linear pode ilustrar esta estratgia: Yi = + i Ti + X i + ei (1) Ti = + X i + Z i + u i (2) onde Yi a varivel-resposta do indivduo i; Ti a varivel dummy que igual a 1 se i experimenta o evento e igual a 0 se no experimenta; Xi uma varivel-controle exgena; Zi uma varivel-controle exgena que afeta a probabilidade de experimentar o evento, mas no afeta diretamente Yi; e ei e ui so os termos do erro. i o efeito do evento na varivel-resposta. A MQO (1) gera uma estimativa enviesada e inconsistente deste efeito se Ti endgeno ou auto-selecionado. A MQO (2) assume que Ti afetado por Zi, que no est presente na equao (1) e assim, no esperado que afete diretamente Yi. Neste exemplo, Zi a varivel instrumental. Para esta ser vlida, duas exigncias so impostas: Zi deve afetar Ti ao mesmo tempo em que no deve ser correlacionada com Yi. Existem muitos mecanismos pelos quais Zi pode afetar Yi. Quando uma hiptese de identificao feita, a escolha de Zi depende necessariamente de hipteses que no so formalmente testveis, o que implica na necessidade de uma explicao terica que guie a escolha de Zi. Tal explicao deve considerar o argumento de exogeneidade (MOFFITT, 2003a). A maior dificuldade a respeito das variveis instrumentais encontrar uma que seja realmente vlida. Apesar das vantagens relacionadas utilizao destas variveis, GUJARATI (2000) enfatiza que (...) achar boas proxies nem sempre fcil, fazendo com que o mtodo de varivel instrumental tenha pouco uso prtico (...) (p. 611). O mesmo argumento (ou explicao) foi utilizado por MARTELETO (2001), ao se abster de tratar do vis de simultaneidade entre fecundidade e investimento em capital humano

14

15 dos filhos. De acordo com esta autora, no havia variveis instrumentais convincentes disponveis para o seu estudo. Algumas vezes suficiente saber somente qual o efeito total de um instrumento na varivel-resposta, no sendo necessrio saber como o efeito ocorre atravs do evento de interesse. Este tipo de anlise conhecido como forma reduzida. Assim, o que caracteriza este mtodo a falta de estimao do canal atravs do qual o instrumento afeta o resultado. De acordo com GUJARATI (2000), estas equaes expressam a varivel endgena somente como uma funo das exgenas e do termo do erro. Como exemplo concreto do uso de variveis instrumentais podemos citar a pesquisa sobre o impacto da Reforma da Previdncia Rural Brasileira, onde houve um aumento na renda dos aposentados, uma diminuio da idade para se tornar elegvel e a possibilidade da presena de mais de um pensionista no domiclio, nos arranjos domiciliares (composio dos domiclios). Especificamente, tal pesquisa toma como hiptese que o acrscimo da renda gerado por aquela reforma contribui para novas configuraes na maneira como os domiclios se organizam, isto , por exemplo, filhos principalmente podem voltar a morar com seus pais idosos dados que estes ltimos, aps a reforma, tiveram um acrscimo em suas rendas. Para tanto, poderamos pensar num modelo onde a diferena na renda domiciliar entre o momento anterior e posterior reforma seria uma varivel a afetar os arranjos domiciliares. Contudo, esta relao pode ser recproca. Isto , no podemos saber se arranjos domiciliares diferenciados ou com maior nmero de residentes que levaram ao incremento da renda ou se o incremento da renda que levou aos novos arranjos. Este um caso tpico onde devemos utilizar uma varivel instrumental, ao invs da renda domiciliar diretamente. No exemplo acima devemos pensar num conjunto de caractersticas causadas pela reforma (tais como idade para eligibilidade, sexo, local de moradia rural) as quais servem como proxy para a renda domiciliar. Assim sendo estimamos esta varivel instrumental e a utilizamos no nosso modelo principal ao invs de utilizarmos diretamente a varivel renda. Consideraes Finais O objetivo deste trabalho foi tentar demonstrar que uma avaliao rigorosa do impacto de programas e politicas sociais mai difcil que se possa imaginar num primeiro momento. Simplificadamente, a ttulo de fechamento deste artigo, podemos resumir os principais aspectos a serem considerados no processo de avaliao de uma poltica ou programa social. O primeiro seria conhecer em detalhe o programa que se quer avaliar, saber sobre seus objetivos, o formato (em termos de desenho de pesquisa, se foi um experimento ou no) e possuir uma vasta gama de dados (variveis quantitativas e qualitativas, numa planilha de dados, passveis de serem analisadas estatisticamente) sobre o programa bem como sobre os atingidos por ele, com resultados que possam demarcar o alcance ou no dos objetivos originalmente propostos com referido programa. Tambm deve constar no banco de dados catractersticas (heterogeneidade do universo a ser analisado) do universo de atingidos e daqueles no atingidos pelo programa. Outras variveis nnecessrias no banco, para permirtir uma avaliao minimamente coerente, dizem respeito aos aspectos (caractersticas dos pesquisados) que influenciam a participao no programa mas que no afetam diretamente os resultados do programa. Estes aspectos so extremamente relevantes naquelas ocasies que no temos um desenho de programa com distribuio aleatria dos sujeitos (para o 15

16 grupo que participa e aquele que no participa do programa), o que o que normalmente acontece. Convm salientar que falamos aqui em sujeitos, mas a unidade de anlise numa pesquisa de avaliao pode ser formada por domiclios, regies, municpios e outras, dependendo do tipo de programa. Aps a identificao dos aspectos apontados acima parte-se para a identificao de possveis fontes de vises. Estas podem se originar de duas fontes. Uma do fato dos grupos no serem comparveis (diferirem muito em termos de certas caractersticas observveis). Neste caso a seleo cuidadosa do grupo comparativo (que no participou do programa) pode eliminar aquele vis, e esta seleo pressupe a escolha do grupo comparativo (contrafactual) com a mesma distribuio de caractersticas observveis que o grupo tratado (atingido pelo programa). A outra fonte reside nas diferenas entre grupo tratado e de controle em termos de caractersticas no observveis (vis de seleo). Esta fonte de de vis surge quando, para dados valores de algumas caractersticas dos grupos, existe uma relao sistemtica entre participao no programa e os resultados na ausncia do mesmo. Em outras palavras, existem variveis no observadas que conjuntamente inluenciam os resultados que estamos tentando checar e a probabilidade de participar do programa, condicional com outras caractersticas observadas. Exemplo: quando queremos avaliar um programa como o Bolsa Famlia no Brasil, sabemos que para poder integrar este programa as famlias devem ter uma renda domiciliar mxima X. Ento, quando queremos verificar se a participao no programa gerou algum impacto na frequncia das crianas escola, montamos uma equao na qual variveis que explicam a frequncia na escola podem ser as mesmas que explicam a probabilidade de ser elegvel para participar no programa. No caso a renda seria uma exemplo, ela afeta a probabilidade de participar e ao mesmo tempo a frequncia das crianas escola, j que se supe que famlias mais pobres tendem a enviar seus filhos com menos frequncia escola porque eles tm de trabalhar. Vrios mtodos existem para resolver asqueles vises. O problema essencial que estes mtodos enfatizam o fato de no podermos observar os resultados nos participantes se eles no tivessem participado do programa. Um grupo comparativo deve ento ser utilizado para se identificar o que teria acontecido sem o programa. A primeira alternativa para lidar com este problema seria o processo de aleatoriedade na distribuio dos grupos, o que garante a comparabilidade dos mesmo, mas que quase sempre no o que acontece na formulao e aplicao de polticas e programas sociais. Normalmente eles tm grupos alvo, isto , grupos mais necessitados num primeiro momento e isto geralmente soa mais tico (priorizar aqueles realmene mais carentes). Dentre os mtodos para lidar com o vis da falta de comparabilidade dos grupos apresentamos aqui neste artigo trs solues, as quais no so mgicas e nem sempre viveis, mas podem atenuar o problema da falta de aleatoriedade na distribuio dos grupos. Apresentamos a tcnica da diferena na diferena. Neste procedimento o avaliador compara o resultado a ser avaliado no grupo tratamento (que recebeu o programa) e controle antes (primeira diferena) e depois do programa ter ocorrido (segunda diferena) controlando-se por caractersticas (variveis de controle) que possam se diferenciar entre os grupos. Para isso ambos os grupos devem ter sido submetidos a aplicao de questionrios idnticos (exatamente as mesmas variveis, antes e depois). Num segundo momento apresentamos a tcnica do escore propenso para pareamento (propensity score matching). Neste mtodo o avaliador tenta pegar um

16

17 grupo de comparao (controle) ideal dentro de uma grande survey (enquente). Este grupo comparativo pareado com o de tratamento com base na probabilidade predita para a participao baseada num conjunto de variveis explicativas (obtida por uma regresso logstica). Cabe destacar que o grupo de comparao deve ser obtido dentro do mesmo contexto que o tratamento foi, e tambm necessrio que tenhamos as mesmas informaes (variveis) coletadas para ambo os grupos com uso de um mesmo instrumento de pesquisa (questionrio). Por fim destacamos o procedimento que utiliza variveis instrumentais. Tais variveis, como j dissemos, consistem naquelas que influenciam a participao no programa mas no os resultados do mesmo (aqueles que estamos querendo avaliar). Se tais variveis existirem ento elas identificam a fonte de variao exgena nos resultados atribudos ao programa. Como concluso final salientamos que neste artigo apresentamos alguns dos principais conceitos, princpios e tcnicas necessrios no processo de avaliao de um programa ou poltica social. Destacamos que precisamos ter um conjunto de informaes imprescindveis, tais como um banco de dados completo sobre os participantes e no participantes, antes e aps o programa ter sido implementado e tambm precisamos conhecer em detalhe os objetivos do programa. Sem estas informaes preliminares nenhuma das tcnicas aqui apresentadas passvel de ser utilizada com rigor. Isto quer dizer que todo o programa ou poltica social ao ser idealizado deve vir acompanhado de uma srie de informaes necessrias para sua posterior avaliao aps sua implementao, se assim no for os procedimentos tcnicos neste artigo apresentados, podem se tornar impossveis de serem aplicados. Contudo, temos conscincia que nem sempre a realidade to perfeita e muito menos que em contextos de programas aplicados em pases menos desenvolvidos seja possvel obter informaes desejadas. Mas, cabe ao pesquisador avaliador saber lidar com as informaes disponveis e ser honesto ao apresentar seus resultados, destacando os possveis limites da abragncia da avaliao que foi possvel de ser feita. Temos cincia, tambm, que os conhecimentos sobre avaliao, bem como a abertura e disponibilidade dos idealizadores e aplicadores de polticas e programas sociais nem sempre chegam prximo do ideal. Questes de outras ordens (ideolgicas, polticas ou mesmo financeiras), as quais transcendem s questes metodolgicas aqui apresentadas, podem vir a trazer grandes obstculos realizao de uma avaliao realmente sria e baseda em critrios isentos e cientficos. Referncias HARTZ Z.M.A. & POUVOURVILLE, G. (1998). Avaliao da eficincia em sade: a eficincia em questo. Cincia & Sade Coletiva. , III(1): 68-82. MOKATE, K. M. (2002). Convirtiendo el monstruo en aliado: a avaliao como herramienta de la gerencia social. Revista do Servio Pblico, 8(1), 91-136. Glewwe,Paul, Michael Kremer, Sylvie Moulin and Eric Zitzewitz. Retrospective vs prospective analyses of school inputs: the case of flip charts in Kenya Journal of Development Economics, 74(1). 2004.

17

18 Glewwe, Paul, Nauman Ilias and Michael Kremer (2003), Teacher Incentives, MIMEO, Harvard. Kremer, Michael and Daniel Chen (2001), An Interim Report on a Teacher Attendance Incentive Program in Kenya, MIMEO, Harvard University. Kremer, Michael, Edward Miguel and Rebecca Thornton (2004), Incentives to Learn, NBER Working Paper #10971. Kremer, Michael, and Christel Vermeesh (2005) School committee empowerment: preliminary notes, MIMEO, Harvard. Remedying Education: Evidence from Two Randomized Experiments in India is available for download at www.povertyactionlab.org/papers ANGRIST, J., EVANS, W. N. Children and their parents labor supply: evidence from exogenous variation in family size. The American Economic Review, v.88, n.3, p.450477,June 1998. ANGRIST, J., KRUEGER, A. Empirical strategies in labor economics. In.: ASHENFELTER,O., CARD, D. (Eds.) The handbook of labor economics. Amsterdam: North-Holland, 1999.v.3A, Chapter 23. (Handbooks in economics, 5)
GUJARATI, D.N. Econometria bsica. 3.ed. So Paulo: Makron Books, 2000. 846p. MOFFITT, R. Casual analysis in population research: an economists perspective. Johns Hopkins University, 2003b. Disponvel em: <http://www.econ.jhu.edu/People/Moffitt/causal.pdf> Acesso em: 19 set. 2006. MOFFITT, R. Remarks on the analysis of casual relationships in population research. Johns Hopkins University, 2003a. Disponvel em: <http://www.econ.jhu.edu/People/Moffitt/causal.pdf> Acesso em: 16 dez. 2006. MUNIZ, J. O. Uma aproximao emprica para o trabalho infantil no Brasil. 2000. 60 f.Monografia - Faculdade de Cincias Econmicas, Universidade Federal de Minas Gerais, 2000. MARTELETO, L. The role of demographic and family change on childrens schooling: evidence from Brazil. 2001. 204 f. Tese (Doutorado em Demografia) - The University of Michigan, 2001.

RUA, M.G. (2000). Avaliao de Polticas, Programas e Projetos: Notas Introdutrias. Mimeo. MOKATE, K. M. (2002). Convirtiendo el monstruo en aliado: a avaliao como herramienta de la gerencia social. Revista do Servio Pblico, 8(1), 91-136. ROSENZWEIG, M. R, WOLPIN, K, I. Natural natural experiments in economics. Journal of Economics Literature. v.38, n.4, p.827-874, Dez. 2000.

18