VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct.

2003

Avaliao de polticas pblicas : conceitos bsicos, o caso do ProInfo e a experincia brasileira1

Antonio NILSON Craveiro HOLANDA (da Universidade de Braslia) O presente texto faz parte de um conjunto de trs documentos que explora o tema da avaliao de polticas pblicas do Brasil, tendo como referncia a experincia de avaliao do ProInfo Programa Nacional de Informtica na Educao do Ministrio da Educao (MEC) do Brasil. O primeiro documento (este) define conceitos bsicos de avaliao e analisa a experincia brasileira de avaliao ex post de programas e projetos. O segundo documento (de responsabilidade de Waldyr Viegas) expe os procedimentos metodolgicos e o processo de execuo da avaliao do ProInfo e o terceiro (escrito por Gileno Marcelino) apresenta os resultados e concluses bsicas dos estudos. Este documento se divide em duas partes. Na primeira parte so apresentados alguns conceitos bsicos de avaliao ex post e apresentadas as caractersticas do ProInfo programa do governo brasileiro que busca introduzir na escola fundamental e no ensino mdio as modernas tecnologias da informtica e da comunicao e cujos resultados se vem tentando avaliar, luz desses conceitos. Na segunda parte feita uma sumria reviso da experincia brasileira de avaliao ex post, no contexto do sistema de planejamento do pas e da sua prtica de implementao do programas e projetos sociais. PRIMEIRA PARTE: CONCEITOS BSICOS DE AVALIAO E SUA APLICAO AO PROINFO 1. Antecedentes O ProInfo comeou a ser implantado pelo Ministrio da Educao (MEC) do Brasil a partir de 19972 e tem por objetivo introduzir a telemtica3 nas escolas pblicas, como ferramenta de apoio ao processo de ensino-aprendizagem. , portanto, em essncia e concepo, um programa de educao, antes que um projeto de modernizao tecnolgica. At abril de 2002 o programa j havia sido implantado em 2.881 escolas em todo o Brasil, com a aquisio de 55.000 computadores e perifricos (servidores, impressores, scanners), a estruturao de 263 Ncleos de Tecnologia Educacional NTE (unidades vinculadas s Secretarias Estaduais ou Municipais de Educao que foram criadas para dar suporte ao ProInfo, com capacitao, assistncia tcnica e apoio pedaggico), alm da capacitao de 302 tcnicos, 1.409 professores-multiplicadores dos NTE e 20.905 professores das escolas beneficiadas pelo Programa.
1 2

O Resumo deste texto foi includo ao seu final. O Programa foi criado pela Portaria no. 522 de 9 de abril de 1997 3 Essa palavra tem sido utilizada para designar a reunio das tecnologias de informtica e telecomunicaes Esse conjunto de tcnicas tambm referido, freqentemente, como Tecnologias de Informao, Educao e Comunicao (ou IECTs Information, Education and Communication Technologies) ou ainda TIC Tecnologia de Informao e Comunicao

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

Ao final de 2001, o MEC julgou conveniente promover uma primeira avaliao do programa, de natureza qualitativa, ad hoc e externa, e compreendendo a) uma pesquisa amostral (survey) do universo de escolas beneficiadas e b) um conjunto de 40 estudos de casos (sendo 20 do ProInfo propriamente dito e 20 do projeto Integrar, que busca avaliar a integrao entre o ProInfo e a TV Escola, um programa de televiso educativa tambm mantido pelo MEC). Essas pesquisas e estudos tinham em vista responder a trs questes fundamentais: 1) Qual a situao da infra-estrutura que foi montada? 2) Como ela est sendo utilizada? e 3) Que resultados ou impactos produziu? Os trabalhos de avaliao externa foram contratados com equipe da Universidade de Braslia, que desenvolveu todas as pesquisas entre o final de 2002 e o primeiro semestre de 20034. 2. Conceito bsicos sobre avaliao Em um sentido lato, avaliar significa julgar, estimar, medir, classificar, ordenar, ponderar, aferir ou analisar criticamente o mrito, o valor, a importncia, a relevncia ou a utilidade5 de algo ou algum. Em um sentido estrito como o caso da abordagem adotada neste documento avaliar determinar o mrito e a prioridade de um projeto de investimento ou de uma programa social, geralmente financiado com recursos pblicos e voltado para resolver um determinado problema econmico ou social. Por isso aquilo que chamamos avaliao geralmente caracterizado, na literatura especializada, como avaliao de programas (program evaluation) 6. Para Rossi a avaliao de programas corresponde utilizao de metodologias de pesquisa social para investigar, de forma sistemtica, a efetividade de programas de interveno social que foram adaptados ao seu ambiente poltico e organizacional e planejados para conformar a ao social numa maneira que contribua para a melhoria das condies sociais 7 Essa avaliao pode abarcar os mais variados aspectos do projeto ou programa, que vo de sua concepo original e do seu planejamento ao seu processo de implementao e aferio dos seus efeitos e resultados de curto, mdio e longo prazo. Quando todos esses aspectos so considerados de forma integrada diz-se que a avaliao compreensiva ou abrangente,
Ver MEC/SEED/UnB, ProInfo: Perspectivas e Desafios, Relatrio de Avaliao, Universidade de Braslia, 2003 Em ingls, os termos mais usados so os verbos evaluate, assess, appraise e judge e os substantivos correlatos evaluation, assessment, appraisal e judgment. 6 Alguns autores fazem um distino entre pesquisa de avaliao (evaluation research) e avaliao de programas (program evaluation). A primeira seria de natureza predominantemente acadmica, caracterizada pela aplicao de mtodos cientficos mais rigorosos com objetivo de desenvolver ou testar teorias e hipteses. A segunda seria de natureza mais emprica, limitando-se simples prtica de avaliao, a partir de teorias e mtodos conhecidos, sem maiores pretenses inovadoras. Uma seria assemelhada chamada pesquisa bsica; outra, pesquisa aplicada 7 Rossi, Peter, Freeman, Howard e Lipsey, Mark, in Evaluation: a systematic approach, 6 ed. Sage Publications, Thousand Oaks, California, 1999, p.2
5 4

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

Para Carol Weiss, avaliao uma anlise ponderada e sistemtica (sistematic assessment) da operao e/ou dos resultados de uma poltica ou um programa, em confronto com um conjunto de padres implcitos ou explcitos, tendo como objetivo contribuir para o aperfeioamento desse programa ou poltica 8 . Muitos autores enfatizam o processo de avaliao (levantamento sistemtico de dados e sua comparao com padres predefinidos), enquanto outros se concentram nos usos da avaliao (auxiliar o processo decisrio). Mas em geral todos reconhecem que a avaliao basicamente um instrumento para maximizar a eficcia (em termos de fins alcanados) e a eficincia (do ponto de vista da economicidade dos meios) dos programas governamentais, numa conjuntura de recursos cada vez mais escassos. Para os propsitos deste trabalho, adotou-se uma definio operacional de avaliao, entendendo-a como um procedimento sistemtico de levantamento e anlise de dados visando a identificar os resultados, efeitos ou impactos de um programa ou projeto e a aferir a sua relevncia, sustentabilidade, eficincia e eficcia, em confronto com os objetivos estabelecidos quando de sua concepo ou formulao. O objetivo bsico de qualquer avaliao obter informaes teis e crveis sobre o desempenho desses programas, identificando problemas e limitaes, potencialidades e alternativas, levantando prticas mais eficientes (best practices) e recolhendo lies e subsdios que possam ser retroalimentados no processo de planejamento e formulao de polticas pblicas, de modo a aumentar a sua efetividade, eficincia e eficcia 9. O objeto da avaliao, pode ser identificado a partir da lista dos 5 Ps: 1) produto, 2) pessoal, 3) performance ou desempenho, 4) projeto ou proposta , 5) programa (ou plano) e 6) poltica. Os dois primeiros constituem prticas muito antigas a avaliao de produto, no setor empresarial, e a avaliao de pessoal nos setores pblico e privado. Alguns entendem que a avaliao de produto remonta ao homem pr-histrico, desde que ele chegou ao estgio de homo habilis e passou a selecionar armas e ferramentas, a partir das alternativas disponveis. Com a formao dos primeiros grupos sociais, algum tipo de avaliao de pessoal certamente comeou a ser praticada. E o sistema do mrito que ainda hoje estamos tentando implantar em nossos governos remonta, na realidade, aos ensinamentos de Confcio (552-479 a. c.), que comearam a ser incorporados administrao chinesa durante a dinastia Han (206 a.c. 220 d.c.) 10. Esses dois tipos de avaliao no sero considerados neste documento, onde o nosso objeto de avaliao ser um programa social.

8 9

In Evaluation, 2nd. edition, Prentice-Hall, New Jersey, 1998, p. 4. Itlicos no original Cf. Holanda, Nilson, Monitoramento e Avaliao: Conceitos Bsicos, Universidade de Braslia, 2002 10 Cf. Wren, Daniel A ., The Evolution of Management Thought, 2nd edition, p.17. John Wiley and Sons, New York, 1979 3

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

Parafraseando Rossi11, podemos caracterizar um programa social ou interveno social como um esforo planejado e organizado que tem em vista a atenuao ou melhora de condies sociais julgadas insatisfatrias. Parte-se do pressuposto de que o programa j existe e est em andamento (o que exclui a avaliao ex ante). Da porque a avaliao de que tratamos aqui a chamada avaliao ex post. Os programas sociais aqui considerados so aqueles voltados para a melhoria da condio humana, nas reas de sade, educao e assistncia social, alm de segurana pblica e apoio a atividades econmicas das classes de baixa renda, executados pelo governo ou por organizaes do terceiro setor, que no tem fim de lucro. Esses programas so os mais variados possveis, envolvendo alimentao e nutrio, formao de mo de obra, gerao de emprego e renda, habitao popular, melhoria de condies sanitrias de reas perifricas aos grandes centros urbanos, renovao de reas urbanas degradadas, reforma educacional, vacinao em massa, assistncia mdica, preventiva ou curativa, apoio a clnicas de sade mental, de tratamento de excepcionais, assistncia para a preservao das famlias, proteo criana e ao adolescente, apoio a menores abandonados ou delinquentes, tratamento de viciados em drogas etc. Os instrumentos utilizados para viabilizar as intervenes tambm so os mais variados possveis, como a entrega direta de alimentos (cestas bsicas) e medicamentos, os programas de renda mnima (um tipo de imposto de renda negativo), a venda subsidiada de alimentos ou insumos considerados bsicos para as populaes pobres (como aconteceu no passado, no Brasil, com po, leite e gs de cozinha), os tquetes para refeies e os vouchers para matrculas em escolas privadas, a capacitao profissional, o aconselhamento especializado, o micro-crdito, a reforma agrria, a construo de infraestrutura de saneamento e drenagem, o apoio a programas de irrigao para pequenos agricultores e assim por diante. O Proinfo um programa social da rea de educao, voltado para a melhoria da qualidade do ensino fundamental e mdio e para a incluso digital, utilizando como instrumentos a montagem de uma infra-estrutura tecnolgica e a criao de condies para sua adequada utilizao, via capacitao de pessoal e apoio tcnico-pedaggico. 3. O modelo de avaliao O processo de avaliao pode ser desenvolvido em diversos nveis e sob diferentes enfoques mas sempre pressupe a explicitao de um modelo de avaliao, ou seja, de um quadro de referncia que busca resgatar a lgica interna ou a teoria que est subjacente interveno, programa ou projeto que objeto da avaliao. Os modelos ou enfoques de avaliao so variados. Combinando as opinies de diversos autores como John BULMETTIS e Phyllis DUTWIN12 , Joan L. Herman et alii 13 e Blaine Worthen et alii 14 podemos identificar, pelo menos, seis modelos15;
Rossi, Peter, Freeman, Howard e Lipsey, Mark, op. cit. p. 2 In The ABCs of Evaluation, Jossey-Bass Publishers, San Francisco, 2000, p. 71 13 In Evaluators Handbook, Sage Publications, 1987, Newbury Park, p. 10 14 In Program Evaluation, Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New York, 1997, p.78
12 11

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

1) o modelo baseado em objetivos, quando estes esto claramente definidos e constituem parmetros explcitos para o trabalho de avaliao; 2) O modelo voltado para a tomada de deciso (ou orientado para a gesto) ou seja, para obter informaes que permitam a tomada de decises em relao ao futuro do programa ; 3) O modelo livre de objetivos (goal free model) quando o avaliador se debrua sobre os resultados efetivamente alcanados, independentemente do que estabeleciam os objetivos iniciais; 4) O modelo transacional ou orientado para os participantes, dentro do qual o avaliador um observador participante e se estabelece uma interao entre avaliador e avaliados; esse modelo usado principalmente em monitoramento e avaliao de processo; 5) O modelo do contraditrio (adversary oriented ou advocacy oriented), quando deliberadamente se pretende chegar avaliao contrastando pontos de vistas divergentes, como em um jri; 6) O modelo de discrepncias, utilizado em programas e projetos que se realizam em ambientes complexos, quando no se pode estabelecer previamente relaes de causa e efeito entre variveis; neste caso a avaliao tem por objetivo exatamente definir essas relaes, comparando os resultados obtidos com os padres temporrios e tentativos estabelecidos inicialmente. O modelo utilizado para avaliao do ProInfo foi aquele voltados para os objetivos. Por isso a equipe de avaliao tentou resgatar a teoria subjacente ao programa, a partir dos seus objetivos e da lgica interna que define as inter-relaes entre os diferentes fatores que podem ser considerados essenciais para a realizao desses objetivos. Esse arcabouo conceitual est apresentado na Figura 1, adiante, onde, esto ressaltados os elementos mais importantes do sistema ProInfo: infra-estrutura, uso da infraestrutura e resultados esperados desse uso, alm do papel estratgico que se espera seja desempenhado pelos NTE. Esse resgate da lgica interna do programa implica a adoo de uma abordagem sistmica, O ProInfo caracterizado como um conjunto de elementos dinamicamente interrelacionados de modo a constituir um todo orgnico, cujos elementos constitutivos podem ser agrupados em insumos, processos e sadas. Para efeito de avaliao, so considerados insumos ou entradas: o projeto pedaggico, a infra-estrutura fsica e os recursos humanos. O processamento se d com as aes gerenciais, consideradas do ponto de vista do desempenho dos atores. As sadas so os efeitos e impactos na escola, aqui materializados
Excluindo o modelo voltado para a utilizao (utilization focused) associado contribuio de Michael Patton em seu livro Utilization Focused Evaluation, Newbbury Park, CA, Sage Publications, 1986, por considerarmos que isso se confunde com os modelos 1 e 2 ou ainda porque a utilidade da avaliao um requisito comum a qualquer enfoque avaliativo. 5
15

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

na sala de aula, na comunidade escolar, que compreende professores e alunos

FIGURA 1 PROINFO: TEORIA SUBJACENTE E INDICAES PARA AVALIAO

Critrios UNIDADES DE AVALIAO Referncias para a avaliao

1 NTE
Qualidade do planejamento inicial 1.1Atividades de apoio pedaggico 1.3 Cursos para professores 1.2 Desempenho dos multiplicadores 1.4 Suporte tcnico Forma de implementao

2 ESCOLA
EFICINCIA 2.1 Infra-estrutura fsica e de computao e comunicao

EFICCIA

2.2 Uso da infraestrutura

Objetivos: ensino, pesquisa e gesto Intensidade de uso

SUSTENTABILID ADE QUALIDADE Melhoria do processo de ensino aprendizagem Resultados e impactos Equidade: acesso informao EFEITOS Capacitao do PROFESSOR IMPACTOS (mudana social) Mudana na gesto da escola Mudana de currculos, da estrutura e da qualidade do ensino Capacitao do ALUNO Mudana nas relaes com a comunidade Alfabetizao tecnolgica (ecologia cognitiva) Cidadania

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

O objetivo instrumental do programa colocar disposio da escola uma infraestrutura moderna de informtica e comunicaes e criar todas as condies tcnicas, pedaggicas e organizacionais - para que essa infra-estrutura seja utilizada de forma adequada, eficiente e eficaz. O objetivo final a melhoria do processo de ensinoaprendizado, pelo aproveitamento do potencial da telemtica como um instrumento ou, como alguns preferem, um instrumental, conjunto de instrumentos ou caixa de ferramentas (toolbox)16 para a melhoria da qualidade da educao. Essa melhoria pode ser obtida a partir dos efeitos ou impactos positivos sobre: melhoria do aprendizado dos estudantes; desenvolvimento profissional dos professores. gesto da escola; organizao do trabalho pedaggico; formao de parcerias com a comunidade; fortalecimento dos movimentos de reforma do sistema educacional17.

16 17

Eric Rusten, Learnlink, AED Academy for Educational Development, Computers in School, p. 6 Cfr. Rusten, op. cit., p. 8/9 7

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

A Figura 2 busca tornar mais objetiva a imagem dos efeitos e impactos que se poderia esperar do Programa

FIGURA 2 :EFEITOS E IMPACTOS DO PROINFO

Articulao com NTE AVANOS PEDAGGICOS Projeto Pedaggico Integrao com outros programas do MEC como TV Escola Modernizao de currculos

OBJETIVO INTERMEDIRIO

MELHORIA DO ENSINO APRENDIZADO

OBJETIVO FINAL

HABILIDADES

COMPETNCIAS COGNITIVAS

DESENVOLVIMENTO HUMANO E SOCIAL

Aprender a aprender

Domnio de cdigos culturais bsicos Raciocnio matemtico

Valores e tica

Aprendizagem autnoma Criatividade e flexibilidade soluo de problemas

Responsabilidade

Auto-expresso e interlocuo Manejo de signos e representaes

Auto-estima

Interatividade e Solidariedade

Questionamento, criticidade

MEIOS DE VERIFICAO
Uso de processador de texto Uso e planilha eletrnica Utilizao do power point Trabalhos em equipe Projetos interdisciplinares e transversais Uso da internet Uso de softwares educativos

Projetos e cooperao Uso de outros com outras escolas softwares de desenho, projeto etc. (no educativos)

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

4. Estudos de Casos Alm de uma pesquisa amostral, de natureza qualitativa, o ProInfo patrocinou tambm a elaborao de 40 estudos de casos de escolas beneficiados com o programa. Os detalhes sobre os procedimentos metodolgicos da avaliao so apresentados no segundo documento deste Painel (de Waldyr Viegas), Neste tpico analisaremos apenas os aspectos conceituais. O estudo de caso uma pesquisa emprica que utiliza mltiplas fontes de informaes (o que se define como triangulao) e uma variedade de processos de investigao (pesquisa documental, entrevistas formais e informais etc.) com o objetivo de identificar a estrutura e a dinmica de um sistema complexo cujas fronteiras e elementos integrantes no esto perfeitamente definidos. Ele implica uma viso holstica e busca identificar as inter-relaes entre fatores tcnicos, organizacionais, humanos e culturais que explicam o funcionamento do sistema. Dessa forma tenta captar informaes que nem sempre podem ser coletadas atravs de metodologias quantitativas. Na definio de Robert K. YIN, o estudo de caso tem por objetivo investigar um fenmeno contemporneo, no contexto da vida real, especialmente quando as fronteiras entre o fenmeno e o contexto no esto perfeitamente delimitadas18. YIN acrescenta duas outras condies: a) consideradas as clssicas questes de o que, quem, por que, como, quando e quanto, o estudo de caso mais apropriado para responder perguntas por que ? e como ? e b) nos estudos de casos so tratadas questes contemporneas e no h controle sobre os eventos. Assim ele se diferencia da histria (que trata de fenmenos passados), do experimento (quando h controle sobre os eventos) e do survey (que raramente pode levar em conta o contexto) O estudo de caso permite uma anlise abrangente e em profundidade, ao invs de limitar-se a aspectos muito restritos ou selecionados como ocorre com avaliaes quantitativas. Um conjunto de estudos de casos permite estabelecer padres de similaridades e diferenas que propiciam um entendimento mais completo dos fenmenos observados. Os estudos de casos podem ser descritivos, exploratrios ou explanatrios (ou explicativos, ou, ainda, avaliativos). Em termos gerais podemos dizer que os estudos descritivos so aqueles que no tem por objetivo formular ou testar uma teoria, mas basicamente descrever a natureza, ocorrncia ou seqncia dos fenmenos que caracterizam uma realidade social, na plenitude de suas mltiplas e complexas manifestaes. Os estudos exploratrios vo mais adiante, buscando levantar hipteses e proposies relevantes que possam orientar futuros esforos de pesquisa. J os estudos explanatrios ou explicativos (ou avaliativos) procuram identificar aquelas hipteses dentre diferentes teorias alternativas que melhor explicam a realidade ou conjunto de eventos pesquisados. Em sntese, um descreve, outro teoriza e o terceiro testa a teoria. Se considerado nesta ltima alternativa o estudo de caso se assemelha pesquisa
18

Op. cit. p. 13 9

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

experimental, mas dela se diferencia porque mais indicado para a anlise de situaes em que a complexidade dos fenmenos e de suas relaes causais dificilmente pode ser captada por uma pesquisa experimental 19. Para definir a natureza e os objetivos dos estudos de casos, precisamos adotar uma estratgia de aproximaes sucessivas que leva em conta, primeiro, o quadro de referncia (theoretical framework) terico ou conceptual da pesquisa, depois o enunciado do problema central (problem statement) a ser investigado e, finalmente, o objetivo especfico, exato ou preciso do estudo, em termos de suas questes prioritrias, como sugerido na Figura 3. FIGURA 3 ETAPAS PARA DEFINIO DOS OBJETIVOS DOS ESTUDOS DE CASOS QUADRO DE REFERNCIA

ENUNCIADO DO PROBLEMA CENTRAL

OBJETIVO DO ESTUDO Questes prioritrias

O QUADRO DE REFERNCIA CONCEITUAL corresponde base terica que define a natureza do estudo e sua orientao disciplinar e filosfica, identifica o problema central a ser investigado, especifica os conceitos a serem utilizados como ferramentas da pesquisa e condiciona a forma como ser conduzida a pesquisa. Corresponde ao Modelo de Avaliao do ProInfo, que se tentou definir no tpicos precedentes. Do ponto de vista de sua orientao disciplinar, por exemplo, os estudos de casos podem ser etnogrficos, psicolgicos, sociolgicos, histricos, educacionais etc. No que diz respeito ao ProInfo, os estudos de casos so predominantemente de natureza educacional, mas incluem tambm um forte componente de avaliao de polticas pblicas. Vale dizer: procura analisar o impacto da introduo de inovaes tecnolgicas no processo educacional e, ao mesmo tempo, busca identificar os aspectos de formulao e implementao de polticas que podem ampliar ou neutralizar esse impacto.
19

10

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

No que diz respeito sua base filosfica, os estudos de casos de educao, segundo Carr e Kemmis20, podem seguir trs orientaes: a) positivista, quando se identifica a educao como o fenmeno ou objeto a ser pesquisado, de preferncia utilizando mtodos dedutivos ou quantitativos e pesquisas experimentais; b) interpretativa, que considera a educao um processo complexo que precisa ser entendido, na sua estrutura e na sua dinmica, utilizando mtodos indutivos para levantar hipteses e construir teorias; c) de pesquisa crtica, que parte do pressuposto que a educao uma instituio social, concebida para a reproduo e transformao social e cultural. Esse um enfoque que tem fortes razes marxistas ou radicais (esquerdismo, feminismo, black power etc.) Na avaliao do ProInfo os estudos de casos do ProInfo se enquadram na categoria de pesquisas interpretativas (com um forte contedo descritivo) O PROBLEMA CENTRAL do estudo sintetiza a dvida ou questo principal que nos preocupa ou que objeto de nossa curiosidade. Identifica o ganho de conhecimento que se pretende obter com a realizao da pesquisa. No caso do ProInfo podemos caracterizar como problema principal a busca de meios e processos para obter a melhoria da eficincia e da qualidade do ensino, particularmente mediante a introduo de uma inovao tecnolgica (o uso da informtica). O conceito de eficincia relao entre insumos e resultados conhecido mas a noo de qualidade se presta a muitas interpretaes. Numa primeira aproximao podemos definir como qualidade no caso vertente - a progressiva construo dos quatro pilares da educao identificados pela Unesco em seu Relatrio da Comisso Internacional da Educao para o Sculo XXI ,a saber21 : aprender a conhecer (que pressupe o aprender a aprender) aprender a fazer aprender a conviver (ou, como diz a Unesco, aprender a viver juntos) aprender a ser (que integra todas as demais aprendizagens)

Como assinala o relatrio referido: Dado que oferecer meios, nunca antes disponveis, para a circulao e o armazenamento de informaes e para a comunicao, o prximo [atual] sculo submeter a educao a uma dura obrigao que pode parecer, primeira vista, quase contraditria. A educao deve transmitir, de forma macia e eficaz, cada vez mais saberes, e saber-fazer evolutivos, adaptados civilizao cognitiva, pois so as bases das competncias do futuro. Simultaneamente compete-lhe encontrar e
Carr, W. and Kemmis, S. Becoming Critical:Education, Knowledge and Action Research, London, Falmer Press, 1986, apud Merriam, Sharan, Qualitative Research and Case Study Applications in Education, San Francisco, Jossey-Bass Publishers. 1998, p. 4 21 Delors, Jacques, Coordenador, Educao Um Tesouro a Descobrir, Unesco, MEC, Cortez Editora, 6 edio, So Paulo, 2001 11
20

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

assinalar as referncias que impeam as pessoas de ficarem submergidas nas ondas de informaes, mais ou menos efmeras, que invadem os espaos pblicos e privados e as levem a orientar-se para projetos de desenvolvimento individuais e coletivos. educao cabe fornecer, de algum modo, os mapas de um mundo complexo e constantemente agitado e, ao mesmo tempo, a bssola que permita navegar atravs dele. Nesta viso prospectiva, uma resposta puramente quantitativa necessidade insacivel de educao j no possvel nem mesmo adequada ...22 . Para atingir esse objetivo de qualidade trs aspectos so cruciais, na opinio de Amagi: 1) a competncia, qualificao e desempenho dos professores, 2) o nvel e a natureza dos programas e mtodos de ensino e 3) a gesto da escola23. Poderamos incluir ainda um quarto aspecto ou elemento: 4) a infra-estrutura fsica e tecnolgica posta disposio da escola. Jos Libneo prope substituir a concepo economicista, empresarial e pragmtica da qualidade e em particular a viso neoliberal de qualidade total que, supostamente, pretender-se-ia transpor do cho das fbricas para o ambiente das escolas - pela noo de qualidade social, assim entendida a educao para todos24. A educao com qualidade social teria como atributos principais promover, para todos [grifo no original], o domnio de conhecimentos e o desenvolvimento de capacidades cognitivas, operativas e sociais necessrias: ao atendimento das necessidades individuais e sociais dos alunos; insero no mercado ou no mundo do trabalho e constituio da cidadania. O objetivo seria sempre a construo de uma sociedade mais justa e igualitria, caracterizando-se a educao por seu alto grau de inclusividade e pela interrelao entre qualidade formal e qualidade poltica25. No caso da avaliao do ProInfo a equipe de avaliao adotou uma postura menos ambiciosa, definindo-se como educao de qualidade aquela que efetivamente propicia o desenvolvimento de habilidades cognitivas, operativas e sociais que asseguram aos alunos a plena realizao de suas potencialidades, como indivduos, trabalhadores e cidados. Com esse objetivo, ela deve prover adequado domnio de contedos escolares (conceitos, procedimentos, valores) e harmoniosa integrao das varias dimenses da cultura moderna (cincia, tcnica, linguagem, esttica e tica). Nesse sentido muitos aspectos precisam ser considerados infra-estrutura, organizao, gesto, capacitao de professores etc. - mas o eixo central da avaliao o currculo e os processos de ensino e aprendizagem. Como diz Libneo, o centro de referncia dos critrios e estratgias de qualidade o que os estudantes aprendem, como aprendem e em que grau so capazes de pensar e atuar com o que aprendem [grifo no original] 26 A partir desse problema central podemos tentar identificar o OBJETIVO da pesquisa,
UNESCO, op. cit. p. 89 Amagi, Isao, Melhorar a Qualidade do Ensino Escolar, in Unesco, op. cit. p. 218 24 Libneo, Jos Carlos, Organizao e Gesto da Escola Teoria e Prtica, 4 edio, Editora Alternativa, Goinia, 2001, p.54. 25 Idem, ibidem, p. 54 26 Op. Cit. p. 57
23 22

12

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

que seria o de avaliar se, como e por que o ProInfo contribui ou poderia contribuir para a consecuo de uma educao de qualidade. E desse objetivo foram derivadas as duas QUESTES PRIORITRIAS a serem respondidas pelos estudos de casos: a) Qual o efeito ou resultado da incorporao de novas tecnologias ao processo de ensino-aprendizado das escolas beneficiadas com o ProInfo e quais as condies que asseguram a obteno desses resultados ? b) Que situaes e evidncias importantes foram identificadas (ou no o foram) no survey de modo a suscitar questes que podem e devem ser aprofundadas no estudo de caso ? Obviamente essas questes suscitam muitas outras, desdobrando-se em mltiplas abordagens e dimenses que podem tornar a pesquisa excessivamente longa, complexa e difcil de administrar. Por isso, para ordenar o processo de investigao precisamos ter presente a tentativa de conceptualizao do modelo de avaliao do ProInfo, que foi indicado na Figura 1, anterior. Todos esses aspectos conceituais foram incorporados a um Protocolo dos Estudos de Casos27, preparado para orientar o treinamento e as aes dos pesquisadores que seriam envolvidos nesses estudos SEGUNDA PARTE: A EXPERINCIA BRASILEIRA DE AVALIAO Observa-se no Brasil uma grande variedade de conceitos e abordagens em relao ao que se entende por acompanhamento e avaliao, no contexto de sua experincia de planejamento e gesto governamental. A experincia brasileira nesse campo ampla e diversificada, mas ainda no est consolidada. As tentativas de avaliar programas de governo nesse pas tem-se caracterizado pela disperso e descontinuidade e as evidncias e resultados dessas experincias raramente foram documentadas e sistematizadas. Isso se deve em parte ao fato de que, no prtica do planejamento governamental brasileiro se, de um lado, sempre se deu muita nfase ao processo de formulao de planos e elaborao de projetos, de outro, freqentemente foram negligenciadas as etapas de acompanhamento e avaliao. Ainda assim podem ser identificadas muitas experincias dispersas, heterogneas e freqentemente descontinuadas de acompanhamento e avaliao da ao do governo, nos mais diversos nveis da administrao pblica 28.
Protocolo e no Manual porque os especialistas no assunto entendem que os estudos de casos, por sua prpria natureza, no comportam a definio prvia de procedimentos detalhados, a exemplo de outras pesquisas experimentais ou no experimentais. Cada caso um caso e o pesquisador que define o rumo e a orientao de sua investigao. Ver UnB, Projeto de Avaliao Externa do ProInfo, Protocolo dos Estudos de Casos. Documento Tcnico para Orientao dos Pesquisadores, (1 verso/janeiro de 2002; 2a verso: julho de 2002) 28 Ver Holanda, Nilson, IPEA/BID, Projeto de Fortalecimento da Funo Avaliao na Amrica Latina, Relatrio sobre a Experincia Brasileira e o Caso do Brasil em Ao, Braslia, outubro de 1999. A apresentada uma sumria anlise da experincia brasileira, desdobrada em cinco nveis de planejamento: 1) planos nacionais; 2) planos e programas regionais; 3) programas setoriais; 4) projetos financiados por bancos de desenvolvimento e 5) planos estaduais. 13
27

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

5. Planejamento global e nacional Desde os anos 70 buscou-se aperfeioar e integrar os mecanismos de planejamento, oramentao, monitoramento e avaliao referenciados aos Planos Nacionais de Desenvolvimento. Para dar uma idia das dificuldades enfrentadas basta mencionar que at o final dos anos 80, a programao financeira do governo federal estava dividida em quatro oramentos: o oramento fiscal, o oramento da previdncia, o oramento monetrio e o oramento das estatais. A nova Constituio de 1988 definiu um sistema renovado de elaborao de Planos Plurianuais (PPA), integrado com uma programao oramentria unificada. A Constituio estabeleceu tambm a obrigatoriedade de encaminhamento ao Congresso de relatrios sobre a execuo dos planos de governo (art. 49, inciso IX) e de manuteno, de forma integrada, pelos diferentes poderes da Repblica, de sistema de controle interno com a finalidade de: avaliar o cumprimento das metas previstas no plano plurianual e a execuo dos programas de governo e dos oramentos da Unio (art. 74). Para viabilizar o acompanhamento, o Ministrio do Planejamento estavam tentando implantar, no final de 1998, o SIAPPA - Sistema Integrado de Acompanhamento do PPA, conectando todos os rgos da administrao federal que fornecem as informaes para o relatrio de acompanhamento O Decreto no. 2.829, de 29 de outubro de 1998, estabeleceu normas para a elaborao do PPA que foi preparado em 1999 para cobrir o perodo de 2000 a 2003. A foram especificados os requisitos bsicos para a definio e redefinio dos programas a serem includos no PPA e as fases mais importantes do processo de planejamento. O art.5O. do Decreto estabelece que ser realizada avaliao anual da consecuo dos objetivos estratgicos do Governo Federal e do resultado dos Programas, para subsidiar a elaborao da lei de diretrizes oramentrias de cada exerccio. O art. 6o. , por sua vez, diz que a avaliao fsica e financeira dos Programas e dos projetos e atividades que os constituem inerente s responsabilidades da unidade responsvel (sic) e tem por finalidade: I aferir o seu resultado, tendo como referncia os objetivos e metas fixadas; II subsidiar o processo de alocao de recursos pblicos, a poltica de gastos pblicos e a coordenao das aes do governo; III evitar a disperso e o desperdcio de recursos pblicos. Especifica-se, ainda, no art. 7o. que para fins de gesto de qualidade, as unidades responsveis pela execuo dos programas mantero, quando couber, sistema de avaliao do grau de satisfao da
14

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

sociedade quanto aos bens e servios ofertados pelo poder pblico Posteriormente, 42 projetos do PPA foram selecionados para integrar o chamado Brasil em Ao. O objetivo era dar a esses projetos considerados os mais importantes e prioritrios, no contexto da nova estratgia de desenvolvimento do governo, particularmente em termos de reforma do estado, insero internacional e melhoria da competitividade e desenvolvimento social - um tratamento especial em termos de acompanhamento e gerenciamento, de modo a: a) orientar o processo oramentrio, sinalizando claramente as prioridades de investimento do governo; b) detectar, de forma tempestiva, eventuais problemas de implementao e induzir a adoo imediata de medidas corretivas, de modo a garantir que os projetos selecionados sero efetivamente executados; c) criar uma base de dados e informaes para atrair investidores nacionais e estrangeiros e facilitar a formao de parcerias entre o governo e o setor privado. Para cada projeto foi designado um gerente que, juntamente o com seu executor, tinha sua disposio um poderoso instrumento de gesto, sob a forma de um sistema informatizado de informaes que torna possvel: a) b) acompanhar e avaliar a execuo dos projetos; atualizar e revisar o planejamento inicial;

c) elaborar, de forma sistemtica e tempestiva, relatrios atualizados sobre o andamento dos projetos; d) disseminar informaes e interagir com rgos, instituies e pessoas, dentro e fora do governo, que tenham responsabilidades especficas (um parceiro privado) ou gerais (o Secretrio de Oramento do seu Ministrio ou do Ministrio do Planejamento) em relao ao projeto; e) identificar caminhos crticos, pontos de estrangulamento e marcos importantes (milestones 29) no processo de execuo do projeto; f) antecipar problemas e dificuldades e adotar ou propor medidas preventivas ou corretivas para a sua superao O sistema informatizado, que era coordenado pelo Ministrio do Oramento e Gesto (anterior e atual Ministrio do Planejamento), permitia recuperar, trabalhar e sistematizar uma massa de dados que, de outra forma, seria inadministrvel. Um dos mdulos do programa, por exemplo, possibilitava editar a programao fsica, de modo a avaliar o cumprimento de
29

Termo utilizado em administrao de projetos para caracterizar quando alcanado um marco importante tanto do ponto de vista quantitativo como qualitativo de sua execuo, como seria, por exemplo, o fechamento das comportas de uma barragem. 15

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

cronogramas e os progressos obtidos na execuo do projeto. Outros mdulos viabilizavam a edio dos tpicos de marcos crticos, realizao espacial das metas, realizao global de metas, empreendimentos complementares etc. Um correio eletrnico e um tpico de agenda tambm contribuiam para economizar o tempo e aumentar a produtividade do trabalho de gerenciamento dos projetos. Em 2003 estava sendo elaborado o novo Plano Plurianual (PPA) para o perodo 2004-2007 . A proposta do governo era implementar as seguintes estratgias de longo prazo: incluso social e desconcentrao da renda com crescimento do produto e do emprego; crescimento ambientalmente sustentvel, redutor das disparidades regionais, dinamizado pelo mercado de consumo de massa, por investimentos e pela elevao da produtividade; e reduo da vulnerabilidade externa por meio da expanso de atividades competitivas que viabilizem esse crescimento sustentado. As polticas e programas que daro substncia a essa estratgia estavam sendo desdobradas em cinco dimenses: social, econmica, regional, ambiental e democrtica 30 6. Planejamento regional Uma rea que tem sido submetida a constantes avaliaes no Brasil a relacionada com o desenvolvimento regional, em funo de um complexo e poderoso sistema de incentivos fiscais, criado, nos anos 60, para promover o desenvolvimento das regies mais atrasadas do pas. A partir dessas avaliaes, profundas reformas foram introduzidas nesse sistema, em 1976 e 198631. Muitos projetos de desenvolvimento regional ou sub-regional foram tambm objeto de avaliaes ad hoc32, elaboradas por institutos de pesquisa do governo ou contratadas com Universidades e consultores independentes33. Mais recentemente, tem aumentado de importncia o trabalho desenvolvido pelo Tribunal de Contas da Unio (TCU) na avaliao de determinados aspectos da poltica regional, em especial no que concerne aos incentivos fiscais. Ressalte-se que se, no passado, o trabalho do TCU estava mais relacionado estritamente com o controle formal dos gastos pblicos, nos ltimos anos o Tribunal tem mostrado uma preocupao com a eficincia do gasto pblico, ampliando o escopo de sua ao para incluir investigaes e estudos relacionados com a eficincia desse gasto e com a avaliao dos resultados e dos problemas operacionais de programas do governo.

30 31

Ministrio do Planejamento, Oramento e Gesto, Plano Brasil de Todos, site do MPO, julho de 2002 A crise fiscal dos anos 80 levou ao progressivo esvaziamento desse sistema, culminando com a extino da principal agncia regional a Sudene no primeiro ano do segundo mandato do Presidente Fernando Henrique. No dia 27 de julho de 2003, o Presidente Lula apresentou em Fortaleza o projeto de recriao da Sudene, com uma nova estrutura. 32 Expresso latina muita usada tanto no Brasil como nos Estados Unidos. Significa com esse fim ou para esse fim especfico, como no caso de uma Comisso ad hoc criada para investigar ou analisar um determinado problema. No caso a avaliao ad hoc corresponde quela que no permanente, mas realizada com um objetivo definido e, portanto, limitada na sua durao e nos seus propsitos. 33 Como exemplos podem ser citados os trabalhos realizados pela Universidade de So Paulo/FIPE sobre os Programas de Desenvolvimento do Centro-Oeste (POLOCENTRO), do Noroeste (POLONOROESTE), da Regio Geoconmica de Braslia (PERGEB) e do Grande Carajs. Ver Claudio Afonso Vieira, Anlise do Programa de Desenvolvimento do Noroeste do Brasil: POLONOROESTE, So Paulo, FIPE,1984 e Anlise dos Impactos do Programa Grande Carajs, So Paulo, FIPE, 1985; Cornlia Nogueira Porto, Anlise dos Impactos dos Programas Especiais: POLOCENTRO, So Paulo, FIPE, 1984 e Anlise dos Impactos dos Programas Especiais: PERGEB, So Paulo, FIPE, 1984 16

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

7. Programao setorial No campo da avaliao de polticas e programas tem sido intenso o trabalho desenvolvido pelo IPEA, instituto de pesquisas vinculado ao Ministrio do Planejamento, no apenas em relao a questes macroeconmicas e regionais de interesse mais geral como tambm no que diz respeito a polticas setoriais especficas, em reas como agricultura, indstria, energia, sade, saneamento, educao, previdncia, assistncia social etc. 34. Esses trabalhos dizem respeito tanto a polticas ou programas em execuo como a propostas de polticas a serem implementadas, a exemplo da projetada reforma da previdncia ou de um planejado programa de renda mnima. Os bancos de desenvolvimento nacionais ou regionais sendo de destacar as experincias do Banco do Nordeste do Brasil (BNB) e do Banco Nacional de Desenvolvimento Econmico e Social (BNDES) - durante muito tempo enfatizaram basicamente a avaliao ante. Em anos recentes tem procurado tambm avaliar resultados ex post, seja por iniciativa prpria, seja por induo dos exemplos dos bancos multilaterais como o Banco Mundial (BIRD)35 e o Banco Interamericano (BID) No mbito dos Ministrios muitas experincias de avaliao tem sido implementadas seja como uma rotina normal de trabalho, com o objetivo de melhorar a eficincia da gesto pblica, seja de forma tpica e isolada, visando a oferecer subsdios para o planejamento do setor (geralmente na oportunidade de elaborao de planos plurianuais). Em alguns setores, pela prpria natureza da atividade, a avaliao uma preocupao constante. Este o caso da educao, onde, por exemplo, foram estruturados ao longo dos anos alguns importantes sistemas permanentes de avaliao como: a) o da avaliao e classificao dos cursos universitrios de psgraduao, que vem sendo implementado h vrios anos pela CAPES Fundao Coordenao de Aperfeioamento do Pessoal de Nvel Superior; utilizando um conjunto de critrios e indicadores a CAPES monitora permanentemente os cursos, classificando-os com notas que vo de 1 a 5; os cursos que tiverem nota inferior a 3 tero canceladas as autorizaes de funcionamento e o reconhecimento dos cursos de mestrado e/ou doutorado por ele oferecidos 36 e, por isso, no podero matricular novos alunos em tais cursos, preservados os direitos dos alunos graduados ou matriculados
O acervo de estudos e pesquisas realizadas e publicadas pelo IPEA, ao longo dos ltimos 30 anos, extremamente vasto e rico. guisa de exemplos, referimos a seguir alguns trabalhos mais recentes: Andr Cesar Mdice, Perfil da Sade no Brasil, abril 1997, Maria Elizabeth Barros et alii., Poltica de Sade no Brasil; Diagnstico e Perspectivas, IPEA, fevereiro 1996; Guilherme Delgado, Previdncia Rural: Relatrio de Avaliao Scioeconmica - Projeto IPEA/MPAS, maio, 1997; Francisco Eduardo Barreto de Oliveira et alii. Reforma da Previdncia, IPEA, agosto, 1997; Guilherme Delgado, Estoques Governamentais de Alimentos e Preos Pblicos (Relatrio de Avaliao do Sistema), IPEA, Dezembro, 1995; Eduardo Augusto Guimares, A Experincia Recente da Poltica Industrial no Brasil: uma avaliao, IPEA, abril, 1997. Vem tambm o conjunto de 8 estudos do PMSS (Projeto de Modernizao do Setor de Saneamento) publicados em 1995 pelo IPEA e Secretaria de Desenvolvimento Urbano/MPO 35 Ver Alencar Soares de FREITAS e Pedro Ribeiro SOARES (organizadores), Aspectos Ambientais de Projetos Cofinanciados pelo Banco Mundial, Lies para o Futuro, Srie IPEA, no. 143, Braslia, 1994 36 MEC/CAPES, Portaria n 013, de 01 de abril de 2002. 17
34

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

at ento; b) o da Avaliao da Educao Superior (Graduao), organizado em um complexo sistema que integrado pelo Exame Nacional de Cursos (Provo), pelo Censo da Educao Superior, pela Avaliao das Condies de Ensino e pela Avaliao Institucional. O Exame Nacional de Cursos (ENC-Provo) um exame aplicado aos formandos com o objetivo de avaliar os cursos de graduao da Educao Superior, no que tange aos resultados do processo de ensino-aprendizagem. Foi aplicado pela primeira vez em 1996. No corrente ano (2003), devero participar do Exame mais de 470 mil formandos de 6,5 mil cursos de 26 reas profissionais. A Avaliao das Condies de Ensino feita por uma Comisso externa de Professores que verifica, in loco, a situao dos cursos de graduao, levando em conta trs grandes dimenses: a qualificao do corpo docente, a organizao didtico-pedaggica e as instalaes fsicas, com nfase na biblioteca. A avaliao institucional segue um processo muito semelhante para subsidiar as decises do Ministrios nos processos de credenciamento e recredenciamento de Instituies de Educao Superior (IES)37; c) o da avaliao do Ensino Mdio, com a realizao do Exame Nacional do Ensino Mdio Enem, processo implantado em 1998 que tem por objetivo verificar o nvel de conhecimentos adquiridos pelos alunos que esto concluindo ou que j terminaram o ensino mdio. O Exame avalia as competncias e habilidades desenvolvidas em 11 anos de escolarizao bsica. Desde o seu primeiro ano de realizao do Exame, diversas Instituies de Ensino Superior vem utilizando os seus resultados como instrumento para ingresso na Universidade, em substituio ao tradicional vestibular. Alm disso o Ministrio da Educao tem patrocinado frequentemente avaliaes externas ad hoc de alguns dos seus programas mais importantes como o da Merenda Escolar, o da TV Escola e do ProInfo (Programa de Informatizao das Escolas, ao qual este paper se refere de forma mais especfica. 8. Concluso Esses avanos ainda so insuficientes e h um consenso de que o Brasil precisa progredir muito mais no campo da avaliao de programas e projetos sociais. Todos concordam em que o problema do Brasil no o de ampliar os gastos sociais, mas o de aumentar a sua eficincia e efetividade, o que pressupe a institucionalizao de processos de avaliao de programas e projetos. Em 2002, os gastos sociais representaram 66,3 % do total das receitas totais do governo central, embora esse nmero esteja muito influenciado pelo peso da previdncia social, que consome o equivalente a 42 % dessas receitas totais (seguidos de sade, com 9,4 % e educao e cultura com 8 %).
37

Ver INEP/DAES Departamento de Estatsticas e Avaliao da Educao Superior, Manual de Avaliao Institucional, Centros Universitrios, setembro de 2002 18

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

O total dos gastos sociais representa 16 % do PIB (s a previdncia representa 10 % desse agregado), um percentual no desprezvel. Mas o seu impacto para a reduo da pobreza no Brasil tem sido negligvel. Um documento bsico de definio da poltica econmica do atual governo, nfase ao fato de que d

uma poltica social deve ser sempre avaliada por sua capacidade de reduzir a pobreza, e no pelo volume de recursos que consome ou mesmo pelo volume de benefcios que distribui. A efetividade de uma poltica social dada pela sua capacidade de transformar o quadro de pobreza de um pas. Essa efetividade depende de trs fatores, quais sejam, seus graus de (i) eficincia, (ii) eficcia e (iii) focalizao.....para que uma poltica social seja efetiva em reduzir a pobreza, necessrio (i) que os recursos disponveis sejam eficientemente traduzidos em bens e servios; (ii) que estes bens e servios sejam eficazes em transformar as condies de vida das famlias mais pobres; e (iii) que os segmentos pobres da populao tenham total prioridade no atendimento (boa focalizao). E termina por reconhecer que a despeito da diversidade e amplitude da poltica social brasileira e de alguns esforos isolados de avaliao de impacto, o Pas continua carente de um sistema de avaliao dos impactos de seus programas e polticas sociais. [grifo nosso] A fim de tornar efetiva uma poltica social to diversa como a nossa, necessrio um esforo permanente de avaliao [grifo nosso], o qual permitir, por sua vez, a concentrao de recursos em um espectro menor de programas com maior efetividade. Em suma, o problema fundamental a ser enfrentado para melhorar o impacto da poltica governamental sobre os indicadores sociais tornar o gasto social mais eficiente, eficaz e focalizado. Para tanto, necessrio direcionar esforos para a sistematizao de informaes e o aperfeioamento de sistemas de avaliao [grifo nosso] que permitam identificar as polticas com maior potencial para reduzir a desigualdade e a pobreza no Brasil38. BIBLIOGRAFIA Brasil, MEC/INEP/DAES Departamento de Estatsticas e Avaliao da Educao Superior, Setembro de 2002, Manual de Avaliao Institucional, Centros Universitrios, setembro de 2002 (internet) Brasil, Mec/Seed (julho de 1997) ProInfo, Braslia (mimeo) Brasil, Mec/Seed/UnB, 2003, ProInfo: Perspectivas e Desafios, Relatrio de Avaliao, Braslia, Brasil/MEC/UnB, 2002, Projeto de Avaliao Externa do ProInfo, Protocolo dos Estudos de Casos. Documento Tcnico para Orientao dos Pesquisadores, (1 verso/janeiro de 2002; 2a verso: julho de 2002), Braslia Brasil, Ministrio da Fazenda, abril de 2003, Poltica Econmica e Reformas Estruturais
38

Brasil, Ministrio da Fazenda, Poltica Econmica e Reformas Estruturais, Braslia, abril de 2003 (mimeo), p. 50-52 19

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

(mimeo), Braslia. Bulmettis, John e Dutwin, Phyllis, 2000, The ABCs of Evaluation, Jossey-Bass Publishers, San Francisco. Carr, W. and Kemmis, S. 1986, Becoming Critical:Education, Knowledge and Action Research, Falmer Press, London. Freitas, Alencar Soares de e Soares, Pedro Ribeiro (organizadores, 1994, Aspectos Ambientais de Projetos Co-financiados pelo Banco Mundial, Lies para o Futuro, IPEA, Srie IPEA, no. 143, Braslia. Herman, Joan L., Morris, Lynn Lyons, Fitz-Gibbon, Carol Taylor, 1987, Evaluators Handbook, Sage Publications, Newbury Park, CA. Holanda, Nilson, set/2001, Um Modelo de Avaliao para o ProInfo, UnB, Braslia mimeo); 2002, Monitoramento e Avaliao: Conceitos Bsicos (mimeo), UnB, Braslia, 2003, Planejamento e Avaliao, UnB, Braslia (mimeo); outubro de 1999, IPEA/BID, Projeto de Fortalecimento da Funo Avaliao na Amrica Latina, Relatrio sobre a Experincia Brasileira e o Caso do Brasil em Ao (mimeo) , Braslia Imagi, Isao, 2001, Melhorar a Qualidade do Ensino Escolar, in Delors, Jacques, Coordenador, Educao Um Tesouro a Descobrir, Unesco/MEC, Cortez Editora, 6 edio, So Paulo, Jia, Luiz Antonio, 2001 Uso do capital intelectual para avaliao de projetos de tecnologia educacional: o caso ProInfo, in Revista de Administrao Pblica, Rio de Janeiro, maro-abril,/dezembro de 2001 Libneo, Jos Carlos, 2001, Organizao e Gesto da Escola Teoria e Prtica, 4 edio, Editora Alternativa, Goinia. Merriam, Sharan, 1998, Qualitative Research and Case Study Applications in Education, Jossey-Bass Publishers, San Francisco, Patton, Michael 1986, Utilization Focused Evaluation, Sage Publications, Newbbury Park, CA. Rossi, Peter, Freeman, Howard e Lipsey, Mark, 1999, Evaluation: a systematic approach, 6 ed. Sage Publications, Thousand Oaks, California, Rusten, Eric , Learnlink, AED Academy for Educational Development, Computers in School, Unesco/Mec, 2001, Educao Um Tesouro a Descobrir, Cortez Editora, 6 edio, So Paulo, Viegas, Waldyr, 2001 Estudo de Caso, Plano Logstico de Execuo (mimeo), Braslia. Weiss, Carol, 1998, Evaluation, 2nd. edition, Prentice-Hall, New Jersey. Worthen, Blaine R., Sanders, James R., Fitzpatrick, Jody L., 1997, Program Evaluation, Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New York,. Wren, Daniel A ., 1979, The Evolution of Management Thought, 2nd edition, John Wiley and Sons, New York, Venezky, Richard L. e Davis, Cassandra, March,. 2002, Quo Vademus ? The Transformation of Schooling in a Networked World. OECD/CERI YIN, Robert R, 1994, Case Study Research Designs and Methods, 2nd. Edition, Sage Publications, Thousand Oaks

20

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 Oct. 2003

RESENHA BIOGRFICA Antonio NILSON Craveiro HOLANDA Residncia e Escritrio: QL 14, Conjunto 6, Casa 17, Lago Sul Braslia, DF CEP 71640-065 Fones: (55 61) 248.33.73 e 248.64.30 Fax: (55 61) 248.24.63 E mail: nilsonholanda@zaz.com.br Nilson Holanda graduado como Bacharel em Cincias Jurdicas e Sociais pela Universidade Federal do Cear (1957) e possui os ttulos de Master of Arts (Economia) pela Stanford University (1961) e Master of Public Administration pela Harvard University (1969). Foi professor de Economia da Universidade Federal do Cear e desde 1987 professor da Universidade de Braslia (federal). Antes de dedicar-se em tempo integral ao ensino universitrio, teve uma longa carreira profissional como especialista em projetos e executivo do Banco do Nordeste do Brasil; Superintendente, Diretor Executivo e Presidente do IPEA Instituto de Pesquisa Econmica Aplicada do Ministrio do Planejamento; Presidente do Banco do Nordeste do Brasil; fundador e primeiro Diretor Geral da Escola Nacional de Administrao Pblica, Diretor Nacional do Projeto Integrado de Desenvolvimento da Bacia do Araguaia-Tocantins (PRODIAT), projeto de cooperao tcnica entre o Governo brasileiro e a OEA e Secretrio Adjunto da Secretaria Especial de Polticas Regionais do Ministrio do Planejamento. Exerceu tambm mltiplas atividades de consultor para instituies pblicas brasileiras, organismos internacionais e empresas privadas. Entre outros, tem os seguintes livros publicados: 1987, Planejamento e Projetos, 13a. edio, Imprensa Universitria do Cear, Fortaleza (edies anteriores patrocinadas pelo Instituto Nacional do Livro, Braslia, e APEC Editora, Rio de Janeiro) (Esgotado); 2003, Introduo Economia, 8a. edio , Editora Vozes, Rio de Janeiro. LISTA DE FIGURAS FIGURA 1: PROINFO: TEORIA SUBJACENTE E INDICAES PARA AVALIAO FIGURA 2 :EFEITOS E IMPACTOS DO PROINFO FIGURA 3: ETAPAS PARA DEFINIO DOS OBJETIVOS DOS ESTUDOS DE CASOS

21