Sie sind auf Seite 1von 27

Revista Lusfona de Educao, 2010,15, 71-97

A construo de indicadores de qualidade no campo da avaliao educacional: um enfoque epistemolgico


Rosilda Arruda Ferreira* & Robinson Moreira Tenrio*
Este artigo trata do processo de construo de indicadores de qualidade no campo da avaliao educacional e, mais especificamente, da avaliao de polticas e programas educacionais. O objetivo promover uma discusso sobre duas questes articuladas: num primeiro momento, tratar os aspectos epistemolgicos e terico-metodolgicos envolvidos no processo de construo de indicadores nas cincias sociais; e, num segundo, refletir sobre os limites e possibilidades da construo de indicadores de qualidade no campo da avaliao educacional com base nas abordagens tericas mais recentes sobre qualidade em educao e sobre avaliao. Para proceder discusso adotamos uma perspectiva epistemolgica que busca focalizar a questo a partir da relao entre a definio de modelos de avaliao educacional e os problemas de validez que permeia o processo de construo do conhecimento, os obstculos envolvidos na relao que estabelece entre o pesquisador social (no caso especfico, o avaliador) e o conhecimento a ser produzido, bem como a questo do seu uso social e poltico que remete ao sentido atribudo para o termo qualidade em educao. Na concluso o artigo apresenta uma proposio provisria de um conjunto de estratgias que podem ser considerados como norteadores para a construo de modelos de avaliao de polticas e programas educacionais e de indicadores de qualidade.

Palavras-chave Indicadores de qualidade; avaliao educacional; avaliao de polticas e programas; epistemologia da avaliao.
* Faculdade de Educao, Universidade Federal da Bahia. rosildaarruda@gmail.com robinson.tenorio@uol.com.br

72

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

1. Introduo A construo de indicadores se constitui em aspecto relevante dos debates sobre o processo de produo do conhecimento no mbito das cincias sociais e suas reas aplicadas, especialmente para o campo educacional. Representa um momento crucial dessa discusso na medida em que remete ao problema da validez e da relao entre a teoria e a realidade emprica. A sua escolha pressupe a tomada de deciso sobre os aspectos da realidade a serem investigados que deve possibilitar a realizao de representaes cognitivas construdas com base em referncias definidas no mbito das diversas abordagens tericas vinculadas aos campos de estudos especficos. A relevncia dessa discusso se afirma, portanto, frente necessidade de se tratar o problema da validade do conhecimento cientfico, tema que tem movido amplos debates no campo das cincias humanas e sociais desde o seu surgimento no sculo XIX, na medida em que trata do problema da relao entre a teoria e o processo de demonstrao emprica. Essa temtica perpassa a discusso sobre a construo do conhecimento nos diversos campos de saberes e permeia o fazer cientfico independente da abordagem terico-metodolgica que se adote. Construir indicadores na pesquisa cientfica significa, pois, transformar conceitos e relaes entre conceitos, que constituem as teorias com seus diferentes graus de generalidade e abstrao, em categorias e proposies capazes de avanar na direo da explicitao das suas configuraes e aplicaes particulares. Esse processo revela a sua importncia e necessidade quando garante a demarcao de evidncias concretas que permitam a compreenso ou explicao dos fenmenos que esto sendo investigados. No campo da avaliao educacional a construo de indicadores de qualidade assume grande complexidade, por se tratar de um campo aplicado das cincias sociais que lida com a construo de modelos para valorar polticas, programas, projetos e aes educativas que alm de expressarem concepes tericas e abordagens determinadas, envolvem tambm aspectos vinculados aos interesses scio-polticos de determinados grupos em confronto e suas representaes sobre qualidade em educao. Nesse sentido, o cuidado epistemolgico e metodolgico, bem como o enfoque sociolgico sobre as representaes sociais acerca do que se est avaliando so aspectos fundamentais para a definio de indicadores e para o conhecimento sobre o fenmeno que est sendo avaliado, no caso a qualidade da educao. Nesse processo, torna-se relevante destacar o que entendemos por qualidade em educao: Do que estamos falando? Ser que todos entendem qualidade na mesma perspectiva? Que imagens fazem de uma educao de qualidade? Obviamente que h imagens bastante distintas em funo dos interesses e concepes construdas socialmente. Nesse caso, preciso considerar que a referncia de qualidade da educao a ser ofertada em determinadas conjunturas acha-se pro-

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

73

fundamente relacionada com os diferentes modelos de avaliao institudos pelas polticas educacionais, na medida em que esses modelos tomam como referncia metas e objetivos a serem alcanados previamente que so delineados no mbito de projetos scio-polticos e econmicos mais amplos. Na avaliao em larga escala, com seus importantes impactos para a gesto dos sistemas educacionais, construir instrumentos e indicadores de qualidade uma tarefa extremamente importante para lograr a sintonia entre os aspetos qualitativos e quantitativos que possam exprimir os aspectos objetivos da realidade, mas tambm apreender as representaes, concepes e interesses em jogo, favorecendo o delineamento de um processo de mo dupla que objetiva, atravs dos seus resultados, favorecer a tomada de decises (gesto) adequadas para a melhoria da qualidade da educao. Um Indicador se revela, portanto, como um elemento, sinal ou aviso que revela ou denota caractersticas especiais ou qualidades, que aponta (como o dedo indicador) uma direo, mostrando a convenincia de, ou aconselhando a alguma ao. De forma mais tcnica, um composto construdo para medir uma dimenso ou varivel (Babbie, 2001), como j dissemos anteriormente. A sua definio envolve a seleo de critrios relevantes e teis para julgar, comparar e acompanhar a evoluo dos benefcios, efeitos adversos e custos dos servios e produtos educacionais. Os indicadores de qualidade, assim, so fundamentais para acompanhar as mudanas na dimenso de realidade que se quer avaliar, permitindo: 1. Consolidar informaes relevantes, teis e a apreenso imediata de aspectos da realidade; 2. Aprimorar a gesto; 3. Desenvolver polticas; 4. Trocar informaes entre, instituies regies, municpios, etc.; 5. Apoiar aes de carter gerencial e de monitoramento que justificam a criao e utilizao de indicar de qualidade em educao. Neste artigo nos propomos a aprofundar a discusso sobre a temtica da construo de indicadores no campo da avaliao educacional, mediante a considerao de dois aspectos articuladas: um primeiro que trata dos aspectos epistemolgicos e terico-metodolgicos envolvidos no processo de construo de indicadores nas cincias sociais; e um segundo que reflete sobre os limites e possibilidades da construo de indicadores de qualidade em educao com base nas abordagens tericas mais recentes sobre avaliao e qualidade em educao. 2. A construo de indicadores nas cincias sociais segundo um enfoque epistemolgico e sociolgico As metodologias construdas historicamente no campo das diversas cincias sociais evidenciam, permanentemente, o problema da construo de indicadores, processo que precisa ser compreendido luz do debate sobre as concepes

Revista Lusfona de Educao

74

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

acerca da relao sujeito-objeto que se configura no interior das diversas teorias e abordagens estruturadas como programas 1 de pesquisa. Qualquer que seja a temtica da pesquisa emprica a ser realizada, referncia terica adotada ou tcnicas de coleta de dados escolhidas para efetivar o estudo, a questo da construo de indicadores empricos se impe como uma ao a ser realizada. Nessa direo, Lakatos (1975) afirma que sendo tericas todas as proposies da cincia uma proposio factual apenas uma espcie particular de proposio terica. O que se afirma, concordando com este autor, que apesar das variveis e indicadores da pesquisa se caracterizarem como instrumentos voltados observao sistemtica e controlada da realidade no podemos isentar-lhes da sua relao com as referncias conceituas que esto na base de sua definio. Portanto, apesar da funo principal de distinguir, registrar e comparar de forma sistemtica os fenmenos e processos sociais nos seus aspectos particulares, os indicadores no podem deixar de ser entendidos como instrumentos de categorizao que buscam favorecer a construo de representaes cognitivas sobre o real, ou seja, subsidiar o processo de construo de conceitos e de relaes entre conceitos. Podemos dizer, portanto, que os indicadores so instrumentos de medida dos fenmenos a que se referem. Mas ao que estamos nos referimos quando falamos de medidas nas cincias sociais? Esta uma questo polmica e marcada por perspectivas em confronto. Algumas abordagens que podem ser denominadas de compreensivistas, afirmam que s cincias sociais cabe apenas apreender os significados atribudos pelos sujeitos aos fenmenos que se pretende conhecer e que no podem ser utilizadas mtodos quantificveis. Nesse caso, afirma-se que conhecer os fenmenos sociais s possvel mediante a sua descrio 2; outras afirmam a possibilidade de um conhecimento objetivo sobre a realidade social, sustentando essa afirmao na argumentao de que a realidade social pode ser apreendida a partir de regularidades observveis que podem ser traduzidas em relaes passveis de serem medidas quantitativamente. Nesse caso, afirma-se que possvel conhecer os fenmenos a partir da medida da regularidade de suas manifestaes empricas 3. Em uns como em outros casos, discute-se a possibilidade de compreenso ou de explicao da realidade social e da validade na escolha de mtodos que dem conta de estabelecer a relao entre as teorias de base e a definio de aspectos da realidade que possam efetivamente ser investigados, ou seja, a construo de indicadores. As questes que se afirmam so de diversas ordens: Como os fenmenos se expressam? Que recortes do real deve ser feitos para conhecer os fenmenos, sejam eles de objetivos ou subjetivos, ou seja, que tipos de indicadores podem ser definidos e como os mesmos podem medidos? A resposta a essas questes remete necessariamente ao debate sobre o uso da teoria ou dos programas de pesquisa (Lakatos, 1975) que indicam a concepo sobre a realidade social, sobre

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

75

as possibilidades de sua compreenso ou explicao, o que est na base da tomada de deciso sobre os indicadores e formas de medi-los, S nesse momento que podemos retomar a discusso sobre o problema da medida que sinalizamos anteriormente. Assim, precisamos perguntar: possvel medir as evidncias empricas dos fenmenos sociais? Como essa medida possvel? Que tipo de indicadores pode ser medido? Que tipos de medidas podem ser utilizados? Como se caracterizam os diferentes tipos de medidas? 4 Existem diferentes tipos de medidas. No caso de indicadores como sexo, por exemplo, em que identificamos os seus valores por uma designao numrica (Feminino-1; Masculino-2) no podemos proceder a nenhuma operao aritmtica com base nos resultados encontrados. Nesse caso denominamos de escala nominal. No caso de indicadores, como por exemplo, segmentos de renda familiar, podem operar com uma escala de medida cujos valores podem ser hierarquizados (superior/mdio/baixo) e utilizados para construir uma ordenao ao longo de um continuum. No entanto, nesse tipo de escala que denominamos escala ordinal, tambm no podemos fazer nenhuma anlise relacionada s diferenas entre as posies relativas dos mesmos. Uma terceira possibilidade de medida refere-se quelas que permitem estabelecer diferenas entre classes de equivalncia ou valores do indicador, o que corresponde escala de intervalo, ou escalas de proporo quando essa escala tiver um zero no-arbitrrio ou absoluto. Assim, podemos afirmar que indicadores como rendimento familiar; desempenho escolar; ndices de evaso; ndices de repetncia; so indicadores que podem ser medidos a partir de escalas de intervalo ou de proporo e podem ser trabalhados a partir de possveis relaes quantificveis. Aspectos como concepes acerca da funo social da escola; preferncias poltico-partidrias, entre outros, s podem ser medidos segundo escalas nominais ou ordinais. Mas ser que a impossibilidade de medio de um indicador em termos que possam estabelecer relaes medidas estatisticamente, coloca em cheque a importncia de sua definio. O que podemos observar que no, pois independente dos mesmos poderem ser medidos a partir de escala nominais, ordinais, de intervalos ou proporcionais a sua importncia como operadores dos conceitos que permitem delimitar aspectos da realidade para conhec-la no pode ser desprezada, o que ser definido em funo das teorias de referncias. Vale destacar, no entanto, a complexidade desse processo de operacionalizao dos conceitos que caracteriza a construo dos indicadores quando tomamos dimenses muito amplas para compreender uma determinada realidade, como por exemplo, uma poltica, programa ou projeto educacional. Se buscarmos compreender os interesses polticos dos grupos relacionados aquele Programa especfico; ou se quisermos apreender os referenciais normativos culturais mais amplos que esto relacionados ao objeto de uma poltica ou programa, como devemos proceder na definio de indicadores? Com certeza, quanto mais amplas forem s referncias tericas ou os conceitos utilizados, mais difcil ser construir indicadores que se configurem como mediao entre a teoria e realidade emprica.

Revista Lusfona de Educao

76

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

A complexidade se d, tambm, em decorrncia da multidimensionalidade do real social cujos recortes analticos so sempre provisrios, situados, restritivos, permitindo apenas uma viso parcial dos fenmenos. O desafio remete, pois, a construo de indicadores que permitam, com base em referncias tericas consistentes, uma focalizao ao cerne da problemtica que est sendo discutida. O que queremos dizer que, muitas vezes, ficamos perdidos num emaranhado de indicadores que nos distraem da questo central que se est tratando. Mas como definir o que o cerne da questo? Como defini-la para permitir que se construam indicadores confiveis? Entendemos que a resposta a esta questo est necessariamente nas referncias tericas que se adota. O que queremos dizer que sempre necessrio promover uma discusso bem fundamentada e rigorosa dos conceitos a serem trabalhados; da formulao de hipteses provveis com base nas teorias ou em estudos j realizados, ou ainda em observaes sistemticas da realidade, etc. Essa discusso remete ao debate sobre as concepes que se afirmam no interior das abordagens sobre os processos de construo de conhecimento nas cincias sociais, marcado pelas clssicas polarizaes entre individual-coletivo, objetivo-subjetivo, agente-estrutura, entre outras, situao que tem levado muitos autores na contemporaneidade a buscar construir snteses que superem tais dicotomias, a partir do pressuposto de que a realidade se constitui na confluncia de mltiplas interferncias como partes constitutivas da mesma realidade. Alexander (1995, p.296) caracteriza estas tentativas como um novo movimento, afirmando que o problema sistemtico, ou analtico predominante tem sido a reintegrao do voluntarismo subjetivo e da restrio objetiva. E diz ainda, que
o esforo de fechar a brecha entre o micro/macro pois um af de relacionar a ao individual e a interao com a teorizao sobre a estrutura social (...) insistncia em ligar a ao com a estrutura, a subjetividade com a objetividade, marca um esforo para superar os termos do debate anterior (Alexander, 1995: 297).

Apesar de ser fundamental a necessidade e a tentativa de construo de uma anlise numa perspectiva multidimensional, partimos do pressuposto de que este processo no ser possvel se no se constituir em funo da articulao de campos de estudos com delimitaes claras e com produo de conhecimento cientificamente sustentveis, o que pressupe, por sua vez, a considerao de certos critrios postos no mbito das disciplinas cientficas (apesar destes serem variveis no tempo e, portanto, relativos). Neste quadro de referncia h que se considerar outro elemento que condiciona o processo de produo do conhecimento cientfico e, conseqentemente, a construo de indicadores nas cincias sociais, que est relacionado aos aspectos da normatividade envolvidos na sua produo, questo que tem relao com a problemtica dos uso social do conhecimento cientfico. No se pode negar, por

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

77

exemplo, o envolvimento de socilogos, educadores, cientistas polticos que ao participarem de projetos de governo recorrem ao uso pragmtico e ideolgico do discurso cientfico como estratgia de legitimao de projetos sociais e polticos determinados 5. No campo da avaliao de polticas e programas educacionais essa complexidade ainda mais evidente. Quando pensamos, portanto, nos procedimentos tericos e metodolgicos que temos que adotar ao intentar produzir conhecimento no campo das cincias sociais, temos necessariamente que considerar esses dois aspectos: os conceitos e teorias que embasam as discusses produzidas; e a sua operacionalizao que permite a focalizao de aspectos da realidade emprica, ou, em outras palavras, a construo de indicadores. Ambos os processos esto condicionados por fatores de ordem interna ao prprio conhecimento relacionado ao problema de sua validez; e de ordem externa relacionados aos determinantes polticos e institucionais que expressam interesses em jogo na cena acadmica. Em funo do que est posto, cabe perguntar sobre as possibilidades e limites da produo de modelos de avaliao educacional que possam se sustentar em bases epistemolgicas e metodolgicas seguras, construdas na mediao do debate entre as diversas abordagens cientficas do campo das cincias sociais? E ainda, sobre a possibilidade de que este debate venha a oferecer referncias vlidas para a construo de indicadores que possam efetivamente favorecer a construo de conhecimentos sobre a realidade emprica e contribuir para o redirecionamento das polticas e programas educacionais. Obviamente que esta resposta no pode desprezar os determinantes externos que esto na base da construo dos indicadores cuja definio e adequao ao tipo de conhecimento que se quer construir no remete apenas a um problema de definio de tcnicas de pesquisa. Assim, podemos dizer que esse processo envolve no apenas decises epistemolgicas e metodolgicas, mas tambm decises polticas. Afinal, cabe considerar, de princpio, os modelos de sociedade que estamos tomando como referncia para proceder avaliao das polticas e programas educacionais. A avaliao de polticas e programas educativos envolve, na verdade, uma avaliao poltica da poltica, principalmente se considerarmos que no existe conhecimento neutro. Todo conhecimento como nos diz Habermas (1982), um conhecimento interessado. Assim, quais as possibilidades de produzir avaliaes de polticas e programas educacionais que possam, efetivamente, contribuir para o conhecimento do processo de implementao de uma poltica e de seus resultados? Como garantir que os resultados alcanados so resultados confiveis possveis de serem utilizados para a correo dos percursos das polticas, programas e projetos implementados como espera as avaliaes educacionais promovidas? No campo da avaliao, parece que a inteno do projeto da cincia moderna de conhecer, prever e intervir se afirma com grande nfase. Frente ao exposto anteriormente, buscamos refletir na seqncia sobre os ca-

Revista Lusfona de Educao

78

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

minhos metodolgicos a serem considerados para que se possa produzir modelos de avaliao sustentados epistemologicamente, o que significa dizer que a construo dos modelos de avaliao de polticas e programas precisam ser submetidos ao debate sobre dois nveis que perpassam a sua construo: no nvel formal, interno que se refere a lgica da descoberta que exige o uso de determinados procedimentos do mtodo cientfico e que determina um conjunto de regras a serem seguidas o que revela uma especificidade do processo de produo de conhecimento e de seu espao prprio de autonomia; no nvel externo intersubjetivo que pressupe reconhecer a condicionalidade espao-temporal e os aspectos institucionais inerentes ao seu desenvolvimento. Considerar exclusivamente um ou outro aspecto na tentativa de explicar ou compreender a realidade, ou desacreditar na possibilidade da cincia construir conhecimentos vlidos, ou ainda na sua possibilidade da indicao de possveis caminhos para a interveno social desacreditar/desprezar a mais fantstica empreitada humana no processo de construo de seu ser no mundo: a inveno da cincia. Pensar na possibilidade de um conhecimento vlido que possa contribuir para a avaliao de polticas e programas educacionais, na prtica, significa afirmar que no nvel interno dos elementos conceituais envolvidos na proposio de modelos explicativos preciso considerar os critrios de validez utilizados durante a sua produo e a construo de indicadores; as referncias terico-metodolgicas que esto em sua base para que seja garantida a coerncia e a consistncia do material produzido; os aspectos objetivos e subjetivos, quantitativos e qualitativos que precisam ser apreendidos no sentido de ampliar as possibilidades de apreenso das mltiplas dimenses do real, entre outros aspectos. No nvel externo que envolve os condicionantes scio-polticos e institucionais que se expressam no modelo construdo preciso considerar as ideologias polticas e os projetos de sociedade que perpassam tanto a formulao das polticas e programas, quanto dos gestores e das instituies que promovem a avaliao; a finalidade da avaliao e o lugar social dos avaliadores; as lutas polticas cotidianas que demarcam as posies e os cenrios que mediam o processo de implementao e os resultados das polticas e programas a serem avaliados; as referncias culturais dos sujeitos envolvidos no processo de gesto e de avaliao, entre outros aspectos. No conjunto desse debate, busca-se afirmar a possibilidade de articulao dos elementos que constituem o campo da epistemologia das cincias sociais como uma das estratgias principais para fundamentar a construo de modelos de avaliao de polticas e programas educacionais, visando a sua validez e legitimidade. O que estamos propondo ampliar o debate sobre o conhecimento produzido no campo da avaliao educacional a partir de sua articulao s questes prprias da construo do conhecimento cientfico nas cincias sociais, ou seja, avanar na perspectiva da discusso delineada pelo campo da epistemologia da avaliao educacional.

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

79

O debate conduzido at aqui exige uma tomada de posio quanto ao sentido que atribumos ao esforo para explicar e compreender as aes humanas historicamente constitudas que configuram a realidade social a partir de sua complexidade, dinamicidade e multidimensionalidade como condio fundamental para a produo de modelos de avaliao educacional. Frente ao exposto, e buscando definir a posio que tomaremos no item seguinte quando trataremos das possibilidades de construo de modelos de avaliao educacional e do processo de definio de indicadores, podemos sintetizar a concepo afirmando que entendemos a realidade como uma totalidade complexa em que os processos e fenmenos sociais esto em permanente interao construtiva e que as mesmas se apresentam a partir de regularidades objetivadas e carregadas de sentido. Nessa perspectiva, entendemos que a realidade social constituda por regularidades que caracterizam as estruturas sociais e que apresentam uma existncia com relativa permanncia, e por processos de significao atribudos pelos agentes sociais. O que buscamos aqui a superar a dicotomia entre os caminhos das cincias sociais para explicao do real que, por um lado priorizam o agente, a histria e, por outro, a estrutura. O que significa dizer que toda realidade humana social e vivida coletivamente, logo em relaes carregadas de intenes, valores etc., que por sua vez so situadas em espaos e tempos historicamente determinadas. Afirma-se, nesse debate, a necessidade de superar a posio em que se dicotomiza a importncia da pesquisa qualitativa e quantitativa e se prope um olhar em que o real seja percebido em seus aspectos de permanncia e transformao imbricados, e o lugar do agente e da estrutura, enquanto mutuamente constitutivos. Nesse sentido, compreendemos a realidade em seus aspectos dinmicos, provisrios e histricos em que as aes dos sujeitos tm especial significado; e em seus aspectos estruturais, mais ou menos permanentes, indicadores de regularidades possveis de serem apreendidas. Busca-se, assim, definir um olhar sobre o real que apreenda as subjetividades em ao, mediante a atribuio de valores e de significados das vivncias, prticas e intenes dos sujeitos, o que pressupe a necessidade de recorrer a tcnicas de anlise de cunho interpretativo; ao mesmo tempo em que compreenda a construo e materializao dessas subjetividades em funo das regularidades mais amplas e estruturais que consolidam uma determinada formao social, posio que buscaremos trazer para o campo da avaliao das polticas e programas sociais. Sobre essa questo, Minayo (1999) nos diz que um objeto do campo social possui como caractersticas principais, sua historicidade, referente dinamicidade conferida pelo espao/tempo; sua conscincia histrica, determinada pelas aes objetivadas pelas estruturas sociais e pelo prprio cientista social inserido na relao; seu carter ideolgico, determinado pelas diferentes vises de mundo; o resultado do trabalho e sua aplicao e, por fim, a dimenso de significado, decorrente do conjunto de representaes que imprimem as situaes e os objetos

Revista Lusfona de Educao

80

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

sociais com os quais se depara cotidianamente. Construir um modelo de avaliao de polticas pblicas educacionais segundo essa perspectiva no se constituir em tarefa fcil. Muito se tem discutido sobre esta questo e vrias propostas so formuladas. Alguns autores defendem a importncia de uma avaliao objetiva que considere os impactos de uma poltica e que resgate os indicadores que expressem as mudanas ocorridas. Outros priorizam os aspectos relacionados ao processo de implantao das polticas e que envolve a luta dos diversos atores sociais envolvidos no cenrio em questo. Frente ao exposto, entendemos que necessrio superar essa perspectiva epistemolgica e buscar a avaliao de polticas pblicas considerando tanto os impactos quanto os processos polticos envolvidos em sua implantao. Neste artigo partimos do princpio de que a avaliao de polticas pblicas deve considerar tanto os aspectos objetivos quanto os subjetivos envolvidos no processo de sua implantao e implementao, principalmente quando estamos tentando avaliar polticas educacionais ou diretamente relacionadas educao que envolve a possibilidade de mudana cultural e pressupe a construo de indicadores objetivos e os significados que lhe so atribudos. Assim, numa primeira aproximao dos caminhos metodolgicos para a construo de um modelo de avaliao de polticas pblicas e da construo de indicadores, partimos da necessidade mais ampla de considerar trs aspectos fundamentais: a) a poltica pblica como um instrumento de ao do Estado, o que pressupe situar os parmetros analticos sobre a concepo de Estado e de sua atuao; b) as referncias terico-conceituais e poltico-filosficas que esto na base da definio do objeto da poltica, o que significa analisar os referenciais normativos culturais mais amplos que esto relacionados ao objeto da poltica, bem como o conjunto das reflexes tericas e crticas sobre o mesmo e, por fim, c) os processos de formulao e implementao desta poltica, tomando por base os elementos postos na discusso anterior. A seguir, procuraremos avanar nessa discusso tratando mais especificamente de elementos tericos sobre a avaliao educacional, buscando aplicar elementos do debate acima para pensar mais especificamente no problema da construo de indicadores no campo da avaliao de polticas e programas educacionais, ou seja, produzir reflexes sobre uma epistemologia da avaliao educacional. 3. Avaliao de polticas pblicas e programas educacionais: alguns aspectos conceituais a partir de um enfoque epistemolgico e sociolgico As pesquisas voltadas para avaliao de polticas e programas sociais, historicamente, expandiram-se a partir da dcada de 1960, sendo os Estados Unidos da Amrica o principal pas a desenvolver trabalhos nesse sentido. Nesse pas, as bases dessas pesquisas empricas se relacionavam aos domnios dos programas

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

81

educativos e sociais. Essas pesquisas visavam entender o significado dos programas, sua variao atravs do tempo e a relao entre o planejamento e a implementao da poltica. Atualmente, consolida-se a idia de que as polticas pblicas devem ser permanentemente acompanhadas atravs do monitoramento constante dos seus resultados. No Brasil, as pesquisas para avaliao de polticas ainda no se desenvolveram suficientemente. Alis, a preocupao com essa temtica surgiu na dcada de 80 em funo das exigncias para financiamento de programas. A preocupao principal dos modelos de avaliao das polticas pblicas nesse perodo estudar o processo de tomada de decises e os fatores que influenciam esse processo, sendo marcada pelo vis comportamental e neutralista. Neste caso, estuda-se a eficcia das polticas deixando relegada a avaliao poltica dos princpios que as fundamentam, ou seja, o seu contedo substantivo. Enfatizam-se o cumprimento de metas e os processos colaterais e deixa-se de lado a essncia da poltica. preciso considerar na avaliao de polticas, no entanto, os princpios polticos fundamentais que a sustentam relativos concepo do bem-estar humano, destacando os princpios de igualdade e de democracia, bem como a concepo de cidadania. Todavia, a avaliao no deve se restringir mera anlise conceitual de princpios, explcitos ou implcitos, a uma anlise puramente poltica. Em seu estudo, Beloni (2000) ao procurar discutir a questo de como tem se desenhado as Metodologias de avaliao em polticas pblicas, tomando como referncia uma experincia no campo da educao profissional,reconhece que se evidencia a predominncia do uso de mtodos econmicos quantitativistas, embora exista uma tendncia procura de mtodos alternativos que buscam superar limites, partindo do pressuposto de que o quantitativo apenas se refere a alguns aspectos da realidade social complexa e, portanto, no se iguala a ela. A avaliao, neste sentido, no serve como um instrumento apenas para julgar o programa, mas serve para oferecer elementos necessrios para formulao de novos programas. No que se refere metodologia utilizada por esses estudos percebe-se graus de complexidade analtica distintas, por um lado, com a avaliao da efetividade, eficincia ou contextualizao dos programas e, por outro lado, a eficcia funcional da poltica. Em relao avaliao de polticas na rea educacional, podemos perceber que as mesmas no conseguem analisar os impactos das polticas na escola, pois normalmente se restringem s avaliaes feitas em relao etapa de diagnstico e das propostas educacionais, raramente versando sobre o alcance de seus resultados, existindo uma grande distncia entre o diagnstico da situao e a tomada de deciso. Nessa direo, podemos afirmar que, normalmente, os modelos de anlise do processo de implementao de polticas educacionais, priorizam alguns aspectos em detrimentos de outros. Assim, alguns estudos priorizam as relaes entre a formulao da poltica e os formatos que os programas adquiram ao final do processo; outros, a dimenso temporal que trata dos efeitos no tempo em relao organizao em que se processam (resistncias e adeses por parte dos atores

Revista Lusfona de Educao

82

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

participantes) e as modificaes das condies iniciais; e outros, ainda, avaliam as condies que propiciam ou entravam o alcance dos resultados previstos. Essa discusso revela que no processo de avaliao de poltica e programas educacionais os diversos condicionantes que determinam a sua implantao e resultados precisam ser considerados. Assim, aspectos como o ambiente poltico no qual os programas se desenvolvem, as foras polticas que se contrapem ou fazem alianas para apoiar ou resistir ao programa, o iderio econmico-financeiro que preside a determinao sobre a alocao dos gastos pblicos, as concepes sobre a maior ou a menor necessidade de democratizao do Estado, a viso sobre os princpios de eficincia, efetividade e eficcia das aes governamentais na rea social, entre outros, precisam se integrar ao modelo avaliativo a ser definido. Outra questo relevante a pretensa incompatibilidade entre avaliaes quantitativas e qualitativas. Historicamente, a administrao pblica brasileira faz levantamentos quantitativos de informaes de ordem econmico-financeira que tm a finalidade de penalizar entidades com suas prestaes de contas com o governo federal. Por se tratar da administrao de recursos pblicos, importante que se utilizem avaliaes quantitativas, sem dvida, mas seria interessante que se introduzissem novos parmetros/indicadores relacionados avaliao qualitativa. Nessa discusso torna-se importante considerar que o impacto de uma poltica uma medida do desempenho da ao pblica e que a causa para realizao de avaliaes polticas pode ser de ordem moral (tica) ou instrumental. A primeira diz respeito aos princpios de justia que norteiam a formulao de polticas e suas repercusses nas condies de vida da populao. Deve ser, portanto, uma avaliao poltica e de poltica, considerando princpios, produto e impacto. A segunda se relaciona com a implementao da poltica ou programa, visando obter um fluxo contnuo de informaes sobre seus resultados em termos de volume e qualidade ou controle de impactos. O que nos leva a afirmar que no suficiente aferir se o estado desejado ocorreu, mas necessrio considerar tambm se a nova situao est sendo construda luz de princpios de justia sociais minimamente aceitos. Da ser fundamental considerar os projetos sociais em confronto e suas vinculaes ao modo como a sociedade se estrutura, bem como as representaes sociais dos atores envolvidos na formulao, implementao e controle dos resultados das polticas e programas. A considerao sobre esses aspectos nos leva a destacar o importante papel que as cincias sociais podem desempenhar na medida em que podem oferecer modelos analticos a serem tomadas como referncia nas anlises em questo, com destaque para a sociologia e a cincia poltica, referncias que podem oferecer importantes focalizaes para a discusso e compreenso das polticas educacionais no Brasil, na contemporaneidade. Podemos chegar a essa concluso independentemente do sentido que dermos a avaliao educacional: se no mbito pedaggico, interno escola, uma vez que o desempenho dos alunos medido mediante a definio de indicadores que revelam o que a coletividade espera dos seus membros; ou no aspecto mais amplo, da definio das polticas e programas educativos ou da gesto dos sistemas pblicos e privados de ensino. Nesses casos, tambm se

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

83

evidencia, ai de forma at mais clara, a relao entre os projetos sociais dos grupos de poder e os modelos de educao estruturados. Utilizando um recorte sociolgico para analisar o lugar social da avaliao educacional no Brasil, podemos perceber que tradicionalmente o debate sobre avaliao esteve voltado para os aspectos do desempenho do aluno e a preocupao com a melhoria da aprendizagem; ou para a questo do contexto organizacional da escola. Apesar dessa preocupao evidente e de sua vinculao a abordagens do campo da psicologia por se tratar de um problema sobre como os sujeitos aprendem, se tomarmos a mesma questo a partir de um enfoque sociolgico poderemos perceber uma vinculao estreita entre os diferentes modelos de avaliao utilizados nas escolas ao longo deste sculo e as estratgias de controle social e legitimao poltica, evidenciando as relaes entre os aspectos micro e macro-sociais para a compreenso do processo avaliativo que vai alm do espao encoberto pelo cotidiano escolar. Alm disso, importante destacar que a prpria avaliao do desempenho dos alunos assumiu vrias vertentes ao longo do tempo, indo desde um modelo restritivo vinculado, especificamente, ao trabalho como resposta ao processo de ensino e servindo para verificao das aprendizagens, a um modelo ampliado em que o avaliao do desempenho escolar do aluno tomada como indicador de qualidade da educao pblica. No Brasil, essa situao se evidencia especialmente a partir de meados dos anos 1990 e com destaque para o nvel da educao superior, o que est relacionado ao contexto do novo modelo social que se consolida no cenrio da globalizao de mercados caracterizando-se como uma estratgia importante para definir o lugar das Instituies de Educao Superior em rankings de resultados que se revelam em instrumentos eficazes para a definio de um mercado educacional. A partir da se espera que os consumidores da educao superior possam fazer suas escolhas com segurana 6. Essa reflexo nos leva a reafirmar a importncia de considerar na construo de modelos de avaliao a questo relativa ao contexto das mudanas econmicas e polticas mais amplas em que se inserem as mudanas educativas. Nesse sentido, o prprio movimento que surge no mbito da gesto de programas e dos sistemas educativos em que a avaliao aparece como condio essencial para o alcance de um determinado parmetro de qualidade precisa ser pensada a partir desses contextos. A questo que se coloca a seguinte: Em que cenrios e qual a motivao econmica e poltica que est na base dessa nova demanda que surge com relao ao papel da avaliao educacional, agora no apenas voltada para o interior das escolas, mas essencialmente para os sistemas e programas educativos mais amplos? Essa questo de grande relevncia, pois no podemos esquecer que a avaliao ela prpria uma atividade poltica, como afirma Afonso (1998) ao dizer que isto pode ser constatado
quando se estuda e pratica a investigao avaliativa, nomeadamente pela anlise sociolgica de programas educacionais e de polticas pblicas.Verificar a que interesses serve e como que esses interesses so representados ou respeitados implica aceitar que avaliao uma atividade que afetada por foras polticas e que tem efeitos polticos (Afonso, 1998: 33)

Revista Lusfona de Educao

84

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

Nessa tica, podemos tentar responder a questo proposta quanto ao surgimento da nfase no processo avaliativo que surge nos anos 1990 no mundo e tambm no Brasil, bem como as perspectivas adotadas para proceder s avaliaes de polticas e programas educativos. Esse processo decorrncia de um crescente investimento na educao ocorrido durante toda a dcada de 1960 e 1970 sem que os efeitos ou metas esperadas/anunciadas tivessem sido alcanadas. No mbito internacional, a crise de legitimidade da educao em decorrncia dos evidentes processos de excluso de amplas camadas sociais especialmente no que se refere a uma educao de qualidade no conjunto dos pases em desenvolvimento e a crise de emprego, gerou certa descrena com relao aos efeitos sociais da escolarizao e produziu um discurso que buscou transferir a responsabilidade do Estado pelos resultados da educao para outras instncias da sociedade. Nesse cenrio, a necessidade de fiscalizao dos investimentos feitos em educao, visando o controle de seus resultados e a justificativa perante a sociedade e os contribuintes revelou-se como uma urgncia. Na verdade, buscou-se definir mecanismos de responsabilizao (accountability) para os problemas de ineficincia dos sistemas educativos. Nesse cenrio, se fortaleceu um discurso de que a origem dos problemas estaria relacionado a falta de controle sobre o trabalho das escolas e, portanto, necessidade de desenvolver mecanismos de presso social para garantir uma maior participao e responsabilidade da sociedade com os resultados da escolarizao. Na dcada de oitenta esse movimento acompanhado em diversos pases pelo fortalecimento de posies e modelos de polticas de cunho neoliberal e neoconservador o que gerou um novo impulso para os mecanismos de responsabilizao. Observa-se nesse caso, uma convergncia de intenes entre alguns modelos de prestao de contas e os pressupostos que sustentavam as polticas educacionais, especialmente aqueles que afirmavam o princpio do direito de escolha da educao por parte dos pais, enquanto consumidores, e a sua relao com a divulgao dos resultados alcanados pela escola, necessrios para a fundamentao dessas mesmas escolhas. Resultados estes que deveriam ser construdos com base em procedimentos de avaliao sustentados em indicadores de qualidade confiveis. nesse cenrio que a avaliao dos sistemas educativos passa a ser destacada como estratgia fundamental para a definio e o controle das polticas educativas. Nessa tica, podemos perceber uma vinculao estreita entre as polticas de avaliao de desempenho dos alunos largamente adotada no Brasil desde os anos 1990 e sua associao responsabilizao dos atores que fazem a escola pelos resultados escolares dos alunos. As nuances desse processo se configuraro a partir dos interesses polticos em jogo e da conjuntura poltica, sendo esses aspectos determinantes para o modelo de avaliao educacional adotado. Este um aspecto fundamental a ser considerado para podermos compreender as mudanas que vo surgindo nos modelos de avaliao e nos processos de construo de indicadores decorrentes dos projetos educativos configurados em cada perodo histrico.

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

85

Assim, podemos compreender o motivo da nfase na retomada da construo de indicadores de avaliao educacional sustentados em modelos positivistas o que ocorre na contramo do que vinha sendo evidenciado no campo da teoria da avaliao que trazia para o centro do debate abordagens anti-positivistas e pluralistas. A nfase em modelos positivistas enfatizava a construo de indicadores mensurveis que se tornaram destaque no conjunto das polticas neoliberais e neoconservadoras. O que se quer dizer que, na prpria formulao das polticas estava includo o processo de avaliao com uma perspectiva desenhada previamente. Esse uma evidncia de como as mudanas nas polticas governamentais marcadas por projetos scio-polticos determinados pode, em determinadas conjunturas, resultar em mudanas nas prticas avaliativas. No caso da educao a preocupao com o produto, mais do que com o processo, se tornou uma evidncia e revelou elementos que foram tomadas como referncia para a caracterizao do Estado que passou a ser denominado por estudiosos da questo como Estado avaliador. No Brasil esse processo marcado pelas novas caractersticas assumidas em funo da reconfigurao poltica do Estado brasileiro decorrncia do projeto de reforma, apregoada como essencial modernizao e enxugamento das estruturas burocrticas e orientada principalmente pelo Banco Mundial, cuja inteno adequar o pas aos novos interesses do espao internacional capitalista, reforma que tem gerado mudanas em vrios setores da sociedade medida que tem levado o Estado a deixar de exercer, de modo direto, as funes da educao, sade e assistncia social descentralizando-as para as esferas de poder local; de outro, nesse perodo consolida-se a perspectiva dos setores educacionais organizados a partir do processo de redemocratizao do pas que vem na educao um instrumento fundamental para a construo da cidadania e na descentralizao do poder, autonomia e participao da sociedade civil os elementos fundamentais para a construo da democracia real. No mbito governamental, as iniciativas de implantao de reformas administrativas ganharam destaque no governo de Fernando Henrique Cardoso, quando comearam a ser tomadas medidas voltadas s mudanas no padro das polticas educativas e em que a avaliao educacional, juntamente com a gesto da educao, ganhou centralidade. Nesse momento, a questo da autonomia das unidades escolares e das administraes locais, em articulao com os processos de descentralizao das decises e da transferncia de responsabilidades entre as instncias centrais e locais de poder passam a ser priorizadas em consonncia com um modelo de monitoramente e avaliao que se consolida principalmente a partir dos anos 1990. No Brasil, no que diz respeito emergncia de novos processos de avaliao notam-se naturalmente especificidades que devem ser relacionadas com o impacto (ou recepo) que, entre ns, tiveram transformaes e debates que atravessaram

Revista Lusfona de Educao

86

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

os sistemas educativos em outros pases, desde o incio dos anos oitenta perodo que foi marcado por um conjunto de polarizaes, tais como: regulao-(des)regulao; escola pblica-privatizao da educao e competitividade entre as escolas; preocupaes sociais-preocupaes com a produtividade; igualdade de oportunidade-excelncia; necessidades educativas-competncias e seletividade. Um fato que contribuiu significativamente para a difuso dessas idias foi a criao do Ministrio da Administrao Pblica e Reforma do Estado (MARE), responsvel pela elaborao do Plano Diretor da Reforma do Estado, que defendia, dentre outros princpios, a descentralizao poltica, administrativa e a reduo de nveis hierrquicos nas instituies pblicas, propondo a substituio da administrao pblica burocrtica pela implantao da administrao gerencial. Esta pode ser entendida como a prtica onde o gestor ter ampla liberdade para administrar os recursos humanos, materiais e financeiros colocados sua disposio, desde que atinja os objetivos qualitativos e quantitativos e alcance indicadores de desempenho definidos previamente no mbito de instncias decisrias exteriores (MARE, 1995) 7. As mudanas ocasionadas pela emergncia desse novo paradigma reformista sero fortemente influenciadas pela competio internacional, a globalizao financeira, as crises fiscais e o esgotamento do padro de financiamento do setor pblico, contribuindo assim para a adaptao do Estado Nacional ao novo quadro mundial, em que a competio deveria ser a base para a reorganizao da sociedade democrtica superando as crises vividas no perodo anterior. Desse modo, como conseqncia do surgimento desse paradigma, ocorre um re-ordenamento administrativo baseado na reduo da capacidade regulatria do Estado nos anos 1990, capacidade regulatria que vem sendo retomada nos anos seguintes, especialmente durante os ltimos sete anos em que governo federal vem sendo assumido pelo Partido dos Trabalhadores, tendo a frente o presidente Luiz Incio Lula da Silva 8. Assim, observar-se uma mudana de perspectiva em que as funes produtivas na oferta de bens e servios e em sua estrutura administrativa que nos anos 1990 se sustentam nos princpios de descentralizao, privatizao e principalmente a competitividade, um dos princpios bsicos defendidos pela poltica neoliberal, para um modelo de forte regulao estatal especialmente das polticas educacionais feitas com base, principalmente, em modelos de avaliao dos sistemas de ensino em todos os nveis, desde a Educao Bsica at a Educao Superior 9 O modelo que est na base dos sistemas criados se sustenta em fortes perspectivas de regulao do sistema, distanciando-se de uma perspectiva emancipatria nos moldes em que discute Sousa Santos (1995; 2001). Assim, as medidas descentralizadoras expressas no processo de municipalizao do ensino preconizado pela Constituio de 1988 e pela LDB 9394, de 1996, visam obteno de eficcia e eficincia nos servios educativos, como tambm maior economia de recursos. Desse modo, esses objetivos sero atingidos atravs da delegao de responsabili-

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

87

dades para as escolas e da democratizao do ensino, fazendo com que haja maior participao, cobrana, fiscalizao e controle social das aes governamentais por parte da populao, tendo na avaliao educacional o instrumento mais eficaz de construo de informaes a serem publicadas e utilizadas como parmetros para o controle social e a tomada de decises, como podemos perceber no texto a seguir
A eficincia e eficcia da gesto exigem, portanto, uma poltica especfica dirigida em termos das seguintes diretrizes: formao de quadros tcnicos qualificados e permanentes no Ministrio da Educao e nas secretarias estaduais e municipais e especialmente no que diz respeito aos sistemas de informao, avaliao e planejamento, a desburocratizao e a descentralizao da gesto, especialmente atravs de uma maior autonomia das escolas, s quais devem ser repassados, automaticamente, os recursos necessrios manuteno do cotidiano escolar uma gesto democrtica e participativa especialmente no nvel das escolas, mas tambm atravs dos conselhos Estaduais e Municipais, que assegure a fiscalizao do uso e destinao adequada dos recursos disponveis (MEC,1998: 78)

O que podemos perceber que segundo a tica proposta acima a soluo para os problemas do fracasso da escola que apresenta altos ndices de evaso e repetncia s ser possvel mediante a superao da ineficincia e da crise de improdutividade que a tem marcado. Para isso o Estado deve investir na racionalizao administrativa do setor educacional em que a conteno dos gastos e a otimizao dos recursos passam a ser o principal alvo. Nesse sentido, prega-se a necessidade do estabelecimento de objetivos, prazos e metas previamente traados pelas escolas e posteriormente avaliados segundo indicadores definidores dos padres de qualidade a serem alcanados, revelando o projeto social em evidncia. No podemos deixar de considerar os riscos dessa metodologia no que se referem s suas relaes com as prticas pedaggicas, pois a sua adoo sem um debate crtico pode legitimar polticas discriminatrias por meio de critrios determinados externamente, a partir da transferncia de teorias e modelos empresariais para o seio da escola, o que pode vir a se constituir em estratgia para eliminar a luta poltica e introduzir uma relao de controle e competitividade. No interior deste debate, no podemos excluir as possibilidades de que o apelo participao popular no controle da execuo das polticas favorea a superao da desarticulao social, j que possibilitado o surgimento de canais institucionais para a construo de um padro de gesto democrtico que auxilie na melhoria da qualidade do ensino. Nesse caso, consideramos de fundamental importncia a participao da sociedade civil no controle das aes do Estado, especialmente no que se refere ao espaos pblicos institucionais em que se materializam a prestao dos servios pblicos, como o caso da escola. Esta atuao dos atores sociais precisa ser pensada como estratgias de controle social e de sobrevivncia da populao organizada, face aos novos padres de sociabilidade que o movimen-

Revista Lusfona de Educao

88

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

to de globalizao vem impondo. Esta reflexo nos remete para a importncia de se refletir sobre os modelos de avaliao implementados, visando superar modelos pr-estabelecidos com base em indicadores construdos previamente e segundo padres de qualidade definidos segundo parmetros exclusivamente externos, para a construo de modelos baseados na negociao e no compromisso dos atores envolvido no processo, o que revelaria, como consideram Tenrio e Vieira (2009) 10 a incluso de uma nova dimenso da avaliao a ser considerada como fundamental para a construo de modelos avaliativos gerados coletivamente e possveis de contribuir para a melhoria efetiva dos servios pblicos prestados a populao, posicionamento terico que avana na classificao proposta por Guba e Licoln (1989). relevante considerar, ainda, que os modelos adotados precisam ser discutidos para que possamos formular propostas inovadoras e diferenciadas que superem a inteno primordial de atender ao ethos competitivo que vem sendo adotado pelo Estado atravs da definio de polticas pblicas, na atualidade, e direcionar para a construo de um ethos colaborativo e solidrio. Essa posio se evidencia em funo tambm da crise que se vislumbra na atualidade. A afirmao de menos Estado e mais mercado como era preconizado pelo modelo neoliberal nos anos 1990 parece estar em cheque. A crise mundial que tem marcado as relaes econmicas durante os anos 2008 e 2009 fazem com que a discusso sobre o papel do Estado e de seu lugar no processo de regulao dos mercados seja retomada. A lgica do mercado que marcou os discursos sobre a gesto pblica da educao trazendo para o seu domnio modelos de gesto privada cuja nfase posta nos resultados ou produtos dos sistemas educativos precisa ser rediscutida e, nesse bojo, obviamente, os modelos de avaliao educacional e seu papel para o alcance de padres de qualidade educacional. Qual o papel da avaliao de polticas pblicas no cenrio atual? Como se dar a regulao estatal nesse novo cenrio? Como o Estado dever se comportar no processo de definio de polticas e da sua avaliao? Que tipo de referncias de qualidade precisa ser considerado como referncia para pensar os sistemas de ensino frente s novas configuraes sociais que se vislumbram os tempos atuais e nos cenrios que viram ps-crise? Essas so questes que no podem ser desprezadas quando pensamos no processo de avaliao de polticas e programas educacionais. 4. Qualidade em educao: aspectos relevantes do debate O termo qualidade tem diferentes significados. Qualidade um conceito polissmico, fluido, abstrato. As definies podem ser complexas, e no so consensuais. O conceito de qualidade fortemente dependente do contexto social e histrico em que considerado. Demo (1994) alerta para a falsa dicotomia entre qualidade (intensidade) e quantidade (base extensa): a qualidade (intensidade) sempre histrica, e representa a ao humana no desafio de construir e participar; a quantidade a ex-

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

89

tenso da qualidade. O referido autor assimila o conceito de qualidade idia de oportunidade, afirmando que qualidade ter e, sobretudo, ser oportunidade plenamente desdobrada, no contexto social (Demo, 1994: 15). Assim, a qualidade total no pode se restringir, como na literatura e prtica empresarial, a aes de planejamento e organizao; a qualidade supe a competncia humana, formal e poltica. Demo (1994), ento, distingue qualidade formal e qualidade poltica. Qualidade formal a habilidade para manejar tcnicas e procedimentos. Qualidade poltica a competncia de fazer histria, da participao e do encontro de valores. Qualidade formal (meios e tcnicas) e qualidade poltica (fins e tica) se relacionam de forma indissocivel, nas atividades humanas. Desta forma, o autor refora a importncia da qualidade da educao atravs do alcance de padres de desempenho. O conceito de qualidade em educao fortemente influenciado pelas teorias educacionais e pela respectiva forma com que as mudanas educacionais so programadas. Em pases em desenvolvimento, existem duas grandes tendncias que focalizam o problema da qualidade em educao (Montala, 2000). De um lado, uma tendncia com foco nos macro aspectos da educao, que enfatiza avaliaes quantitativas em larga escala para os diferentes aspectos da qualidade em educao, e prefere solues tcnicas e medidas centradas no conceito de eficincia. De outro lado, a segunda tendncia, reconhecendo a fragilidade do Estado para a implantao de programas de qualidade em educao, destaca a interao entre escolas e comunidades locais, enfatizam avaliaes mais qualitativas e focaliza no micro nvel escolar, afastando-se de estudos de larga escala, e propondo solues polticas e no homogneas, dando maior ateno complexidade, incertezas e unicidade dos parmetros escolares de qualidade. Conceitualmente, a avaliao da qualidade est dividida entre uma abordagem de cunho culturalista da escola e da sala de aula e uma abordagem sistmica das polticas e dos macros aspectos da educao. Ambas as perspectivas so limitadas - a sistmica por no considerar a influncia de diferentes culturas e contextos, e a culturalista por no avaliar especificamente o efeito a escola sobre a aprendizagem e o desempenho dos alunos. Estas tendncias esto em aparente oposio, representando uma tenso constante entre a perspectiva de uma educao para servir as demandas de uma sociedade e de uma economia globalizada, e a perspectiva de uma educao para servir os objetivos da cidadania; mas uma anlise mais acurada nos mostra que se aproximam daquilo que Demo (1994) denomina qualidade formal e qualidade poltica. A qualidade em educao no completamente explicada por nenhuma das duas tendncias isoladamente. H uma crescente compreenso da necessidade de se buscar informaes quantitativas que auxiliem o planejamento e a definio de polticas. Tambm h uma crescente compreenso da necessidade de conhecimento do cotidiano escolar, atravs de pesquisas qualitativas de avaliao (estudos de

Revista Lusfona de Educao

90

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

caso, avaliaes institucionais, etc), com forte nfase na escola e na sala de aula. H que se considerar, no entanto, que o conceito de qualidade mudou significativamente ao longo do tempo at chegar a concepo mais ampliada apresentada anteriormente. Qualidade tem sido definida como valor (Feigenbaum, 1951), ausncia de problemas (Crosby, 1979), adequao ao uso (Juran e Gryna, 1980), conformidade s especificaes (Gilmore, 1980), excelncia (Peters e Waterman, 1982), atendimento s expectativas dos interessados (Parasuraman e outros, 1985), etc. Cheng (2003) afirma que as grandes reformas educacionais no mundo, objetivando uma educao de qualidade, tm se desenvolvido atravs de grandes ondas que se sucedem no tempo, orientadas por diferentes teorias de qualidade em educao e de eficcia escolar. A primeira onda de reformas educacionais se iniciou nos anos 1970, e focou principalmente a busca da qualidade interna, com nfase na melhoria do desempenho de alunos e professores, atravs da melhoria dos mtodos e processos de ensinar e aprender. A segunda onda, iniciada a partir dos anos 1990, enfatiza a satisfao dos interessados e a eficincia. A recente terceira onda tem enfatizado a relevncia e a eficcia futura da educao. Do ponto de vista terico, Cheng e Tam (1977) identificam, a partir de uma ampla reviso da literatura, sete modelos de qualidade em educao: o modelo de metas e especificaes, o modelo de insumos, o modelo de processo, o modelo de satisfao dos interessados, o modelo de legitimidade, o modelo de ausncia de problemas e o modelo de aprendizagem organizacional. O quadro sumariza estes modelos. As diferentes concepes de qualidade acima apresentadas esto correlacionadas, constituindo uma famlia de significados, ou um significado por famlia de similaridades (cf. Wittgenstein, 1979). Apesar de nenhum desses modelos, isoladamente, apreender a qualidade educacional, no conjunto, a partir de diferentes perspectivas, podem produzir um quadro til para a compreenso de sua qualidade formal, favorecendo o desenvolvimento de estratgias gerenciais para promov-la. A partir do exposto, podemos afirmar que qualidade educacional um conceito fluido, polissmico, complexo, cuja apreenso, que se deseja objetiva, ser sempre parcial, incompleta. No existe a qualidade absoluta, e uma definio de qualidade poder ser objetiva, mas sempre parcial. Os indicadores de qualidade em educao, associados a cada definio de qualidade, sero, portanto, de natureza distinta. Tomada a deciso de utilizar indicadores de qualidade em educao, a dificuldade desloca-se para a escolha de um reduzido nmero de indicadores significativos, j que o nmero de variveis envolvidas sempre bastante elevado.

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

91

Quadro 1: Modelos de qualidade em educao


DIMENSES MODELO Concepo de qualidade educacional Pressupostos e Condies de uso do modelo Indicadores / reas para avaliao de qualidade Objetivos institucionais; padres e especicaes listadas no planejamento. Ex.: desempenho acadmico; taxa de aprovao, uxo, etc. Recursos procurados pela instituio. Ex.:qualidade inicial dos estudantes; suporte nanceiro, etc. Liderana, participao, interao social, clima em sala-de-aula, atividades e experincias de aprendizagem. Expectativas e satisfao das autoridades educacionais, diretores, administradores, professores, pais, estudantes, etc. Imagem pblica, reputao, status na comunidade, relaes publicas, marketing, responsabilidade (accountability). Ausncia de conitos disfunes, diculdades, defeitos, fraquezas, preocupaes, etc.

Metas

Atingir metas organizacionais; conformidade a especicaes dadas.

Metas claras, consensuais, com limites temporais e mensurveis.

Recursos

Qualidade dos recursos utilizados pela instituio.

Recursos escassos. Clara relao entre recursos e resultados.

Processo

Processos internos uentes e isentos de problemas; experincias de aprendizagem frutferas.

Clara relao entre processos internos e resultados.

Satisfao

Relao entre expectativas e satisfao de todos os interessados (stakeholders).

As demandas dos interessados so compatveis e no podem ser ignoradas.

Legitimidade

Alcance de posio de legitimidade e reputao da instituio.

Ambiente bastante competitivo e exigente.

Ausncia de problemas

Ausncia de problemas e diculdades na instituio

No h consenso sobre os critrios de qualidade, mas so necessrias estratgias para melhoria.

Aprendizagem organizacional

Adaptao a mudanas ambientais e barreiras internas; melhoria contnua

Instituies novas ou em mudana. Mudanas ambientais importantes

Planejamento de desenvolvimento, desenvolvimento de pessoal, monitoramento de processos internos, mudanas constantes

Fonte: adaptado pelos autores de Cheng e Tam (1977)

Revista Lusfona de Educao

92

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

Desta forma, a qualidade em educao um conceito multidimensional, exigindo um conjunto finito de indicadores para melhor ser apreendida. A construo de indicadores requer a identificao das dimenses mais fundamentais de qualidade em educao, alm da criao de formas apropriadas de medio, momento em que os aspectos a serem avaliados devem considerar: uma perspectiva sistmica, como na qualidade formal e na gesto educacional; uma perspectiva focalizada no cotidiano em que os interesses em jogo efetivamente se expressa; e o os diferentes modelos gerenciais de qualidade em educao. Em sntese, podemos definir qualidade educacional como o carter de diversos elementos associados s seguintes dimenses de qualidade: 1. Eficcia atingir as metas estabelecidas; 2. Eficincia otimizar o uso dos recursos; 3. Efetividade considerar os resultados sociais do servio; 4. Eqidade - minimizar o impacto das origens sociais no desempenho; 5. Satisfao relacionar expectativas e satisfao dos segmentos interessados. A seguir, nas consideraes finais aprofundamos essa discusso tentando apresentar algumas contribuies provisrias para o processo de definio de indicadores de qualidade em educao e para a elaborao de modelos de avaliao educacional. Consideraes finais Podemos considerar de princpio que avaliar uma ao rotineira e espontnea realizada por qualquer indivduo sobre os processos sociais vividos cotidianamente, constituindo-se em um meio utilizado permanentemente para questionar, compreender e orientar as aes de indivduos ou grupos, buscando aperfeiolas. Assim, podemos afirmar que qualquer forma de avaliao envolve julgamento, tratando-se, portanto, da atribuio, aprovao ou reprovao, a partir de certos parmetros construdos com base nas vivncias sociais. Estamos nos referindo ao que podemos chamar de avaliao informal. Se pensarmos, no entanto, num processo de avaliao formal, cujo objetivo explcito precisa ser definido previamente, o seu significado no muito diferente. Tambm, neste caso, precisaremos atribuir valor, fazer julgamentos, acompanhar e verificar os rumos dos processos que esto sendo avaliados, com o objetivo de aperfeioar as aes. No caso especfico da avaliao de polticas pblicas e programas educacionais, que envolve a anlise de processos sociais complexos e multidimensionais, a diferena que se trata de reflexo sistemtica que necessita partir de referncias tericas e metodolgicas construdas por determinadas reas de conhecimento ao longo do seu desenvolvimento. Nesse cenrio emerge uma questo importante que evidencia a complexidade de pensar a avaliao de polticas e programas educacionais e a construo de indicadores de qualidade em educao a partir das referncias postas pelo campo

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

93

das cincias sociais no processo de construo do conhecimento sobre a realidade social e que foram tratadas no item anterior. Trata-se de questionar como pensar a avaliao enquanto momento que envolve a atribuio de valor com base em parmetros prvios; a formulao de julgamentos, o acompanhamento e verificar dos rumos dos processos para poder redirecion-los no sentido de seu aperfeioamento? Como situar essa ao para identificar a qualidade da educao ofertada frente ao discurso que se afirmou sobre as cincias sociais durante longo tempo que colocava como exigncia a separao entre juzo de fato e juzo de valor? possvel promover essa separao no mbito das cincias sociais e da construo de indicadores de qualidade educacional? Ser que estamos atribuindo um novo sentido expresso atribuir valor para o significado do termo avaliao? Sabemos que dificilmente poderemos escapar dessa discusso a partir de afirmaes fechadas ou simplificadas que procurem, por exemplo, mudar o sentido a ser atribudo ao termo avaliao, como por exemplo, afirmar que avaliar no se trata de atribuir valor ou julgar. Entendemos que neste embate que se centra a questo central a ser trabalhada por uma epistemologia da avaliao educacional. Nesse sentido preciso enfrentar essa questo e buscar encontrar caminhos explicativos para a discusso acerca de que tipo de julgamento se est falando; sobre o que estamos querendo dizer com a expresso atribuir valor. Para avanar nessa discusso vamos tentar situar o debate sobre a questo a partir de dois momentos especficos: um primeiro em que tratamos da questo da relao entre juzo de fato e juzo de valor e das possibilidades que se vislumbram no momento atual no conjunto do debate no campo da epistemologia das cincias sociais; e num segundo momento, vamos discutir por que o campo de estudo da avaliao educacional se torna exemplar para o debate sobre essa questo, na medida em que envolve em sua prpria definio, por um lado, uma dimenso que se articula ao campo da produo cientfica e do rigor terico e metodolgico como critrios de validez e, por outro, uma vinculao direta aos interesses em jogo na cena scio-cultural e poltica em que os atores sociais esto imersos. No que se refere ao primeiro aspecto esse um debate que permeia o conjunto das diversas abordagens no campo das cincias sociais e que j foi amplamente discutido inicialmente. No segundo, que trata mais diretamente do problema da construo de indicadores de qualidade no campo da avaliao educacional, importante destacar alguns aspectos que, apesar de no terem a pretenso de resolver a questo, pretendem se constituir como elementos direcionadores da discusso. Nesse sentido, podemos afirmar que: a) necessrio trabalhar com as duas dimenses envolvidas no conceito de avaliao educacional como aspectos articulados uma vez que no podemos tratar da construo de conhecimento cientfico desvinculando-os de sua referncias contextuais; b) no processo de construo de modelos de avaliao de polticas e programas educacionais torna-se necessrio definir com clareza, por um lado, as referncias terico-metodolgicas tanto do prprio campo da avaliao quanto do campo de conhecimento do objeto que est

Revista Lusfona de Educao

94

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

sendo avaliado se insere, no caso a qualidade da educao, e por outro, os cenrios scio-culturais e polticos em que se inserem os sujeitos sociais envolvidos nas polticas e programas, ou seja, gestores e usurios; c) a demarcao dos interesses em jogo na cena poltica em que se configuram determinadas polticas e programas educacionais que se afirma como aspecto fundamental a ser tratado no mbito dos processos avaliativos e dos modelos de educao de qualidade. A seguir apresentamos uma proposio provisria com um conjunto de estratgias que podem ser considerados como norteadores para a definio de indicadores de qualidade e para a construo de modelos de avaliao de polticas e programas educacionais, partindo do debate realizado at aqui: 1. O primeiro momento para a construo de indicadores de qualidade da educao ofertada e para a definio de um modelo de avaliao deve ocorrer na direo da discusso epistemolgica sobre as opes terico-metodolgicas a serem adotadas, bem como nos critrios de validez a serem considerados com relao aos conhecimentos que se pretendem construir com a execuo do modelo e o seu uso social. Nesse momento do debate devem ser delineados os conceitos centrais que sero utilizados, bem como os mecanismos para operacionalizao dos conceitos o que sinaliza para a construo dos indicadores. Torna-se fundamental nesse momento tomar posio quanto ao sentido atribudo ao prprio termo avaliao, ao termo qualidade e ao modelo de avaliao que ser adotado 11. Nesse sentido, podemos estabelecer diferentes classificaes para a anlise dos processos avaliativos que tomam por base diferentes perspectivas, como por exemplo, aquela apresentada por Lawton (1980) que, considerando a dimenso polticoideolgica, classifica os processos de avaliao como avaliao burocrtica, avaliao autocrtica e avaliao democrtica. Ainda nessa direo, preciso considerar se sero adotados modelos participativos que envolvem a negociao de todos os passos da avaliao com os atores envolvidos, bem como o compromisso dos atores com a busca das informaes, com os resultados da avaliao e com o uso social dos mesmos em funo de projetos sociais claramente delineados no debate coletivo; ou se sero promovidos modelos parcialmente participativos em que os atores sero informados sobre os processos que esto sendo desenvolvidos, mas sem que seja exercido o poder de deciso coletiva quanto construo de indicadores e dos resultados da avaliao; ou ainda modelos no participativos, feitos com base em solicitaes externas que definem os objetivos e metas a serem alcanados previamente independentes dos interesses dos atores envolvidos na poltica ou programa educacional, entre outras possibilidades. 2. O segundo momento deve representar o aprofundamento dos aspectos conceituais envolvidos na avaliao, destacando-se aqueles relativos aos conceitos de Estado, poltica pblica e poltica educacional que iremos adotar. No contexto atual da definio das polticas educacionais, afirmamos a necessidade de analisar a configurao das polticas pblicas como um instrumento de ao do Estado e, no interior dessa discusso, trabalhar com questes relativas ao processo de descen-

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade

95

tralizao e configurao do poder local. Esses so aspectos importantes para que possamos compreender os cenrios scio-polticos em que se insere a poltica ou programa que ser avaliado e, portanto, o modelo de avaliao a ser construdo. 3. No terceiro momento, necessrio aprofundar o conhecimento acerca da poltica ou programa especfico sobre o qual ser elaborado o modelo de avaliao educacional, o que pressupe considerar dois aspectos principais: a) dados relativos ao objeto da poltica ou programa, ou seja, o cenrio educacional do municpio, gesto, ou do objeto foco da avaliao; b) as perspectivas terico-conceituais e poltico-filosficas que esto na base da definio do objeto da poltica. Nesse sentido, preciso desvelar os referenciais normativos culturais mais amplos que esto relacionados ao objeto da poltica em foco. Para a realizao deste momento da pesquisa so fundamentais a utilizao de diversos tipos de procedimentos para coleta de dados, destacando-se entre eles: levantamento de dados secundrios de indicadores estatsticos; pesquisa bibliogrfica para apreender o estado do conhecimento sobre o objeto que est sendo avaliado; pesquisa documental em que sero levantados e analisados os principais documentos produzidos sobre a poltica ou programa avaliado, visando apreender as perspectivas terico-conceituais e poltico-filosficos que fundamentam a opo pela realizao do programa. 4. Por fim, construir indicadores de qualidade para proceder anlise dos processos de implementao e dos resultados da poltica ou programa, o que significa avaliar tanto o processo de implementao quanto os seus impactos no mbito dos poder local, bem como a possibilidade de sua (re)significao a partir de sua relao com as definies postas no mbito de outras esferas de governo. Para tanto, podemos tomar duas ordens de fatores: as condies objetivas concretas que caracterizam o ambiente em que est sendo realizada a poltica o programa com relao situao socioeconmica e poltica local, regional e nacional; os aspectos subjetivos, relacionados s concepes dos sujeitos direta ou indiretamente relacionados poltica o programa. Quanto a este ltimo conjunto de variveis, entendemos que as representaes sociais sobre os programas especficos configuram-se em elementos de grande importncia para a compreenso das iniciativas concretas para a materializao do programa no cotidiano das escolas. A necessidade de considerar os elementos acima se vincula a permanente exigncia de tomada de posio que esto presentes nos processos avaliativos e que vivenciado tanto pelas instituies que assumem o compromisso para realizar os processos avaliativos, quanto pelos avaliadores enquanto produtores de conhecimento sobre uma dada realidade que se pretende mudar ou transformar e enquanto atores polticos comprometidos com o processo avaliativo e com seus resultados, que segundo Tenrio e Vieira (2010) revelam a sua sustentabilidade. Este no um desafio novo. Muitos autores, desde os clssicos, como Marx, Weber, Mannheim, at os contemporneos, como Bourdieu, Habermas, Lowy, tantos outros pesquisadores buscaram enfrentar essa questo, analisando a relao entre o trabalho do cientista social e as suas vinculaes institucionais, especial-

Revista Lusfona de Educao

96

Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010 Revista Lusfona de Educao, 15, 2010

mente, as instituies polticas. Como promover o distanciamento necessrio construo de um conhecimento reconhecidamente vlido sobre o social? Como tratar o uso poltico desse conhecimento e ao mesmo tempo garantir os critrios de validez e legitimidade pela comunidade cientfica? Em essncia, tratar da construo de modelos de avaliao educacional discutir as vinculaes e mediaes entre a cincia e a poltica e os projetos sociais em confronto. Eis a questo que nos instiga a continuar trabalhando nessa direo e a construir novas reflexes no campo da epistemologia e da sociologia da avaliao educacional e da construo de indicadores de qualidade em educao.
Notas 1 Utilizamos o termo programa recorrendo ao conceito adotado por Lakatos y Musgrave (1975). 2 Dentre os enfoques sociolgicos que podem ser considerados compreensivistas, destacamos: a sociologia weberiana, o interacionismo simblico, a fenomenologia, a hermutica, etnometodologia, entre outros. 3 Dentre os enfoques sociolgicos que podem ser considerados como defensores dessa concepo podemos encontrar um grande conjunto de abordagens de base positivista, tais como: funcionalismo, estrutural-funcionalismo, o positivismo lgico, entre outras. 4 Um indicador ou varivel um conceito que permite, em relao a um objeto de conhecimento teoricamente relevante, operar no mesmo uma partio em classes de equivalncia mais ou menos extensas. Chama-se valor ao predicado ou caracterstica atribudo a quaisquer elementos das classes de equivalncia do conjunto considerado (masculino/feminino) so os valores da varivel (sexo); operrio/industrial/ agricultor/empregado de escritrio/... alguns possveis valores da varivel (prosso, etc.). Diremos ento que, dado uma varivel qualquer, medida ser a aplicao (no sentido matemtico do termo) do conjunto dos valores que ela pode assumir num conjunto de nmeros (aqueles atravs dos quais precisamente se exprimem a medida). (Almeida & Pinto 1999) 5 Sobre essa questo ver o estudo de Ferreira & Sampaio (1988). 6 Sobre essa discusso ver Sguissardi (1997), Silva Jr. e Sguissardi, (1999); Sobrinho & Oliveira (2007), entre outros. 7 Sobre o modelo gerencial de gesto pblica ver Bresser Pereira (1996). 8 Sobre essa questo ver estudo produzido por Oliveira, A. P. (2007). 9 Os sistemas de Avaliao incluem o SAEB (Sistema de Avaliao da Educao Bsica composto por Provinha Brasil, Prova Brasil, ENEM); SINAES (Sistema Nacional de Avaliao da Educao Superior composto por ENADE Exame Nacional de Desempenho dos Estudantes; ACG Avaliao de Cursos de Graduao e Auto-Avaliao Institucional) 10 Para aprofundar a discusso sobre uma quinta dimenso da avaliao, ver o texto de Tenrio, R. e Vieira, M. Lacunas conceituais na doutrina das quatro geraes: elementos para uma teoria da avaliao, 2009.21 11 Para aprofundar discusses sobre as dimenses da avaliao, ver Guba e Licoln (1989); Tenrio e Vieira (2009) Referncias Bibliogrcas Afonso, A. J. (1998). Polticas Educativas e Avaliao Educacional. Para uma anlise sociolgica da reforma educativa em Portugal. (1985-1995) Braga: Universidade do Minho. Alexander, J. (1982). Las Teorias Sociologicas desde la Segunda Guerra Mundial: anlisis multidimensional. Barcelona: Editorial Gedisa. Almeida, J. F. & Pinto, J. M. (1986) Da Teoria a Investigao Emprica. In A. Santos Silva & J. Madureira Pinto (Orgs.). Metodologia das Cincias Sociais. Porto: Afrontamento. Babbie, Earl (2001). Mtodos de pesquisa survey. Belo Horizonte: Editora da UFMG. Belloni, I. (org.) (2000). Metodologia de avaliao em polticas pblicas: uma experincia em educao prossional. So Paulo: Cortez. Cheng, Yin Cheong e Tam, Wai Ming (1977) Multi-models of quality in education. Quality Assurance in Education. 5, (1), 22-31.

Revista Lusfona de Educao

Ferreira & Tenrio: A construo de indicadores de qualidade Cheng, Yin Cheong (2003). Quality assurance in education: internal, interface, and future. Quality Assurance in Education. 11, (4), 202-213. Costa, M. da (1994). Crise do Estado e crise da educao: inuncia neoliberal e reforma educacional. Educao e Sociedade. 49 (15), 501-523. Crosby, P. B (1979). Quality is free: the art of making quality certain. New York: New American Library. Demo, Pedro (1994). Educao e qualidade. Campinas & So Paulo: Papirus. Feigenbaum, A. V (1951). Quality control: Principles, practice and administration. New York: McGraw-Hill. Gilmore, H. L (1974). Product conformance cost. Quality Progress. 7 (5), 16-19. Guba, E. G. & Lincoln, Y. S. (1989). Fourth Generation Evaluation. London: Sage Publications. Ferreira, R. & Sampaio, M. C. H (1995). Democratizao, cidadania e transformao. Discurso e gesto governamental na Nova Repblica. Recife & Joo Pessoa: UFPE & UFPB. Habermas, J. (1982). Conhecimento e interesse. Rio de Janeiro: Zahar Editores. Juran, J.M & Gryna Jr., F.M. (1988) M. Quality control handbook. New York: McGraw-Hill. Lakatos, I. & Musgrave, A. (1975). La Critica y el Desarrolo del Conocimiento. Barcelona: Ediciones Grijalbo. MARE (1995). Plano diretor da reforma do Estado. Braslia. MEC (1998). Plano Nacional de Educao. Proposta do executivo ao Congresso Nacional. Braslia. Minayo, M. C. S. (Org) (1999) Pesquisa Social: Teoria, mtodo e criatividade. 5ed. Petrpolis-RJ: Vozes. Motala, S. (2001) Quality and indicators of quality in South African education: a critical appraisal. International Journal of Educational Development. 21, (1), 61-78. Oliveira, A. P. de (2007). A relao pblico-privado no contexto da educao superior. Tese de Doutorado (no publicada). Recife: UFPE. Parasuraman et al. (1985). A conceptual model of service quality and its implications for future research. Journal of Marketing. 4 (4), pp 41-50. Peters, T. J. & Waterman, R. H. (1982). In search of excellence. New York: Harper & Row. Santos, B. S. (1995). A transio paradigmtica: da regulao emancipao. Ocina do CES n 25. Coimbra, Centro de Estudos Sociais. Santos, B. S. (Org.). (2001) Globalizao: fatalidade ou Utopia. Porto: Afrontamento. Sguissardi, V. (1997). Para avaliar propostas de avaliao do ensino superior. In V. Sguissardi (org.). Avaliao universitria em questo: reformas do estado e da educao superior. Campinas, SP: Autores Associados. Sobrinho, J. D. (2007). Avaliao: instrumento de gesto universitria. Vila Velha, Es: Hoper. Sobrinho, J. D. & Ristoff, D. I. (orgs.). (2003). Avaliao e compromisso pblico a educao superior em debate. Florianpolis: Insular. Tenrio, R.M. & Vieira, M. (2010). Lacunas conceituais na doutrina das quatro geraes: elementos para uma teoria da avaliao. In R. M. Tenrio & U. M. Lopes. Avaliao e Gesto: Teoria e Prtica. Salvador: EDUFBA. Wittgenstein, L. (1979). Investigaes Filoscas. 2 ed. So Paulo: Abril Cultural.

97

Revista Lusfona de Educao

Das könnte Ihnen auch gefallen