Souza e Oliveira (2010) - Sistemas Estaduais de Avaliacao Uso Dos Resultados 2010

793 Cadernos de Pesquisa, v.40, n.141, p.793-822, set./dez.
2010
OUTROS TEMAS
SISTEMAS ESTADUAIS DE AVALIAO:
USO DOS RESULTADOS,
IMPLICAES E TENDNCIAS
SANDRA ZKIA SOUSA
sanzakia@usp.br
ROMUALDO PORTELA DE OLIVEIRA
romualdo@usp.br
Professores da Faculdade de Educao da Universidade de So Paulo
RESUMO
O artigo apresenta resultados de pesquisa que analisa sistemas de avaliao implementados
por cinco unidades federadas (Bahia, Cear, Minas Gerais, Paran e So Paulo), considerando
as caractersticas vigentes em 2005-2007. Tendo como referncia suas especicidades, busca-
-se explorar como os resultados produzidos vm informando a formulao e implementao
de polticas educacionais, bem como discutir seu potencial para tornar-se um marco da
poltica educacional que efetivamente interfere na gesto das redes de ensino e das escolas.
Observou-se que os sistemas tendem a apresentar caractersticas semelhantes e tomam como
principal referncia o Sistema de Avaliao da Educao Bsica, de mbito nacional. Quanto
ao uso dos resultados, so tnues ou inexistentes seus impactos ainda que precedidos, na fala
de seus propositores, de ampla retrica presente na literatura sobre suas potencialidades. No
entanto, a partir do balano feito pelos prprios gestores dos sistemas, possvel identicar
a preocupao de tornar tais sistemas mais efetivos. Assim, j neste estudo, identicam-se
iniciativas que procuram transformar a utilizao dos dados obtidos em instrumentos de gesto,
como as que propem bnus para professores e funcionrios.
POLTICAS EDUCACIONAIS AVALIAO DE ESTUDANTES ADMINISTRAO ESCOLAR
SAEB
ABSTRACT
STATE ASSESSMENT SYSTEMS: THE USE OF RESULTS, IMPLICATIONS AND TRENDS. This
article presents the results of research that analyzes the assessment systems implemented
by ve brazilian states (Bahia, Ceara, Minas Gerais, Parana and Sao Paulo), considering
their characteristics in 2005-2007. Taking into account their specicity, an attempt is made
Sandra Zkia Sousa e Romualdo Portela de Oliveira
794 Cadernos de Pesquisa, v.40, n.141, set./dez. 2010
to explore how the results have been used for formulating and implementing educational
policies, as well as their potential for becoming a milestone in educational policy that effectively
intervenes in the management of schools systems and schools. It was observed that the systems
tend to have similar characteristics, their main point of reference being the Basic Education
Assessment System, on national level. As for using the results, their impact is at best tenuous,
or even non-existent, even though, in the words of their proponents, it is preceded by powerful
rhetoric, as expressed in the literature about its potential. However, from an examination of
the systems carried out by the managers themselves, it is possible to identify a concern with
making them more effective. So, even in this study initiatives have already been identied that
seek to transform the use of the data obtained into a management tool, as the ones that
propose offering bonuses to teachers and staff.
EDUCATIONAL POLICIES STUDENTS EVALUATION EDUCATIONAL ADMINISTRATION SAEB
A partir da dcada de 1990, a avaliao de sistemas escolares passou a
ocupar posio central nas polticas pblicas de educao, sendo recomendada
e promovida por agncias internacionais, pelo Ministrio da Educao e por
Secretarias de Educao de numerosos estados brasileiros, como elemento
privilegiado para a realizao das expectativas de promoo da melhoria da
qualidade do ensino bsico e superior. Os diversos nveis e modalidades de
ensino da educao bsica ps-graduao tm sido objeto de avalia-
o por parte do poder pblico sob o pressuposto de que a avaliao pode
produzir um ensino de melhor qualidade (Sousa, 2001, p.90).
As possveis contribuies da avaliao na promoo da melhoria do
ensino tm sido discutidas com base em dois tipos de argumentos:
a. O primeiro considera a lgica interna dos processos de avaliao,
examina seus princpios e procedimentos, procura explicitar os
enfoques e critrios adotados, tomando-os como referncia para
a discusso das potencialidades e dos limites das prticas adotadas.
As possibilidades de interferncia da avaliao na melhoria da qua-
lidade de ensino estariam presentes na prpria lgica intrnseca ao
seu delineamento (Oliveira, 2008);
b. O segundo considera tambm a utilizao dos resultados na condu-
o das polticas educacionais, examinando a validade, a relevncia
e a oportunidade das iniciativas adotadas como consequncia do
conhecimento obtido mediante o processo de avaliao.
Sistemas estaduais de avaliao...
No Brasil, os debates a propsito das iniciativas do governo federal e de
governos estaduais tendem a focalizar os princpios e os delineamentos dos
programas realizados, procurando explicitar suas potencialidades ou deficincias
e/ou riscos inerentes sua implementao, explorando, por vezes, concepes
de qualidade de ensino implcitas nos programas de diferentes administraes.
So ainda escassas as investigaes que se propem a explorar o uso dos
resultados nos processos decisrios pelas diversas instncias do sistema educa-
cional (Sousa, 1997), o que torna oportunas as pesquisas dessa natureza. Sua
institucionalizao, tanto em mbito nacional quanto nas unidades federadas,
tem implicaes nas polticas pblicas de educao envolvendo as instituies,
o currculo, os profissionais e os estudantes, e evidencia uma redefinio do
Estado em relao ao seu papel na rea.
No Brasil, a partir de 1995, a implementao de processos avaliativos
intensica-se e a viso de melhoria da qualidade do ensino e do papel do Estado
na educao, intrnseca avaliao em larga escala, assume crescentemente
maior importncia no debate educacional. Nesse perodo, agncias internacio-
nais passam a estimular e inuenciar de modo mais direto o delineamento das
propostas de avaliao de sistemas, demonstrando claro interesse sobre a eccia
dos investimentos externos na educao. O Sistema de Avaliao da Educao
Bsica Saeb , de nvel nacional, implementado a partir de 1990, passa, por
exemplo, a ser parcialmente nanciando pelo Banco Mundial e, consequentemen-
te, sofre transformaes de acordo com a mudana de seus agentes, inuncias
de concepes, pesquisas e tcnicas avaliativas internacionais (Bonamino, 2002). A
consolidao do Saeb estimulou ainda as propostas de avaliao no mbito de go-
vernos estaduais, iniciativas que passaram a ter centralidade nas polticas em curso.
Este artigo apresenta os resultados de pesquisa financiada pela Fundao
de Amparo Pesquisa do Estado de So Paulo Fapesp , conduzida entre
2005 e 2007, com o propsito de caracterizar e cotejar sistemas de avaliao
implementados por cinco unidades federadas (Bahia, Cear, Minas Gerais,
Paran e So Paulo), buscando compreender seus pressupostos e contornos,
bem como analisar se e como os resultados produzidos tm informado a
formulao e implementao de suas polticas educacionais.
A pesquisa baseou-se na compreenso de que os sistemas de avaliao
precisam ser analisados para alm da superfcie vislumbrada por suas propostas
e seus instrumentos de avaliao, com o intuito de verificar qual sua potencia-
lidade para colocar-se como marco de poltica educacional que efetivamente
interfere nas escolas.
A necessidade de investigaes dessa natureza apontada por Barretto
e Pinto (2001) e por Sousa (2002), diante da constatao a que chegam as
autoras da existncia de um nmero muito reduzido de estudos sobre os
resultados ou impactos das avaliaes. Barretto e Pinto, ao mencionarem os
trabalhos sobre avaliao de sistemas, ponderam que existe:
a predominncia do discurso oficial nesta temtica, principalmente na explici-
tao das caractersticas e finalidades de um sistema permanente de avaliao,
capaz de contribuir para a melhoria da qualidade das escolas. [] Os estudos
mais sistemticos realizados no Pas pelos prprios sistemas de aferio Saeb,
Paemg, Saresp parecem encerrar-se em si mesmos, sem que haja um esforo
maior de articulao com os demais estudos sobre a escola e o rendimento es-
colar, no se evidenciando uma reflexo acumulada. (Barretto, Pinto, 2001, p.61)
H que se considerar ainda que esses sistemas de avaliao emergem
sintomaticamente no momento em que se assiste a um questionamento do
papel do Estado nas sociedades capitalistas, direcionado sua capacidade de
gerir diretamente os servios a ele associados historicamente
1
(Sousa et al.,
2000; Sousa, Oliveira, 2003). Mais do que um debate acadmico, a apreciao
da natureza e do papel do Estado tem desencadeado mudanas significativas
nas polticas pblicas, particularmente no processo de privatizao da gesto de
servios e atividades estabelecidas na esfera pblica. A discusso da avaliao
de sistemas abrange um amplo leque de questes de natureza tcnica e, para
alm delas, implicaes de ordem poltica, pois que est intimamente vinculada
s polticas pblicas de educao.
Esses sistemas de avaliao, no constituindo elementos isolados das
polticas educacionais na esfera nacional e internacional, tm conhecido forte
desenvolvimento. Destaca-se, no mbito da educao bsica, inicialmente o
1. Essa afirmao pode vir a ser relativizada nos prximos anos, a depender das interpretaes
que se tornem hegemnicas sobre a recente crise do subprime com consequncias globais,
neste momento, ainda no perfeitamente claras.
Saeb
2
, seguido do Exame Nacional do Ensino Mdio Enem e do Exame
Nacional de Cursos ENC
3
. Essa tendncia avaliativa ganha tambm espao
no plano mundial, seja em muitos pases singularmente, seja mediante proce-
dimentos que procuram fixar comparaes entre pases, como o caso do
Programa de Avaliao Internacional de Estudantes Pisa
4
.
Patrcia Broadfoot ressalta que a matriz dominante relaciona-se forte-
mente viso segundo a qual, pelos sistemas de avaliao, se difundiria um
processo de gesto de sistema com forte influncia da lgica empresarial.
Entretanto talvez, mais importante que esse crescente controle, seja a cres-
cente associao da administrao educacional em ambos os pases (Inglaterra
e Frana) com uma abordagem da administrao empresarial. Essa abordagem
tende a dissimular a natureza essencialmente poltica dos objetivos educacionais
por meio de uma ideologia de racionalidade cientfica. Nesse caso, julgamentos
de valor aparecem como meras decises administrativas, tendo como objetivo
maximizar a eficincia. provvel que o efetivo controle educacional implique
a existncia de uma ordem social pronta a concorrer para o alcance desses
objetivos educacionais. As maneiras pelas quais os procedimentos de avaliao
contribuem para que isso acontea so, em ltima instncia, talvez mais impor-
2. Institudo em 1990 pelo Ministrio da Educao e do Desporto, efetua avaliaes bienais por
amostragem em todas as unidades da federao. A partir de 2005, passou a ser constitudo
por duas iniciativas: a Avaliao Nacional da Educao Bsica Aneb e a Avaliao Na-
cional do Rendimento Escolar Anresc. A primeira realizada por amostragem das redes
de ensino em cada unidade da federao e focaliza as gestes dos sistemas educacionais
mantm caractersticas do Saeb. A segunda, conhecida como Prova Brasil, tem foco em
cada unidade escolar.
3. O Enem e o ENC (Provo) teriam como objetivo fornecer indicadores, apesar das diferenas
em seus procedimentos e mtodos, sobre o ensino mdio e superior respectivamente,
cobrindo um amplo espectro da educao nacional. Excluindo-se a educao infantil que
ainda guarda muita dependncia de uma concepo restritiva de assistncia social e os
cursos de ps-graduao, que merecem outro tipo de avaliao pela Coordenao de
Aperfeioamento de Pessoal de Nvel Superior Capes.
4. O Pisa avalia estudantes com 15 anos de idade, independentemente do nvel de escolarizao;
aplicado pela Organizao para Cooperao e Desenvolvimento Econmico OCDE ,
entre os pases membros, porm possui uma poltica de ampliao de estudantes de outras
naes, o que explica o envolvimento de alunos brasileiros nas provas realizadas no final de
2000 (OECD, 2001, 2001a).
tantes do que o seu papel na imposio dessas metas. De fato, as exigncias dos
testes de larga escala so de tal ordem que envolvem um considervel acordo
acerca dos objetivos educacionais. Pode bem acontecer que a tecnologia dos
testes v alm da identificao inicial dos objetivos educacionais, reforando a
tendncia, bastante criticada, de reduzir os objetivos curriculares ao que pode
ser medido e imprimindo ao processo um carter prximo ao ideal tecnocrtico
de gerenciamento. (Broadfoot, 1996, p.123-124, traduo nossa)
Nessa perspectiva, a utilizao de resultados de processos avaliativos
em larga escala depara-se, no pas, com uma intensa disputa ideolgica. De
um lado, a expectativa de uma gesto de sistema ancorada em uma raciona-
lidade instrumental, com perspectiva de gerar maior eficincia. De outro, a
ideia da autonomia dos processos educativos no mbito da escola, enfatizando
processos de autoavaliao. Dessa forma, a questo do uso dos resultados
adquire uma nova dimenso. Em que medida a implantao dos sistemas de
avaliao tem sido capaz de induzir autorreflexo no mbito do sistema como
um todo e, em particular, na escola? Ou, ainda, em que medida tem sido capaz
de provocar alterao na lgica de formulao e implementao de polticas
educacionais e nas prticas escolares?
As contribuies presentes na literatura tm incidido na anlise da ao
reguladora do Estado e de seus efeitos, nos moldes resumidos por Madaus:
1. O poder dos testes e exames para afetar indivduos, instituies,
currculos um fenmeno perceptivo: se os estudantes, professores
ou administradores acreditam que os resultados de um exame so
importantes, importa pouco se isso realmente verdadeiro ou falso
o efeito produzido pelo que os indivduos percebem ser.
2. Quanto mais indicadores sociais quantitativos so usados para tomar
decises sociais, mais provavelmente se distorcero tais processos
tentando monitor-los.
3. Se importantes decises so supostamente relacionadas aos resultados
dos testes, ento os professores ensinaro para o teste.
4. Em cada ambiente em que se operam testes, desenvolve-se uma
tradio baseada em exames passados, o que eventualmente define
de fato o currculo.
5. Os professores dirigem particular ateno forma das questes dos
testes (por exemplo, resposta curta, ensaio, mltipla escolha) e ajustam
o que ensinam de acordo com ela.
6. Quando os resultados dos testes so o nico ou mesmo o rbitro
parcial do futuro educacional ou das escolhas de vida, a sociedade
tende a tratar o resultado dos testes como o principal objetivo da
escolarizao, em vez de um indicador til do desempenho, ainda
que falvel.
7. Os testes transferem controle do currculo para a agncia que controla
o exame. (1988, p.94, traduo nossa)
Embora se reconheam tais limitaes, o dimensionamento da qualida-
de de ensino tem sido apresentado como carro-chefe de vrias iniciativas de
avaliao de sistema que se apoiam sobremaneira no desempenho dos alunos,
quer censitariamente, quer por procedimentos de amostragem da populao
referida. Por sua vez, no excluindo essa primeira perspectiva, argumenta-se
que essas prticas avaliativas seriam indutoras de nveis crescentes de qualidade
de ensino. Esses pontos de partida revelam-se, no entanto, extremamente
controvertidos pelas dificuldades de definir a qualidade de ensino de forma
operacional, inclusive por conta de seus condicionantes sociais e histricos;
necessrio reiterar que avaliao da qualidade da educao no se limita
apenas verificao do rendimento escolar, que um momento na caracterizao
dessa qualidade. O desempenho dos estudantes em pesquisas da qualidade da
educao melhor compreendido e interpretado quando se levantam informa-
es sobre o tipo de ensino que recebem, os procedimentos que vivenciam em
sala de aula e no colgio, e ainda sobre as caractersticas ambientais da famlia
que determinam o seu comportamento. (Vianna, 1990, p.99)
Essas preocupaes ganham relevncia quando se constata que os
principais processos avaliativos em larga escala, o Saeb e a Prova Brasil, tm
o rendimento do aluno como ponto nuclear para as apreciaes da educao
bsica (Sousa, 2001, p.88). Tal constatao no implica um julgamento acabado
desses sistemas; trata-se de apontar limitaes desses procedimentos, que
inclusive podem infundir um cientificismo que no lastrearia adequadamente
as polticas que da derivam (Perrenoud, 1998). Ademais, tais prticas no fa-
voreceriam a consolidao de um verdadeiro sistema de avaliao, que, para
constituir-se, demandaria uma multiplicidade de iniciativas que tm:
mais dificuldade de ser entendid[as]o pela sociedade e talvez por isso, tenha[m]
menos apelo para quem est em posio de deciso. A iniciativa de avaliao
nica e censitria desperta maior impacto e emoo. A este respeito, compare-
-se o Provo e o Saeb. Mas o problema que nem tudo que provoca impacto
e emoo entrega o que promete. (Franco, 2004, p.61-62)
Na literatura investigada h uma concentrao de trabalhos que tratam
de processos avaliativos em curso nos Estados Unidos nos quais estas preo-
cupaes so fortemente reiteradas (Heubert, Hauser, 1999; Kohn, 2000;
Orfield, Kornhaber, 2001; Levin, 2001; Mcneil, 2000; Wilde, 2002, entre
outros). Tambm se encontram tais posicionamentos quando se abordam
procedimentos em implementao na Europa, como ilustra a manifestao de
Roggero, demarcando que:
Considerando o sistema educativo ou uma organizao educativa como um siste-
ma complexo, isto , capaz de proceder a uma autoecorreorganizao, tomamos
conscincia de que ele depende de sua histria (re), dos relacionamentos com seu
meio ambiente (eco) e de sua identidade interna (auto). Toda ao de avaliao
deveria, desde j, levar em conta essas dimenses essenciais que no saberamos
avaliar unicamente por indicadores de performance. ( Roggero, 2002, p.43)
As referncias evidenciam que ao tempo em que se assiste ampliao
de iniciativas de avaliao em todo o mundo, emergem novas questes de
ordem tcnica e poltica que demandam equacionamento no mbito de pol-
ticas educacionais e no de pesquisas que possam revelar tendncias, subsidiar
crticas e elucidar caminhos.
Um indicador da generalizao dos processos avaliativos a apresentao
de um nmero da Revista de Educacin, publicado em 2000, pelo rgo de
comunicao do Ministrio da Educao da Espanha, dedicado s avaliaes
de sistema:
Una de las preocupaciones de las autoridades educativas de cualquier pas es
la de conocer la situacin de su sistema vigente en la prctica, y ms all de los
diseos o de las intenciones legislativas. Por otro lado, la sociedad, en general,
cada vez se vuelve ms exigente acerca de cmo funciona y qu logros se alcan-
zan en la marcha de su respectivo sistema educativo. De ah que los goviernos
institucionalicen e instrumentalicen mecanismos y atalayas desde los que reciben
informacin sobre sus sistemas educativos y, a la vez, sta la puedan transferir
a la ciudadana. (p.7, grifos nossos)
Se a conscincia da importncia da avaliao dos sistemas escolares, e
particularmente das escolas, generalizou-se, longe estamos, contudo, de algum
acordo acerca de para que avaliar e de como avaliar.
Evidentemente, h uma articulao entre os motivos que levam avaliao
e forma como ela realizada (Oliveira, Sousa, 1999). A adoo de determinados
processos avaliativos sinaliza que modicaes se quer induzir. Mesmo que no se
trate de prmios e /ou punies para os bem ou mal avaliados, o simples fato
de realizar uma avaliao signica que foi denida uma situao desejvel.
Ao realizar determinado processo avaliativo, espera-se, explicitamente,
verificar quo distante se est da situao desejvel e, a partir da, definir ele-
mentos para modificar a situao em direo ao padro desejado. Alm disso,
a avaliao pode, tambm, possibilitar a emergncia de propostas de redire-
cionamento ou transformao da situao avaliada. No possvel pensar a
avaliao dissociada da ideia de modificao. Para isso, talvez, a mais importante
questo seja como criar um envolvimento tal que impulsione os membros da
instituio a se engajarem no processo de transformao.
Os critrios ou padres podem, facilmente, simplificar problemas com-
plexos pela utilizao de indicadores com potencial de provocar mudanas,
mas no necessariamente induzir a situao desejada. A observao indica a
necessidade de uma reflexo mais cuidadosa sobre os usos (e abusos!) do ndice
de Desenvolvimento da Educao Bsica Ideb (Oliveira, 2007).
No caso dos sistemas estaduais de avaliao, cabe indagar acerca de suas
finalidades, seus procedimentos e consequncias no que diz respeito me-
lhoria da qualidade do ensino e, at mesmo, saber qual o sentido atribudo ao
compromisso com a qualidade do ensino anunciado nas polticas educacionais
formuladas no mbito dos estados. Pois qualidade
no algo dado, no existe em si, remetendo questo axiolgica, ou seja,
dos valores de quem produz a anlise de qualidade. A emergncia de critrios de
avaliao no se d de modo dissociado das posies, crenas, viso de mundo
e prticas sociais de quem os concebe. um conceito que nasce da perspectiva
filosfica, social, poltica de quem faz o julgamento e dela expresso. Portanto,
os enfoques e critrios assumidos em um processo avaliativo revelam as opes
axiolgicas dos que dele participam. (Sousa, 1997, p.26)
Assim, ao se fixar no uso dos resultados dos sistemas de avaliao,
este estudo investiga no s o que tem sido feito, mas inquire acerca de suas
eventuais consequncias.
METODOLOGIA
Na primeira fase da pesquisa, foram consolidadas informaes acerca
dos sistemas de avaliao de cada estado (Bahia, Cear, Minas Gerais, Paran
e So Paulo), disponveis nos respectivos stios das Secretarias de Educao,
bem como em documentos produzidos por essas instituies sobre seus sis-
temas de avaliao. Em alguns casos, foram ainda consideradas informaes
fornecidas por profissionais envolvidos com a gesto estadual em resposta a
consultas realizadas por correio eletrnico.
Visando compreender como se inserem as propostas de avaliao nas
polticas educacionais formuladas pelos estados, foram colhidas informaes
sobre elas, buscando apreender as diretrizes e prioridades estabelecidas pelos
governos e o lugar reservado avaliao. Para tanto, consultaram-se documen-
tos das secretarias e ainda produes acadmicas, particularmente dissertaes
e teses, que tinham como objeto de investigao essas polticas.
O perodo delimitado para a coleta de informaes variou de um para
outro estado; tomou-se como referncia para incio do levantamento documen-
tal o ano em que foi implantado o sistema de avaliao no respectivo estado,
abrangendo, sempre que possvel, dados at 2006.
Essa primeira etapa da pesquisa resultou em uma descrio preliminar
dos sistemas de avaliao, posteriormente complementada com informaes
coletadas quando da realizao da pesquisa de campo, que consistiu na segunda
fase da investigao.
O levantamento de informaes foi feito por meio de entrevistas orien-
tadas por um roteiro semiestruturado. As entrevistas tiveram como propsito
principal conhecer como tm sido utilizados os resultados da avaliao e com-
preender, na perspectiva dos gestores e tcnicos, a importncia atribuda ava-
liao para a formulao e implementao de polticas educacionais. Tambm,
por meio das entrevistas, buscou-se a complementao e/ou o esclarecimento
de dados acerca das caractersticas dos delineamentos das propostas estaduais,
quanto aos seus princpios, abrangncia e procedimentos.
As informaes foram sistematizadas e analisadas quanto s evidncias
acerca do sentido e finalidades que a avaliao vem adquirindo nas polticas
educacionais. A partir do mapeamento de cada estado, tendo como refern-
cia o conjunto de discursos de seus gestores e tcnicos, procedeu-se a uma
anlise comparativa entre os estados, que permitiu indicar tendncias e elencar
perspectivas que se podem vislumbrar com base nos relatos das prticas atuais
de avaliao dos sistemas educacionais.
SISTEMAS DE AVALIAO: PECULIARIDADES E RUMOS
no incio dos anos 1990 que se registra a implantao dos sistemas de
avaliao nos estados em estudo, sendo que dentre estes o ltimo organizado
foi o da Bahia, em 1999. Minas Gerais foi um dos primeiros estados do pas
a instituir sistemtica prpria de avaliao, em 1992. No entanto, o sistema
com as caractersticas hoje vigentes foi delineado a partir de 2000. O Estado
do Cear tem iniciativas de avaliao j no incio dos anos 1980.
Os objetivos da avaliao, declarados nos documentos oficiais, tendem
a afirmar como expectativa que a avaliao venha a subsidiar os diferentes n-
veis do sistema na tomada de decises com vistas melhoria da qualidade do
ensino. Desse modo, espera-se que os resultados da avaliao venham a ser
apropriados pelos gestores e equipes centrais e regionais das Secretarias de
Educao bem como pelas escolas, havendo meno ainda, por alguns estados,
quanto expectativa de que a comunidade escolar como um todo envolvendo
alunos e pais venha a se inteirar dos resultados obtidos pelas escolas. Ou
seja, h referncias de que a avaliao deve iluminar e trazer consequncias
para a formulao e/ou reformulao das polticas educacionais em relao s
suas diretrizes, prioridades e metas, focalizando questes relativas gesto,
ao currculo e infraestrutura, assim como s propostas e prticas das escolas,
particularmente em relao a aspectos que concernem ao desenvolvimento do
currculo. Especificamente o Paran, em 1995, estabelece como objetivos de
seu sistema conhecer o desempenho das escolas quanto sua organizao,
gesto e articulao com a comunidade. O Cear visa, em 2003, implemen-
tar o processo de formao dos Conselhos Escolares, para que esses possam
desenvolver, de forma competente, sua funo avaliativa.
O principal indicador dos sistemas de avaliao para aquilatar a qualidade
de ensino tem sido a medida da proficincia dos alunos, obtida por instrumentos
de testagem. H meno coleta de informaes acerca das escolas e dos
alunos. Essas informaes, no entanto, no tm sido exploradas de modo
articulado ao rendimento apresentado pelos alunos nas provas. Ou seja, na
documentao coletada no h registros de interpretao dos resultados de
modo contextualizado, procurando identificar os fatores associados ao nvel
de proficincia dos alunos.
Observou-se, ainda, que usual a referncia inteno de se criar nos
sistemas de ensino uma cultura de avaliao, conceito que, no entanto, no
explicitado ou discutido de modo a permitir uma apreenso clara do seu
significado. Mesmo a anlise dos procedimentos utilizados na implementao
da avaliao no fornece pistas que apoiem inferncias nesse sentido.
Ainda no que tange a objetivos, registre-se que o Cear, em 1992,
estabeleceu como meta criar ndice de qualidade de cada escola e o Paran
dedicou-se ao estabelecimento de metas para cada escola. Observou-se
que a perspectiva de estabelecer metas com base nos resultados da avaliao,
embora no conste dos documentos de outros estados, est presente nos
depoimentos coletados nas entrevistas; h uma tendncia de associar aos re-
sultados, compromissos especficos a serem assumidos pela escola e tambm
pelas outras instncias do sistema. Essa configurao ficou mais claramente
explicitada no modo pelo qual tm sido conduzidas as aes em Minas Gerais.
A aplicao das provas de rendimento escolar nos estados pesquisados
tem sido censitria. Entretanto, h uma exceo em So Paulo, em 2002; apesar
de a aplicao ter carter censitrio em relao s escolas, foi amostral em
relao aos alunos. Alm de abranger todas as escolas estaduais, os sistemas
de avaliao tm contemplado escolas de redes municipais e particulares que
desejem participar das avaliaes. Em Minas Gerais e Cear, h participao de
redes municipais e em So Paulo, Bahia e Paran tambm as escolas particulares
so convidadas a participar.
Em todos os estados, houve delimitao quanto s sries e disciplinas
focalizadas nas avaliaes. A aplicao das provas tem seguido uma periodicida-
de anual. Nos estados do Paran e Bahia, nos anos recentes, essas passaram a
ser bianuais. So avaliados, em geral, os alunos da 4
a
srie, da 8
a
srie e da 3
a

srie do ensino mdio nos componentes curriculares Portugus e Matemtica.
Alm destes, no Paran foram realizadas avaliaes de Cincias, Fsica, Qumica
e Biologia e, em So Paulo, nas ltimas avaliaes examinadas, houve provas
de Leitura, Escrita e Matemtica.
Sobre a construo das provas, os documentos indicam, com diferentes
nveis de detalhamento, os referenciais que so utilizados, os passos seguidos
para a elaborao dos instrumentos e os responsveis pelas atividades previstas
no fluxo de trabalho estabelecido pela Secretaria de Educao. So aqui des-
tacados alguns elementos que permitem caracterizar tendncias das iniciativas
no mbito de cada estado em anlise.
A Secretaria de Educao da Bahia, contando com a participao de
professores de escolas pblicas e privadas, definiu as matrizes para elaborao
das provas tendo como referncia os Parmetros Curriculares Nacionais, os
livros e as prticas didticas consideradas usuais no estado pelos professores
participantes. Essas matrizes foram validadas por especialistas, que avaliaram o
conjunto de descritores propostos quanto ao seu valor e pertinncia. A escolha
dos itens para elaborao das provas coube equipe do projeto de avaliao
da Secretaria de Educao.
No Cear e em So Paulo, os itens das provas eram elaborados com base
nos referenciais curriculares do respectivo estado e nos Parmetros Curriculares
Nacionais, contando com a participao de professores e tcnicos da rede.
Contou-se com especialistas das reas de conhecimento para reviso dos itens.
O Paran e Minas Gerais estruturaram a matriz de descritores com
base no currculo vigente nas escolas da rede, nos Parmetros Curriculares
Nacionais e, ainda, procuraram compatibiliz-la aos descritores adotados no
Saeb. Tambm nesses estados, os professores da rede e tcnicos da Secretaria
de Educao participaram da elaborao da matriz, contando com consultores
externos.
As informaes sobre o processo de elaborao dos itens das provas
permitem supor que h tendncia de que esses sejam semelhantes, conside-
rando que utilizam para sua elaborao referncias comuns, quais sejam: os
Parmetros Curriculares Nacionais e o Saeb. Caberia verificar se h traos
especficos nas propostas curriculares estaduais que as diferenciam significa-
tivamente das orientaes nacionais, capazes de justificar a organizao de
descritores especficos pelos estados ou, mesmo, em que medida a participa-
o de professores da rede, sob o pressuposto de articular os descritores s
propostas vigentes nas escolas, tem resultado em expectativas de proficincia
dos alunos diferentes das previstas no Saeb.
Alm dos testes, foram utilizados questionrios para coleta de informa-
es acerca dos alunos. Alguns estados fizeram tambm uso de instrumentos
de levantamento de informaes sobre a escola e seus profissionais.
A julgar pelas informaes disponibilizadas, os sistemas tomam o Saeb
como referncia e procuram articular suas escalas de proficincia e matriz de
referncia. Alguns dos programas utilizam como ferramenta analtica a Teoria
da Resposta ao Item TRI , com trs parmetros. Essa caracterstica expl-
cita para o caso do Cear em 1998 e 2002, bem como a utilizao da Teoria
Clssica da Medida. A ferramenta tambm s mencionada explicitamente
por So Paulo para os anos de 2000 e 2001. Em 2000 este estado menciona
igualmente a utilizao de Teoria da Resposta ao Item, mas no acrescenta
detalhes. No caso da Bahia, no dispomos dessa informao para 1999 e 2000,
e a escala originalmente construda em 2001 no corresponde diretamente
escala do Saeb, tendo sido construda uma escala de equivalncia, com base em
um julgamento social, com assessoria do American Institute for Research
AIR. Segundo o material coletado, seu intuito era permitir associaes do
tipo: um escore mdio x na avaliao de desempenho corresponderia a um
desempenho mdio localizado dentro do nvel e da escala Saeb (Bahia, 2003,
p.71). Em Minas Gerais, em 2000, 2001 e 2002, foi utilizada como ferramenta
a TRI com trs parmetros. No Paran apenas mencionado o procedimento
de anlise estatstica, sem mais detalhes.
Os estados previ am a di vul gao dos resul tados com vi stas sua
utilizao por diferentes instncias e participantes das redes de ensino. No
entanto, no desenvolvimento da pesquisa, no se obteve acesso a registros
atualizados, o que faz supor que a publicizao dos resultados no feita
com a periodicidade prevista, ou seja, com a mesma frequncia com que se
aplicam os testes.
No Paran, era prevista a divulgao dos resultados obtidos pelos alu-
nos para diretores de escolas e secretrios municipais de educao. Havia
tambm o que denominam relatrio de anlise pedaggica dos resultados
da avaliao, que apresentava consideraes e indicaes aos professores, s
equipes pedaggicas e aos presidentes das associaes de pais e mestres, com
base nos resultados obtidos pelos alunos. Era ainda elaborado o boletim da
escola, que trazia uma descrio simplificada do seu desempenho, divulgado
aos pais dos alunos.
So Paulo previa a divulgao dos relatrios com os resultados obtidos
pelos alunos no stio da Secretaria de Educao na internet e em relatrios
distribudos s regionais, responsveis pela sua discusso junto s escolas a elas
vinculadas. Tambm a Bahia e Minas Gerais previam a divulgao de relatrios
da avaliao, distribudos a todas as escolas da rede, com as informaes acerca
dos resultados gerais do estado, das regies, dos municpios e de cada unidade
escolar, seguidas de anlise pedaggica dos itens da prova. O mesmo ocorria
no Cear, que fez ainda referncia realizao de seminrios regionais para
discusso dos resultados.
Quanto s consequncias esperadas, decorrentes da utilizao dos
resultados da avaliao, o mais enfatizado pelos estados foi a expectati-
va de que estes viessem a subsidiar as iniciativas de formao continuada
dos professores com vistas ao aprimoramento das prticas pedaggicas.
Evidenciou-se, nos depoimentos coletados por meio das entrevistas, que
os resultados da avaliao tendiam a ser considerados no planejamento das
aes de formao continuada, privilegiando contedos em que os alunos
mostraram menor domnio.
No caso do Cear, associava-se aos resultados uma premiao. A partir
de 2002, foi institudo o prmio educacional Escola do Novo Milnio: Edu-
cao Bsica de Qualidade no Cear, destinado s escolas e aos alunos mais
bem colocados no Sistema Permanente de Avaliao da Educao Bsica do
Cear Spaece.
Em So Paulo, em 2001, os resultados do Sistema de Avaliao do
Rendimento Escolar do Estado de So Paulo Saresp foram utilizados pela
Secretaria de Educao para determinar a possibilidade de os alunos darem
continuidade trajetria escolar ou fazerem a recuperao, sendo prevista sua
reprovao em caso de aproveitamento insatisfatrio nessa atividade.
Em linhas gerais, observa-se, pelos registros consultados, grande si-
milaridade nos delineamentos adotados pelos sistemas de avaliao. H que
ressaltar, no entanto, o movimento realizado pela Secretaria de Educao
do Cear, com vistas a integrar ao Spaece que se caracteriza por ser uma
avaliao em larga escala , a Avaliao Institucional, que trata de implementar
a autoavaliao da escola, em todos os seus aspectos, e realizada por to-
dos os segmentos da comunidade escolar. Assim, a partir de 2000, o Spaece
contemplou tanto a avaliao em larga escala quanto a avaliao institucional
que, at ento, vinha sendo realizada como atividade paralela ao Spaece.
Considerando as caractersticas dos delineamentos adotados nos estados em
anlise, a configurao que assume a sistemtica de avaliao no Cear parece
a mais inovadora no sentido de articular diversas vertentes, dimenses e fluxos
ao processo avaliativo.
No Paran ocorreu um movimento diferente do Cear, o que se consta-
tou quando da visita in loco. A deciso foi deixar de implementar a avaliao em
larga escala passando proposio apenas de uma sistemtica de autoavaliao
institucional, que previa anlise das aes implementadas por todos os nveis
do sistema de ensino.
Tambm o delineamento do Projeto de Avaliao Externa do Estado da
Bahia, de acordo com informaes divulgadas pela Secretaria da Educao
SEC na internet (http://www.aval.ufba.br/projeto.asp), apresentava uma espe-
cificidade, integrando as aes do Educar para Vencer programa estratgico,
assumido pelo governo do estado , composto por dois sistemas de avaliao
em larga escala: a Avaliao de Desempenho e a Avaliao de Aprendizagem,
que cumpriam propsitos especficos. No entanto, conforme informao das
entrevistas, essas dimenses no se concretizaram de modo articulado.
O estudo dos documentos relativos aos sistemas de avaliao dos estados
permite supor que a implementao da avaliao dos sistemas de ensino uma
tendncia que se tem consolidado no cenrio educacional brasileiro, envolven-
do inicialmente as redes pblicas estaduais e se estendendo, gradativamente,
para as redes pblicas municipais e, at mesmo, em carter voluntrio, para
escolas particulares. No entanto, no contato direto com os gestores dos esta-
dos, foi possvel notar que, se por um lado, a avaliao integra suas iniciativas,
por outro, se est evidenciando a necessidade de repensar o seu escopo,
visando torn-la mais til gesto e promoo da qualidade da educao.
Tambm, h uma sensao no mbito dos estados de duplicao de iniciativas,
considerando que o governo federal, a partir de 2005, passou a realizar uma
avaliao das redes de ensino no mais de carter amostral, a Prova Brasil.
As propostas de avaliao dos estados, cotejadas nesta investigao, em
seus desenhos originais apresentavam caractersticas comuns entre si. Entre-
tanto, o que se constatou pelas entrevistas foi um movimento que comea a
ocorrer no mbito de Secretarias Estaduais de buscar abordagens e perspectivas
avaliativas que se mostrem mais consequentes no sentido de subsidiar decises
e aes e induzir a produo dos resultados esperados.
Nessa direo, registram-se iniciativas que apresentam especificidades.
Uma delas refere-se implantao da autoavaliao institucional, com base na
compreenso de que tal sistemtica teria poder, entre outras atribuies, de
gerar envolvimento e compromisso de todos com a melhoria da qualidade da
educao. A experincia do Cear, que no recente e vem sendo mantida
no bojo da avaliao de larga escala, e a do Paran, implantada em 2005, so
exemplos.
Outro tipo de iniciativa, que caminha em direo diferente, a de in-
tensificar a relao entre resultado da avaliao e algum tipo de consequncia.
Isso pode ocorrer desde a elaborao de um plano especfico de ao que ser
submetido negociao, acompanhamento e controle, at a premiao por
bons resultados. Em Minas Gerais se evidenciou com maior clareza o movi-
mento de implantar uma dinmica de trabalho com a rede que intensificou a
relao entre avaliao, planejamento e controle. Quanto premiao associada
avaliao, o Cear foi o estado em que essa iniciativa foi mais evidenciada, no
entanto, uma perspectiva que apareceu subjacente manifestao de outras
Secretarias. H propostas que advogam sejam premiados docentes e escolas
em razo do desempenho.
So muitas as expectativas declaradas pelos gestores acerca das contri-
buies esperadas das avaliaes, que vo desde consequncias na formulao
e execuo das polticas educacionais at influncias na gesto e no currculo
das escolas. possvel afirmar que se est vivendo um momento propcio para
a constituio de novas dinmicas de avaliao.
Ao que parece, o que se busca so alternativas de avaliao capazes
de contribuir para a formulao de polticas e gesto do sistema. H que re-
conhecer que est havendo acmulo de grande quantidade de informaes
como resultado dos processos em curso, que chegam a constituir sistemas de
informao sem precedentes em nossa educao. Esses sistemas se encontram,
ainda, marcadamente focados no desempenho dos estudantes. Informaes
sobre variveis de contexto escolar so coletadas, mas parecem pouco explora-
das em seu potencial explicativo acerca de eventuais diferenas de rendimento
escolar identificadas no interior do sistema.
No h evidncias, portanto, de que as informaes estejam sendo utili-
zadas de maneira consistente em um processo de avaliao sistmico, o que se
compreende pela relativa juventude do conjunto de iniciativas aqui analisadas.
Por fim, cabe registrar o carter de referncia que o Saeb adquiriu com
os gestores estaduais, quer seja como modelo do ponto de vista de desenho,
quer seja como parmetro para a proposio de alternativas.
SISTEMAS DE AVALIAO: TENDNCIAS E PERSPECTIVAS
A investigao realizada permitiu identificar caractersticas presentes
na conduo da avaliao de sistemas educacionais no Brasil. Dentre as
revelaes trazidas com o estudo, destacam-se, a seguir, algumas delas,
que expressam de modo mais evidente desafios a serem enfrentados no
s pelos gestores dos sistemas, mas tambm por pesquisadores que vm se
dedicando ao campo da avaliao educacional, particularmente avaliao
de polticas educacionais.
CONFIABILIDADE DOS RESULTADOS
Nos ltimos anos, melhorou muito a capacidade tcnica disponvel no
Brasil para realizao de processos de avaliao em larga escala, particularmente
no que diz respeito teoria da medida. Exemplo disso a generalizao da
utilizao da Teoria da Resposta ao Item, sendo utilizada tanto com um par-
metro quanto com dois ou trs, da capacidade de elaborao e testagem de
itens, bem como a consolidao de algumas instituies com capacidade de
realizar tais anlises, ainda que seja correta a ponderao do representante do
Banco Mundial, entrevistado nesta pesquisa, que afirma ainda no haver um
mercado nesta rea no Brasil.
Permanecem, entretanto, alguns problemas que podem comprometer a
confiabilidade dos resultados. Um deles diz respeito a prticas relacionadas ao
processo de aplicao dos instrumentos, pois ainda comum a utilizao de
professores da prpria escola para a sua aplicao, ao mesmo tempo em que
os resultados da avaliao impactariam salrios, bnus ou recursos repassados
para a escola. Outro problema diz respeito ao interesse poltico de secretrios
e governantes que veriam num resultado positivo da avaliao uma chancela
s suas iniciativas de poltica educacional.
DESCONTINUIDADE DAS PROPOSTAS
Dos cinco estados estudados, apenas um deles, o Cear, tem dado
continuidade ao delineamento inicial previsto para a avaliao do sistema,
caracterizando-se as alteraes introduzidas como busca de aprimoramento
da sistemtica de avaliao implementada. Nos demais, seja por mudana na
administrao, seja em decorrncia da iniciativa do governo federal de avaliar
todas as escolas, via Prova Brasil, no tem havido continuidade na sistemtica
inicialmente concebida.
Desses elementos, o referente descontinuidade por mudana de gesto
consequncia de caracterstica geral da administrao pblica brasileira. Ao
mudar o governo e, s vezes, apenas o Secretrio de Educao, alteram-se as
iniciativas anteriores. No caso dos sistemas de avaliao, isso tem ocorrido pela
simples supresso do sistema anteriormente implementado, ou pela alterao
de seus objetivos, procedimentos ou usos, corrompendo, assim, sua integridade
e inviabilizando o recurso anlise de sries histricas.
H que registrar, tambm, que a construo dos sistemas estaduais de
avaliao deveu-se em grande parte induo do governo federal e sua
iniciativa de criar o Saeb, de carter amostral. Em muitos casos, ainda, finan-
ciamentos do Banco Mundial previam em suas clusulas o desenvolvimento de
sistemas de avaliao por parte dos estados. Nessa perspectiva, tecnicamente,
vrios dos sistemas estaduais foram concebidos em complementariedade ao
Saeb, o que significa que suas caractersticas (matriz curricular, metodologia de
anlise, banco de itens etc.) seriam originalmente compatveis ou assim foram
se constituindo no decorrer do tempo
5
.
Quando o governo federal, unilateralmente, toma a iniciativa de realizar
uma testagem censitria, a Prova Brasil, apresentam-se dois tipos de pro-
blemas. De um lado, os estados passam a questionar-se acerca da validade
de manuteno de sistemas prprios, com seus altos custos e complexidade
logstica, para realizar a mesma funo que o governo federal j realiza. De
outro, se estabelece uma frequncia muito alta de aplicao de provas, o
que inviabiliza, at mesmo, o tempo necessrio para que seus resultados
sejam absorvidos, analisados e transformados em aes por parte das redes
de ensino.
possvel inferir que alguns dos gestores dos sistemas estudados j
teriam abandonado a implementao de seus prprios sistemas se tivessem
confiana na perenidade da Prova Brasil. De toda forma, o arranjo estabelecido
padece de um problema estrutural. A nica finalidade de um sistema censitrio
sua utilizao na gesto do sistema de ensino com implicaes para cada
escola, ou at mesmo para professores e alunos, uma vez que a coleta de
informaes satisfatoriamente respondida por um sistema amostral, de custo
significativamente mais baixo. Na medida em que os estados no pactuaram
com o governo federal a utilizao da Prova Brasil para fins de gesto do sis-
tema, ocorre um problema de equacionamento quanto ao seu uso, alm da
j mencionada superposio de avaliaes
6
.
Caso haja maior permanncia nas iniciativas de forma a criar-se uma
cultura e procedimentos administrativos e tcnicos mais estveis, e caso a
avaliao seja assumida como funo de Estado e no de governo, a utilizao
ampla de suas potencialidades pode ser alcanada.
5. Observou-se intercmbio de experincias entre os sistemas estudados, o que significa dizer
que algumas iniciativas foram tomadas em decorrncia de crtica a experincias no bem-
-sucedidas em outro sistema ou apropriadas devido aos seus bons resultados. Exemplo
disso a utilizao, por parte de Minas Gerais, da experincia de certificao de diretores
desenvolvida na Bahia para formatar sua iniciativa de certificao.
6. H que se considerar, no entanto, que os resultados da Prova Brasil passaram a integrar o
Ideb que, em conjunto com o Censo Escolar, relativos aprovao, constituem referncia
para a definio de metas a serem alcanadas pelas redes pblicas de ensino at 2021.
NFASE NA RESPONSABILIZAO DAS ESCOLAS
Na formulao dos objetivos dos sistemas, menciona-se a expectativa
de que os resultados do sistema venham a subsidiar a tomada de decises por
parte de todas as instncias da rede de ensino, dos gestores e equipes centrais,
regionais a escolas, havendo referncia, em alguns casos, at mesmo, inteno
de que a comunidade escolar como um todo venha a se inteirar dos resultados
da avaliao. Ao buscar exemplos concretos de uso desses resultados, verifica-
-se que as iniciativas tomadas indicam majoritariamente a escola como grande
usuria, tendendo-se a responsabiliz-la pelos resultados.
Os prprios gestores, no entanto, responsveis por iniciativas nessa
direo, reconhecem que as escolas tm dificuldade at mesmo de ler e com-
preender os resultados produzidos pelo sistema de avaliao. Nesse sentido,
ocorrem, inclusive, esforos da direo para traduzi-los em uma linguagem
compreensvel. Isso inclui seminrios para explicitao dos significados dos
resultados, e a produo de materiais sintticos a serem remetidos s escolas.
No faz parte, no entanto, da cultura e da dinmica da organizao do
trabalho escolar pautar seu planejamento em resultados de avaliao. Desse
modo, as iniciativas referidas ainda encontram pouco eco na dinmica da escola.
Na tica dos seus profissionais, ao que parece, a avaliao entendida
como significativa a avaliao do aprendizado do aluno, que ocorre no mbito
de competncia de cada professor. As tentativas, como a feita por So Paulo,
de utilizar os resultados do sistema de avaliao como elemento definidor
da aprovao do aluno, foram entendidas pelas escolas como uma perda de
autonomia e de poder.
Assim sendo, explicita-se uma diferena de compreenso entre o que
os gestores tentam fazer com os resultados dos sistemas de avaliao, res-
ponsabilizando a escola pelo seu uso, e o que esta faz de fato, praticamente,
desconhecendo-os.
O uso dos resultados dos sistemas de avaliao por parte dos gestores
escasso ou inexistente. Nesse nvel, observa-se a tendncia de que tais resulta-
dos sejam compreendidos como apenas um indicador (a ser justaposto a outros,
tais como evaso, repetncia etc.), no informando polticas especficas. O
gerenciamento do sistema apoia-se nas estruturas burocrticas e no se orienta
pelos resultados de desempenho escolar. O investimento maior humano e
em recursos financeiros feito na direo da produo de informaes e
no em sistemticas que estimulem e apoiem o uso dos resultados. A noo
de accountability tanto em seu sentido de prestao de contas sociedade
quanto no de responsabilizao ainda pouco explorada. Parece que at
mesmo os pais de alunos pouco interagem com a avaliao.
TERCEIRIZAO DAS ATIVIDADES
As Secretarias de Educao estudadas mantm, em diferentes pontos
de seu organograma, equipes responsveis pela avaliao de seus sistemas.
Entretanto, dos cinco estados pesquisados, dois deles, Cear e So Paulo, con-
tam com equipes consolidadas, com capacidade tcnica de interpretao dos
resultados e com clareza de seus possveis usos. Integram essas duas equipes
tcnicos incorporados h tempos ao sistema de ensino e que tm garantido
uma compreenso institucional de seus sistemas de avaliao, mesmo que estes
tenham se transformado ao longo do tempo por decises de natureza poltica.
Em Minas estabeleceu-se uma dinmica tal que, no prprio ncleo dirigente
da Secretaria, incorporam-se conhecimentos tcnicos acerca da avaliao e
se espera que esta venha a ser parte importante do eixo principal da poltica
educacional em implementao. Nas demais secretarias, o problema da des-
continuidade de pessoal e de demanda na equipe de avaliao manifesta-se,
a ponto de, em um dos estados pesquisados, nenhum membro da equipe de
avaliao ser capaz, ao menos, de abrir o banco de dados disponibilizado pela
empresa contratada para a elaborao, aplicao e anlise das provas.
Independentemente da configurao especfica das equipes de avaliao,
a complexidade e a logstica requeridas para a implementao de um proces-
so avaliativo tm levado contratao de instituies e/ou empresas para a
aplicao dos testes, o que configura uma srie de limitaes. De um lado, as
equipes de avaliao no se apropriam completamente do desenho do sistema
de avaliao, ficando na dependncia dos tempos da instituio contratada e,
mais do que tudo isso, tm de confiar nos resultados e procedimentos que
lhes so apresentados. De outro, no se incorpora ao patrimnio tcnico das
equipes de avaliao a competncia na rea de medida e avaliao educacional.
, sem dvida, preciso equacionar a distribuio de competncias entre a equipe
estadual, responsvel pela formulao e implementao da poltica educacional,
e os tcnicos das instituies contratadas para a prestao de servio.
A depender do tipo de negociao estabelecido entre a SEC e a insti-
tuio contratada, fica bastante limitado o poder decisrio e a apropriao dos
dados por parte da Secretaria de Educao. O caso extremo foi identificado em
um sistema no qual os resultados de cada escola foram remetidos apenas para
a escola, no sendo franqueados equipe central da Secretaria de Educao.
A descontinuidade das iniciativas de avaliao tem sido agravada pela
demora na efetivao de contratos com as empresas prestadoras de servio.
Alm da natural demora de processos licitatrios, o que inclui o respeito a
regras presentes nos contratos que se podem originar na legislao brasileira,
h tambm os critrios definidos nos termos de emprstimos de organismos
internacionais que financiaram iniciativas no Brasil.
Outro problema identificado na pesquisa em decorrncia da terceirizao
diz respeito a contratos de tcnicos pela instituio prestadora de servio por
valores acima dos pagos at mesmo para os dirigentes dos sistemas de ensino.
Dessa forma, ao serem finalizados os contratos, nenhum desses tcnicos se
dispe a passar a integrar o quadro das secretarias, posto que isso representaria
uma substancial reduo em seus ganhos. Identificamos, inclusive, um caso
em que um desses tcnicos abriu sua prpria empresa para prestar servios
diretamente para a SEC.
Por sua vez, a complexidade tcnica dos processos de medida e avaliao
em larga escala, o nmero de instituies com condies de concorrer a tais
licitaes bastante reduzido, constituindo um verdadeiro oligoplio. A opo
adotada por um dos estados pesquisados foi contratar empresa estrangeira.
ASSOCIAO DOS RESULTADOS A INCENTIVOS
Ainda que a tendncia de associar incentivos financeiros a resultados po-
sitivos em avaliaes em larga escala esteja presente na literatura internacional,
em diversos sistemas de ensino e, de maneira geral, no iderio liberal mais
clssico, fato tambm que tal iniciativa, alm de polmica nesses mesmos
mbitos, considerada como amplificadora das desigualdades. Nessa medida,
aparece, tambm, como possibilidade a utilizao de mecanismos de incen-
tivo para aumentar a equidade, ou seja, se utilizar incentivos financeiros para
que os setores com resultados insatisfatrios melhorem. Ainda que a opo
adotada nos sistemas estudados no seja explcita, em pelo menos dois deles
observou-se uma clara opo pela primeira viso. Em um destes, instituiu-
-se um prmio em dinheiro (incidindo sobre os salrios dos profissionais das
escolas) para os bem classificados no ranking dos resultados de desempenho
dos alunos. Em outro, construiu-se um indicador composto por uma srie
de variveis de desempenho (evaso, aprovao, presena etc.) que incluem
os resultados dos alunos nos testes e associam os bons resultados a maiores
repasses financeiros.
O entendimento de que a avaliao precisa gerar consequncias eviden-
ciou como uma tendncia a ser efetivada por alguns dos gestores entrevistados.
Uma das iniciativas que j se esboa a articulao da avaliao de desempenho
dos alunos carreira, remunerao (incluindo gratificaes e bnus) e mesmo
certificao docente.
Tais iniciativas tm sido interpretadas como alternativas que criam con-
dies para que a avaliao e a gesto caminhem de modo mais articulado.
Alm disso, em alguns dos sistemas os gestores manifestaram descon-
fiana quanto qualidade da formao de seus professores, o que diminuiu
consequentemente o interesse de avali-los. Eles reconhecem tambm as
dificuldades polticas que essa medida acarretaria. Um exemplo a resistn-
cia que encontrou a proposta de realizao de um exame de certificao de
professores, apresentado pelo governo federal em 2003. Diante disso, desen-
volvem iniciativas indiretas para aquilatar o preparo de seus professores, seja
solicitando a eles que escolham e respondam a questo que mais lhes pareceu
interessante nas provas aplicadas aos alunos, seja pedindo aos professores a
elaborao de um gabarito de correo da prova para depois confront-lo com
o gabarito oficial, a fim de aquilatar as discrepncias.
VALORIZAO DA AVALIAO
Ainda que generalizadamente apaream crticas aos limites das expe-
rincias analisadas mesmo por parte dos gestores que as implementaram,
notou-se entre o conjunto de entrevistados a afirmao da importncia dos
processos avaliativos.
Embora isso no configure plenamente a construo de uma cultura
de avaliao, objetivo explicitado na literatura proponente dessas iniciati -
vas, indica a sedimentao, pelo menos por parte dos gestores dos sistemas
analisados, da ideia da importncia dos sistemas de avaliao. Nas palavras
do representante do Banco Mundial, mencionado neste estudo, a avaliao
ocupa hoje um papel muito maior no debate educacional brasileiro do que
h uma ou duas dcadas, o que seria um indicador do sucesso das iniciativas
de ento.
Observou-se, entretanto, que, para o reconhecimento da importncia da
avaliao, no se vinculam processos de avaliao das polticas implementadas,
entendidas como avaliao de todas as instncias do sistema. A tendncia a
nfase na utilizao da avaliao como mecanismo de controle do desempenho
escolar, explorando suas eventuais consequncias apenas para a escola. So
ainda frgeis as perspectivas vislumbradas no sentido de considerar a avaliao
como algo inerente ao processo de formulao, implementao e obteno
de resultados de polticas educacionais.
De toda forma, substantivamente diferente quando a avaliao um
componente da poltica educacional e quando ela constitui seu ncleo, uma
vez que por sua prpria natureza diagnosticar, refletir, agir , ela encerra
uma concepo de ao e de transformao nem sempre presente em outras
formas de implementar polticas educacionais.
CONSIDERAES FINAIS
A relao entre avaliao e melhoria da qualidade do ensino no constitui
ainda uma realidade. A dimenso de controle da qualidade de ensino parece
que, nos casos estudados, tende a no se concretizar seja por meio da gesto,
da racionalizao de recursos, seja por meio de polticas especficas com base
nos resultados da avaliao. Mesmo a competio que parece ser estimulada
com algumas medidas (premiao, gratificao) parece que no tem tido poder
indutor sobre o conjunto das escolas da rede.
Ao avano na dimenso tcnica da avaliao no tem correspondido
um avano em seu potencial indutor de polticas e prticas. H que se reco-
nhecer que tem havido por parte dos sistemas de ensino um aprimoramento
dos procedimentos utilizados para a medida do desempenho dos alunos, mas
correspondente melhoria no se observa na avaliao dos sistemas, ou melhor,
so tnues ainda algumas evidncias nesse sentido.
Usualmente, a ideia de qualidade que vem sendo forjada tem-se restrin-
gido apreciao do desempenho do aluno, sem que este seja interpretado
luz de condies contextuais, intra e extraescolares.
O sistema de avaliao tende a se limitar a um sistema de informao
educacional. Sem dvida, a produo de informao uma etapa do processo
avaliativo, mas esse s se realiza quando, a partir de informaes, ocorrerem
julgamento, deciso e ao. Ou seja, a avaliao ganha sentido quando subsidia
intervenes que levem transformao e democratizao da educao,
em suas dimenses de acesso, permanncia e qualidade. No pode estar
essencialmente a servio de apoiar a reiterada denncia da baixa qualidade do
ensino. Os custos de sua implementao so muito altos para que sirva apenas
reiterao do que j se sabe.
Essas constataes j se fazem presentes para os gestores dos sistemas de
ensino e tm impulsionado alguns a buscar novos delineamentos e sistemticas
de conduo da avaliao dos sistemas educacionais. Um dos movimentos que
parece promissor o de tentar articular a avaliao externa autoavaliao,
com a perspectiva de focalizar no apenas a escola, mas todas as instncias do
sistema no processo avaliativo. Em outra direo, identificam-se iniciativas de
associao de incentivos financeiros, tomando por referncia os resultados das
avaliaes, o que provavelmente impactar a organizao interna do trabalho
escolar e as relaes entre as escolas da rede com consequncias ainda pouco
claras, que demandam estudos focalizados nesses fatores novos que passam
a integrar a avaliao e a tentativa de induo de prticas e comportamentos.
REFERNCIAS BIBLIOGRFICAS
ABICALIL, C. A. Sistema nacional de educao bsica: n da avaliao? Educao e Sociedade,
Campinas, v. 23, n. 80, p.255-276, set. 2002.
AFONSO, A. J. Avaliao educacional: regulao e emancipao: para uma sociologia das
polticas avaliativas contemporneas. So Paulo: Cortez, 2000.
________. Reforma do Estado e polticas pblicas: entre a crise do Estado-nao e a emer-
gncia da regulao supranacional. Educao e Sociedade, Campinas, n. 75, p.15-32, 2001.
ANDRADE, D.; KLEIN, R. Mtodos estatsticos para avaliao educacional: teoria da resposta
ao item. Boletim da ABE, So Paulo, v.15, n.43, p.21-28, set./dez.1999.
ARELARO, L. R. G. A (Ex)tenso do ensino bsico no Brasil: o avesso de um direito demo-
crtico: uma anlise da ao governamental nos ltimos 25 anos (1962-1987). 1988.Tese
(Doutorado em Educao) Faculdade de Educao, USP, So Paulo.
BAETA, A. M. B. Pressupostos tericos e implicaes prticas do Modelo Saeb-2001. Estudos
em Avaliao Educacional, So Paulo, n. 25, p.23-42, jan./jun.2002.
BARRETTO, E. S. S. A Avaliao na educao bsica entre dois modelos. Educao e Socie-
dade, Campinas, v. 22, n. 75, p.48-66, ago. 2001.
BARRETTO, E. S. S; PINTO, R. P. (Coord.). Avaliao na educao bsica:1990-1998. Braslia:
MEC/Inep/Comped, 2001. (Srie Estado do conhecimento, n. 4)
BONAMINO, A. C. Tempos de avaliao educacional: o Saeb, seus agentes, referncias e
tendncias. Rio de Janeiro: Quartet, 2002.
BONAMINO, A.; FRANCO, C. Avaliao e poltica educacional: o processo de instituciona-
lizao do Saeb. Cadernos de Pesquisa, So Paulo, n.108, p.101-132, nov.1999.
BONAMINO, A.; BESSA, N.; FRANCO, C. (Org.). Avaliao da educao bsica: pesquisa
e gesto. Rio de Janeiro: PUC-Rio, Loyola, 2004.
BAHIA (Estado). Avaliao de desempenho do ensino fundamental do Estado da Bahia 2001.
Salvador: SEC, Fapex, 2003. (Educar para vencer: projeto de avaliao externa)
BRASIL. Constituio da Repblica Federativa do Brasil. Braslia: Senado Federal, 1998.
BRASIL. Ministrio da Educao. Inep. PISA 2000: relatrio nacional. Braslia, 2001.
BROADFOOT, P. Education, assessment and society: a sociological analysis. Buckingham:
Open University, 1996.
BROOKE, N. O Futuro das polticas de responsabilizao educacional no Brasil. Cadernos de
Pesquisa, So Paulo, v.36, n.128, p.377-402, maio/ago. 2006.
CANO, I. Introduo avaliao de programas sociais. Rio de Janeiro: Editora FGV, 2002.
DARLING-HAMMOND, L. The Implications of testing for quality and equality. Phi Delta
Kappan, Bloomington, v.73, n.3, p.220-225, nov. 1991.
DIAS SOBRINHO, J. Campo e caminhos da avaliao: a avaliao da educao superior no
Brasil. In: FREITAS, L. C. (Org.) Avaliao: construindo o campo e a crtica. Florianpolis:
Insular, 2002. p.13-62.
FRANCO, C. Quais as contribuies da avaliao para as polticas educacionais. In: FRANCO,
C.; BONAMINO, A.; BESSA, N. (Org.). Avaliao da educao bsica: pesquisa e gesto.
Rio de Janeiro: PUC-Rio; So Paulo: Loyola, 2004. p.45-63.
________. O Saeb Sistema de Avaliao da Educao Bsica: potencialidades, problemas
e desaos. Revista Brasileira de Educao, So Paulo, n. 17, p.127-133, maio/ago. 2001.
FREITAS, L. C. Avaliao de sistemas pblicos de ensino: construindo metodologias alternativas.
2002. Mimeo.
HEUBERT, J. P.; HAUSER, R. M. (Ed.). High stakes: testing for tracking, promotion and
graduation. Washington: National Academy, 1999.
IAIES, G. Evaluar las evaluaciones. In: TEDESCO, J. C. (Org.). Evaluar las evaluaciones: una
mirada poltica acerca de las evaluaciones de la calidad educativa. Buenos Aires: Unesco/
Iipe, 2003. p.15-36.
KAWAUCHI, M. Saresp e ensino de histria: algumas questes. 2001. Dissertao (Mes- Dissertao (Mes-
trado) Faculdade de Educao, USP, So Paulo.
KOHN, A. The Case against standardized testing: raising the scores, ruining the schools.
Portsmouth: Heinemann, 2000.
LANDSHEERE, G. A Pilotagem dos sistemas de educao: como garantir a qualidade da
educao? Porto: Asa, 1997.
LEVIN, B. Reforming education: from origins to outcomes. London: RoutledgeFalmer, 2001.
MACHADO, C. Avaliao e poltica: limites e potencialidades: uma anlise do Saresp. 2003.
Tese (Doutorado em Educao) Faculdade de Educao, USP, So Paulo.
MADAUS, G. F. The Inuence of testing on the curriculum. In: TANNER (Ed.). Critical issues
in curriculum. Chicago: University of Chicago, 1988.
MCNEIL, L. Contradictions of school reform: educational costs of standardized testing. New
York: Routledge, 2000.
OECD. Knowledge and skills for life: rst results from Pisa 2000. Paris, 2001.
________. Measuring student knowledge and skills: the Pisa 2000 assessment of reading,
mathematical and scientic literacy. Paris, 2001a.
OLIVEIRA, R. P. Avaliaes externas podem auxiliar o trabalho pedaggico da escola? In: So
Paulo. Secretaria Municipal de Educao (Org.). Educao: fazer e aprender na cidade de So
Paulo, 1. So Paulo: Fundao Padre Anchieta, 2008. p.230-237.
OLIVEIRA, R. P. Qualidade com garantia de respeito diversidades e necessidades de apren-
dizagem. In: GRACIANO, M. O Plano de desenvolvimento da educao (PDE). So Paulo:
Ao Educativa, 2007. p.32-34. (Questo, v.4)
OLIVEIRA, R. P.; SOUSA, S. M. Z. L. Avaliao de curso: uma dimenso da avaliao na
universidade. Revista Adusp, So Paulo, n.18, p.30-35, out. 1999.
ORFIELD, G.; KORNHABER, M. L. (Ed.). Raising standards or raising barriers? Inequality and
high-stakes testing in public education. New York: Century Foundation, 2001.
PELEGRINI, S. M. Formao de professores: avaliando contedo e habilidade em lngua portu-
guesa. 2000. Dissertao (Mestrado) Universidade do Oeste Paulista, Presidente Prudente.
PERRENOUD, P. A Avaliao dos estabelecimentos escolares: um novo avatar da iluso
cienticista? Ideias, So Paulo, n.30, p.193-204, 1998.
ROGGERO, P. Avaliao dos sistemas educativos nos pases da Unio Europeia: de uma
necessidade problemtica a uma prtica complexa desejvel. Eccos Revista Cientca, So
Paulo, v. 4, n.2, p.31-46, dez.2002.
SO PAULO (Estado). Secretaria da Ecucao. Saresp 96/97: resultados comparativos. So
Paulo: SEE/FDE, 1998.
________. Saresp 97/98: resultados comparativos. So Paulo: SEE/FDE, 1999.
________. Diretrizes educacionais para o Estado de So Paulo, no perodo de janeiro de 1995
a dezembro de 1998. So Paulo: SEE, 1995. (Comunicado)
SILVA, I. L. F. Reforma ou contrarreforma no sistema de ensino do Paran: uma anlise da meta
da igualdade social nas polticas educacionais dos anos 90. 1998. Dissertao (Mestrado em
Educao) Faculdade de Educao, USP, So Paulo.
SOUSA, S. M. Z. L. Avaliao do rendimento escolar como instrumento de gesto educacio-
nal. In: OLIVEIRA, D. A. (Org.). Gesto democrtica da educao: desaos contemporneos.
Petrpolis: Vozes, 1997. p.264-283.
________. Avaliao e polticas educacionais: iniciativas em curso no Brasil. In: HIDALGO, A.
M.; ILEIZI, L. F. S. (Org.). Educao e estado: as mudanas nos sistemas de ensino do Brasil
e Paran da dcada de 90. Londrina: UEL, 2001. p.69-98.
________. Possveis impactos da avaliao externa no currculo escolar. In: ROSA, D. E. G.;
SOUZA, V. C. Polticas organizativas e curriculares, educao inclusiva e formao de professores.
Rio de Janeiro: DP&A, 2002. p.23-38.
SOUSA, S. M. Z. L.; ALAVARSE, O. M. A Avaliao nos ciclos: a centralidade da avalia-
o. In: FREITAS, L.C.; GATTI, B. A.; SOUSA, S. M. Z. L. (Org.). Questes de avaliao
educacional. Campinas: Komedi, 2003. p.71-96. (Srie Avaliao: construindo o campo
e a crtica)
SOUSA, S. M. Z. L.; OLIVEIRA, R. P. Polticas de avaliao da educao e quase mercado no
Brasil. Educao e Sociedade, Campinas, v. 24, n. 84, p.873-895, set.2003.
SOUSA, S. M. Z. L. et al. Avaliao educacional e gesto: iniciativas no mbito do Municpio
e do Estado de So Paulo. In: REUNIO ANUAL DA ANPED, 23: GT5: Estado e Poltica
Educacional: Poltica, Gesto e Financiamento da Educao, 2000, Caxambu. Anais So
Paulo: Anped, 2000. p.429-435.
TORRES, R. M. Que (e como) necessrio aprender? Necessidades bsicas de aprendizagem
e contedos curriculares. 2. ed. Campinas: Papirus, 1995.
VIANNA, H M. Implantao de avaliao de sistemas educacionais: questes metodolgicas.
In: CONHOLATO, M. C. (Org.) Ideias 30: sistemas de avaliao educacional. So Paulo:
FDE, 1998. p.147-160.
VIANNA, H. M. Medida da qualidade em educao: apresentao de um modelo. Estudos
em Avaliao Educacional, So Paulo, n.2, p.99-104, jul./dez. 1990.
WILDE, S. Testing and standards: a brief encyclopedia. Portsmouth: Heinemann, 2002.
Recebido em: fevereiro 2010
Aprovado para publicao em: junho 2010

Souza e Oliveira (2010) - Sistemas Estaduais de Avaliacao Uso Dos Resultados 2010

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Souza e Oliveira (2010) - Sistemas Estaduais de Avaliacao Uso Dos Resultados 2010

Hochgeladen von

Copyright:

Verfügbare Formate

793 Cadernos de Pesquisa, v.40, n.141, p.793-822, set./dez.

Das könnte Ihnen auch gefallen