Anais Do Seminário Internacional PDF

ANAIS DO SEMINRIO INTERNACIONAL
DE AVALIAO EDUCACIONAL
Rio de Janeiro-RJ 1 a 3 de dezembro de 1997
Coordenador: Alejandro Tiana

Professor Titular da Facultad de Educacin da Universidad
ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL
Nacional de Educacin a Distancia (UNED)/Espanha
MEC / INEP / Unesco

Braslia-DF 1998
EDITOR
Jair Santana Moraes
TRADUES
Jonh Stephen Morris
REVISO
Jair Santana Moraes
Jos Adelmo Guimares
Jos Alfredo Paiva Dezolt
Marluce Moreira Salgado
Rosa dos Anjos Oliveira
NORMALIZAO BIBLIOGRFICA
Regina Helena Azevedo de Mello
Rosa dos Anjos Oliveira
PROJETO GRFICO
Rodrigo Godinho A. da Silva
ARTE-FINAL
Mrcia Terezinha dos Reis
TIRAGEM
500 exemplares
Os conceitos e opinies emitidos so de exclusiva responsabilidade dos seus autores.
Dados Internacionais de Catalogao na Fonte (CIP)

Seminrio Internacional de Avaliao Educacional (1997 : Rio de Janeiro).
Anais do Seminrio Internacional de Avaliao Educacional, 1 a 3 de dezembro
de 1997 / Coordenador: Alejandro Tiana. - Braslia : Instituto Nacional de Estudos e
Pesquisas Educacionais, 1998.
165 p. : il., tab.
1. Avaliao da educao. I. Tiana , Alejandro. II Ministrio da Educao e do
Desporto. III. Instituto Nacional de Estudos e Pesquisas Educacionais. IV. Unesco.
V. Ttulo.
CDU 371.26
Impresso no Brasil
ENDEREO
INEP
MEC Esplanada dos Ministrios, Bloco L, Anexos I e II, 4 Andar, Sala 416
CEP 70047-900 Braslia-DF Brasil
Fones: (061) 224-7092
(061) 224-1573
Fax: (061) 224-4167
http://www.inep.gov.br
E-mail: editoria@inep.gov.br
S UMRIO
Apresentao .............................................................................................................................................
Lista de Siglas ...........................................................................................................................................
Palestra Inaugural
Maria Helena Guimares de Castro (Inep/Brasil) ..........................................................................................
Pronunciamento
Jorge Whertein (Unesco/Brasil) ....................................................................................................................
13
O Sistema de Avaliao Brasileiro

Maria Ins Pestana (Inep/Brasil) ...................................................................................................................
15
Educao para Todos:

Acesso Aprendizagem e Conquista do Conhecimento til
Robert Glaser (LRDC/EUA) ..........................................................................................................................
31
O Potencial dos Estudos Comparativos Internacionais

para o Controle da Qualidade da Educao
Tjeerd Plomp (IEA/Pases Baixos) ...............................................................................................................
41
Os Indicadores Educacionais da OCDE:

Propsitos, Limites e Processos de Produo
Norberto Bottani (SER/ Sua) ......................................................................................................................
53
Avaliao de Alunos e Aprendizagem para uma Sociedade em Mudana

Caroline Gipps (University of London/Inglaterra) ............................................................................................
65
Abordagens de Valor Agregado para a Auto-Avaliao Escolar no Reino Unido

Sally Thomas (University of London/Inglaterra) .............................................................................................
75
Avaliao por Dilogos:

uma Contribuio Possvel para o Aprimoramento Escolar
David Nevo (Tel-Aviv University/Israel) ...........................................................................................................
89
Avaliao do Sistema Educativo:

As Estruturas Institucionais na Frana
Jacqueline Heritier (DEP/Frana) ..................................................................................................................
99
Avaliao e Monitoramento dos Estabelecimentos Escolares

Claude Sauvageott e J. C. Emin (colaborador) (DEP/Frana) .......................................................................
103
Arranjos Institucionais para Avaliao

Ernest R. House (University of Colorado/EUA) .............................................................................................
113
Como Pode a Avaliao Contribuir para a Poltica Educacional?

Os Usos da Informao
Barry MacGaw (Acer/Austrlia) ....................................................................................................................
119
133
Estatsticas Educacionais na Amrica Latina e no Caribe:

Resumo dos Resultados
Robert W. McMeekin (Orealc/Chile) .............................................................................................................
139
O Projeto Institucional do Sistema Nacional de Avaliao Educacional

da Tailndia
Nongram Setapanich (NEC/Tailndia) ...........................................................................................................
145
O Papel dos Meios de Comunicao na Divulgao dos Resultados da Avaliao

Demcrito Rocha (Fundao Demcrito Rocha/Brasil) .................................................................................
159
Documento de Trabalho: Seminrio Internacional de Avaliao Educacional ...................................
161
Onze Dilemas com que se Defrontam os Estudos Internacionais:

Comentrios para a Mesa
Juan Casassus (Orealc/Chile) ......................................................................................................................
A PRESENTAO
encontra importantes referenciais nas experincias de
diversos pases. Os avanos obtidos nesta direo
como a consolidao do Sistema Nacional de Avaliao da Educao Bsica (SAEB) e a implantao do
Exame Nacional de Cursos (ENC) e do Exame Nacional do Ensino Mdio (ENEM) qualificaram o Brasil para
uma participao mais ativa no debate internacional. Embora sejam ainda bastante recentes, sobretudo quando
comparadas com a larga tradio de outros pases, as
iniciativas brasileiras so inovadoras em vrios aspectos, tanto metodolgicos quanto institucionais. Por isso,
j atraem a curiosidade de especialistas e organismos
internacionais, que reconhecem os passos importantes dados nos ltimos anos e apontam o Brasil como
referncia na Amrica Latina.
Foi neste contexto que o Instituto Nacional de
Estudos e Pesquisas Educacionais (INEP), o Bureau
International d'Education da Unesco e a representao
da Unesco no Brasil se aliaram para promover o Seminrio Internacional de Avaliao Educacional, realizado
no Rio de Janeiro (RJ), de 1 a 3 de dezembro de 1997.
Este evento que reuniu dirigentes do MEC, secretrios estaduais e municipais de Educao, tcnicos das
Secretarias Estaduais de Educao e conceituados especialistas de 10 pases, inclusive do Brasil , teve como
objetivo identificar e discutir os novos desafios e as tendncias da avaliao educacional. O debate, obviamente, teve como pano de fundo a comparao entre as
experincias desenvolvidas pelo Brasil nos ltimos anos
e as experincias realizadas por diversos pases.
A pauta do evento privilegiou a reflexo sobre
as trs questes das quais se ocupa o debate contemporneo na rea: O que e como avaliar? Como organizar institucionalmente um sistema de avaliao?
Como disseminar e utilizar as informaes da avaliao? Esta publicao que rene os papers dos 17
expositores convidados, os documentos apresentados
durante o seminrio e as palestras proferidas na sesso de abertura apresenta a abordagem dessas questes sob diferentes enfoques que contribuem para que
o debate possa avanar e, em ltima instncia, orientar o aperfeioamento dos sistemas de avaliao. Ao
tornar este documento acessvel a um pblico mais
amplo, pretende-se suscitar novas linhas de anlise e
de pesquisa que ofeream respostas completas e conclusivas para as questes levantadas.
Por fim, merece um registro especial a indispensvel colaborao prestada pela Unesco, por meio
da sua representao no Brasil e do Bureau
International d'Education, na realizao do Seminrio
e na preparao desta obra.
Na dcada de 90, especialmente nos ltimos

quatro anos, a avaliao educacional assumiu um lugar
de grande destaque na agenda das polticas pblicas
de educao no Brasil, acompanhando uma tendncia
que j vinha sendo seguida por diferentes pases desde
os anos 70. Hoje, existe slido consenso entre os
gestores, educadores e especialistas sobre a relevncia dos processos de avaliao para o balizamento das
reformas educacionais e, sobretudo, para o ajuste das
polticas voltadas para a melhoria da qualidade do ensino. Nota-se, portanto, uma preocupao cada vez maior com a construo de instrumentos adequados para
avaliar o desempenho dos sistemas de ensino, com foco
centrado na aprendizagem dos alunos e abertura suficiente para enquadrar as diferentes variveis que
incidem sobre o rendimento escolar.
A convergncia em torno da importncia estratgica deste tema para o desenvolvimento educacional reflete-se na sua escolha, definida por diferentes
fruns, como rea prioritria para a cooperao multilateral em educao. Com o apoio de associaes e
organismos internacionais, tm prosperado diversos projetos que promovem a avaliao da qualidade da educao numa perspectiva comparada. o caso da pesquisa em andamento do Laboratrio Latino-Americano
de Qualidade em Educao (Orealc/Unesco), que envolve 15 pases, entre os quais o Brasil. Outra iniciativa
relevante o Programa de Avaliao da Qualidade da
Educao, mantido pela Organizao dos Estados
Ibero-Americanos (OEI). preciso mencionar ainda,
por constiturem-se as principais referncias internacionais, o TIMSS (IEA) e o PISA 2000 (OECD), que est
sendo desenvolvido com a participao do Brasil.
Esta cooperao tende a se alargar, no mbito
hemisfrico, a partir da implementao do Plano de Ao
em Educao aprovado pela ltima reunio dos chefes
de Estado da Cpula das Amricas (Santiago, Chile,
1998). Por sugesto do Brasil, incorporou-se proposta
de desenvolvimento de um projeto interamericano de
avaliao educacional, com o objetivo de promover e fortalecer os sistemas nacionais de avaliao, facilitando
o intercmbio de experincias e a gerao de padres
que permitam comparar o desempenho dos alunos. O
governo brasileiro tambm estabeleceu recentemente
parcerias educacionais bilaterais com os EUA e a Inglaterra, privilegiando a avaliao como uma das reas de
maior interesse para o estabelecimento de cooperao
tcnica. A desenvoltura com que o Brasil tem assumido
estes compromissos, especialmente de participar de
pesquisa para comparao internacional dos resultados
da aprendizagem dos alunos, revela a disposio do
Pas de enfrentar o desafio de melhorar a qualidade do
seu sistema de ensino.
Observa-se, portanto, que a nfase atribuda
pelo Ministrio da Educao e do Desporto (MEC) ao
desenvolvimento de sistemas nacionais de avaliao
Maria Helena Guimares de Castro

Presidente do INEP
L ISTA DE SIGLAS
ACER Australian Council for Educational Research
(Austrlia)
ADEA Associacin para el Desarrollo de la
Educacin Africana
AERA American Educational Research Association
(Estados Unidos)
BID Banco Interamericano de Desenvolvimento
CAT Cognitive Abilities Test / NFER-NELSON
(Inglaterra)
CELADE Centro Latinoamericano de Demografia
CEPAL Comisin Econmica para America Latina
y el Caribe
CINE Clasificacin Internacional Normativo de la
Educacin
CIENES Centro Interamericano de Enseanza
Estadstica [da OEA]
CSF Curriculum and Standards Framework (Austrlia)
DENI Department of Education for Nothern Ireland
(Inglaterra)
DEP Direction de l'valuation et de la Prospective
(Frana)
DfEE Department of Education and Employment
(Inglaterra)
ENC Exame Nacional de Cursos (Brasil)
ENEM Exame Nacional do Ensino Mdio (Brasil)
ERO Education Review Office (Nova Zelndia)
ETS Educational Testing Service (Estados Unidos)
FBI Federal Bureau of Investigation (Estados Unidos)
GAT General Achievement Test (Austrlia)
GCSE General Certification of Secondary
Education (Inglaterra)
GQT Gesto da Qualidade Total (a sigla original,
em ingls, TQM)
GTZ Deutsch Gesellschaft fr Technisch
Zusammenarbeit (Alemanha)
HMI Her Majesty Inspectors (Inglaterra)
IEA International Association for the Evaluation of
Educational Achievement
IGEN Inspection Gnrale de l'ducation National
(Frana)
IMD International Institute for Management
Development
INEP Instituto Nacional de Estudos e Pesquisas
Educacionais (Brasil)
INES International Indicators Systems / OECD
IPES Indicateurs de Pilotage des tablissementes
du Second Degr (Frana)
ISEIC International School Effectiveness and
Improvement Center / Institute of Education /
University of London (Inglaterra)
ISEP Improving Schools Effectiveness Project
(Inglaterra)
ISO International Standards Organization

LEA Local Education Authorities (Inglaterra)
LRDC Learning Research and Development Center/
University of Pittsburgh (Estados Unidos)
MEC Ministrio da Educao e Desporto (Brasil)
NAEP National Assessment of Educational
Progress / National Center for Education Statistics
(Estados Unidos)
NAPS National Assessment in Primary Schools
(Inglaterra)
NCES National Center for Education Statistics
(Estados Unidos)
NCTM National Council for the Teaching of
Mathematics (Estados Unidos)
NEC National Education Comission (Tailndia)
NESIS National Education Statistical Information
Systems (em espanhol: Sistemas Nacionales de
Informacin sobre la Educacin) [ligados Unesco]
NFER National Foundation for Educational
Research (Inglaterra)
NSELS National School English Literacy Survey
(Australia)
NSF National Science Foundation (Estados
Unidos)
OCDE Organizao para a Cooperao e
Desenvolvimento Econmico (a sigla original
OECD)
OECD Organization for Economic Co-operation and
Development (a sigla traduzida para o portugus
OCDE)
OECS Organizacin de Estados Caribeos
Orientales
OFSTEAD Office for Standards in Education
(Inglaterra)
ONEC Office of the National Education
Commission (Tailndia)
ONPEC Office of the National Primary Education
Comission (Tailndia)
OREALC Oficina Regional da Unesco para la
Educacin en America Latina y el Caribe
PIB Produto interno bruto
PNUD Programa das Naes Unidas para o
Desenvolvimento
PROAV Programa de Apoio Avaliao
Educacional (Brasil)
RSSI Raising Schools Standards Initiative (Inglaterra)
SACMEQ Southern Africa Consortium for
Monitoring Educational Quality
SAEB Sistema Nacional de Avaliao da
Educao Bsica (Brasil)
SCAA School Curriculum and Assessment
Authority (Inglaterra)
SIEd Sistema Integrado de Informaes

Educacionais (Brasil)
SIMCE Sistema de Medicin de Calidad de la
Educacin (Chile)
SIMS Second International Mathematics Study
SIRI Sistema de Informacin Regional / Unesco (Chile)
SITES Information Technology in Education Study
SRED Service de la Recherche en ducation (Sua)
TGAT Task Group on Assessment and Testing
(Inglaterra)
TIMMS Third International Mathematics and

Science Study
TQM Total Quality Management (em portugus, a
sigla GQT)
UNE Unio Nacional de Estudantes (Brasil)
Unesco Organizao das Naes Unidas para a
Educao, a Cincia e a Cultura
WGES Working Group on Education Statistics
[vinculado ao NESIS] / ADEA
P ALESTRA INAUGURAL
Maria Helena Guimares de Castro*

O Brasil atravessa um perodo de profundas
mudanas sociais, polticas e econmicas, que configuram um novo modelo de desenvolvimento. No plano
poltico-institucional, o Pas avanou na consolidao
da democracia, superando instabilidades que marcaram o longo perodo de regime autoritrio. No campo
econmico, vem aplicando desde 1994 um rigoroso
plano de estabilizao monetria, com resultados notveis no combate inflao e com repercusses bastante positivas sobre a distribuio de renda.
Graas a esse esforo do governo e da sociedade brasileira, o Pas vive um novo ambiente
institucional, com expectativas otimistas para o futuro.
A estabilidade da economia e o saneamento das finanas pblicas criam condies muito favorveis para o
desenvolvimento das polticas sociais, especialmente
na rea da educao, onde se verificaram os maiores
avanos nos ltimos trs anos.
Enfrentamos, nas ltimas semanas, graves turbulncias na economia. Com a inexorvel globalizao
dos mercados financeiros, o Brasil se ressentiu dos
abalos provocados pela crise cambial que se espraiou
pelas economias emergentes do Sudeste Asitico. O
governo respondeu a essa ameaa com um duro ajuste fiscal, o que mostra que h firme determinao poltica de defender as conquistas do Plano Real.
A crise atual ajudou a reforar a convico
compartilhada hoje pelas lideranas polticas e por
amplos segmentos da opinio pblica que para tornar definitivas essas conquistas, o Brasil precisa levar
adiante as reformas estruturais iniciadas pelo governo
Fernando Henrique Cardoso.
Consolidadas por meio de um conjunto de
emendas constitucionais, essas reformas buscam atingir trs metas estratgicas: em primeiro lugar, a modernizao da economia, a fim de dotar o Pas de melhores condies de competitividade no comrcio internacional e torn-lo menos susceptvel ao efeito de
crises externas; em segundo lugar, a reestruturao
do setor pblico, nas reas administrativa, tributria e
fiscal; por ltimo, a reorientao das polticas sociais,
visando ampliar sua cobertura e alcanar um novo perfil de eficincia e eqidade.
Essas reformas implicam uma profunda
redefinio do papel do Estado, seguindo tendncia
verificada em outros pases e que reflete uma crise
estrutural do setor pblico. No entanto, h uma dife-
rena bsica que deve ser considerada: enquanto na

Europa esta reforma foi desencadeada pela crise fiscal
do "Welfare State", no Brasil tem sido impulsionada
pelo esgotamento do modelo de desenvolvimento baseado numa forte interveno estatal na economia.
O que se pretende, portanto, redirecionar a
atuao do Estado, reduzindo seu papel de produtor
de bens econmicos e ampliando suas funes na rea
social, especialmente no provimento de servios de
sade e educao. Obviamente, essa remodelao do
Estado passa por adoo de medidas semelhantes em
todos os pases, como a privatizao de empresas
estatais, a desregulamentao da economia tendo por
escopo estimular os investimentos privados, a realizao de parcerias com o setor empresarial para ampliao da oferta de servios pblicos e o fortalecimento
do papel regulador do Estado.
Portanto, com a atual reforma, sai de cena o
Estado-executor, assumindo seu lugar o Estado-regulador e o Estado-avaliador. Essa mudana de paradigma
exige uma verdadeira reengenharia do setor pblico.
Trata-se da difcil tarefa de substituir controles burocrticos por uma nova cultura gerencial, que incorpora
a poltica de avaliao como elemento estratgico da
gesto pblica.
O atual governo promoveu importantes avanos neste sentido, assumindo uma postura muito clara quanto necessidade de desenvolver a prtica
avaliativa no mbito das polticas pblicas. Na realidade, este esforo responde a uma exigncia da prpria
sociedade, cada vez mais ciosa e vigilante em relao
aplicao dos recursos pblicos.
A educao , sem qualquer dvida, a rea
onde a poltica de avaliao vem merecendo maior nfase. Este um componente do processo de
descentralizao das polticas de educao bsica.
Sob a liderana do ministro Paulo Renato Souza, o Ministrio da Educao e do Desporto (MEC)
definiu como prioridade desenvolver e implantar sistemas de avaliao abrangendo todos os nveis de ensino. A mesma prioridade foi dada reestruturao e
modernizao do sistema de estatsticas e indicadores educacionais.
Em 1994, quando estvamos elaborando o programa de governo para a rea da educao do ento
candidato Fernando Henrique Cardoso, os dados educacionais disponveis mais recentes eram do Censo
*Maria Helena Guimares de Castro, mestre em Cincia Poltica, pela Unicamp, presidente do Instituto Nacional de Estudos e Pesquisas Educacionais (INEP)
desde fevereiro de 1997. O INEP responsvel pela realizao dos censos: Escolar, do Professor e do Ensino Superior; pelo Exame Nacional de Cursos (o
"Provo" do Ensino Superior), pelo Exame Nacional do Ensino Mdio (ENEM), e pelo Sistema Nacional de Avaliao da Educao Bsica (SAEB).
O Sistema Nacional de Avaliao da Educao Bsica (SAEB), embora no tenha sido criado na
atual administrao, passou por um processo de aperfeioamento e consolidao. A primeira mudana que
merece registro foi a sua realizao com regularidade,
a cada dois anos, o que fundamental para efeito de
comparabilidade dos resultados e para o desenvolvimento de uma cultura de avaliao junto aos sistemas
de ensino.
O SAEB abrange uma amostra probabilstica
representativa dos 26 estados e do Distrito Federal,
sendo aplicado s escolas pblicas e privadas de ensino fundamental e ensino mdio. O sistema tem como
objetivos: aferir os conhecimentos e habilidades dos
alunos, mediante aplicao de testes, com a finalidade de avaliar a qualidade do ensino; verificar os fatores
contextuais e escolares que incidem na qualidade do
ensino condies de infra-estrutura das unidades escolares; perfil do diretor e mecanismos de gesto escolar; perfil do professor e prticas pedaggicas
adotadas; caractersticas socioculturais e hbitos de
estudo dos alunos.
A anlise dos resultados dos levantamentos
do SAEB permite acompanhar a evoluo do desempenho dos sistemas de ensino e dos diversos fatores
incidentes na qualidade e na efetividade do ensino ministrado pelas escolas, possibilitando dessa forma a
definio de aes voltadas para a correo das deficincias identificadas. Um exemplo bem concreto e atual de poltica subsidiada pelo resultado do SAEB o
Programa de Acelerao de Aprendizagem, criado pelo
MEC para apoiar os sistemas estaduais e municipais
de ensino a multiplicar aes visando corrigir um dos
principais problemas do ensino fundamental, que a
incidncia de ndices muito elevados de distoro idade/srie.
O SAEB mostrou que os alunos com essa
caracterstica apresentam um desempenho inferior aos
alunos que freqentam a srie correspondente sua
idade. Portanto, torna-se prioritrio criar classes de
acelerao de aprendizagem para estes alunos. O
SAEB tambm ofereceu importantes subsdios para a
definio da poltica de formao de professores.
Com a aplicao do quarto ciclo do SAEB, no
ltimo ms de outubro, este sistema se consolida como
o mais importante e abrangente instrumento de avaliao da educao bsica em todo o Pas.
Por ltimo, cabe registrar que o INEP criou um
Banco Nacional de Itens, que forneceu as questes utilizadas na elaborao das provas do SAEB deste ano.
Alm de atender a essa necessidade, o Banco Nacional de Itens poder fornecer s redes estaduais de ensino que queiram implementar sistemas prprios de avaliao itens pr-testados e calibrados nacionalmente.
Portanto, esta iniciativa fortalece a poltica de avaliao
educacional, estimulando a implementao de sistemas
que permitam a comparabilidade dos resultados.
A principal inovao do MEC na rea da avaliao educacional foi a instituio e implementao do
Exame Nacional de Cursos, para avaliar o ensino de
graduao oferecido pelas instituies de ensino su-
10
Escolar de 1989 e do Censo Populacional de 1991,

que no cobrem todos os aspectos relevantes. Portanto, enfrentamos no incio do atual governo uma grave
dificuldade na hora de definir as aes mais urgentes
do MEC, pois estvamos trabalhando com dados absolutamente desatualizados.
Nos ltimos trs anos, graas ao esforo liderado pelo MEC, em parceria com as Secretarias Estaduais de Educao, esta situao foi completamente revertida, a ponto de o Brasil ser apontado hoje como uma
referncia para a Amrica Latina na rea da produo de
indicadores educacionais. Este reconhecimento feito pela
prpria Unesco, nossa parceira na realizao deste Seminrio Internacional sobre Avaliao Educacional.
Com o desenvolvimento do Sistema Integrado
de Informaes Educacionais (SIEd), o Censo Escolar
ganhou em agilidade e confiabilidade. Hoje, todos os
procedimentos j esto informatizados e em breve as
Secretarias Estaduais de Educao estaro ligadas
ao MEC, por meio de uma rede on-line, o que dever
tornar o sistema ainda mais eficiente.
Na ltima sexta-feira, o ministro Paulo Renato
apresentou os resultados finais sobre matrcula do
Censo Escolar/1997. A divulgao dos resultados do
Censo no mesmo ano da sua realizao um fato indito, o que comprova os avanos alcanados nesta rea.
Com a criao do Fundo de Manuteno e Desenvolvimento do Ensino Fundamental e de Valorizao do
Magistrio, o Censo Escolar ganhou uma importncia
ainda maior, pois ser com base nos seus dados sobre matrcula que sero calculados os coeficientes para
a redistribuio dos recursos a partir do prximo ms
de janeiro.
Com a implementao de uma audaciosa poltica de avaliao educacional e com a reestruturao
do sistema de estatsticas e indicadores educacionais,
o MEC oferece informaes atualizadas para subsidiar
a formulao e o monitoramento das polticas do setor
em todos os nveis de governo. O prprio ministrio
utiliza hoje os resultados do Censo Escolar e dos sistemas de avaliao como base para a formulao e
implementao dos seus principais programas.
Observa-se, portanto, uma situao bem diferente daquela que existia h trs anos. Mas, realizamos apenas os primeiros passos na construo de
um modelo de indicadores educacionais que atenda
s reais necessidades do Pas. O importante, no entanto, a determinao de continuar avanando nesta
direo, aprendendo com as experincias de outros
pases e este o principal objetivo deste seminrio.
Nossa experincia na rea da avaliao educacional bastante recente, embora o Brasil j rena
um conjunto de iniciativas que podem ser comparadas
com o que vem sendo feito por pases que tm maior
tradio nesta rea.
Queremos destacar, rapidamente, as principais
aes concretizadas pelo Ministrio da Educao neste
domnio nos ltimos trs anos. Certamente, essas
aes sero referidas de forma mais detalhada ao longo dos debates que sero realizados nestes trs dias
do nosso evento.
perior, pblicas e privadas. Este exame, que a imprensa alcunhou de "Provo", integra um sistema
abrangente de avaliao do ensino superior, orientado
para a melhoria da qualidade dos cursos.
O "Provo" est sendo implementado gradualmente, tendo comeado em 1996 com apenas trs
cursos: Direito, Engenharia Civil e Administrao. Este
ano, foram incorporados mais trs cursos: Odontologia, Medicina Veterinria e Engenharia Qumica e
em 1998 ser avaliado um total de dez cursos. Entretanto, desde que foi lanado, o programa repercutiu
intensamente, produzindo um debate que ganhou as
manchetes dos principais jornais e revistas.
O estabelecimento de uma sistema externo
de avaliao do ensino superior rompe com uma tradio credencialista e burocrtica, na qual o papel exercido pelo MEC se limitava ao credencimento das instituies e autorizao para a abertura de cursos. Isso
implica uma verdadeira mudana cultural, que no acontece sem resistncias. As reaes mais fortes, obviamente, so de natureza corporativa.
Quando o Exame Nacional de Cursos foi lanado, no ano passado, assistimos a uma tentativa da
Unio Nacional dos Estudantes (UNE) - felizmente fracassada de mobilizar os alunos para promover um
boicote a esta iniciativa do Ministrio da Educao. A
absteno em todo o Pas foi inferior a 5%, o que comprova que a maioria absoluta dos estudantes compreendeu o verdadeiro objetivo do "Provo", no se deixando levar pelo discurso maniquesta da UNE.
O que surpreendeu foi a enorme aceitao do
"Provo" pelos formadores de opinio, o que se reflete
na prpria cobertura amplamente favorvel dedicada
pelos meios de comunicao. A dificuldade maior, que
comea a ser superada, foi convencer os diferentes
segmentos da comunidade universitria, sobre os objetivos do Exame Nacional de Cursos e da sua insero como um dos instrumentos que integram o Sistema de Avaliao Institucional do Ensino Superior. Acreditamos que este entendimento j partilhado pela
maioria dos dirigentes, professores e alunos.
O terceiro programa avaliativo que o Ministrio
da Educao est desenvolvendo aplica-se ao ensino
mdio. A primeira experincia foi feita recentemente, no
ltimo dia 5 de novembro, com a aplicao de um exame para os concluintes do ensino mdio em nove Estados brasileiros, abrangendo cerca de 660 mil alunos.
importante notar que essa iniciativa foi concretizada a partir de uma solicitao formal do Conselho Nacional de Secretrios de Educao, frum que
rene os secretrios de educao dos 26 estados e do
Distrito Federal. A adeso ao exame foi voluntria, tendo sido muito expressiva a participao de nove sistemas estaduais de ensino, que respondem por cerca
de 70% dos concluintes do ensino mdio.
Esta experincia foi apoiada com entusiasmo
pelo ministro da Educao, pois oferecer importantes
indicativos para a implantao do Exame Nacional do
Ensino Mdio (ENEM), a partir de 1998. Este exame

ser facultativo para os alunos ao contrrio do
"Provo", que obrigatrio para os formandos do ensino superior. Outra diferena bsica que este exame
vai avaliar o desempenho do aluno, enquanto o "Provo"
tem como objetivo avaliar os cursos.
O Exame Nacional do Ensino Mdio vai criar
um parmetro nacional, podendo ser adotado pelas
universidades como um dos requisitos para adoo de
sistema seletivo alternativo ao atual modelo dos concursos vestibulares.
Por fim, o Brasil se abriu para a participao
em projetos de avaliao educacional comparada,
como o TIMMS, que ser aplicado em 1998. Este ano,
participamos tambm do projeto de avaliao da Oficina Regional da Unesco para la Educacin en Amrica
Latina y el Caribe (Orealc), envolvendo 15 pases da
Amrica Latina e do Caribe. Merece referncia, ainda,
o convite feito ao Brasil para participar do projeto de
indicadores educacionais da OECD.
O Instituto Nacional de Estudos e Pesquisas
Educacionais (INEP), que temos a honra de presidir,
responsvel pela implementao de todos esses sistemas de avaliao e de estatsticas educacionais. Na
verdade, esta atribuio foi delegada ao INEP em fevereiro deste ano, como conseqncia da poltica de fortalecimento institucional definida pelo Ministrio da
Educao.
Esta mudana coincidiu com a comemorao
dos 60 anos do INEP, resgatando assim os ideais do
grande educador Ansio Teixeira, que presidiu a instituio na dcada de 50. Hoje, o INEP assume claramente a misso de se especializar como instituto de
avaliao e informao educacional, exercendo, dessa forma, um papel estratgico para o desenvolvimento do sistema educacional brasileiro.
Para desempenhar com competncia suas
novas atribuies, o INEP tem envidado esforos para
ampliar o intercmbio internacional, estabelecendo relaes com instituies similares de outros pases. Da
mesma forma, buscamos ampliar o dilogo com as
universidades, estando em andamento um projeto para
estimular a criao de programas de ps-graduao
no mbito da avaliao educacional.
A realizao deste seminrio, em parceria com
a Unesco, insere-se dentro desta perspectiva de construir referncias para que o Brasil aprimore sua poltica
de avaliao educacional, incorporando os conhecimentos e experincias de outros pases. Este evento rene especialistas de 14 pases, incluindo o Brasil. Constitui-se, portanto, um frum altamente qualificado, que
muito contribuir para o avano do debate sobre os
diferentes aspectos da avaliao educacional.
Em nome do ministro da Educao, Paulo
Renato Souza, a quem representamos neste ato, saudamos todos os participantes, agradecendo a disponibilidade e o interesse manifestado em atender ao convite do INEP e da Unesco.
11
12
P RONUNCIAMENTO
Jorge Werthein*
objeto tem de satisfazer s nossas necessidades,
expectativas ou desejos. Deste modo, falar de qualidade leva, de forma necessria e orgnica, a falar
de avaliao.
Mas, quando a questo da qualidade circunscrita ao educacional, entram em julgamento no s
um campo substantivo e complexo da atividade humana, mas tambm as necessidades que este campo
deveria satisfazer. Por um lado, as demandas da sociedade em seu conjunto, as demandas dos diversos
subsistemas sociais (o poltico, o econmico, o cultural, etc.), por outro lado as demandas dos agrupamentos humanos que interagem na sociedade (famlia, comunidade, etc.) que exprimem demandas concretas
e, at, muitas vezes contraditrias. Estas demandas e
a forma de satisfazer s mesmas o que se encontra
atualmente na berlinda, mas nos orientam na questo
do que avaliar.
O tema da avaliao educacional no novo.
Longe disso, muito se tem falado, escrito e praticado
neste campo. Mas, a recente emergncia da questo
da qualidade colocou a avaliao em um novo patamar, do qual surgem novas configuraes e desafios
que constituem os tpicos que devero ser abordados
neste seminrio.
Em primeiro lugar, hoje, quando falamos de
avaliao, estamos fazendo referncia a algo bem diferente do que significava a avaliao h 15 ou 20 anos
atrs. Nessa poca, a avaliao estava imbricada com
os grandes nomes que atuavam no campo: Coleman,
Scriven, etc. Falvamos das grandes avaliaes feitas
por grandes figuras. Mas eram avaliaes que aconteciam de forma espordica, quando as circunstncias e
as possibilidades o permitiam.
Hoje falamos das avaliaes do SAEB, do
TIMMS, do SIMCE, do NAEP, sem levar muito em conta que nossos mapas mentais mudaram. Nossas referncias, hoje, so grandes sistemas de avaliao,
rotinizadas por atividades peridicas e recorrentes, sistemticas, de carter longitudinal e quase annimas.
Passamos do espordico e circunstancial da avaliao consolidao de grandes sistemas, com todos
os ganhos, mas tambm com as grandes dificuldades, que isto origina. A avaliao deixou de ter um
incio o projeto, um meio (a coleta e anlise dos dados) e um grande final: o relatrio. Passou a ser uma
atividade permanente, peridica e cclica, que gera rotinas, manuais, problemas de divulgao e questes
Junto com nossos colegas e amigos do Ministrio da Educao e do Desporto, assumimos a

tarefa, quase a misso, de montar este espao que,
realmente esperamos, permita debater e trocar expectativas e experincias sobre um tema que, pela sua
significao atual, reveste-se hoje de enorme relevncia: os novos desafios da avaliao educacional.
Como aponta o Documento de Trabalho que
serviu de base para a convocatria do seminrio: "em
diversos foros internacionais foi salientado que o principal desafio dos sistemas educacionais atuais no
mais apenas proporcionar educao a todos os cidados, mas tambm assegurar que esta seja de qualidade".
Este , realmente, o eixo central, o pano de
fundo que dever orientar nossas preocupaes e discusses ao longo dos trs dias de trabalho: como contribuir, desde o campo da avaliao, para a melhoria da
qualidade de nossos sistemas de ensino.
O tema da qualidade no novo nem recente.
Podemos dizer que uma questo sempre presente
na pauta de discusses dos educadores e gestores e
tambm uma enorme preocupao das famlias que
procuram esse ou aquele caminho para assegurar o
destino social de seus filhos. Mas, desde meados da
dcada de 80, observamos um fenmeno novo e significativo: de questo "sempre presente", a qualidade
transforma-se em "eixo central". Destaca-se como
campo prioritrio de interveno e meta das diversas
reformas educacionais que vm acontecendo no mundo todo.
Um indicador privilegiado desta nova
centralidade o seu destaque, como eixo, na Declarao Mundial de Educao para Todos, resultante da
Conferncia de Jomtien, convocada pela Unesco, a
Unicef, o Programa das Naes Unidas para o Desenvolvimento (PNUD) e o Banco Mundial. Ao definir as
grandes linhas estratgicas para a virada do sculo, a
Declarao estabelece, no seu artigo terceiro, que "a
prioridade mais urgente melhorar a qualidade". Ligado a isto, a seguir, o artigo quarto estabelece a necessidade de implementar sistemas de avaliao do desempenho dos alunos.
Essa proximidade entre a qualidade e a avaliao educacional no casual ou mero produto de
circunstncias conjunturais. O prprio conceito de qualidade, sob qualquer perspectiva terica e qualquer que
seja o objeto de referncia, leva implcito a noo de
julgamento, a idia de ponderar a capacidade que o
*Jorge Werthein o representante da Unesco no Brasil e o coordenador do Programa Unesco/Mercosul.
13
metodolgicas e tcnicas bem especficas, que devero construir os temas de nosso debate.
Para acharmos exemplos paradigmticos destas transformaes e da modernizao da avaliao
educacional, no temos de ir muito longe; vamos
encontr-los aqui mesmo, no Brasil, onde o Ministrio
da Educao deu, em poucos anos, passos gigantescos nesta direo. longa tradio que j possua a
avaliao dos cursos de ps-graduao, tradio com
mais de 20 anos de prestgio e experincia, soma-se
hoje uma srie de processos e sistemas que cobrem,
praticamente, todos os nveis do ensino.
Temos, por exemplo, o Sistema Nacional de
Avaliao da Educao Bsica (SAEB), uma sofisticada e complexa operao que, a cada dois anos, alm
de testar alunos do ensino fundamental e mdio nas
disciplinas bsicas Portugus, Matemtica e Cincias, levanta informaes sobre o professor, o diretor da
escola, a prpria escola, os hbitos de estudo e o universo sociocultural dos alunos, enfim, o nvel e o conjunto de possveis determinantes, intra e extra-escolares, que incidem na qualidade do ensino ministrado.
Recentemente, foi tambm institudo o Exame
Nacional de Cursos (ENC), mais conhecido como o
Provo que, mediante diversos mecanismos, incluindo
uma avaliao do desempenho dos egressos, pretende
aferir, de forma sistemtica, a qualidade dos cursos de
graduao das universidades do Pas.
Ainda em fase experimental, mas contando j
com a ativa participao e parceria de diversos estados
do Pas, est sendo realizado este ano, pela primeira

vez, o Exame Nacional do Ensino Mdio (ENEM), iniciativa que pretende, num futuro bem prximo, avaliar,
de forma sistemtica, a qualidade dos egressos do ensino mdio do Pas.
Sem pretendermos ser exaustivos nesta enumerao, no poderamos deixar de mencionar uma
iniciativa recente do Ministrio da Educao nesta rea,
iniciativa que, pelas suas possveis conseqncias,
achamos de importncia e relevncia transcendentais
para os temas que nos preocupam. Decidido a encarar
de frente a questo da formao e desenvolvimento dos
recursos humanos para a rea, acaba de ser institudo
um Programa de Apoio Avaliao Educacional
(PROAV). um ambicioso projeto, que inclui doutorado, ps-doutorado, implantao de cursos de mestrado
em avaliao educacional, laboratrios de medidas educacionais, cursos de especializao em temas especficos relacionados com a metodologia e as tcnicas
da moderna avaliao educacional. Enfim, um grande
programa de formao de recursos humanos para a
avaliao educacional.
Por ltimo, queremos agradecer ao Ministrio
da Educao e do Desporto nas figuras de seu titular,
o Dr. Paulo Renato Souza, e da Presidente do INEP,
Dr Maria Helena Guimares de Castro, por todo o
esforo e apoio dado para a concretizao deste
seminrio.
Muito obrigado.
14
O SISTEMA DE
AVALIAO BRASILEIRO
Maria Ins Pestana*
Pretendemos fazer um rpido histrico do desenvolvimento do Sistema Nacional de Avaliao da
Educao Bsica o SAEB.
Ao desenvolvermos o SAEB, iniciamos um
processo que tem comeo, mas parece no ter fim. O
SAEB tem, portanto, as caractersticas de qualquer
processo: no est pronto; to cedo no estar; talvez, nunca esteja pronto e acabado. Por isso estamos
construindo um sistema de avaliao. E sobre a histria desta construo, algumas caractersticas mais
tcnicas e as questes com que estamos nos deparando nesse momento que pretendemos falar neste
seminrio.
menso territorial e de grandes desigualdades

socioeconmicas. A funo supletiva, portanto, deve
ser cumprida no sentido da reduo das desigualdades existentes no Brasil. Talvez esta seja uma das
funes mais importantes do MEC.
O sistema de avaliao surge, ento, a partir
destas questes, quer dizer, em um momento de democratizao do Pas, quando a sociedade, estados,
municpios e a prpria Unio esto discutindo a
redefinio de seus papis, a diviso de funes e atribuies e, tambm, o sentido da cooperao, da articulao, da integrao e da parceria entre as instncias de governo.
Concretamente, o processo de democratizao
do Pas refletia-se na educao, destacando a questo
da democratizao do ensino, ressaltando neste caso,
dois aspectos: o primeiro relacionava-se ao acesso
escola. Reconhecia-se que o Pas tinha feito um grande
esforo de construo de escolas e realmente tinha
ampliado bastante o nmero de pessoas que ingressavam na escola. Porm, os resultados que estavam sendo gerados no eram, ou pelo menos havia uma impresso geral de que no pareciam ser o que se desejava.
Nada tinha sido medido, mas havia uma percepo muito
forte de que era preciso implementar a qualidade ou dar
mais qualidade ao sistema educacional. Agora, que qualidade esta? isso que um sistema de avaliao tambm tentaria examinar. Ficou claro, ento, que um sistema nacional de avaliao do sistema educacional poderia trazer informaes teis sobre o que est sendo
gerado no setor educacional, como, onde, quando e
quem responsvel pelo produto obtido.
Dessa forma, surgiu o Sistema Nacional de
Avaliao da Educao Bsica (SAEB) como uma
atribuio do Ministrio da Educao e do Desporto,
para coletar informaes sobre a qualidade dos resultados educacionais, sobre como, quando e quem tem
acesso ao ensino de qualidade.
ntecedentes e breve histrico
Primeiramente, necessrio contextualizar o

momento do surgimento do SAEB.
A idia de se montar um sistema de avaliao
da educao nacional surgiu, no Ministrio da Educao, durante o perodo de redemocratizao do Pas,
logo no incio da Nova Repblica, em meados de 1985/
1986, quando se discutia a questo da federao, da
redefinio dos papis e das atribuies dos diversos
nveis de governo existentes no Brasil. Claro que estas
questes permanecem em discusso ainda hoje.
Aqui, vale fazer um parntese sobre a distribuio de funes na rea educacional, entre as esferas administrativas brasileiras.
Existem trs instncias de governo no Brasil:
os municpios, que so responsveis basicamente pela
administrao de escolas que oferecem educao prescolar e fundamental; os estados, que alm de administrarem uma rede de escolas de Ensino Fundamental e Mdio, tm um papel de superviso do sistema
estadual de educao, isto , supervisionam o funcionamento das demais redes de ensino (municipal, particular e federal); e a Unio, que, por intermdio do
Ministrio da Educao e do Desporto (MEC), alm de
gerenciar uma rede federal de ensino mdio, muito
pequena, restrita a escolas tcnicas e agrotcnicas,
tem como principais papis a formulao das grandes
diretrizes para o sistema educacional e, destacadamente, a ao supletiva, em um Pas de grande di-
aractersticas do sistema
nacional de avaliao
O SAEB nasceu caracterizado por uma necessidade permanente de articulao e de construo

de consenso e acordos ou, pelo menos, de uma toma-
* Maria Ins Gomes de S Pestana diretora de Avaliao da Educao Bsica, no INEP, e, desde 1995, responsvel pelo desenvolvimento do Sistema
Nacional de Avaliao da Educao Bsica (SAEB).
15
O arcabouo do SAEB resultado de uma

ampla discusso, onde se debateu a necessidade de
dar transparncia ao sistema educacional, sendo imprescindvel para isso responsabilizar os diversos agentes do sistema educacional pelos produtos e resultados apresentados pelo sistema de ensino brasileiro.
Para efetivar estes objetivos, foi preciso incorporar a
idia de produto do sistema educacional definindo tambm o que seria este produto e, em seguida, determinar que aspectos relacionados ao processo de obteno do produto deveriam ser observados.
Como a base do sistema de avaliao o debate, o convencimento e o estabelecimento de acordos, na realidade conseguiu-se, poca, o seguinte
consenso entre o Ministrio da Educao e do Desporto e os secretrios estaduais de educao: no s
era possvel, como necessrio, que os agentes do sistema educacional e a sociedade passassem a olhar a
escola como uma prestadora de servios e que estes
deveriam concretizar-se gerando resultados (um produto) que seria o desempenho do aluno.
claro que o desempenho do aluno bastante abrangente, e o SAEB no capaz, ainda, de medir
os vrios aspectos nele contidos - principalmente atitudes, aspectos afetivos e valores - que fazem parte do
fazer educacional, que so objetivos da escola. Mas o
desempenho do aluno, em termos de aprendizagem
de determinados contedos e de aquisio de determinadas habilidades e competncia, passvel de
medio. O SAEB comearia, ento, medindo o desempenho acadmico dos alunos brasileiros. Com base
nos resultados obtidos, poder-se-ia fazer anlises e
comparaes e discutir se os resultados concretos
possuam ou no qualidade, isto , poder-se-ia avaliar.
H hoje um grande debate sobre o fato da educao no acontecer no vazio, e sim a partir de condies iniciais da aprendizagem de um indivduo, sendo
muito importante determinar o valor agregado aos indivduos pela educao e pela escola.
Relaciona-se a essa discusso um outro ponto fundamental da concepo do SAEB.
No SAEB, parte-se do princpio que o desempenho do aluno sofre mltiplos condicionamentos, os
quais devem ser considerados pela avaliao. Para tanto
deve-se somar ao desempenho do aluno, pelo menos,
mais trs dimenses, quais sejam: a determinao de
contextos em que acontecem o ensino e a aprendizagem; a identificao de processos de ensino e aprendizagem e, por fim, o dimensionamento dos insumos
utilizados.
A incluso destas dimenses fundamental,
por exemplo, para determinar a eqidade na oferta educacional. Quando os insumos esto bem distribudos
e as escolas tm o mesmo padro de infra-estrutura
ou um padro semelhante, pode-se afirmar que a populao est tendo as mesmas oportunidades educacionais. Indo alm e examinando em que medida a
16
da de deciso mais coletiva, pois o objeto do SAEB

o sistema nacional de educao, que diz respeito a
toda a sociedade, alm de ser gerenciado por vrias
instncias.
Tambm caracteriza este sistema de avaliao o objetivo de monitorar as polticas voltadas para a
melhoria da qualidade, da eqidade e da eficincia do
sistema educacional, problemas ainda hoje centrais,
no caso brasileiro.
Sendo assim, ele tem como inteno prover
informaes para tomada de decises, por isso destina-se, no primeiro momento, aos gestores do sistema
educacional (ministro da Educao, os secretrios
estaduais e municipais de Educao) procurando trazer informaes sobre a qualidade da educao; a eqidade, ou seja, como a qualidade est sendo alcanada
no espao brasileiro; e a eficincia do sistema, ou seja,
h ou no maneiras melhores de se obter qualidade na
educao.
As caractersticas gerais do sistema de avaliao em termos de objetivos, estrutura e concepo
mantm-se constantes. As mudanas que foram
efetuadas no sistema (iniciado em 1988) nesses quase 10 anos so de cunho metodolgico e operacional.
Do ponto de vista conceitual, o SAEB procura
articular diversos aspectos relacionados educao,
tentando superar uma tendncia muito forte
compartimentalizao da educao, bastante evidente na poltica educacional e, conseqentemente, no
investimento em educao.
Tradicionalmente, a ao governamental concretiza-se em grandes programas ou projetos de investimentos educacionais: investe-se milhes em construo de escolas, outros milhes em capacitao de
professores, e ainda outros milhes em material didtico, quase sempre sem nenhuma articulao entre
estas partes. Com base nessa viso focalizada, ao final dos programas e projetos, sabia-se quantas escolas foram construdas, quantos professores foram capacitados e quantos livros didticos foram impressos
e distribudos, mas no se podia afirmar se qualitativamente o sistema havia melhorado, nem qual tinha sido
a contribuio efetiva de cada uma das partes (a construo de escola, a capacitao de professores e o
material didtico) para a melhoria do sistema.
O sistema de avaliao procurou trabalhar articuladamente com esses diversos aspectos, de modo
a possibilitar a determinao no do componente que
de fato causou ou foi responsvel pela melhoria do sistema, mas sim da melhoria real da qualidade do sistema, em primeiro lugar e, em seguida, do arranjo de
fatores que possibilitou tal melhoria, uma vez que dificilmente um fator responde sozinho por qualquer mudana no campo educacional.
Muito j foi dito aqui neste seminrio sobre a
"caixa preta" que a escola esconde. O SAEB pretende
abrir esta caixa, descobrir o que acontece na escola,
principalmente na escola bem-sucedida.
oferta de oportunidades semelhante gera resultados

diferenciados, e quais as possveis razes da diferenciao, poder-se-ia determinar at que ponto os bons
resultados educacionais estariam efetivamente sendo
democratizados, isto , se pelo menos a maioria dos
alunos teria de fato garantido o direito educao de
qualidade.
Para coletar informaes sobre cada uma das
trs dimenses abrangidas pelo sistema de avaliao,
foram desenvolvidos instrumentos e procedimentos
especficos.
A dimenso produto examinada por meio da
aplicao de provas que medem o nvel de competncia e/ou habilidades que os alunos brasileiros apresentam ou demonstram possuir.
Enfoque
D im enso
A te ndim ento
A cesso
ao E nsino
B sico
E ficincia
P roduto
Qu alid ade,
C ontexto
E ficincia,
E qid ade
do sistem a
P rocesso
de ensino
bsico
Insum o
As dimenses contexto, processo e insumos

so examinadas por meio da aplicao de questionrios aos professores (sobre a prtica docente, o perfil
profissional e as condies de trabalho), aos diretores
(tambm sobre o perfil, a prtica e as condies de
trabalho) e aos alunos (sobre nvel socioeconmico e
hbitos de estudo). Alm disto feito um levantamento sobre as condies das escolas (instalaes, equipamentos e materiais disponveis).
As informaes resultantes destes levantamentos permitem fazer associaes, correlaes, anlises
hierrquicas, estudos mais ou menos complexos sobre a realidade educacional brasileira.
O quadro a seguir apresenta o arcabouo do
SAEB.
Indicador/Varivel
Taxas de a cesso
Taxas de e sco larizao
Taxas de p rodutividad e
Taxas de transio
Taxas de e ficincia interna
D esem pen ho do aluno , em
term o s de:
apren
dizage m de contedos
desen
volvim ento de h abilidade e
com petncias
N vel so cioecon m ico do s alu nos.
H bito s de estudo dos aluno s
P erfil e con dies de trabalho dos
docen tes e dos d iretores.
Tipo de escola .
Gra u de au ton om ia da esco la.
M atriz orga nizacion al da esco la.
P lane jam ento do ensino e da escola.
P rojeto pedag gico.
R elao entre conted os
propo stos/ensina dos e conted os
ensin ados/aprend idos.
U tilizao do te m p o p edag gico.
E stratgias e tcnicas d e e nsino
utiliza das.
Infra-e strutura (a dequao,
m anuteno e conservao):
espao fsico e instalaes;
equ ipam entos;
recursos e m ateriais did ticos.
Instrum ento
Qu estionrios do
C enso Escolar do
S EEC /IN E P/M E C
Qu estes de provas
Qu estionrios para:
alu nos;
professores;
dire tores.
Qu estionrio sobre
condies d a e scola
rao, 2 mil escolas de todas as redes de ensino (federal, estadual, municipal e particular) e uma amostra
de alunos que est hoje em torno de 220 mil alunos, e
deve ficar, a partir de 1999, com cerca de 300 mil
alunos, 3 mil diretores e aproximadamente 20 mil
professores.
Este , portanto, o esquema bsico da avaliao, que pouco mudou desde que comeou a ser desenvolvido.
Quanto abrangncia, o sistema caracterizase pela participao de todas as 27 unidades da Fede-
17
se a examinar contedos que cobrem praticamente todo

o espectro curricular das propostas de Ensino Fundamental e Mdio ou de Educao Bsica no Brasil.
A segunda alterao metodolgica realizada
em 1995 se deu na maneira como se media o desempenho do aluno. Nesse caso, a metodologia e as provas utilizadas at ento tinham muitas limitaes. Utilizava-se provas clssicas de contedo, de 30 questes que, por exemplo, no podiam ser comparadas
no tempo e tampouco entre as diferentes sries. Por
isso iniciou-se o processo de elaborao e interpretao de escalas de proficincia, construdas com base
na Teoria de Resposta ao Item. Esta tcnica permite
os dois tipos de comparao (no tempo e entre as sries), pois a unidade de anlise passa a ser o item da
prova, e no mais a prova completa, nem o aluno.
O uso da Teoria de Resposta ao Item e das
Escalas de Proficincia associados a uma tcnica de
balanceamento de contedos nas provas permitiu tambm a superao de uma terceira dificuldade que era a
pequena amplitude de conhecimentos que uma prova
de 30 questes tem. O SAEB de 1995 j utilizou cerca
de 150 questes em cada uma das disciplinas avaliadas. Embora cada aluno continue respondendo entre
30 e 35 questes, possvel avaliar o desempenho do
grupo de alunos em todas as 150 questes utilizadas, cobrindo, portanto, um espectro mais amplo
do currculo.
At este momento o SAEB avaliou os alunos
em Matemtica, Lngua Portuguesa e Cincias; nesta
ltima, a partir de 1997. Em 1999, vamos introduzir
Histria e Geografia.
Um grande esforo tem sido feito para manter
a transparncia da avaliao e torn-la amplamente
conhecida. Embora os instrumentos que examinam os
fatores associados ao desempenho sejam conhecidos
de todos, por questes tcnicas, ainda no podemos
dar a conhecer as questes das provas.
Buscando minimizar esta impossibilidade, est
sendo realizado um trabalho bastante interessante, e
de certa maneira inovador, que a elaborao da matriz curricular de referncia para avaliao.
Esta matriz quase uma tabela de
especificao para a elaborao das questes das provas do SAEB.
Para elaborar essa matriz, o procedimento utilizado foi o mesmo de quando foram definidos os contedos mnimos comuns. Novamente, buscou-se tudo
o que havia de comum nas propostas curriculares dos
estados para os trs ciclos de ensino. Foram incorporadas as propostas dos Parmetros Curriculares Nacionais, elaboradas pelo Ministrio da Educao e que
servem de referncia para o Pas, e tambm foram considerados os "estados da arte" de cada disciplina e os
nveis de desenvolvimento cognitivo associados aos
ciclos de ensino. Mais uma vez todo o material elaborado foi encaminhado para crticas e sugestes das
equipes das secretarias de educao dos estados.
18
O esquema amostral de amostras

probabilsticas de alunos mais amostras relacionadas,
ou seja, os alunos que so selecionados para participar do sistema de avaliao tm a mesma probabilidade de seleo, e tm seus professores e seus diretores automaticamente selecionados para responder aos
questionrios. Com isso, estrutura-se uma base de dados que permite as anlises e estudos j mencionados.
No foi fcil comear o sistema nacional de
avaliao utilizando-se provas nicas a serem aplicadas em todo o territrio nacional. Na primeira avaliao
(ou primeiro ciclo do SAEB), houve a participao de
23 estados. Somente em 1995 todos os estados brasileiros e todas as redes de ensino passaram a participar, voluntariamente, do Sistema Nacional de Avaliao da Educao Bsica.
O sistema comeou avaliando a 1, 3, 5 e a
7 sries do Ensino Fundamental com base em contedos mnimos comuns. Para defini-los, fazia-se um
levantamento dos currculos estaduais, os aspectos
comuns eram identificados (era considerado comum o
que aparecia em, pelo menos, 70% dos estados) e
aps uma srie de discusses e negociaes com as
equipes tcnicas dos estados eram definidos os contedos a serem avaliados por meio das provas. Os
demais instrumentos, isto , questionrios para diretores, professores e sobre a escola tambm eram discutidos e incorporavam as sugestes das equipes estaduais. Esta negociao um trao caracterstico do
SAEB, e por meio dela que o SAEB adquire
pertinncia e legitimidade.
Nesta base foram ento realizados os levantamentos de dados nos ciclos de 1990 e 1993.
No entanto, em 1995, foi realizada uma avaliao externa do prprio SAEB que trouxe tona algumas questes que ao serem respondidas implicaram
uma mudana metodolgica no sistema de avaliao.
Uma primeira questo relacionava-se aos contedos mnimos comuns, que eram a referncia das
provas. Na realidade, os contedos eram mnimos para
um ciclo de estudos e no para a srie em que aplicvamos as provas. Por exemplo: parte do contedo da
1 srie do Ensino Fundamental que era comum a todos os estados poderia aparecer em cinco estados na
1 srie e em outros cinco na 2 srie, ou em outra
srie. Neste caso era introduzido um vis que distorcia
os resultados da prova, j que os alunos estavam em
diferentes condies de aprendizagem: uns foram expostos aos contedos, outros no.
Para superar esta dificuldade e tambm para
acompanhar uma tendncia do desenvolvimento
curricular no caso brasileiro, passou-se a avaliar, ento, as sries finais de ciclos. Os trs ciclos avaliados
so os seguintes: as primeiras quatro sries do Ensino Fundamental (1 a 4), as outras quatro sries do
Ensino Fundamental (5 a 8) e as trs sries do Ensino Mdio ou secundrio. Com esta alterao, passou-
A matriz de referncia para a avaliao apresenta uma srie de descritores do desempenho do aluno. Cada descritor um cruzamento ou associao
entre contedos curriculares e operaes mentais (competncias e habilidades). Nesse ponto reside a nossa
ousadia e a nossa dificuldade.
A matriz parece ser uma maneira de se conseguir superar a quase eterna diviso que h, em quase toda proposta curricular, entre os objetivos
curriculares e a lista de contedos, pois concretiza,
em cada descritor, a articulao entre objetivo curricular
ou objetivo de desenvolvimento e o contedo. Segundo
diversos depoimentos de professores, a matriz de fato
conseguiu descrever, em cada descritor, o desempenho desejado do aluno, ou seja, que operao mental
o aluno tem de realizar com cada contedo.
claro que todo este trabalho est em permanente processo de discusso, para que possa ser sempre aperfeioado.
No momento, as matrizes de referncia para a
avaliao devem cumprir dois objetivos: dar transparncia avaliao e diminuir um dos maiores riscos da
avaliao que o da reduo daquilo que ensinado
somente ao que avaliado. Por isso, o desenvolvimento das matrizes associado utilizao de modelos da
teoria de respostas ao item para anlise e construo
de escalas de desempenho permite que se faa uma
descrio bastante ampla daquilo que se espera que
seja desenvolvido e seja atingido, ou esteja sendo alcanado pelos alunos brasileiros.
Completando a descrio das matrizes, resta
dizer que ela organiza os descritores de desempenho
em tpicos, temas e assuntos (contedos) e operaes mentais (competncias e habilidades) distribudos em trs ciclos (at a 4 srie do Ensino Fundamental, at a 8 do Ensino Fundamental e at a 3
srie do Ensino Mdio) e trs categorias: competncias bsicas, operacionais e globais, isto , em cada
um dos ciclos aparecem as trs categorias de competncias.
Mais uma vez importante destacar que a
matriz baseia-se no que consta das propostas
curriculares em vigor no Brasil.
Aps realizar a coleta e anlise dos dados, o
SAEB informa sociedade os resultados mais gerais
e coloca disposio de administradores, gestores,
professores, diretores de escolas, de alunos, de especialistas, uma srie de informaes que permitem um
olhar mais qualitativo sobre o sistema de ensino.
Em relao ao desempenho dos alunos so
fornecidos dois tipos de informao: primeiramente as
mdias de proficincia, que uma informao mais
geral sobre a capacidade do aluno, isto , aquilo que
os alunos de cada uma das trs sries avaliadas so
capazes de fazer. Esta informao baseia-se na escala de proficincia construda para o Pas, que interpreta e sintetiza o desempenho dos alunos. Estas informaes podem ser obtidas desagregadas por regio
e por estado, rede de ensino, localizao, caractersticas dos alunos, dos professores, diretores e das escolas; em segundo lugar, os resultados de aproveitamento mdio do aluno, isto , qual foi o comportamento dos alunos em relao a cada um dos descritores
de desempenho que constam das Matrizes de Referncia da Avaliao bem como ao seu conjunto, sendo, portanto, uma informao de cunho curricular bastante detalhada.
Todos estes dados devem possibilitar anlises
bem interessantes sobre o currculo aprendido no Brasil e provocar discusses e aperfeioamentos nos currculos propostos.
Tambm esto disponveis todas as demais
informaes sobre variveis associadas ao rendimento
escolar e de caracterizao das escolas, alunos, professores e diretores.
debate sobre o sistema nacional de

avaliao hoje
No estgio de desenvolvimento em que se encontra o SAEB, uma grande questo comea a ser
debatida: at aonde vai a real capacidade de um sistema nacional de avaliao de informar sobre todos os
aspectos relacionados educao e sobre a diversidade e a singularidade das escolas?
Apesar de todo esforo at aqui realizado no
desenvolvimento do SAEB, da legitimidade que o sistema possui, da parceria que foi estabelecida com os
sistemas de ensino, e embora a avaliao venha sendo progressivamente apropriada pelos sistemas de
ensino e o SAEB esteja tornando-se uma referncia,
um sistema nacional de avaliao no responde, nem
poderia responder a todas as necessidades de informao, e tambm no tem capacidade de apreender
toda a diversidade e singularidade das escolas, por isso
tem de ser complementado.
A luz que o SAEB joga sobre o sistema de
ensino e as escolas no suficiente, por exemplo,
para iluminar o que acontece dentro da sala de aula.
Neste e em outros aspectos, preciso que os estados
e municpios e as escolas promovam a realizao de
estudos e pesquisas que sustentem o desenvolvimento de sistemticas de avaliao capazes de informar
sobre questes mais especficas e singulares de um
estado, de um municpio e de uma escola. Estas avaliaes poderiam ter um carter complementar ao sistema de avaliao nacional, tanto em termos de objeto
quanto em termos conceituais e metodolgicos.
medida que se amplia a utilizao das informaes do SAEB, ampliam-se os usurios da informao e, talvez por isso, surjam muitas questes para
as quais o SAEB no pode fornecer elementos. Esta
impossibilidade tem gerado crticas ao sistema de avaliao, sendo a principal delas a que v como falha do
19
sistema o fato de no serem encaminhados resultados da avaliao s escolas e, em conseqncia disso, as escolas fazerem pouco ou nenhum uso dos
dados da avaliao nacional.
Embora esta crtica tenha fundamento e seja
desejvel devolver os resultados da avaliao para as
escolas, deve-se discutir alguns outros aspectos que
tambm compem o quadro da avaliao nas escolas.
Primeiramente, como a avaliao no um
fim em si mesma e sim um instrumento que deve ser
utilizado para corrigir rumos e pensar o futuro, parece
ser muito importante assegurar que juntamente com
as informaes que a avaliao fornece sejam criados
e utilizados instrumentos que viabilizem a superao
dos problemas diagnosticados, ou a reafirmao das
medidas e prticas bem-sucedidas.
preciso fazer a ponte entre a avaliao e a
ao. Ou seja, no basta informar ou iniciar um processo de reflexo na escola sobre os problemas ou
deficincias pelos quais ela passa sem colocar sua
disposio os recursos de que precisa para superar
suas dificuldades, pois nesse caso a avaliao tende
a exercer somente o papel cruel, intil e vazio de testemunha, e no de agente transformador e pr-ativo.
Serem informadas, portanto, condio necessria mas no suficiente para que as escolas utilizem dados de avaliaes. informao deve-se somar o conhecimento e a capacidade tcnica para lidar
com a informao, a autonomia para decidir e os recursos para implementar as decises tomadas. Caso
estes trs elementos no existam na escola, a informao da avaliao ser abandonada, na melhor das
hipteses.
Outra possibilidade mais pessimista que a
avaliao, na medida em que as intervenes propostas no sejam coerentes com o diagnstico da avaliao, isto , na medida em que no tenha seus resultados incorporados na linha de atuao da escola e das
secretarias estaduais e municipais de educao, passe a exercer um papel paralisante e desestruturador
da ao educacional, gerando mais impasses do que
solues. A capacitao de professores pode ser exemplo deste tipo de situao. Caso a avaliao mostre
que h problemas de aprendizagem em determinados
contedos de matemtica, seria desejvel que fossem
oferecidas capacitaes de professores relacionadas
a este aspecto, mas no, so oferecidas capacitaes
em outras disciplinas ou em outros aspectos da matemtica, ficando evidente o desprezo aos resultados da
avaliao e a incoerncia na ao educacional.
Por isso parece ser mais prudente que os resultados da avaliao nacional cheguem s escolas
mediados pelos estados e municpios, que podero
estabelecer os vnculos e a coerncia entre o diagnstico e suas linhas de ao.
At aqui foi enfatizado o uso dos resultados
da avaliao pelas escolas e pelos sistemas de ensino. No entanto, existe um outro usurio das informa-
es da avaliao que deve ser destacado. Trata-se da

sociedade, que tem no sistema de avaliao um instrumento de controle social de um servio pblico.
por meio do sistema de avaliao que a sociedade
informada sobre os resultados obtidos pelos diferentes
sistemas de ensino, sobre as diferentes condies de
oferta de educao e sobre as diferenas e as desigualdades educacionais que possam existir no Pas.
Nesse caso, a utilizao de tais informaes tem um
cunho eminentemente poltico, de fortalecimento do
jogo democrtico, que gerar presso social tanto para
correo das distores e superao dos problemas
quanto para preservao de conquistas e ganhos.
Considerando a descentralizao, a
desconcentrao e a autonomia da escola como tendncias irreversveis do nosso sistema educacional, o
sistema nacional de avaliao reveste-se de fundamental importncia para servir como referncia a esse sistema descentralizado e autnomo e reduzir o risco de
desarticulao e pulverizao dos objetivos do sistema educacional. Isto , o SAEB, ao fornecer informaes sobre os resultados que vm sendo obtidos no
Pas, nas regies, nos estados e nas escolas, permite
que a populao avalie a escola que freqenta, informando-se sobre a qualidade do ensino que lhe
oferecido.
lguns resultados obtidos pelo SAEB
Dos resultados da avaliao realizada em

1995, aqui sero destacadas, de maneira muito breve,
somente a ttulo de ilustrao, apenas algumas das
principais evidncias encontradas.
Primeiramente, mais uma vez os resultados
afirmam o carter desigual da oferta educacional, tanto em termos da infra-estrutura escolar quanto dos resultados do ensino. Essa segmentao pode ser observada tanto na heterogeneidade de instalaes, materiais, equipamentos e condies de funcionamento
das escolas quanto nos diferenciais de desempenho
entre os alunos dos diferentes estados e regies brasileiros, conforme os Grficos 1 a 6, em anexo.
De fato, somente a infra-estrutura bsica das
escolas est universalizada, ou seja, a grande maioria
de alunos da quarta srie do Ensino Fundamental
atendida em escolas que possuem salas de aula, livros e quadros-negros. Os demais recursos pedaggicos (laboratrios, bibliotecas, quadras de esportes,
computadores, televises, etc.) esto restritos a parcelas de estudantes da 8 srie do Ensino Fundamental e da 3 srie do Ensino Mdio. Esta situao sugere uma questo bastante significativa: se a expanso
quantitativa das sries finais do Ensino Fundamental e
do Ensino Mdio, j em processo, acontecer com a
20
mesma intensidade e nos moldes da expanso que

ocorreu com as quatro primeiras sries do Ensino
Fundamental, haver a mesma perda de qualidade
das condies estruturais e de funcionamento das
escolas?
Outro aspecto que merece destaque so os
diferenciais de desempenho dos alunos dos diferentes
estados e regies e das diferentes sries (ver Grficos
7 e 8 e Tabelas 1, 2 e 3, nos Anexos). A desigualdade
observada nos resultados do SAEB adquire grande proporo quando comparamos o desempenho entre alunos de 4 e 8 sries do Ensino Fundamental de alguns estados. possvel observar alguns casos onde
quase no h diferena entre a mdia alcanada por
alunos de 4 srie de alguns estados e alunos de 8
srie de outros. Isto , nesses casos, os alunos de 8
srie aps freqentarem oito anos de escola demonstraram um nvel de desempenho semelhante quele de
crianas que passaram apenas quatro anos na escola. Isto pura desigualdade. E no somente um reflexo de desigualdades econmicas, a escola brasileira tambm est contribuindo para a formao de cidados de diferentes categorias.
Por fim, nos Grficos 9 e 10 (ver Anexos) observa-se o carter negativo da distoro idade-srie no
desempenho do aluno. Mesmo que se admita que a
distoro idade-srie causada tanto pelo ingresso
tardio, quanto pela repetncia e pela evaso, pode-se
questionar at que ponto a escola brasileira refora esta
tendncia ao no adequar suas estratgias de ensino
real clientela que atende, quando no considera as
diferenas de idade dos alunos.
de qualidade do sistema educacional esto socialmente bem distribudos.

O caso brasileiro no diferente. O SAEB tem
procurado ser um instrumento para a superao de uma
das falhas mais flagrantes do sistema educacional hoje,
qual seja: as escolas no tm clareza sobre onde devem chegar e, muitas vezes, nem sabem de que bases esto partindo.
O caminho escolhido para identificao destes objetivos foi o da negociao, da transparncia e
do debate. Por isso o SAEB vem assegurando o cumprimento dos seguintes princpios ou diretrizes no seu
processo de desenvolvimento tcnico e institucional:
1) Visibilidade social: identificando e apresentando para gestores, administradores, professores, pais
e alunos os resultados e produtos obtidos pelo sistema de ensino.
2) Responsabilizao: procurando identificar a
parcela de contribuio de cada segmento envolvido
na obteno dos resultados do processo educacional,
o que induz ao comprometimento com a busca e a
implementao de aes corretivas e de aperfeioamento.
3) Desenvolvimento de competncia tcnicocientfica: sendo fundamental a capacitao de recursos humanos para o desenvolvimento e fortalecimento
da competncia avaliativa nos sistemas educacionais.
4) Estabelecimento de parcerias: entre o Ministrio da Educao, sistemas de ensino, universidades e instituies de pesquisa para o desenvolvimento
e execuo dos projetos de avaliao.
5) Utilizao dos resultados: para formulao,
reformulao de polticas, programas e projetos educacionais, de maneira a ampliar (e mesmo induzir, em
alguns momentos) a reflexo sobre questes da qualidade dos resultados e sobre a atuao de todos os
envolvidos no processo educacional (gestores, professores, pais, alunos e educadores).
Em sntese, o SAEB vem gradativamente trazendo elementos que permitem identificar as significativas diferenas que existem entre o que a sociedade
espera como resultado do processo escolar, o que
possvel dele esperar e o que efetivamente dele resulta
em termos de desenvolvimento, nos alunos, de competncias bsicas, capacidade de pensar e qualidades pessoais, isto , a contribuio da escola para o
desenvolvimento da cidadania.
Este o rumo e este tem sido o grande desafio.
onsideraes Finais
O desenvolvimento de sistemas nacionais de

avaliao um fenmeno bastante recente, e por isso
mesmo, pouco analisado em sua diversidade e limites.
De maneira geral, os sistemas nacionais de
avaliao apresentam-se como um instrumento de gesto do sistema escolar. Um instrumento bastante
poderoso e arriscado, na medida em que sinalizam
padres de aprendizagem que a escola bsica deve
assumir como seu objetivo, e mostram se os ganhos
21
ANEXOS
Grfico 1 Percentagem de Alunos x C ondies Fsicas da Escola

4 a Srie do Ensino Fundam ental B rasil
%
100
17
12
15
19
18
33
80
35
36
20
21
44
42
35
35
25
31
19
36
32
36
60
33
31
35
33
40
20
46
51
48
46
43
40
32
31
Po rtas e Ba nheiro C ozin ha

Janelas
Inst.
H idrul.
44
0
Telh ado
Pa re des
Piso
Bo m
R eg ular
rea
Inst.
C arteiras M e sas,
cadeira s, Externa
Eltrica
arm rios
R uim
Grfico 2 Percentagem de Alunos x Condies Fsicas da Escola

8 a Srie do Ensino Fundam ental Brasil
%
14
16
21
16
23
30
80
25
19
22
46
38
16
31
31
31
33
27
34
60
33
27
31
40
52
58
52
52
43
20
41
37
49
46
33
38
0
Telh ado
Pa re des
Piso

Janelas
Bo m
Inst.
H idrul.
R eg ular
22
Inst.
Eltrica
R uim
C arteiras M e sas,
rea
cadeiras, Externa
arm rios
100
Grfico 3 Percentagem de Alunos x Co ndies Fsicas da Escola

8 a Srie do Ensino Fundam ental Brasil
%
100
15
8
17
16
14
28
80
24
21
28
32
43
42
18
17
40
42
38
37
14
34
34
33
60
33
36
32
28
40
48
54
47
20
43
44
38
48
0
Telh ado
Pa re des
Piso

Janelas
Bo m
Inst.
H idr ul.
R eg ular
rea
Inst.
C arteiras M e sas,
Eltrica
cadeira s, Externa
arm rios
R uim
Grfico 4 Percentagem de Alunos x Recursos Pedaggicos

4 a srie de Ensino Fundam ental Brasil
Bo m
R eg ular
23
R uim

8 a srie de Ensino Fundam ental Brasil
32
11
17
28
36
15
23
32
38
32
35
36
3
32
6
7
6
8
5
25
25
20
18
12
32
5
9
5
10
17
68
69
37
36
30
50
29
44
50
53
0
30
32
20
Bo m
40
R eg ular
60
11
18
16
12
80
100
120
R uim
Bo m
R eg ular
24
R uim

3 a srie do Ensino Mdio Brasil
Grfico 7 M atem tica

Proficincia M dia Brasil e Regies
298
271
300
301
237
290
266
262
225
295
259
253
188
181
182
174
Su deste
Su l
C en tro -O este
Brasil
253
230
150
75
145
153
N orte
N ordeste
3 a srie
8 a srie
4 a srie
Grfico 8: Portugus
Proficincia M dia - Brasil e Regies
3 a srie
8 a srie
25
4 a srie
G rfico 9 M atem tica - 3 srie Ensino M dio

Proficincia m dia segundo a idade dos alunos
BR AS IL
35 0
N O RT E
NO RDESTE
32 5
SU D E S TE
SU L
C -O E ST E
30 0
27 5
25 0
22 5
=< 1 7
18
19
20
21
=> 22
IDADE DO ALUNO
Grfico 10 Portugus - 3 srie Ensino Mdio

Proficincia m dia segundo a idade do aluno
350
BR ASIL
N O R D ES T E
325
SU D ES TE
SU L
C -O EST E
300
275
250
225
=< 17 A nos
18 An os
19 An os
20 An os
IDADE DO ALUNO
26
21 An os
=>22 A nos
N O RT E
Tabela 1 Distribuio de proficincias da 4 srie do Ensino Fundam ental

Brasil, Regies e Estados
M atem tica
50%
170
M dia 75%
174
212
95%
269
25%
136
95%
271
BR
5%
73
25%
129
54
109
147
145
185
238
63
117
161
154
198
250
NE
59
117
158
153
201
264
62
124
166
160
208
264
SE
92
149
190
188
231
283
86
152
193
187
231
284
98
150
188
181
222
271
84
151
193
181
231
281
CO
89
145
181
182
220
273
91
150
188
185
223
275
RO
60
112
153
150
189
241
52
118
158
152
194
245
AC
46
94
132
129
167
216
61
105
145
147
186
237
AM
80
123
158
156
192
239
67
123
163
159
198
240
RR
77
125
157
157
190
241
76
130
167
162
201
246
PA
51
112
148
140
184
237
57
126
168
154
203
254
AP
33
85
128
127
168
232
25
89
135
134
184
249
TO
51
113
149
147
184
233
49
111
152
151
193
243
MA
41
98
140
141
181
237
34
91
138
139
183
240
PI
71
125
167
172
219
293
71
134
179
176
225
299
CE
57
116
156
151
198
259
77
134
173
163
214
263
RN
59
117
162
155
204
260
53
123
167
157
205
265
PB
41
101
150
148
198
264
56
117
161
160
209
271
PE
60
117
160
153
205
262
57
125
167
159
206
261
AL
41
91
138
137
181
246
45
105
152
150
197
257
SE
67
126
160
162
202
254
76
133
173
171
209
257
BA
68
121
156
156
194
250
62
133
175
167
213
261
MG
110
166
207
195
243
289
88
159
200
185
238
288
ES
77
129
162
166
199
257
80
131
168
169
206
261
RJ
84
139
179
181
224
280
91
150
190
187
226
281
SP
96
150
189
189
229
283
85
153
193
189
229
282
PR
99
155
196
190
233
278
82
162
203
189
238
283
SC
106
154
189
188
223
258
91
145
187
179
223
268
RS
91
140
175
170
209
260
79
143
181
175
220
279
MS
89
145
180
179
217
268
93
149
185
183
219
267
MT
71
123
162
157
198
259
62
118
162
153
197
247
GO
98
151
187
191
226
277
103
155
192
192
226
276
DF
107
157
191
191
226
276
119
170
202
203
237
288
27
5%
72
Leitura
50%
M dia 75%
178
177
217
BR
5%
172
25%
216
50%
247
M dia
253
75%
279
95%
324
5%
163
25%
217
50%
249
M dia
252
75%
279
95%
319
167
206
233
237
260
298
158
208
237
238
264
304
NE
159
199
229
230
263
311
142
197
232
227
264
306
SE
192
233
264
262
293
336
186
234
263
262
291
330
195
236
263
259
290
327
192
235
261
257
289
325
CO
184
225
255
253
283
328
178
226
255
252
283
322
RO
168
207
233
234
261
300
154
207
236
234
261
294
AC
162
197
222
223
249
282
158
199
225
224
251
288
AM
170
209
237
236
265
301
154
209
236
233
262
303
RR
172
212
235
235
261
294
158
206
237
234
266
298
PA
176
215
244
249
273
314
182
222
252
253
278
312
AP
162
200
226
224
252
288
160
205
234
230
259
297
TO
157
194
224
222
252
287
140
191
227
218
255
293
MA
150
188
215
215
242
282
131
184
221
216
252
287
PI
158
199
229
228
257
291
138
195
226
224
255
292
CE
159
203
233
235
269
316
149
204
236
234
268
310
RN
156
196
230
232
270
321
143
195
236
232
271
312
PB
164
207
236
236
271
308
154
203
235
233
268
304
PE
158
196
228
230
262
314
141
192
228
227
261
306
AL
150
187
216
217
252
300
131
182
218
215
252
296
SE
168
208
237
240
268
316
155
206
237
236
266
308
BA
163
203
233
231
263
310
138
200
235
226
266
309
MG
199
239
267
265
297
341
190
236
265
260
293
332
ES
179
220
250
249
278
318
164
215
245
245
274
317
RJ
192
233
264
257
293
330
187
236
264
259
292
330
SP
190
233
263
263
293
332
189
235
265
264
291
329
PR
190
231
260
254
291
331
187
233
259
254
287
326
SC
199
234
257
256
282
314
190
230
254
253
280
310
RS
203
242
269
265
294
327
198
239
267
263
293
328
MS
180
220
248
246
272
310
168
220
249
247
276
317
MT
175
216
245
245
272
307
171
216
245
243
271
308
GO
180
217
248
248
280
328
178
223
252
250
281
323
DF
204
246
274
275
304
342
200
244
270
269
295
334
28
Tabela 2 Distribuio de proficincias da 8 srie do Ensino Fundam ental

M atem tica
Leitura
Tabela 3 Distribuio de proficincias 3 srie do Ensino M dio

Leitura
M atem tica
BR
5%
207
25%
252
50%
285
M dia
290
75%
321
95%
370
5%
187
25%
242
50%
275
M dia
277
75%
306
95%
347
195
239
267
271
299
348
179
230
263
262
294
333
NE
194
235
267
266
301
360
172
223
257
253
290
334
SE
229
268
298
298
329
373
207
256
287
285
315
353
235
276
305
301
333
371
207
256
287
283
315
355
CO
219
262
295
295
332
385
206
255
284
283
314
356
RO
204
255
294
280
328
359
178
251
285
279
313
344
AC
194
240
268
264
299
332
177
222
252
250
282
319
AM
208
242
266
275
294
354
192
234
266
265
296
338
RR
195
236
261
263
292
327
186
224
256
255
284
323
PA
198
238
267
269
296
335
173
229
263
262
293
332
AP
204
244
270
274
297
338
190
232
262
265
294
332
TO
179
223
264
266
307
361
166
218
253
249
287
326
MA
180
228
265
256
297
344
151
212
250
242
281
324
PI
187
231
261
258
296
342
165
217
252
245
283
319
CE
198
241
275
277
311
369
170
224
258
255
290
336
RN
183
230
262
260
296
338
164
219
255
252
291
333
PB
191
238
265
266
296
357
175
224
257
254
288
326
PE
192
230
258
262
291
346
170
216
249
247
281
324
AL
201
248
280
280
317
359
185
231
267
261
299
331
SE
215
257
288
294
341
392
191
238
273
272
309
363
BA
197
236
265
266
298
375
179
230
260
261
292
344
MG
233
272
302
303
332
370
203
258
287
283
314
351
ES
225
263
289
285
318
363
199
241
272
271
300
336
RJ
229
267
299
289
332
382
205
254
284
275
312
351
SP
227
269
300
300
330
373
219
263
293
291
319
355
PR
229
270
297
298
325
371
198
251
281
279
309
348
SC
233
271
298
292
328
359
209
256
285
281
313
352
RS
249
288
317
311
342
374
218
269
295
289
321
360
MS
216
254
281
282
311
351
205
248
274
273
300
338
MT
204
242
270
272
300
338
196
241
271
268
295
329
GO
217
257
287
290
328
377
201
253
284
282
314
357
DF
253
296
330
328
365
404
227
275
306
302
331
369
29
30
E DUCAO PARA
TODOS: ACESSO
APRENDIZAGEM E CONQUISTA
DO CONHECIMENTO TIL
Robert Glaser*
ntroduo
A segunda funo, avaliao do desempenho

e do produto da aprendizagem, evoluiu, em muitos de
pases, para testes de desempenho padronizados nos
quais o desempenho dos alunos comparado a normas que proporcionam informao comparativa, mas
que no reconhecem os padres de desempenho necessrios. Alm disso, o que freqentemente se avalia, conveniente aos formatos estabelecidos de testes, e s formas de instruo baseadas em teorias
mais antigas da aprendizagem, em que a lembrana
da informao predomina, e em que os processos de
raciocnio e de soluo de problemas, bem como o
uso eficaz do conhecimento, so menos evidentes. Para
que possa haver progresso e aprimoramento, os resultados do ensino e o desempenho dos alunos precisam
ser avaliados de acordo com padres de mentalidade
ativa, e com base em critrios de desempenho competentes, em vez de normas de grupo apenas.
Todos ns sabemos que os indivduos so educados de acordo com as condies culturais e econmicas que prevalecem no momento. Entretanto, as condies do passado podero permanecer em vigor, maladaptadas e retardando o progresso, mesmo que a
cultura tenda mudana. medida que trabalhamos
para a avaliao e o aprimoramento dos nossos sistemas de educao, necessrio examinar as nossas
metas e as nossas realizaes luz do conhecimento
moderno; ao mesmo tempo, devemos identificar as restries e os obstculos que nos emperram, e que tornam difcil a mudana.
Tendo em mente este tema da mudana, consideraremos dois aspectos fundamentais de um sistema de educao: como determinado o acesso oportunidade da educao, e como so avaliados os resultados da educao. Estas questes, acesso e realizao, refletem-se em: como os alunos so selecionados para a entrada na escola, como as suas habilidades de aprender so facilitadas, e como a qualidade
da aprendizagem, a competncia alcanada e as metas de educao so avaliadas.
A primeira funo, acesso educao, foi influenciada por prticas sociais que tentam identificar
aqueles que aparentam a habilidade, a aptido ou a
classe social para aproveitarem a escolaridade num
sistema de educao. O acesso instruo administrado atravs de testes e de outros procedimentos
de seleo, e do uso de mtodos para a classificao
e a colocao diferenciada dos indivduos (a teoria
psicomtrica teve a sua expanso principalmente neste contexto de utilizao). Atualmente, enquanto trabalhamos para melhorar os nossos sistemas, devemos nos perguntar se os mtodos de seleo e de
classificao desenvolvidos so agora funcionais e
aceitveis, para uma sociedade que deseja maximizar
as capacidades e as realizaes da maior parte de
todos os cidados, que so o ponto focal de um sistema de educao.
cesso educao
As prticas de seleo e colocao na escola

podem produzir efeitos variados. Alguns indivduos so
promovidos ao nvel seguinte da escolaridade como
resultado desses procedimentos, e com vantagens significativas para eles mesmos e para a sociedade. Outros so excludos e podero ser dirigidos a uma instruo menos avanada ou diluda, que pouco contribuir para aumentar as suas oportunidades de educao. Superficialmente, o processo de seleo pode
aparentar que escolhe os melhores talentos; contudo,
existe a possibilidade de estar baseado em princpios
de aptido e de inteligncia, que desencadeiem um
ciclo de habilidade no desenvolvida. Um nmero demasiadamente alto de alunos poder ser excludo de
determinadas experincias de educao,
*Robert Glaser, doutor em Psychological Measurement and Learning Theory (Indiana University), diretor do Learning Research and Development Center, da
University of Pittsburgh (Estados Unidos). Autor e editor de extensa bibliografia (livros, artigos de peridico, coletneas e relatrios tcnicos), foi tambm editor
da revista The New Educational Researcher.
31
presumivelmente porque lhes faltam os atributos e os

antecedentes que sejam promissores do xito na
aprendizagem; entretanto, preciso termos conscincia de que esses mesmos atributos poderiam ser aprendidos, em ambientes apropriados de educao.
Freqentemente, os indivduos se vem afastados de
experincias de aprendizagem legtimas, que poderiam desenvolver neles as capacidades de que necessitam para virem a ser includos em um processo eficaz
de educao.
Freqentemente, as experincias vividas pelos alunos que apresentam baixo desempenho no os
expuseram informao e aos modos de cognio que
poderiam ser teis para a aprendizagem escolar; por
outro lado, estes podem ser aprendidos se tais alunos
puderem exercitar esse conhecimento e essas habilidades em ambientes adequados. Os testes de avaliao e outros critrios usados para determinar a prontido e a reteno podero revelar um nmero desproporcional de crianas em situao de desvantagem,
como no estando prontas para as atividades regulares da escola, e dirigi-las a currculos mais leves que,
muito provavelmente, no promovero nelas as habilidades de aprendizagem. Separar esses alunos da corrente principal da educao, com freqncia, resultar
na sua excluso de experincias educacionais fecundas, impedindo-os de usar capacidades de aprendizagem onde poderiam exercitar o conhecimento e a habilidade que eles tm disponveis para o aprimoramento do seu rendimento educacional (Glaser, Silver, 1994;
Oakes, 1985, 1990; Oakes, Lipton, 1990; Shepard,
1991).
Para possibilitar o acesso oportunidade da
educao, e para reduzir os aspectos de excluso da
avaliao estudantil, as prticas do futuro devero ser
projetadas para a investigao das possibilidades de
crescimento dos alunos. preciso que a avaliao e a
instruo sejam mais integradas, alm de baseadas
em padres de desempenho. Dessa maneira, os professores estaro mais capacitados a reconhecer e a
apoiar os pontos fortes de suas crianas, e a organizar
ambientes de aprendizagem que possam desenvolver
nelas as habilidades de aprender. Os alunos com baixo desempenho devero ser dirigidos a formas de educao que no restrinjam as suas oportunidades de
aprender e que desenvolvam capacidades de aprendizagem.
Para maior clareza sobre a questo do acesso educao, devemos repetir que o emprego de testes para a seleo e a colocao uma prtica importante em determinados momentos do desenvolvimento
de uma sociedade, mas o apoio exagerado neles poder significar escrever as biografias dos indivduos
antecipadamente, determinando as suas vidas e as
suas carreiras. Essa filosofia determinstica precisa ser
suavizada e j no mais a nica opo. Agora, precisamos perguntar como o acesso educao poder
melhor contribuir para o crescimento dos alunos e para

o seu potencial. A condio (e o problema de pesquisa
e desenvolvimento para o futuro) projetar uma sociedade educacional aberta ajuda, que possa "ser
julgada em termos da sua habilidade de facilitar adaptaes construtivas dos programas educacionais para
os indivduos" (Thorndike, 1975), em que o conhecimento utilizvel e socialmente reconhecido possa ser
realizado por todos os alunos, e em que altos nveis de
competncia sejam atingidos por muitos. O objetivo
incrementar o acesso oportunidade de educao, de
forma que possam maximizar o bem-estar da pessoa
e da comunidade.
primorando o acesso oportunidade

da educao
Para sermos, agora, mais especficos, discutiremos vrias reas em que o uso e o desenvolvimento das habilidades dos alunos para aprender possam
ser consideradas com o propsito de facilitar ambientes de aprendizagem adaptativa. Focalizaremos trs
pontos fortes, sobre os quais pode ser fundamentada
a educao na escola: 1) conhecimento baseado na
comunidade, 2) habilidades para auto-regulao, e 3)
convices sobre esforo e habilidade predeterminada.
A educao que adaptvel ao aluno pode

considerar os altos nveis de desempenho que resultam das exigncias de soluo de problemas e raciocnio que os jovens enfrentam na sua vida quotidiana.
Fora do ambiente formal da escola, os indivduos desenvolvem competncias para solucionar problemas
quantitativos e verbais, que surgem nas atividades comunitrias. Isso ocorre com a necessidade de emprego precoce e com a participao como aprendiz em
uma atividade comercial ou profissional (Lave, 1988;
Rogoff, 1990). A participao nessas prticas sociais
uma forma fundamental de aprendizagem, e preciso considerar a sua importncia para o plano pedaggico que se quer implantar. Este conhecimento disponvel pode ser relacionado ao conhecimento escolar,
de modo que os indivduos adquiram confiana nas suas
prprias habilidades de aprender. A escola precisa identificar as estratgias que j foram absorvidas pelos alunos durante a sua vida quotidiana e no trabalho que
podem transformar-se na base para a futura aprendizagem. As formas de competncia e de experincia
trazidas para a escola por muitos dos alunos so sofisticadas nos seus ambientes de utilizao fora da
escola, e podem ser imediatamente menos aplicveis
aos objetivos da escolaridade formal, mas geram conhecimento e habilidades que podem tornar-se base
32
1) Conhecimento baseado na comunidade
de real educao e treinamento (Carraher, Carraher,

Schliemann, 1985; Greeno, 1991; Rogoff, Lave, 1984;
Saxe, 1990). As habilidades de cooperao utilizadas
no trabalho junto com outros podem ser aplicadas s
relaes escolares, para o trabalho com os companheiros e com os professores, para o xito na escola
(Sternberg et al., 1995).
desempenho de um aluno que tenha um nvel determinado de habilidade (Dweck, 1988; Dweck, Leggett,
1988; Resnick, 1995; Resnick, Nelson-LeGall, no prelo).
Em contraste com essa viso, estudos comparativos entre pases e entre sociedades descreveram padres distintos de crenas em aptido e habilidade, e as prticas escolares resultantes (Holloway,
1988; Peak, 1993; Stevenson, Lee, 1990). Determinados ambientes escolares enfatizam muito os hbitos
de aprendizagem e os modos de interao com os
outros para aprimorar a aptido para aprender. Os alunos acreditam que desenvolver as habilidades que possam capacit-los a melhorar a sua aprendizagem
to importante quanto demonstrar o que foi aprendido.
Os objetivos de aprendizagem tm a mesma importncia que os objetivos de desempenho. O indivduo no
apenas esfora-se para mostrar quo bem uma determinada matria foi aprendida, mas trata tambm de
desenvolver novas formas para aprimorar a sua prpria
capacidade de aprender. Os alunos iniciam comportamentos de aprendizagem, como o teste do seu prprio
entendimento, conscientes dos padres para o seu
desempenho.
O acesso educao melhoraria se os sistemas tradicionais, que valorizam excessivamente a habilidade predeterminada e a aptido, se voltassem para
os ambientes educacionais que enfatizam a importncia de realizar esforos para desenvolver a capacidade
de aprender. Os sistemas baseados em esforos podem motivar a aprendizagem e restaurar nos jovens a
conscincia de que eles podem apresentar contribuies positivas e produtivas, para o seu prprio processo de aprendizagem e para a sociedade.
Ressaltarei, mais uma vez, este ponto geral.
Muitos dos atuais sistemas de educao e seus modos de entrada na escola e na fora de trabalho so
principalmente elaborados a partir da crena de que o
talento e a habilidade so, em grande parte, herdados
e fixos. Como resultado, as prticas educacionais so
destinadas a selecionar aqueles que possuam talento
para os currculos com altos nveis de exigncia: evitase o currculo que envolva desafio para um nmero enorme de alunos, o que termina por confirmar as suas
prprias convices de que no possuem talento para
o raciocnio avanado. Os alunos no tentam romper a
barreira das baixas expectativas, uma vez que eles
mesmos, assim como seus professores e seus pais,
aceitam o julgamento de que a sua habilidade predeterminada e que no possuem o nvel correto de aptides. No surpreende que o seu desempenho permanea baixo e o sistema se torne auto-sustentvel.
Por outro lado, para o futuro, no ser necessrio prosseguir desta forma. A escolaridade e a preparao para a vida e para o trabalho podero ser
construdas com base em suposies alternativas de
que o esforo efetivamente cria a habilidade de aprender, e de que o desenvolvimento de estratgias de apren-
2) Habilidades para a auto-regulao

A aprendizagem e a instruo so influenciadas pela habilidade dos indivduos acompanharem e
regularem as prprias aes. medida que o desenvolvimento e a aprendizagem humana passaram a ser
vistos como o resultado da atividade construtiva, assim como da memria, houve uma conscincia mais
intensa das habilidades de auto-regulao empregadas por crianas e por adultos para o desempenho de
uma tarefa, ou para a soluo de um problema. Essas
atividades reguladoras permitem que os alunos acompanhem e exercitem o controle sobre o seu desempenho, medida que vo desenvolvendo o seu trabalho
(Brown, 1978). Essas habilidades incluem estratgias
de controle, como: a previso dos resultados dos esforos; o planejamento antecipado; a diviso apropriada do tempo; a explicao para si mesmo, a fim de
elaborar a aprendizagem e o entendimento; a identificao das falhas para entender e o uso do conhecimento adquirido anteriormente que seja relevante para
a situao. Os aprendizes podem usar essas habilidades de monitoramento medida que forem necessrias, durante o desenrolar de uma tarefa nova, ou na
tentativa de compreender uma situao.
Os bons aprendizes usam freqentemente
essas habilidades, mas muitos indivduos precisam ser
ensinados a exercer essas capacidades. Assim, essas habilidades de regulao e de monitoramento tornam-se candidatas importantes para a avaliao das
habilidades para o sucesso escolar, transformando-se
tambm em prticas importantes que precisam ser
ensinadas na escola, para expandir a habilidade de
aprender.
3) Convices sobre o esforo e sobre a habilidade

predeterminada
Em certas sociedades (por exemplo, a sociedade dos Estados Unidos), existe uma compreenso
muito forte da aptido ou da habilidade predeterminada, como fator decisivo para o progresso e o desempenho. Administradores escolares, professores e os prprios alunos acreditam que nasceram com um certo
nvel de habilidade, que determina os objetivos para os
quais devero dirigir a sua ateno. Nos sistemas escolares associados a essa crena, alunos e professores agem de acordo com programas alternativos, destinados a serem os ideais para conseguir o melhor
33
dizagem e as expectativas de esforo e de realizao

podem gerar a habilidade. Um ambiente que estimule
o desenvolvimento de habilidades de aprendizagem e
propicie o esforo pessoal influenciar a natureza da
competncia nos indivduos. No questo, apenas,
de ser recompensado pelo trabalho perseverante, mas,
o resultado do encadeamento de esforos voltados
para a aprendizagem e para padres de desempenho,
de modo que, provavelmente, possam desenvolver no
apenas o conhecimento especfico, mas tambm as
habilidades para aprender com eficincia.
esultados da educao
Considerei aqui, na verdade, apenas um dos

lados da equao, o acesso educao ou seja, os
pontos fortes e habilidades que as crianas e os jovens trazem para a escola. Elas englobam competncias que podem ser usadas e desenvolvidas para garantir uma educao mais eficaz. Examinaremos agora o lado do resultado da equao os produtos ou os
resultados da escolaridade e da aprendizagem.
Para poder indicar possibilidades de progresso nesta rea, devemos, mais uma vez, fazer referncia ao peso da atual prtica disfuncional. Para a avaliao dos resultados da educao, foi dada demasiada
nfase s medidas "com referncia a normas" do desempenho educacional, onde, como j disse anteriormente, a eficcia da educao julgada em termos da
posio de um indivduo em relao ao desempenho
do grupo (Glaser, 1994). O aluno julgado de acordo
com graduaes em porcentagens, como estando no
percentil 25 ou 75, ou tantos pontos acima da mdia.
ndices desse tipo podem dar a informao de que uma
escola, uma comunidade, ou um estado podem estar
apresentando um desempenho relativamente melhor do
que outros, mas h uma quantidade menor de informaes sobre a verdadeira natureza do desempenho adquirido e sobre a qualidade das realizaes conquistadas. Para melhorar a educao, necessrio julgar o
sucesso da escola e o desempenho dos alunos em
relao quilo que eles realmente sabem e podem fazer, e em termos de padres de desempenho.
Alm disso, possvel avaliar at que ponto
os alunos conseguem ler palavras, efetuar operaes
aritmticas, e recordar eventos histricos e literrios.
Mas, nos tempos modernos, tudo isso j no bastante. Mais do que nunca, o nosso trabalho e a prpria
sociedade exigem a capacidade de usar esse conhecimento para o pensamento e para o raciocnio, e de
empregar o que sabemos dentro do contexto das informaes que vo mudando. Precisamos ler para podermos compreender, resolver procedimentos matemti-
desenvolvimento da competncia
como base para a avaliao
Podemos fazer referncia a estudos que comparam o desempenho de iniciantes e de indivduos j

treinados em vrios campos, para entendermos o que
se quer dizer com o desenvolvimento de conhecimento
organizado e interligado. Esses estudos descrevem
como o conhecimento e a habilidade so alterados
medida que os indivduos vo aprendendo e tornandose mais competentes nos domnios de vrias matrias, e medida que vo ganhando experincia nas suas
reas de trabalho (Chi, Glaser, Farr, 1988; Glaser, 1996).
A modificao nas caractersticas de desempenho
enquanto os indivduos vo evoluindo da condio de
principiantes para a atividade j mais treinada, possibilita uma estrutura para a avaliao de nveis de desempenho (e um enfoque para a instruo) (Glaser, Chi,
1988; Lane, Glaser, 1994). Permitam-me apresentar
cinco exemplos dessas caractersticas da evoluo da
proficincia.
34
cos com entendimento e raciocinar com conhecimento histrico e cvico, para vivermos, efetivamente, como
cidados nas sociedades em desenvolvimento. Em
geral, a avaliao dos resultados da educao deve
considerar no apenas o contedo do que aprendido,
mas tambm as maneiras de usar essa informao, e
as formas de saber que proporcionem conhecimento
intelectual e poder criativo.
Devemos avaliar os tipos de aprendizagem que
contribuam para a competncia individual e para o uso
da mentalidade humana. medida que acontecem
mudanas no conhecimento dos alunos, precisamos
observar o desenvolvimento concomitante dos processos cognitivos envolvidos em solucionar problemas e
em pensar com aquilo que eles conhecem (Anderson,
1985). Devemos ir alm do teste da mera memria, e
avaliar o poder das estruturas interligadas de conhecimento que representam significado, e que levam em
conta os nveis complexos de explicao e entendimento. Os conceitos de estruturas coerentes e interligadas de informao, e a natureza do conhecimento
organizado para o raciocnio devem dirigir os procedimentos modernos de avaliao dos resultados da aprendizagem. Os nossos conceitos do passado, muitas
vezes, resultaram na testagem de informaes fragmentadas, utilizando o formato de mltipla escolha,
que no estimula a inferncia e o raciocnio com o que
sabemos. Agora, os educadores enfrentam o desafio
de desenvolver e avaliar o conhecimento interligado e
utilizvel.
disponvel e em evoluo forar as nossas avaliaes

de desempenho a enfatizarem a utilidade da aprendizagem atual, para capacitar os alunos a usarem o seu
conhecimento para a aprendizagem futura. Os alunos
precisam atingir o conhecimento e a habilidade necessrios para trabalharem com grandes volumes de informao; por exemplo, necessitam aprender a examinar
uma variedade de perspectivas e a gerar conceitos de
organizao para que possam empregar o que sabem
em situaes novas. Basicamente, uma boa parte da
educao dos alunos precisa focalizar habilidades geradoras, para a atualizao do seu conhecimento.
um problema difcil de avaliao, que precisar ser resolvido no futuro.
1) Conhecimento integrado, coerente

A aprendizagem efetiva e a experincia desenvolvem conexes significativas no conhecimento do
aluno. Tal integrao e conectividade est intimamente ligada habilidade do indivduo para compreender e
solucionar situaes problemticas, em comparao
com a memria mais fragmentada de um iniciante, com
trechos isolados de informao. O conhecimento integrado permite que os alunos mais proficientes faam
inferncias, pensem atravs de analogias com o que j
conhecem e dem explicaes significativas sobre o
seu prprio desempenho. A instruo de boa qualidade enfatiza o conhecimento organizado.
2) O estabelecimento de procedimentos e a capacidade de utilizao do conhecimento
5) Integrao de habilidades bsicas com desempenho avanado
O desempenho competente est relacionado

a procedimentos para o uso do conhecimento. medida que vai acontecendo a aprendizagem, a informao
declarativa e os fatos de que temos conhecimento deixam de ficar meramente armazenados na memria, e
passam a se relacionar s maneiras de usar essa informao. A avaliao eficaz determina no apenas o
que se conhece, mas tambm como o que conhecido deve ser empregado. Ainda que tanto os iniciantes
quanto os j mais treinados possam ser igualmente
competentes na lembrana de um princpio ou de uma
regra, os novatos reconhecem com menos freqncia
onde poder ser aplicado esse conhecimento e como
implement-lo. Nas avaliaes tpicas, muito comum
haver uma natureza dissociada daquilo que medimos,
que no inclui o sentido de aplicao ativa do conhecimento de cada um.
As avaliaes precisam medir se as habilidades fundamentais atingiram ou no uma eficincia que

permita o desenvolvimento de um nvel mais alto de
desempenho coordenado. As avaliaes desse tipo so
extremamente importantes para se relacionar as primeiras habilidades de leitura compreenso de palavras e de histrias que tenham significado, e na
integrao de operaes quantitativas bsicas com
procedimentos de soluo de problemas matemticos.
Essa forma de avaliao pode tambm ser feita em
etapas posteriores da educao, com aspectos
conceituais e relativos a procedimentos da lgebra avanada e de clculo, que so necessrios na soluo
eficiente de problemas complexos. (Isso poder ser
um problema de menor importncia quando houver disponibilidade da utilizao de computadores para as
operaes fundamentais; os alunos necessitaro de
menos prtica nas habilidades bsicas, embora precisem ser ensinados a compreend-las).
Os componentes gerais do desempenho proficiente, como os cinco exemplos que acabamos de
descrever, diferenciam e contrastam os resultados de
aprendizagem de alunos bem e mal-sucedidos em
muitas reas de contedo. Juntamente com o teor da
aprendizagem, esses componentes do significado s
formas como o conhecimento usado na atividade
cognitiva de nvel superior, que determina a excelncia
dos nossos alunos, a competncia das nossas comunidades e as expectativas de alunos e de pais.
3) Reconhecimento e representao de problemas

medida que os alunos vo se tornando mais
competentes em uma determinada matria, muda a
sua maneira de considerar problemas e situaes, e
esta mudana pode tambm ser avaliada. Um exemplo freqentemente citado vem de um estudo feito com
alunos durante a sua aprendizagem da fsica elementar. Ao serem expostos a problemas de movimento
(mecnica), os alunos iniciantes vo classificar o problema em termos de caractersticas bvias de superfcie como um problema que envolva um plano inclinado, ou que inclua uma roldana. Um aluno mais adiantado visualizaria a parte mais bsica dos princpios
subjacentes, e diria: "A est um problema que envolve
a Concentrao de Energia, ou as Leis de Newton".
Com base na forma como o problema representado,
atravs da superfcie ou atravs dos princpios
subjacentes, a soluo executada mais ou menos
segundo a forma avanada (Chi, Feltovich, Glaser,
1981).
adres de aprendizagem e avaliao
Com esta aspirao geral de desempenho de

alto nvel em mente, h muito trabalho em curso na
rea do enunciado explcito e concreto de padres para
o trabalho prtico tanto de professores quanto de alunos. Em muitos pases, este um empreendimento
patrocinado pelo governo, com a assistncia de vrios
4) Gerenciamento de informao
Avaliar a forma como as pessoas gerenciam a
informao dever ser, cada vez mais, um problema
principal da nossa poca. A quantidade de informao
35
crianas e dos jovens, e que possam auxiliar muitos

professores na utilizao de habilidades profissionais
para a realizao desses objetivos. Precisamos experimentar formas de pedagogia que possam desempenhar a tarefa e atualizar os melhores professores com
conhecimento moderno sobre a aprendizagem e a
cognio. A aprendizagem escolar e as experincias
educacionais, tanto na escola quanto fora dela, precisaro destinar-se a alcanar as caractersticas do desempenho competente como descrito, que permitem
habilidades de ordem superior no emprego do conhecimento adquirido (Bruer, 1993).
As modificaes na natureza do ensino devem ser consideradas, e cuidadosamente avaliadas.
Em particular, a pesquisa pedaggica sugere que, para
muitas situaes de instruo, h a necessidade de
mudana de enfoque: do professor como transmissor
e relator de conhecimento, para o aprendiz como construtor e planejador da sua prpria aprendizagem, sob a
orientao do currculo. Somos impelidos a considerar
que houve mudanas quando da aprendizagem passiva se passa para o desempenho ativo do aluno, que
adquire competncia.
Com este objetivo, ambientes educacionais
foram projetados, tanto na escola elementar quanto em
outras onde os alunos aprendem como se fossem uma
comunidade. Trabalham juntos para compreender e
organizar a informao em uma determinada rea do
conhecimento como parte do seu currculo. Durante
essa atividade, eles desenvolvem a capacidade para
esforos intelectuais conjuntos enquanto aprendem com
a ajuda do professor e ensinando uns aos outros. Os
alunos aprendem nesses grupos atravs de perguntas
e pesquisa, mais do que pelo que lhes dito. So
estimulados investigao de um tema cientfico,
como: a natureza de uma prova geomtrica, as propriedades dos nmeros, e as caractersticas dos diferentes gneros literrios e da escrita em geral. Enquanto
vo pesquisando, fazem perguntas, testam o que esto aprendendo, comparam-no com o conhecimento
do professor ou de outro especialista, e questionam os
detalhes desse conhecimento.
Como trabalham juntos, a aprendizagem
muito intencional e dirigida. Os alunos tm o firme propsito de atingir padres; adquirem formas de desempenho que podem exibir, e usam conhecimento e habilidades que lhes permitem aprender a lio seguinte.
Essa aprendizagem intencional pode ser vista nas trocas entre alunos em sala de aula, onde uns comentam
o que outros disseram, para, em seguida, testarem o
prprio raciocnio, afirmando: "Bem, o que eu acho
sobre este assunto isso", chegando ao ponto de expressarem o que sabem. Nesse tipo de ambiente educacional, o que se torna evidente o modo competente de pensar das pessoas, nas vrias disciplinas. Por
exemplo, os alunos no apenas aprendem os fatos de
histria ou de biologia, mas aprendem, alm disso, como
scolaridade e comunidades para

a prendizagem e instruo
Se aceitarmos objetivos educacionais que estimulem o pensamento e o uso ativo do conhecimento,

ento ser preciso considerar as inovaes nos ambientes escolares e nas salas de aula que ajudem a produzir esses resultados. necessrio estender o ensino e a natureza dos ambientes escolares em direes
que possam alcanar altos padres para a maioria das
36
grupos dedicados ao desenvolvimento de currculos e

organizaes de professores, preocupados com os nveis de desempenho nas reas de Leitura e Linguagem, Artes, Matemtica, Cincia e Aprendizagem Aplicada ao Trabalho. Estes grupos esto publicando produtos especficos, que podem ser teis para a reforma
da educao.
Nos Estados Unidos, um Sistema de Avaliao de Novos Padres, criado por um consrcio de
organizaes profissionais e escolas (National Center
on Education and the Economy, University of Pittsburgh,
1997), considerou trs componentes inter-relacionados
para um sistema de avaliao. Em vrias das matrias
escolares, esses componentes so: 1) Contedo de
desempenho e descries de processos: essas descries especificam o que os alunos devem saber, oferecendo exemplos como eles devem demonstrar o conhecimento e as habilidades que tiverem adquirido. 2)
Amostras de trabalho e comentrios: so as amostras
de trabalhos dos alunos que ilustram tipos de desempenho em situaes padronizadas, acompanhadas por
comentrios que apontam as relaes entre os padres
e as amostras de desempenho estudantil. 3) Exames
e portflios de alunos: os padres de desempenho so
apoiados por exames e por um sistema de pastas,
que complementam as provas; os portflios contm
evidncia acumulada do desempenho de alunos, bem
como trabalhos ao longo de um perodo de tempo. As
provas e os trabalhos selecionados dos alunos so discutidos tendo em vista as descries dos padres de
desempenho.
Atualmente, em muitos pases, existem excelentes exemplos de padres e de sugestes de prticas de avaliao que podem ser usadas como base
para o aprimoramento educacional. O segredo a
implementao onde as comunidades e os sistemas
estaduais se associam a alunos, pais, professores,
sociedades dedicadas a currculos e ministrios de
educao, visando ao desenvolvimento de empreendimentos que sejam cuidadosamente avaliados, e visando realizao de metas estabelecidas. A cooperao atravs de todo o sistema, as expectativas compartilhadas de alto nvel e a prpria avaliao so as
chaves para o sucesso.
te por cuidadosa avaliao e estudo (Cognition and

Technology Group at Vanderblit, 1992, 1994).
o historiador ou o bilogo pensam ao acumularem evidncias para chegar a concluses e para propor explicaes.
Nesses ambientes de aprendizagem, fatos e
informaes tornam-se parte dos dados de um esforo
de aprendizagem e de raciocnio. Os alunos podem
sentir-se ligados a eventos que estejam ocorrendo tanto no mundo quanto nas suas comunidades, utilizando
essa informao oriunda de eventos exteriores para o
que estiverem aprendendo. Por exemplo, podem empregar o seu conhecimento nas reas de Matemtica
e Cincias para o estudo de ecossistemas, podendo
enviar essa informao (pela Internet) para uma comunidade prxima, para maiores informaes. Podem
empregar as suas habilidades de escrever para explicar a outros alunos e aos seus pais como eles interpretam o que esto aprendendo. De uma forma geral,
os alunos, com a orientao do professor, podem avaliar a sua informao e as suas interpretaes, ou tentar encontrar evidncias em outras fontes para apoiar
as prprias idias.
Esses ambientes educacionais foram denominados "comunidades para a construo do conhecimento" (Brown, Campione, 1990, 1994; Scardamalia,
Bereiter, 1991, 1996). Os alunos participam na transmisso do conhecimento procurando, compartilhando
e adquirindo conhecimento entre eles mesmos com
uma quantidade de orientao cada vez menor. Essas
comunidades para a construo do conhecimento distinguem-se pelos esforos de transferir aos alunos os
processos que normalmente ficam sob o controle do
professor. Os alunos so ajudados a formular metas, a
dirigir a sua prpria atividade de consulta, a monitorar
o seu entendimento e a utilizar os recursos que lhes
so oferecidos para planejar o seu prprio ambiente de
aquisio de conhecimento. Nesse ambiente
participativo de aprendizagem, professores e alunos
compartilham a experincia de que dispem, ou assumem a responsabilidade de descobrir e trazer para o
grupo o conhecimento de que precisam. Existe uma
comunidade de discurso no qual a aprendizagem atravs da discusso construtiva, de conjecturas, de
questionamento, de crtica e apresentao de evidncia a coisa normal a ser feita, e no a exceo (Brown,
Campione, 1994; Campione, Brown, Jay, 1992).1 Um
importante conceito instrucional que medida que
os alunos progridem para nveis superiores de conhecimento e de desempenho, tornam-se tambm cada
vez mais hbeis, como agentes ativos, em apoio sua
prpria aprendizagem e aprendizagem dos outros.
As comunidades de construo de conhecimento, enquanto ambientes de aprendizagem, passam atualmen-
integrao da avaliao e da
instruo
No futuro, testes e ensino, avaliao e aprendizagem devero ser eventos que se tornaro mais integralmente relacionados (Frederiksen, Collins, 1989).
medida que for acontecendo o processo de aprendizagem, haver disponibilidade de evidncias para a
avaliao das realizaes e para o julgamento das etapas seguintes da instruo. As caractersticas da avaliao, que so parte integrante da instruo, devero
incluir, pelo menos, seis aspectos:
1) Acesso oportunidade da educao Como
j tive a oportunidade de enfatizar, para limitar os aspectos de excluso dos sistemas de educao, necessrio que a avaliao seja destinada a examinar as
possibilidades de crescimento dos alunos. Os programas de avaliao e de instruo devero capacitar os
professores a reconhecer e apoiar os pontos mais fortes dos aprendizes, de maneira que possam chegar a
currculos com maior eficcia.
2) A exibio de competncia O conhecimento e as habilidades devero ser medidos de forma
que sejam abertamente mostrados os processos e os
produtos da aprendizagem. Os critrios de desempenho atravs dos quais sero julgados os alunos sero
evidentes e claros, de forma que possam motivar e
direcionar a aprendizagem e o ensino.
3) Auto-avaliao A avaliao dever implicar o ensino da auto-avaliao. Uma vez que a avaliao e a instruo so intimamente relacionadas, as
situaes instrucionais devero fornecer estmulo e
prtica, de forma que possam auxiliar os alunos a refletirem sobre o seu desempenho. Essas ocasies para
avaliao permitem aos alunos estabelecerem padres
graduais atravs dos quais possam julgar as prprias
realizaes, alm de desenvolver a autodireo para
atingir nveis mais altos de desempenho.
4) Avaliao situada em termos sociais As
condies da avaliao podem exigir um desempenho
em um cenrio social no qual os alunos contribuam
para uma tarefa e para dar assistncia aos outros. Com
isso, h a vantagem de estimular os alunos a desenvolver e a questionar as suas definies de competncia; eles observam como os outros raciocinam, e recebem feedback sobre os seus prprios esforos. Neste
Com o objetivo de facilitar uma comunidade de aprendizagem, foram projetados sistemas de computadores atravs dos quais as crianas podem interagir, com
os objetivos de construir, explorar e compartilhar o conhecimento. Sua atividade concentra-se em uma base de dados da comunidade, gerada pelos prprios
alunos, onde estes fazem comentrios sobre as anotaes uns dos outros, levantando questes, sugerindo fontes de informao e contribuindo com contraargumentos ou com estmulo (Scardamalia, Bereiter, 1991).
37
R. (Ed.). Advances in instructional psychology.

Hillsdale, NJ: Erlbaum, 1978. v. 1. p. 77-165.
contexto, no apenas o desempenho poder ser avaliado, mas tambm a facilidade com que um aluno recebe e se adapta ajuda e orientao.
5) Eficcia da instruo As avaliaes so
julgadas em termos da sua eficcia em informar os
professores no sentido de dedicarem tempo a determinados conceitos e contedos, e a habilidades cognitivas
do currculo. Os produtos da avaliao podero ser interpretados em termos de como influenciam o ensino
e a instruo, e em termos da informao que fornecem para o desenvolvimento de atividades de sala de
aula que se relacionem s metas de aprendizagem.
6) Significado cognitivo As avaliaes proporcionam cobertura do contedo, mas no negligenciam processos significativos de desempenho, como
o levantamento de perguntas, a representao e o planejamento de um problema antes da soluo, e a proposta de explicaes conceituais para os procedimentos de solues. A construo de procedimentos de
avaliao exige a anlise dos aspectos cognitivos de
uma atividade e a determinao de procedimentos relacionados de pontuao que ofeream evidncia do
desempenho cognitivo envolvido.
BROWN, A. L., CAMPIONE, J. C. Communities of

learning and thinking, or a context by another name.
In: KUHN, D. (Ed.). Contributions to human
development: development perspective on teaching
and learning thinking skills. Basel, Switzerland:
Karger, 1990. v. 21. p 108-126.
________. Guided discovery in a community of learners.
In: McGILY, K. (Ed.). Classroom lessons: integrating
cognitive theory and classroom practice. Cambridge,
MA: MIT Press/Bradford Books, 1994. p. 229-270.
BRUER, J. Schools for thought. Cambridge, MA: MIT
Press, 1993.
CAMPIONE, J. C., BROWN, A. L., JAY, M. Computers
in a community of learners. In: DeCORTE, E. et al.
(Ed.). Computer-based learning environments and
problem solving. Berlin: Springer-Verlag, 1992. v. 84.
p. 163-192.
CARRAHER, T. N., CARRAHER, D. W., SCHLIEMANN,
A. D. Mathematics in the street and in school. British
Journal of Developmental Psychology, v. 3, p. 2129, 1985.
omentrios finais
CHI, M.T.H., GLASER, R., FARR, M. (Ed.). The nature

of expertise. Hillsdale, NJ : Erlbaum, 1988.
As avaliaes das habilidades de aprendizagem e das realizaes de alunos devem ser projetadas
e empregadas de forma que levem em considerao
os propsitos da sociedade moderna e do conhecimento atual da aprendizagem humana. Reforma e aprimoramento contnuo sero impossveis se continuarmos
a carregar o peso de prticas que foram estabelecidas
para um tempo que j passou. Novas perspectivas so
oferecidas, hoje em dia, sobre a natureza do conhecimento e das habilidades trazidas para a aprendizagem,
e sobre a natureza do desempenho competente que
resulta da instruo. Sistemas inovadores, que integrem o acesso aprendizagem, instruo e avaliao podem hoje determinar o projeto de ambientes
educacionais que apiem e respeitem a habilidade
cognitiva humana, e que preparem as pessoas para
vidas dignas, para o trabalho competente e para o crescimento social.
COGNITION AND TECHNOLOGY GROUP AT

VANDERBLIT. From visual word problems to learning
communities : changing conceptions of cognitive
research. In: McGILLY, K. (Ed.). Classroom lessons:
integrating cognitive theory and classroom practice.
Cambridge, MA: MIT Press/Bradford Books, 1994.
p. 157-200.
________. The Jasper experiment: an exploration of
issues in learning and instructional design.
Educational Tecnology Research and Development,
v. 40, p. 65-80, 1992.
DWECK, C. W. Motivation. In: GLASER, R., LESGOLD,
A. (Ed.). Handbook of psychology and education.
Hillsdale, NJ : Erlbaum, 1988. p. 187-239.
eferncias bibliogrficas
ANDERSON, J. R. Cognitive psychology and its

implications. San Francisco : Freeman, 1985.
DWECK, C. S., LEGGETT, E. L. A social-cognitive

approach to motivation and personality.
Psychological Review, Washington, DC, v. 95, p. 258273, 1988.
BROWN, A. L. Knowing when, where, and how to

remember : a problem of metacognition. In: GLASER,
FREDERIKSEN, J. R., COLLINS, A. A system's

approach to educational testing. Educational
38
CHI, M. T. H., FELTOVICH, P., GLASER, R.

Categorization and representation of physics
problems by experts and novices. Cognitive Science,
v. 5, p. 121-152, 1981.
Researcher, Washington, DC, v. 18, n. 9, p. 27-32,

1989.
York : College Entrance Examination Board, 1990.

p. 187-204.
GLASER, R. Changing the agency for learning :

acquiring expert performance. In: ERICSSON, A.
(Ed.). The road to excellence: the acquisition of
expert performance in the arts and sciences, sports
and games. Mahwah, NJ : Erlbaum, 1996. p. 303311.
PEAK, L. Academic effort in international perspective.

In: TOMLINSON, T. (Ed.). Motivating students to
learn: overcoming barriers to high achievement.
Berkeley, CA: McCutchan Publishing, 1993. p. 4159.
RESNICK, L. B. From aptitude to effort : a new
foundation for our schools. Daedalus, v. 124, p. 5562, 1995.
________. Criterion-referenced tests: Part I. Origins,

Part II. Unfinished Business. Educational
measurement : issues and practice, v. 13, n. 4, p.
9-30, 1994.
RESNICK, L. B., NELSON-LeGALL, S. Socializing

intelligence. In: SMITH, L., TOMLINSON, P. (Ed.).
Piaget, Vygotsky and beyond. Londres : Routledge.
267p. (no prelo)
GLASER, R., CHI, M.T.H. Overview. In: CHI, M. T. H.,

GLASER, R., FARR, M. J. (Ed.). The nature of
expertise. Hillsdale, NJ: Erlbaum, 1988. p. xv-xxviii.
ROGOFF, B. Apprenticeship in thinking: children's

guided participation in culture. New York: Oxford
University Press, 1990.
GLASER, R., SILVER, E. Assessment, testing and

instruction. In: DARLING-HAMMOND (Ed.). Review
of research in education. Washington, DC: American
Educational Research Association, 1994. v. 20. p.
393-419.
ROGOFF, B., LAVE, J. (Ed.). Everyday cognition: its

development in social context. Cambridge, MA:
Harvard University Press, 1984.
GREENO, J. Number sense as situated knowing in a

concept domain. Journal for Research in
Mathematics Education, Reston, VA, v. 22, p. 1-49,
1991.
SAXE, G. B. Culture and cognitive development: studies

in mathematical understanding. Hillsdale, NJ :
Erlbaum, 1990.
HOLLOWAY, S. Concepts of ability and effort in Japan

and the U.S. Review of Educational Research,
Washington, DC, v. 58, p. 327-345, 1988.
SCARDAMALIA, M., BEREITER, C. Adaptation and

understanding: a case for new cultures of schooling.
In: VOSNIADOU, S., DeCORTE, E., GLASER, R.,
MANDL, H. (Ed.). International perspectives on the
design of technology-supported learning
environments. Mahwah, N.J.: Erlbaum, 1996. p. 149163.
LANE, S., GLASER, R. Assessment in the service of

learning. In: HUSEN, POSTLETHWAITE, T. N. (Ed.).
The international encyclopedia of education. 2. ed.
Oxford/Leuven : Pergamon Press, 1994. p. 370-374.
________. Higher levels of agency for children in

knowledge building: a challenge for the design of
new knowledge media agency for children in
knowledge. Journal of the Learning Sciences,
Hillsdale, NJ, v. 1, p. 37-68, 1991.
LAVE, J. Cognition in practice: mind, mathematics and

culture in everyday life. Cambridge, England:
Cambridge University Press, 1988.
SHEPARD, L. A. Negative policies for dealing with

diversity: when does assessment and diagnosis turn
into sorting and segregation? In: HIEBERT, E. H.
(Ed.). Literacy for a diverse society: perspectives,
practices and policies. New York: Teachers College
Press, 1991. p. 279-298
NATIONAL CENTER ON EDUCATION AND THE

ECONOMY, UNIVERSITY OF PITTSBURGH.
Performance standards . Pittsburgh, PA: New
Standards, 1997. v. 1-3.
OAKES, J. Keeping track: how schools structures
inequality. New Haven, CT: Yale University Press,
1985.
STERNBERG, R. J. et al. Testing common sense.

American Psychologist, v. 50, n. 11, p. 912-926, 1995.
________. Multiplying inequalities: the effects of race,

social class, and tracking on opportunities to learn
mathematics and science. Santa Monica, CA : Rand,
1990.
STEVENSON, H., LEE, S. Contexts of achievement:

a study of American, Chinese and Japanese children.
1990. Monografias da Sociedade de Pesquisa em
Desenvolvimento Infantil, 55. (1 & 2, Nmero de Srie
221).
OAKES, J., LIPTON, M. Tracking and ability grouping:

a structural barrier to access and achievement. In:
GOODLAD, J., KEATING, P. (Ed.). Access to
knowledge: an agenda for our nation's schools. New
THORNDIKE, E. L. Mr. Binet's test 70 years later.

Educational Researcher, Washington, DC, v. 4, p.
3-7, 1975.
39
40
O POTENCIAL DOS
ESTUDOS COMPARATIVOS
INTERNACIONAIS PARA O
CONTROLE DE QUALIDADE
DA EDUCAO
Tjeerd Plomp*
hird International Mathematics and

T Science
Study (TIMSS)
ntroduo
O trabalho preparado para este seminrio descreve o contexto para as principais metas do evento:
discusses e reflexes sobre o significado da avaliao de um sistema de educao e a forma adequada
de realiz-la. Prope polticas baseadas em informao, argumentando que "o aprimoramento qualitativo
na educao... s poder fundamentar-se na informao rigorosa, comparada e bem equilibrada" (p. 1). A
avaliao considerada "um instrumento de primeira
classe, a servio de um novo estilo de poltica de educao, e na operao de sistemas educacionais" (p.
1). Outro aspecto importante o de que o trabalho
defende a posio de que "uma das maneiras mais
eficientes de executar a reflexo (sobre a qualidade da
educao) est em comparar as nossas prprias idias e iniciativas s de outros pases"(p. 1), e de que "a
adoo de uma perspectiva supranacional d outra viso das experincias locais, tornando possvel analislas a partir de pontos de vista novos" (p. 2).
De acordo com este contexto, o trabalho discute a importncia de estudos comparativos internacionais para avaliao e controle da qualidade dos sistemas de educao. Inicialmente, sero discutidos alguns dos resultados do Third International Mathematics
and Science Study (TIMSS), que est, no momento,
sendo realizado sob os auspcios da Associao Internacional para Avaliao do Desempenho em Educao (IEA). Esses resultados sero utilizados para ilustrar a importncia da misso da IEA, bem como os
tipos de comparaes proporcionados por ela. O tipo
de estudo desenvolvido pela IEA pode envolver uma
variedade de funes para os responsveis pela poltica em educao e para os que praticam atividades
ligadas educao, o que ser ilustrado a partir de
alguns exemplos. Finalmente, alguns comentrios de
concluso indicaro alguns dos aspectos importantes
da participao de um pas em estudos internacionais
de avaliao comparativa.
O TIMSS o mais extenso e o mais ambicioso estudo do desempenho educacional comparativo

jamais realizado; seus testes de desempenho nas reas de Matemtica e de Cincias incluram:
l 45 pases;
l cinco sries (3, 4, 7, 8 e o ltimo ano da
escola secundria);
l mais de meio milho de alunos;
l testes aplicados em mais de 30 idiomas
diferentes;
l mais de 15.000 escolas participantes;
l quase 1.000 questes dissertativas, que
geraram milhes de respostas dos alunos;
l avaliao de desempenho;
l questionrios de alunos, professores e diretores de escolas, contendo em torno de 1.500 questes;
l milhares de indivduos, para a aplicao
dos testes e para o processamento dos dados.
O TIMSS foi conduzido com ateno dedicada
qualidade, a cada um dos passos do caminho. Foram aplicados princpios rigorosos para a traduo dos
testes, sendo oferecidas numerosas sesses de treinamento, com respeito aos procedimentos empregados para a coleta de dados e para a pontuao, sendo
todas acompanhadas por observadores do controle de
qualidade. As amostras de alunos selecionados para
o teste foram examinadas de acordo com rigorosos
padres, com o objetivo de evitar parcialidades e assegurar a comparabilidade. Esse controle da qualidade
do estudo resultou na indicao daqueles pases que
no atendiam a todos os critrios de qualidade nas
tabelas de apresentao dos resultados.
Os resultados de desempenho do TIMSS foram publicados pelo Centro Internacional de Estudos
da Universidade de Boston (EUA), e pode-se consultar
* Tjeerd Plomp, professor da Faculty of Educational Science and Technology, da University of Twente, em Enschede (Pases Baixos), , desde 1990, presidente
da International Association for the Evaluation of Educational Achievement (IEA). Na sua produo bibliogrfica, destaca-se a International Encyclopedia of
Educational Technology (2.ed. Oxford : Elsevier, 1996), inclui-se a colaborao em diversas coletneas, a co-edio de livros e anais de conferncias, alm
da publicao de artigos em peridicos, como: Higher Education, Studies of Educational Evaluation, Computers in Education.
41
A Tabela 1 contm os resultados dos testes

de desempenho para Matemtica na 7 e na 8 sries
(Beaton et al., 1996a), enquanto que a Figura 1 apresenta as vrias comparaes para o desempenho em
Cincias de 8 srie (Beaton et al., 1996b).
a bibliografia, para a lista completa de publicaes produzidas pelo estudo. Alguns desses estudos aparecem resumidos e discutidos, para ilustrao da potencial riqueza dos estudos internacionais de avaliaes
comparativas.
Tabela 1 Desempenho mdio em Matemtica

8 Srie*
643
607
605
588
565
564
547
545
541
541
540
539
538
537
535
530
527
527
526
522
522
519
509
508
506
503
502
500
498
493
487
487
484
482
477
474
454
428
392
385
354
Cingapura
Coria
Japo
Hong Kong
Blgica (Fl)
Repblica Checa
Pases Baixos
Bulgria
ustria
Repblica Eslovaca
Blgica (Fr)
Sua
Hungria
Federao Russa
Irlanda
Eslovnia
Austrlia
Tailndia
Canad
Frana
Alemanha
Sucia
Inglaterra
Estados Unidos
Nova Zelndia
Dinamarca
Esccia
Letnia (LSS)
Noruega
Islndia
Romnia
Espanha
Chipre
Grcia
Litunia
Portugal
Repblica Islmica do Ir
Colmbia
frica do Sul
601
577
571
564
558
523
516
514
509
508
507
506
502
501
500
498
498
495
494
492
484
477
476
476
472
465
463
462
461
459
454
448
446
440
428
423
401
369
348
Fonte: Third International Mathematics and Science Study (TIMSS), 1994-1995.
* Oitava e stima sries na maior parte dos pases.

A sigla LSS aps Letnia indica escolas falando leto apenas.
Os pases que aparecem em itlico no atenderam a uma ou mais diretrizes, referentes a taxas de participao nas amostragens, idade/srie, especificaes
ou procedimentos de amostragem em sala de aula. O relatrio apresenta desvios-padro estimados para toda a pesquisa.
42
Cingapura
Coria
Japo
Hong Kong
Blgica (Fl)
Repblica Checa
Repblica Eslovaca
Sua
Pases Baixos
Eslovnia
Bulgria
ustria
Frana
Hungria
Federao Russa
Austrlia
Irlanda
Canad
Blgica (Fr)
Tailndia
Israel
Sucia
Alemanha
Nova Zelndia
Inglaterra
Noruega
Dinamarca
Estados Unidos
Esccia
Letnia (LSS)
Espanha
Islndia
Grcia
Romnia
Litunia
Chipre
Portugal
Repblica Islmica do Ir
Kuwait
Colmbia
frica do Sul
7 Srie*
Figura 1 Comparao de desempenho em Cincias: ltima srie (8 srie*)
fric a d o S u l
Ku w a it
C o l m b ia
C h ip re
R e p b lica Islm ic a d o Ir
B lg ic a (Fra nc s )
L itu n ia
D in a m a rc a
Po rtu g al
L e t nia
R o m nia
Isl n d ia
G r cia
Fra n a
Es p a n h a
Es c c ia
Su ia
H o n g Ko n g
Ta il n d ia
Isra el
N o va Ze l n d ia
N o ru e g a
Canad
Ale m a n h a
Es ta d o s U n ido s
Su c ia
Irla nd a
Fe d e ra o R us sa
R e p b lica E slo va c a
Au s tr lia
B lg ic a
In g la te rra
H u n g ria
u s tria
Pa s e s B a ix o s
Es lov n ia
Bu lg ria
C o r ia
Ja p o
C in g a p u ra
P a s
R e p b lica C he ca
Instrues para ler a Figura 1:Procure o pas a ser comparado em termos de desempenho na coluna vertical,
comparando-o com os pases relacionados na linha superior. Os smbolos indicaro se o desempenho mdio do
pas significativamente mais baixo do que o outro pas comparado, significativamente mais alto do que o outro, ou
se no h diferena estatstica significativa entre os dois pases.
C in gapura
R e pblica C heca
Jap o
C o ria
B u lgria
P a ses B aixo s
E slovn ia
u stria
H u ngria
Ing laterra
B lgic a
A u strlia
R e pblica E slova c a
Fe derao R us sa
Irla nda
S u cia
E stados U nidos
A le m an ha
C a nad
N o rueg a
N o va Z elndia
Ta ilndia
Is rael
H o ng K ong
S u ia
E sc c ia
E spanh a
Fra na
G rcia
Is l ndia
R o m n ia
Le tnia
P o rtuga l
D in am a rca
Litu nia
B lgic a (Fra ncs)
R e pblica Islm ica do Ir
C h ipre
K u w ait
C o lm b ia
frica d o S ul
F onte : T hird Internationa l M athem atics and Scien ce Stud y (T IM SS ), 19 94-1995 .

O s p ases foram orde nados po r d esem pen ho m dio, tan to na linha h orizontal qua nto n a co lun a.
D esem penho m d io sig nificativam ente

superior ao do pas com pa ra do.
N en hum a diferena estatistica m ente

sign ifica tiva do pas co m parad o.
D esem penho m d io sig nificativam ente

inferio r ao do pas com pa rad o.
*Oitava srie na maior parte dos pases. Ver Tabela 2, para maiores informaes sobre as sries testadas em cada um dos pases.
1
Estatisticamente significativo na 5 srie, ajustado para vrias comparaes.
Porque a cobertura est abaixo de 65%, a Letnia aparece com a sigla "LSS", indicando apenas as escolas de lngua let.
Os pases representados em itlico no atenderam a uma ou mais diretrizes, referentes s taxas de participao na amostragem, especificaes de idade/srie,
ou salas de aula.
Procedimentos de amostragem: consultar Apndice A, para maiores detalhes.
43
A Tabela 1 e a Figura 1 ilustram um dos objetivos dos estudos internacionais de desempenho comparativo, que especificamente fornecer aos responsveis pela poltica de educao e aos que trabalham
em educao informaes (indicadores) sobre a qualidade do seu sistema educacional, em relao a grupos relevantes de referncia de naes semelhantes.
Esta a funo de "espelho": os pases tm a possibilidade de determinar se gostam ou no do seu quadro
ou do seu perfil como pas, quando comparados aos
outros.
A Tabela 1 apresenta apenas dados "de classificao", como, por exemplo, Matemtica de 8 srie, a Espanha aparecendo em 31 lugar e Portugal,
em 37 (de 41 pases), e, para a 7 srie, a Espanha

em 32 e Portugal em 36. A Figura 1 mostra maiores
informaes para a rea de cincias, em especial para
um determinado pas, em relao a outros pases que
no apresentam pontuaes mdias de desempenho
e que sejam significativamente inferiores ou superiores, ou que no tm pontuaes estatisticamente significativas.
Aplicando a abordagem da Figura 1 h, por
exemplo, os resultados relativos Espanha, em um
exame geral dos pases que apresentam em Matemtica um desempenho significativamente melhor/pior, ou
ainda no estatisticamente diferente da Espanha (ver
Quadro 1).
Qu ad ro 1 TIM S S Ci ncias: Espanha e ou tros pa se s

Dese m penho s ignificativam e nte superior
C in gapura
C oria
R ep blica C heca
Japo
B ulg ria
E slovnia
B lgica (fl.)
ustria
H ung ria
P ase s B aixos
Inglaterra
R ep blica E slovaca
E stad os U nidos
A ustrlia
A lem anh a
C ana d
Irlanda
Tailndia
S ucia
Nenhum a diferen a significa tivam e nte diferen te

H ong K ong
Fe derao R ussa
N orue ga
S ua
N ova Ze lndia
E sc cia
Islndia
R om nia
Fra na
G rcia
B lgica (fr.)
D in am a rca
Ir
Letnia (LS S )
P ortu gal
C hipre
Litun ia
C olm b ia
frica do S ul
melhor do que a Esccia, ou pior do que a Sua, mas

mostra tambm que outros parceiros da Unio Europia, como o caso da Irlanda, da Blgica, dos Pases Baixos, da Alemanha e da Sucia, esto apresentando um desempenho significativamente melhor.
Entretanto, informaes em tabelas e figuras,
como as apresentadas, no ajudam os responsveis
pela poltica, pelo desenvolvimento de currculos e aqueles que trabalham na rea de Educao a compreenderem por que o seu sistema de educao apresenta
Este tipo de dado fornece informaes aos

responsveis pela poltica na Espanha sobre o nvel de
desempenho do seu pas em relao a outros pases
importantes de referncia. Alm disso, demonstra que
as tabelas de grupos, como a Tabela 1, geram um tipo
limitado de informao, podendo resultar em interpretaes enganosas, uma vez que no reflete nenhuma
informao estatstica. A Figura 1, que reflete esse tipo
de informao, revela que no apenas em Cincias a
Espanha, na verdade, no apresenta um desempenho
44
Dese m penho s ignificativam e nte inferior
o tipo de desempenho especfico; por exemplo, por que

a Espanha mostra um desempenho pior do que muitos
de seus parceiros da Europa.
Tudo isso nos leva a um segundo objetivo dos
estudos internacionais de desempenho comparativo,
ou seja, a algum nvel de entendimento dos motivos
para as diferenas observadas nos desempenhos, entre os sistemas de educao.
Para esse segundo objetivo, necessria a
informao sobre os processos de aprendizagem e
ensino, alm de uma anlise profunda dos resultados
de desempenho, de acordo com o contexto desses
dados primrios. Os estudos comparativos da IEA esto tambm obtendo os diferentes tipos de dados primrios. No TIMSS, essa anlise profunda ainda est
por ser feita. A International Association for the
Evaluation of Educational Achievement (IEA) considera esta uma importante tarefa dos prprios pases participantes, uma vez que so eles que estaro preparados para determinar as melhores questes para a pesquisa e a anlise, que sejam relevantes para o seu
sistema de educao. Mais adiante, ser apresentado
um exemplo da Sua.
Atravs dos anos, a IEA realizou vrios estudos de avaliao sobre temas escolares bsicos. A
maior parte deles foi determinada pelos prprios currculos, ou seja, foram desenvolvidas estruturas de testes para a avaliao de resultados educacionais, com
base na anlise do currculo dos pases participantes.
Todos esses estudos incluram tambm instrumentos
para mensurao de variveis de processos escolares
e de sala de aula, assim como variveis primrias tanto de professores quanto de alunos. Como exemplos,
citamos os estudos nas reas de Matemtica e Cincias, habilidades em Leitura, Educao Cvica, e Ingls e Francs como lnguas estrangeiras.
Ao lado disso tudo, a IEA realiza tambm outros estudos, no baseados em currculos. Como exemplos, o Pre-Primary Project and the Computers in
Education Study, do qual est sendo preparado um
sucessor (o Second Information Technology in
Education Study).
Atualmente, h vrios estudos em curso na IEA.
O TIMSS o mais extenso j realizado, cujos
resultados so discutidos por este trabalho. Os resultados da populao nmero 3 (final da educao compulsria) sero divulgados em fevereiro de 1998. A IEA
tem planos para repetir o TIMSS para a 8 srie em
1998, para o Hemisfrio Sul, e em 1999 para o Hemisfrio Norte. Os pases que at agora no tiveram a oportunidade de participar do TIMSS so bem-vindos ao
estudo.
Est em via de ser finalizada a primeira fase
do segundo Civics Education Study, o desenvolvimento dos perfis dos pases, cuja primeira parte, do ano de
1999, ser dedicada coleta de informaes nos nveis das escolas, professores e alunos.
Um outro estudo, em mbito distinto, o PrePrimary Project, um estudo de polticas e prticas na
rea de ateno infantil.
Foi iniciado no outono de 1997 um segundo
Information Technology in Education Study (SITES),
com um mdulo de indicadores (uma pesquisa de avaliao escolar limitada, em novembro de 1998). Existem planos para dois outros mdulos, especificamente um mdulo de estudos internacionais de casos comparativos sobre prticas inovadoras no uso da tecnologia
da informao e da comunicao, e (para o ano 2001)
uma pesquisa envolvendo escolas, professores e
alunos.
Como j foi mencionado, a IEA reconhece dois
objetivos nos estudos internacionais de desempenho
comparativo: 1) fornecer aos responsveis por poltica
e aos profissionais em educao informaes sobre a
qualidade da sua educao em relao a grupos de
referncia relevantes, e 2) auxiliar no entendimento dos
motivos para as diferenas observadas entre os sistemas educacionais (o que atende s necessidades dos
organizadores da poltica, mas que claramente tema
de interesse dos pesquisadores).
IEA: o que , o que faz, sua misso, sua

histria
O TIMSS est sendo desenvolvido sob os

auspcios da IEA, organizao que realiza estudos
comparativos internacionais, nos quais se avalia o desempenho em educao, de acordo com o contexto
de variveis de processo e insumos. A misso da IEA
contribuir para a melhoria de qualidade da educao,
atravs de seus estudos.
A IEA surgiu h 38 anos, como uma cooperativa de institutos de pesquisa, que representam atualmente 55 sistemas de educao (ver, por exemplo,
Husen e Postlethwaite, para uma descrio resumida
da histria da IEA). Vrios pases esto representados
hoje em dia na Assemblia-Geral da IEA, atravs das
pessoas responsveis pelas polticas. Os coordenadores nacionais de pesquisa e os centros de estudos
da IEA so, com freqncia, alguns dos mais proeminentes em seus pases: alguns fazem parte de seus
respectivos Ministrios de Educao, e outros tm ligao com universidades, ou so centros independentes de pesquisa. Pela sua prpria natureza, a IEA possibilita uma rede de institutos e de indivduos que, em
conjunto, representam grande experincia e capacidade intelectual; nesse sentido, passa a ser um local de
reunio para organizadores de poltica, educadores,
cientistas e pesquisadores.
45
1) Descrio
Em linha com esses dois objetivos, a IEA trata de focalizar dois tipos de comparaes em seus
estudos. A primeira, comparaes internacionais diretas sobre os efeitos da educao em termos de pontuaes (ou subpontuaes) nos testes internacionais,
segundo a forma ilustrada em relao ao TIMSS, na
Tabela 1 e na Figura 1.
O segundo tipo de comparao refere-se
verificao de at que ponto o currculo proposto de
um pas ("aquilo que deveria ser ensinado em uma determinada srie") implementado nas escolas, e alcanado pelos alunos. Esse tipo de comparao
basicamente dirigido s anlises nacionais dos resultados de um pas, ainda que essas anlises possam
ser desenvolvidas de acordo com uma abordagem internacional comparativa.
Um estudo tpico da IEA trabalha com nveis
de sries de trs populaes: educao elementar, incio e final da educao secundria.
A IEA foi fundada como cooperativa de pesquisa. No incio, o seu interesse bsico eram estudos
internacionais comparativos, a partir de uma perspectiva de pesquisa. Na segunda metade da dcada de
80, a IEA comeou a reconhecer o interesse cada vez
maior dos responsveis pela determinao de polticas nos indicadores de educao. Desde ento, a IEA
assumiu como desafio atender tambm aos interesses dessas pessoas, atravs de seus estudos. A incluso dos indicadores de desempenho da IEA nas
publicaes da OCDE ilustra o xito da Associao
nesse esforo. A ltima edio da publicao Education
at a Glance, da OCDE (1996), apresenta um nmero
de indicadores baseados nos resultados do TIMSS.
Exemplos de publicaes da IEA que examinam questes relevantes referentes poltica so Postlethwaite,
Ross (1994) e Keeves (1996), sendo Kellaghan (1996)
outra fonte de relevo.
Nem todos os estudos deveriam incluir uma
extenso e um desenho to abrangentes quanto o estudo TIMSS. Entretanto, a IEA acredita firmemente que
a conceitualizao desses estudos (que resumida
na seo a seguir) permita a organizao de estudos
que possam atender s necessidades tanto dos responsveis pelas polticas quanto dos profissionais de
educao.
2) Comparao com uma referncia (benchmarking)

Esta funo melhor ilustrada atravs de um
exemplo. No estudo TIMSS, alguns pases da sia, e,
na Europa, a parte flamenga da Blgica e a Repblica
Checa apresentam as pontuaes mais altas nos testes de Matemtica. Caso outro pas se mostrasse interessado no aprimoramento da sua prpria educao
na rea de Matemtica, poderia analisar o seu "prprio" caso em comparao com os pases da sia e/
ou da Europa, considerando muitas variveis, relacionadas a aspectos curriculares da Matemtica e da
educao cientfica (incluindo materiais curriculares),
abordagens pedaggicas e processos de instruo,
variveis escolares, preparao de base e treinamento
de professores (e treinamento no trabalho), etc. Possivelmente, essas anlises podero resultar em propostas de mudanas, ainda que no devam ser esperadas
respostas fceis. No caso desses pases, uma questo importante em um prximo estudo da IEA seria
verificar se o seu desempenho teria se aproximado
daquele dos pases de referncia escolhidos.
3) Controle de qualidade da educao

O controle est um passo a frente da atividade
de benchmarking: a avaliao regular dos processos
educacionais em diferentes nveis do sistema de educao, com o propsito de gerar a mudana, no momento e onde quer que seja necessrio ("tomada de
decises informada"). Essa funo um exemplo do
controle do currculo baseado na avaliao (mas, no
caso dos estudos da IEA, com base na avaliao baseada no currculo). Para ela, so necessrios dados
de tendncia, ou seja, um ciclo de avaliaes feitas de
forma regular naquelas matrias que estejam sendo
controladas (como o caso do ciclo de estudos da
IEA e da OCDE nas reas de Matemtica, Cincias e
Habilidades de Leitura). Por esse motivo, a IEA foi solicitada a repetir o estudo TIMSS para a populao de
8 srie, em 1999.
unes dos estudos da IEA
Como j foi mencionado anteriormente, a importncia dos estudos desenvolvidos pela IEA vai muito alm da pura realizao de comparaes diretas,
sob a forma de tabelas de grupos. As funes, a seguir, ilustram a importncia dos estudos internacionais
de desempenho comparativo (e dos indicadores de
educao).
46
Fornecer aos responsveis pela determinao

das polticas e comunidade da educao informaes sobre a condio do "seu" sistema de educao,
em um contexto de comparao internacional: muitos
j consideram essa atividade como j sendo interessante. Muitos dos responsveis pelas polticas reconhecem atualmente que esse tipo de informao um
bom ponto de partida para a gerao de questes para
anlise em maior profundidade (funo "de espelho").
A nossa discusso dos resultados apresentados como
exemplos na Tabela 1 e na Figura 1 ilustra isso.
O amplo interesse demonstrado em todo o
mundo pelos resultados do TIMSS ilustra a importncia dessa funo.
4) Entendimento dos motivos para as diferenas observadas
possvel que os responsveis pela poltica

desejem compreender as diferenas entre sistemas de
educao, ou mesmo as que possam existir dentro
deles, do ponto de vista da determinao de polticas
nacionais (esta funo deve ser diferenciada da pesquisa nacional).
Esta funo, mais uma vez, est um passo a
frente da mera coleta de dados, com o objetivo de acompanhamento: em ltima anlise, atende s necessidades dos responsveis pela determinao de polticas,
alm de ser nitidamente tambm do interesse dos pesquisadores. Um bom exemplo a anlise feita nos
Estados Unidos dos dados do Second International
Mathematics Study (SIMS), da IEA, que resultou numa
monografia. O currculo com desempenho insuficiente
(McKnight et al., 1989), como exemplo do TIMSS, ser
discutido mais adiante. Mais uma vez, nenhum estudo
prope respostas fceis com respeito a que medidas
devem ser tomadas, para o aprimoramento da educao em um pas. Por outro lado, este tipo de pesquisa
poder levar a decises quanto a polticas, sobre mudanas na educao ("tomada de decises informada"), ou sobre iniciativas como a dos EUA, em que o
National Council for the Teaching of Mathematics (NCTM)
desenvolveu os bem conhecidos padres para o ensino da Matemtica.
A questo de quais os tipos de dados devem

ser coletados em um estudo de avaliao comparativa
internacional no pode receber qualquer resposta que
no inclua ambigidades. O tema certamente no
trivial, quando se percebe que na maior parte dos estudos da IEA h a participao de mais de 20 pases, e
no TIMSS, de mais de 40. Muitos participantes eventualmente tero diferenas nas funes ou mesmo nas
metas que desejam alcanar atravs do estudo. Alguns, talvez, desejam enfatizar apenas a descrio ao
redor de um pequeno nmero de indicadores, enquanto que a inteno de outros poder ser trabalhar com
um nmero maior de variveis (ligadas a desempenho),
para terem a possibilidade de analisar adequadamente
as informaes sobre o seu pas. Alm disso, em consonncia com a sua misso, a IEA no deseja criar
oportunidades para a conduo de uma anlise nacional, com o intuito de expandir o entendimento sobre o
funcionamento dos sistemas educacionais em todos
os nveis. Ainda existe um dilema entre o que desejvel e o que vivel: eventualmente, os pesquisadores desejaro coletar um nmero mximo de dados,
para terem a possibilidade de realizar anlises secundrias em profundidade de uma base de dados rica,
enquanto que as possibilidades em geral restritas para
a coleta de dados nas escolas, bem como os oramentos limitados, impem limitaes severas sobre a
extenso da coleta de dados. Assim sendo, nesses
tipos de estudos, necessrio encontrar um meio-termo, entre os interesses de todos os pases participantes. A IEA, portanto, est-se esforando para determinar um tipo de projeto e instrumentos que sejam to
"igualmente injustos" quanto for possvel para todos os
pases participantes.
Ao lado de tudo isso, para um estudo eficaz e
eficiente, preciso haver uma estrutura conceitual bem
elaborada, que considere os aspectos a serem focalizados no estudo. Praticamente todas as funes mencionadas acima precisam de medidas para o desempenho educacional, alm de outros resultados da educao, e em trs nveis do sistema de educao:
5) Pesquisa nacional
ue dados coletar: algumas

consideraes prticas e tericas
Esta funo refere-se pesquisa exploratria

e/ou em profundidade das bases de dados da IEA.
Muitos exemplos podem ser encontrados nos volumes
da IEA, e aqui mencionamos apenas dois outros.
Postlethwaite e Ross (1994) desenvolveram uma pesquisa exploratria da base de dados da IEA, com relao Proficincia em Leitura (dados coletados entre
1990 e 1991), em um esforo para encontrar indicadores que pudessem discriminar entre as escolas mais
e menos eficazes (na rea de Leitura).
O segundo exemplo a monografia de Keeves
(1996), The world of school learning: selected key
findings from 35 years of IEA research, em que o autor
discute, com base em todos os estudos da IEA desenvolvidos at 1994, dez concluses principais, com
sugestes de implicaes para o planejamento educacional.
Qu adro 2 Nveis do sistem a de educao

Avaliao
Nvel d o sistem a
do que os alunos aprende m
m icro
do que e com o ensin am as esco las e os professores
m eso
de quais os valores da com unidade ( o que os alun os de ve m apren der)
m acro
47
Os estudos da IEA focalizam os trs nveis,

distinguindo trs facetas do currculo:
l O currculo pretendido: aquilo que deve ser
ensinado e aprendido, que pode ser medido atravs da
anlise de documentos, como programas oficiais, descries de cursos, livros-texto;
l O currculo implementado: o que est verdadeiramente sendo ensinado, ou ocorrendo nas escolas e nas salas de aula contedo, carga horria,
estratgias institucionais, etc., que pode ser medido
atravs de questionrios (ou observaes);
l O currculo atingido: aquilo que os alunos
atingem ou aprendem, em termos de habilidades
cognitivas, atitudes, etc., que pode ser medido atravs
de testes.
No modelo conceitual do estudo TIMSS, por
exemplo, as variveis que exercem influncia sobre a
educao so vistas como "situadas em uma srie de
contextos embutidos, a partir do mais global e avanando para o mais pessoal", segundo a forma ilustrada na Figura 2 (Robitaille, 1993, p. 26-27).
ue dados devem ser coletados: alguns

exemplos
Entre as consideraes tanto prticas quanto

tericas j discutidas, as questes de quais os dados
que devem ser coletados em estudos nacionais e internacionais de avaliao podem ainda ser respondidas de vrias maneiras. Mais uma vez, as respostas
dependem das funes, bem como das questes de
pesquisa a serem focalizadas pelo estudo. Por cima
disso tudo, os pases participantes eventualmente desejaro empregar um estudo internacional comparativo para encontrar tambm respostas para algumas
questes nacionais. Destarte, a questo de "que dados" tem de ser respondida em separado, para cada
um dos estudos. Apresentaremos aqui alguns exemplos tpicos para estudos da IEA.
A escolha da(s) populao(es)-alvo nitidamente um reflexo das questes de interesse (para polticas ou para pesquisa). Por exemplo, como parte do
seu ciclo de coleta de dados de desempenho, a OCDE
dever concentrar-se em dados de jovens de 15-16 anos
de idade, de forma poder fornecer aos responsveis
pela poltica um perfil bsico do desempenho dos alunos no final (ou prximo) do perodo de escola compulsria.
Por outro lado, no estudo TIMSS da IEA, foram coletados dados (entre outros) relativos s 3 e 4
sries (populao 1), s 7 e 8 sries (populao 2) e
no ltimo ano da escola secundria (populao 3), o
que permite uma srie de comparaes. Em primeiro
lugar, pode ser medida a evoluo entre duas sries
adjacentes. Entretanto, incluindo itens comuns nos
testes para as duas populaes, pode ser medida tambm a evoluo em Matemtica e em Cincias, da 4
srie (escola primria) 8 (fase inicial da escola secundria). No TIMSS, podem tambm ser feitas comparaes entre as populaes 2 e 3. Ainda, as populaes-alvo da IEA permitem o acompanhamento da qualidade da educao durante o perodo de escola compulsria.
Figura 2 A estrutura conceitual para o TIMSS

(Robitaille, 1993)
C urrcu lo
A ting id o
(A lun o)
An te ced entes P ess o ais
C urrcu lo
Im plem en tado
(Sala d e A ula)
Co m u nid ade L ocal
C urrcu lo
Pre tend ido
(Sis tem a )
S oc ie dad e em G eral
Para maiores informaes sobre a abordagem

conceitual da IEA, consultar, por exemplo, Robitaille e
Garden (1992), e Plomp (1992).
Em um estudo tpico da IEA, necessrio realizar uma srie de atividades, para coletar e fornecer
dados e indicadores de boa qualidade, como anlise
de currculos, desenvolvimento de instrumentos (incluindo testes-piloto, traduo, etc.), amostragem, produo de instrumentos, coleta de dados, depurao e
elaborao de arquivos, controle de qualidade entre os
pases participantes de cada componente, anlise de
dados, elaborao de relatrios.
b) Medidas mltiplas de avaliao

No estudo TIMSS/IEAs, foram coletados dados de desempenho de duas maneiras. Os testes de
desempenho, aplicados a todos os alunos participantes do estudo, consistiam de questes dissertativas e
de mltipla escolha. Alm disso, uma subamostra de
alunos das populaes 1 e 2 realizou uma srie de
tarefas para a avaliao de desempenho, nas reas de
Matemtica e de Cincias. A avaliao de desempenho, que foi a mesma para as duas populaes, foi
48
a) Dados de quais populaes-alvo?
administrada em forma de "circo", devendo o aluno realizar entre trs e cinco tarefas. Os resultados aparecem em Harmon et al. (1997). A Tabela 2 apresenta
alguns dos resultados das avaliaes de desempenho,
em combinao com os resultados de desempenho

tirados da Figura 1 e da Tabela 1, para os pases que
participaram com relao 8 srie, tanto nos testes de
desempenho quanto nas avaliaes de desempenho.
Tabela 2 TIM SS para a 8 Srie: Pontuaes de realizao e desem penho para M atem tica e C incias
M atem tica
Teste de
D esem pen ho
(pontos na esca la)
C in gapura
643
R ep. C heca
564
S ua
545
B aixos
541
E slovnia
541
A ustrlia
530
C ana d
527
S ucia
519
Ze lndia
508
Inglaterra
506
N orue ga
503
EUA
502
E sc cia
498
E span ha
487
R om nia
482
C hipre
474
P ortu gal
454
Ir
428
C olm b ia
385
M dia Int.
513
Cincias
C in gapura
S ua
A ustrlia
R om nia
S ucia
N orue ga
Inglaterra
E slovnia
R ep. C heca
C ana d
N .Zelndia
P.B aixos
E sc cia
Ir
EUA
E span ha
P ortu gal
C hipre
C olm b ia
70
66
66
66
65
65
64
64
62
62
62
62
61
54
54
52
48
44
37
Teste de
desem pen ho
(pontos na esca la)
C in gapura
607
R ep. C heca
574
P.B aixos
560
E slovnia
560
Inglaterra
552
A ustrlia
545
S ucia
535
EUA
534
C ana d
531
N orue ga
527
N .Zelndia
525
S ua
522
E sc cia
517
E span ha
517
R om nia
486
P ortu gal
480
Ir
470
C hipre
463
C olm b ia
411
M dia Int.
59
M dia Int.
Tarefas de de se m pe nho
m dia (% )
516
Tarefas de de se m pe nho
m dia (% )
C in gapura
Inglaterra
S ua
E sc cia
S ucia
A ustrlia
R ep. C heca
C ana d
N orue ga
N .Zelndia
P.B aixos
E slovnia
R om nia
EUA
E span ha
Ir
C hipre
P ortu gal
C olm b ia
72
71
65
64
63
63
60
59
58
58
58
58
57
55
56
50
49
47
42
M dia Int.
58
F onte s: B eato n et a l. (19 96a, b ), H arm on e t al. (1 997).
A tabela ilustra a funo "de espelho" desses

dados descritivos, que podem levar a questes importantes para os responsveis pela determinao de polticas e para os profissionais de educao de vrios
pases.
Vrios pases apresentam pontuaes semelhantes para todas as medidas de avaliao: Cingapura
entre os mais altos e de forma constante, e, por exemplo, Espanha, Portugal e Colmbia, abaixo da mdia
internacional, de modo tambm consistente.
Podem ser observados aspectos interessantes, por exemplo, nos Pases Baixos e na Repblica
Checa. Os dois pases apresentam pontuaes nos
testes de desempenho em Matemtica e em Cincias
muito acima da mdia internacional, mas apenas prximas mdia internacional, quando se referem a tarefas de desempenho. Caso se valorize a capacidade
dos alunos de resolver problemas e tarefas de desempenho, ento a satisfao desses dois pases, com
as suas altas pontuaes nos testes de desempenho, no dever ofuscar as preocupaes que devero
ter com os seus resultados medianos nas tarefas
de desempenho.
Alguns outros pases apresentam um dos resultados desviando-se de um padro. Por exemplo, a
Sua apresenta resultados muito bons em tarefas de
desempenho e em desempenho em Matemtica, mas
medianos na rea de Cincias.
Os exemplos apresentados ilustram o fato de
que a anlise dos resultados descritivos, em mltiplas
medidas de avaliao, permite que os pases determinem os aspectos que devero merecer anlises mais
detalhadas ou em maior profundidade e/ou discusses
sobre a nfase e o enfoque do currculo.
c) Dados primrios
Sempre so coletados dados primrios, como
parte dos estudos da IEA (ver Figura 2). So essas as
informaes que permitem a ateno sobre questes
de pesquisa, com relao a que fatores possam estar
contribuindo para a educao de boa qualidade. Um
outro motivo para a coleta de tais dados o fato de que
permite que os pases busquem os fatores
determinantes dos resultados nacionais num contexto
internacional.
49
No estudo de Proficincia em Leitura da IEA,

Postlethwaite e Ross (1994) concluram que um grande nmero de variveis primrias estava influenciando
o desempenho em leitura, que, por sua vez, foram classificados em vrias categorias, basicamente indicadores de:
l atividades dos alunos em casa;
l contexto escolar;
l caractersticas da escola;
l recursos da escola;
l iniciativas da escola;
l administrao e desenvolvimento da escola;
l caractersticas dos professores;
l condies das salas de aula, das atividades dos professores;
l mtodos de ensino.
Postlethwaite e Ross (1994) analisaram esses indicadores por todo o pas luz da questo do
que faz com que uma escola seja eficaz em leitura.
Constataram que para aumentar o desempenho dos
alunos na leitura, seria necessria a promoo da leitura voluntria, fora do ambiente da escola, em especial durante os anos de escola primria; alm disso, as
escolas deveriam dispor de bibliotecas nas salas de
aula e/ou nas escolas, devendo os professores
enfatizarem a leitura para compreenso.
De uma forma geral, as experincias acumuladas, obtidas atravs dos estudos da IEA, em combinao com as questes a serem discutidas em um
estudo, determinaram, em grande parte, que dados
primrios deveriam ser obtidos das escolas, dos professores e dos alunos.
Um outro exemplo de anlise nacional da Sua relaciona-se a nossa concluso anterior, de que no
TIMSS a Sua est alcanando resultados relativamente bons nas tarefas de desempenho e no desempenho em Matemtica, mas medianos em Cincias.
Ramseier (1997) analisou as possveis causas para
esse fato, concluindo que pode ser explicado atravs
da discrepncia entre o currculo suo em Cincias
(prioridades de ensino) e a parte de Cincias do teste
internacional de desempenho.
A maioria dos estudos internacionais comparativos permite um nmero limitado de questes nacionais ("opo nacional"). O exemplo da Sua ilustra
at que ponto importante que os pases participantes de um estudo comparativo internacional considerem antecipadamente as questes nacionais (polticas
e/ou de pesquisa) que desejam examinar atravs desses estudos; alm disso, que caractersticas peculiares do sistema nacional precisam ser includas nos
questionrios relativos situao primria, para permitir anlises nacionais relevantes.
bservaes finais
Considerando-se a discusso e os reflexos do

significado da avaliao de um sistema educacional e
os meios adequados para realiz-la, os comentrios a
seguir so relevantes para o envolvimento do Brasil e,
de uma maneira mais geral, da regio latino-americana em prticas de avaliao internacional.
Em primeiro lugar, a importncia da participao de estudos comparativos internacionais aumenta
para um pas, quando pases importantes de referncia participam tambm. Por esse motivo, um estudo
como o caso do TIMSS extremamente relevante
para a Unio Europia, para a Amrica do Norte e para
alguns pases da sia. Para incrementar a importncia dos estudos da IEA para a Amrica Latina como
regio, preciso promover o envolvimento de um nmero maior de pases. O fato de que recentemente o
Brasil e o Chile se juntaram IEA , na verdade, um
sinal promissor, e a importncia da participao desses pases na verso de 1998/1999 do TIMSS ser
intensificada a partir de quando um nmero maior de
pases da regio passar a participar do estudo.
Os estudos do tipo dos da IEA so complexos, dos pontos de vista tanto logsticos como
metodolgicos. Uma caracterstica importante dos estudos da IEA o treinamento dos coordenadores nacionais de pesquisa. Esse um componente essencial
do estudo, uma vez que muitos coordenadores aparentam no estarem to familiarizados com a
metodologia e, principalmente, com as caractersticas
especficas dos estudos comparativos internacionais.
d) Necessidade de avaliao nacional

Os estudos comparativos internacionais podem
ser usados por um pas para o estudo da sua prpria
prtica educacional, em um contexto de comparao
internacional. No caso da Sua, Moser (1997) analisou em Matemtica, no TIMSS, a intensidade da influncia das prticas instrucionais (instruo orientada
s crianas, em lugar de orientada s matrias) e das
variveis de instruo (autonomia dos alunos, em aulas orientadas s crianas, em comparao com o
comportamento baseado em tarefas, em aulas orientadas s matrias) sobre os resultados de aprendizagem, no apenas em termos do desempenho em Matemtica, mas tambm da atividade interna, da atividade individual e do interesse pela Matemtica. Ele concluiu que as prticas e as variveis de instruo no
exercem efeito significativo sobre o desempenho em
Matemtica, mas muito sobre outros resultados da
aprendizagem. Com base nos melhores resultados
verificados no Japo (um pas que coloca grande nfase sobre as prticas de instruo sobre as matrias
individuais, e sobre o comportamento baseado em tarefas), o autor conclui, ainda, que as prticas de instruo da Sua podem ser melhoradas nesses aspectos.
50
and Science Study. Chestnut Hill, MA : Center for

the Study of Testing, Evaluation and Educational
Policy, Boston College, 1996b.
Um outro benefcio da participao nesses estudos,

ainda que no bem tangvel, o desenvolvimento de
uma rede de pesquisadores e de especialistas (nas
reas, por exemplo, de Amostragem, Psicometria,
Desenvolvimento de testes, Anlises de dados, etc.),
que pode ser de ajuda quando os pases desejam desenvolver os seus prprios estudos de avaliao e de
exame nacional.
Um aspecto importante, mas que
freqentemente no recebe a devida ateno, a possibilidade de sintonizar as avaliaes nacionais de acordo com as internacionais. A ligao bem feita dos dois
no apenas aumentar os benefcios que podero reverter para o pas a partir dos investimentos em estudos de avaliao, mas ser tambm custo eficiente.
Um outro aspecto relacionado aos custos refere-se questo de quais dados devem ser coletados.
Como j foi ilustrado atravs dos exemplos dados, so
os aspectos ligados poltica e pesquisa que determinaro principalmente quais os dados a serem recolhidos. Por outro lado, quando entram em cena fatores
relativos a custos, e a partir do momento em que a
influncia sobre que dados recebero ateno (ou no
recebero) fica demasiada, corre-se o risco de limitar
a utilidade dos dados coletados. Se a IEA tivesse apenas coletado durante o TIMSS dados referentes a desempenho (que na verdade do lugar a indicadores interessantes, como os que aparecem na Tabela 1 e na
Figura 1), mas nenhuma informao sobre as escolas,
sobre os professores e sobre os alunos, um pas como
a Sua jamais teria tido a possibilidade de realizar
anlises nacionais em meio a um contexto internacional, e teria perdido a oportunidade nica de focalizar
algumas questes nacionais importantes. Com freqncia, basta um mnimo aumento de custos para que se
chegue diferena entre a obteno apenas de dados
referentes a desempenho ou de um conjunto muito mais
rico de dados, que permita anlises mais profundas de
aspectos importantes.
HARMON, M. et al. Performance assessment. In:

INTERNATIONAL ASSOCIATION FOR THE
EVALUATION OF EDUCATIONAL ACHIEVEMENT.
Third International Mathematics and Science Study.
Chestnut Hill, MA : Center for the Study of Testing,
Evaluation and Educational Policy, Boston College,
1997.
HUSN, T., POSTLETHWAITE, T. N. A brief history of
the International Association for the Evaluation of
Educational Achievement (IEA). Assessment in
Education, Abingdon, v. 3, n. 2, p. 129-141, 1996.
KEEVES, J. The world of school learning : selected
findings from 35 years of IEA. Amsterdam : IEA,
1996.
KELLAGHAN, Thomas. IEA studies and educational
policy. Assessment in Education, Abingdon, v. 3, n.
2, p. 143-160, 1996.
MARTIN, M. O. et al. Science achievement in the
primary school years. In: INTERNATIONAL
ASSOCIATION FOR THE EVALUATION OF
EDUCATIONAL ACHIEVEMENT. Third International
Mathematics and Science Study. Chestnut Hill, MA
: Center for the Study of Testing, Evaluation and
Educational Policy, Boston College, 1997.
McKNIGHT, C. C. et al. The underachieving curriculum
: assessing U.S. school mathematics from an
international perspective. Champaign, IL : Stipes,
1989.
MOSER, U. P. Swiss analysis of the TIMSS data. Chicago, IL, 1997. Trabalho apresentado na Conferncia Anual da American Educational Research
Association (AERA).
MULLIS, I. V. S. et al. Mathematics achievement in the

primary school years. In: INTERNATIONAL
Educational Policy, Boston College, 1997.
BEATON, A. E. et al. Mathematics achievement in the

middle school years. In: INTERNATIONAL
Educational Policy, Boston College, 1996a.
OECD. Education at a glance : OECD indicators. 4.

ed. Paris : OECD/CERI, 1996.
________. Science achievement in the middle school

years. In: INTERNATIONAL ASSOCIATION FOR
THE EVALUATION OF EDUCATIONAL
ACHIEVEMENT. Third International Mathematics
PLOMP, Tjeerd. Conceptualizing a comparative

educational research framework. Prospects, v. 22,
n. 3, p. 278-288, 1992.
51
ROBITAILLE, D. F. (Ed.). Curriculum frameworks for

mathematics and science. Vancouver : Pacific
Educational Press, 1993. (TIMSS monograph, 1).
RAMSEIER, E. Task characteristics and task difficulty

: analysis of typical features in the Swiss performance
in TIMSS. Frankfurt, 1997. Trabalho apresentado na
Conferncia Europia sobre Pesquisa Educacional.
ROBITAILLE, D. F., GARDEN, R. (Ed.). The IEA study

of mathematics II : contexts and outcomes of school
mathematics. Oxford : Pergamon Press, 1989.
POSTLETHWAITE, T. N., ROSS, K. Effective schools

in reading : implications for educational planners.
Amsterdam: IEA, 1994.
52
O S INDICADORES
DE EDUCAO DA OCDE:
PROPSITOS, LIMITES E
PROCESSO DE PRODUO*
Norberto Bottani**
bjetivos do conjunto de indicadores

de educao da OCDE
da de 80, com nfase sobre as causalidades e a falta
de capacidade de interpretao reclamava a adoo
de uma estrutura de organizao que fosse flexvel. A
estrutura conceitual do International Indicators Systems
(INES) organizada em torno de uma abordagem combinada, utilizando bases tanto conceituais quanto pragmticas, e incorporando preocupaes relativas s
polticas.
Os parmetros conceituais e tericos que explicam as opes que influenciaram a construo dos
conjuntos de indicadores foram descritos em duas publicaes: The OCDE International Education Indicators.
A framework for Analysis (1992) e Making Education
Count. Developing and Using International Indicators
(1994).
A ambio da OCDE, ao propor um conjunto
de indicadores internacionais em educao, era cobrir
uma ampla gama de servios educacionais, ampliar
os horizontes alm do mundo do ambiente escolar formal, incluindo dados sobre a educao privada formas tanto comerciais quanto sem fins lucrativos ,
sobre as atividades de treinamento executadas nas empresas, sobre as compras domsticas de bens e servios de educao, sobre pesquisa e desenvolvimento
em educao, e sobre os profissionais ligados educao, e no meramente os professores.
O quadro conceitual que levou seleo dos
indicadores assumiu, assim, uma funo crucial na
implementao de uma estratgia de informao desenhada para estabelecer os fundamentos para decises polticas e para uma gesto firme com base nas
A metodologia que utiliza indicadores de educao hoje amplamente adotada para a avaliao
dos sistemas nacionais de educao. H possibilidade de gerao de centenas de indicadores, ainda que
no haja sentido em produzir tantos deles. No a
abundncia de informaes e de medidas que produzir um melhor conhecimento. Ainda mais, um conjunto
grande de indicadores muito difcil de ser gerenciado.
Desde 1991, os pases da Organization for Economic
Co-operation and Development (OCDE) vm tentando
gerar um conjunto restrito de indicadores em educao, alm de identificar aqueles que sejam centrais
para o fornecimento de informao essencial sobre os
sistemas de educao. Apesar desses esforos, o
conjunto de indicadores em educao da OCDE no
apresentou grande evoluo. O nmero de indicadores
includos no conjunto permaneceu estvel, em torno
de 50. realmente difcil identificar os critrios para a
seleo de indicadores: essa operao exige uma estrutura conceitual que espelhe os propsitos da avaliao e dos sistemas de educao.
estrutura conceitual do conjunto de

indicadores em educao da OCDE
O esquema em torno do qual se organiza o

conjunto de indicadores em educao da OCDE foi desenvolvido atravs de vrias etapas. A insatisfao com
os modelos de organizao que prevaleciam na dca-
*Ao preparar este trabalho, utilizei partes de vrios documentos internos no publicados da OCDE, produzidos como parte do projeto dessa instituio,
"International Indicators Systems" (INES), que chefiei de 1988 a 1995. Agradeo, especificamente, a Donald Hirsch e a Franois Orivel pelos trabalhos que eles
prepararam para a ltima Assemblia Geral do Projeto do INES, realizada em Lahti (Finlndia), em junho de 1995.
**Norberto Bottani chefiou vrios setores da Organization for Economic Co-operation and Development (OECD), entre os quais o (International Indicators of
Education Systems (INES)/ CERI Project, e, desde 1997, diretor da Unit for Educational Research, do Canto de Genebra (Sua). Foi editor dos relatrios
e livros da OCDE sobre Educao Infantil, Educao Multicultural e Indicadores Educacionais publicados entre 1976 e 1996. Juntamente com I. Delfau, foi o
co-editor do fascculo especial do peridico International Journal of Educational Research, v. 14, n.4, sobre indicadores da qualidade dos sistemas educacionais
numa perspectiva internacional, em 1990.
53
pecfico de comprometimento para com a educao,

estimula os responsveis pelas decises a no destinarem significativamente mais ou menos do que a
mdia." E o Sr. Orivel prossegue, acrescentando que
" esse o tipo de argumento freqentemente utilizado
na tomada de decises pblicas sobre o financiamento de pesquisa e desenvolvimento e em defesa nacional, com base na lgica de que, quando os parceiros
fazem mais, os pases precisam acompanh-los, para
no ficarem para trs, ou para reduzirem a probabilidade de virem a tomar o rumo errado".
O Sr. Orivel conclui, afirmando que "em vrias
reas da poltica educacional, os fatores sobre os quais
se baseiam as decises em educao so mal definidos ou contraditrios, e pode ser til para que se deva
tomar as decises e examinar o que outros pases
comparveis esto fazendo, quer seja porque a grande
maioria dos pases tenha optado por uma determinada
soluo, ou porque um pas que tenha escolhido uma
abordagem original esteja aparentemente obtendo resultados favorveis". A competio internacional e a
comparao entre os pases chamaram intensamente
a ateno para os indicadores, e assumiram importncia capital para o desenvolvimento de um conjunto internacional de indicadores em educao.
Por esse motivo, a OCDE decidiu adotar, no
incio do trabalho com os indicadores, uma estrutura
conceitual extremamente simples, que era uma variao relativamente esparsa de um modelo de entrada e
sada. Esse modelo foi, e , muito adequado para a
gerao de informaes teis para a platia dos crculos polticos. Virtualmente, todos os esforos para a
concepo de indicadores em educao utilizaram um
modelo de entrada/sada, ou processado. Para a produo de variveis relevantes para a poltica, que possam ser resumidas de modo claro e sucinto, e ser apresentadas e consideradas, no era preciso adotar um
modelo complexo e orientado para a pesquisa. Assim,
a OCDE recorreu a uma estrutura tripartite de organizao dos indicadores, que gerava informaes sobre
os resultados da educao, quanto s caractersticas
primrias dos sistemas escolares e s situaes sociais e econmicas de cada pas, nas quais operam os
sistemas de educao.
Propositalmente, os indicadores no eram organizados de acordo com um "modelo". Um modelo
implicaria conexes sofisticadas e causais entre os
indicadores; no razovel supor que as variveis representadas por esses indicadores pudessem funcionar dessas maneiras. Desde o incio do trabalho do
INES, sempre houve firme consenso acerca do fato de
que a organizao e a seleo dos dados no eram
compatveis com um modelo causal. Esse conceito
era considerado como muito pouco produtivo, considerando-se a falta de representatividade de relaes geralmente aceitas na educao.
Mas, para que possa ser til e prtica, a estrutura de organizao deve ser simples, global e
54
quais deveriam desenvolver-se as atividades de obteno de dados e de iniciativas de informao. Como foi
corretamente indicado pelo Sr. Orivel, em sua anlise
dos primeiros trs conjuntos de indicadores em educao da OCDE, os fatores que influem no desempenho dos alunos so extremamente numerosos, e o seu
impacto varia, dependendo da presena ou no de ainda outros fatores. Ainda mais, alguns fatores so
maleveis, ou seja, podem ser modificados atravs da
interveno externa, enquanto que outros no podem
ser mudados, ou a prpria sociedade se recusa a fazlo. Por exemplo, o tamanho das turmas, ou a durao
do perodo de treinamento dos professores podem ser
mudados; as aptides naturais, o ambiente familiar ou
geogrfico, a aceitao dos pares no podem ser modificados. virtualmente impossvel medir todos aqueles fatores que poderiam representar um impacto. Por
esse motivo, apesar da importncia do trabalho de pesquisa em educao, no h consenso sobre que fatores exercem maior influncia sobre o desempenho dos
alunos. So extremamente raros os resultados que
apresentam um alto grau de consistncia. Assim sendo, quando se escolhem indicadores que tenham a
capacidade para rpida e corretamente informar aos
usurios dos sistemas de educao sobre os desempenhos em educao e alert-los quanto ao estado da
educao, preciso fazer algumas opes. Estas opes no so nem simples, nem neutras.
A OCDE utiliza macrodados para a construo de seus indicadores em educao. A natureza dos
dados utilizados ajuda a executar uma primeira seleo entre os distintos fatores a serem mantidos. Ainda
assim, os indicadores agregados da OCDE so, via de
regra, muito gerais para permitirem uma anlise detalhada das relaes entre os recursos investidos e os
resultados obtidos. Entretanto, sua utilidade reside em
outro fato: eles ajudam a levantar certos aspectos relevantes, no nvel macroeconmico. Isso foi demonstrado pelo Sr. Orivel, ao examinar o caso de um dos indicadores compostos mais bem conhecidos, os gastos
em educao comparados ao PIB. Desde 1975, vemse verificando uma certa convergncia entre os responsveis pelas decises, no sentido de destinar, de
forma significativa, mais ou menos uma mdia semelhante do PIB educao em torno de 6%. "A variao desse indicador pouco a pouco foi-se estreitando.
Os pases que destinavam mais do que 6% do PIB
tenderam a estabilizar, ou a reduzir esse valor, enquanto
que aqueles que destinavam menos do que 4% do seu
PIB educao passaram a tratar de chegar ao valor
mdio de 5% ou 5,5%". O Sr. Orivel afirma que "essa
tendncia, em direo a um certo nvel de convergncia, provavelmente no nenhuma coincidncia, ainda
que no haja declaraes explcitas dos responsveis
pelas decises sobre esse ponto. Por outro lado,
sentimo-nos tentados a propor uma hiptese, quanto
falta de critrios formais slidos, sobre os quais as
autoridades pblicas possam estabelecer um nvel es-
parcimoniosa. A estrutura de um conjunto internacional de indicadores em educao no pode pretender

representar todas as relaes entre os elementos do
sistema, e, ainda assim poder ser trabalhada. Enquanto
isso, o conjunto precisa ser fiel, at certo ponto, complexidade dos sistemas de educao.
O objetivo da estrutura no era oferecer um
outro modelo abrangente de educao, mas sim gerar
uma forma de colocar os indicadores em contexto, alm
das relaes existentes entre eles. Ainda que a estrutura no tenha a inteno de construir ligaes de uma
natureza causal, certamente ajuda a pr em perspectiva algumas das interaes que ocorrem no funcionamento dos sistemas educacionais.
Por esses motivos, a OCDE adotou uma abordagem pragmtico-conceitual na organizao dos indicadores. Existem vrias modalidades de organizar
indicadores. Podem ser organizados conceitualmente,
refletindo um modelo ativo do sistema que tencionam
descrever. Podem ser organizados pragmaticamente,
como as bitolas em um sistema ferrovirio, para informar um conjunto de decises especficas e prticas
de planejamento, como a contratao de pessoal onde
seja necessrio a destinao de espaos, ou o exame
de problemas especficos de desempenho. Podem ser
organizados em volta de aspectos polticos, como eqidade, aquisio de aprendizagem, contribuio para a
produtividade econmica, e assim por diante. O conjunto da OCDE uma abordagem combinada, que utiliza bases tanto pragmticas quanto conceituais, incorporando ao mesmo tempo preocupaes de natureza poltica. Uma abordagem dessa natureza parecia
ser a forma mais apropriada para a organizao de
dados comparativos internacionais sobre educao, por
vrios motivos.
Em primeiro lugar, esses indicadores serviriam menos para objetivos estreitos e imediatos de
gerenciamento, e mais para uma anlise global de tendncias gerais e diferenas entre os pases. Em segundo lugar, as questes mais importantes para vrios
pases deveriam variar at certo ponto, o que impediria
uma orientao a essas mesmas questes. Em terceiro lugar, o conjunto englobaria tradies intelectuais diferentes dos pases-membros da OCDE, estando
o seu ponto forte na sinergia das abordagens combinadas. Finalmente, emergiu uma viso conceitual e sistemtica da educao, que perece ter conquistado
aceitao e validade gerais.
Essa natureza mista assumiu implicaes
importantes com respeito aos tipos de indicadores que
terminaram por ser sugeridos. Tivesse a abordagem
sido estritamente conceitual, os indicadores teriam sido
concebidos para o fornecimento de informaes sobre
os principais elementos determinados pela lgica ou
pela pesquisa, como sendo componentes bsicos de
um modelo pleno e ativo do sistema educacional. Em
uma abordagem puramente pragmtica, esses indicadores que a experincia e as prioridades polticas su-
gerem como sendo de interesse poderiam ter aparecido em uma lista ecltica. Em vez disso, e como resultado da base mista, alguns dos indicadores terminaram sendo selecionados porque eram de uma natureza ao mesmo tempo lgica e emprica, enquanto outros eram prticos e sensveis a polticas em sua orientao.
Imaginou-se que, ao adotar uma abordagem
combinada, causar-se-ia um equilbrio embutido entre
a estabilidade e a flexibilidade, em um conjunto de indicadores que teria evoludo com o tempo. A referncia
a um modelo conceitual para o desenho de um conjunto de indicadores teria muito provavelmente criado um
produto relativamente rgido, que arriscaria uma falta
de sintonia com as preocupaes da atualidade. Ainda, muito tempo seria dedicado para chegar a um consenso sobre o modelo, sem que fosse gerada qualquer
informao de utilidade, e sem aprimoramento na estratgia de coleta de dados. Uma abordagem ligada a
questes polticas muito provavelmente teria tido conseqncias semelhantes, do ponto de vista operacional
( preciso lembrar que havia amplo consenso sobre a
falta de validade dos dados obtidos at ali), e teria originado conjuntos de indicadores muito volteis, medida que fossem evoluindo as prioridades.
As reas includas no conjunto de indicadores
englobam informaes importantes, que podem ser
exibidas sobre os sistemas educacionais das naes:
as condies de seus desempenhos, suas caractersticas e aspectos, alm das condies sob as quais
operam. Em relao aos propsitos analticos, essa
estrutura representa a educao como sendo um processo de vrios componentes. importante observar
que muitos dos elementos educacionais da estrutura
interagem de uma forma bastante complexa. Em termos estatsticos, a estrutura de organizao no pretende ser um simples modelo de regresso. Muitos de
seus elementos so paralelos uns aos outros,
recursivos, e operam em vrios nveis: no nvel do pas
como um todo, no nvel da escola, e no nvel das unidades de organizao no meio dos dois.
Na estrutura, as condies demogrficas e
econmicas so vistas como fatores de fundo, que
determinam o trabalho a ser desempenhado pelas escolas, e que estabelecem os recursos disponveis para
o financiamento dos programas escolares. Os sistemas mais ricos conseguem apoiar programas mais
elaborados. Ao mesmo tempo, nveis inferiores de educao no passado, ou nveis mais altos de pobreza
hoje, fazem parte da tarefa de oferecer educao de
qualidade em muitos pases.
Os programas e os processos educacionais
so vistos como as variveis de entrada, que determinam o sucesso do programa escolar. Representam as
caractersticas com base nas quais podem variar os
programas de educao em vrios pases, e que podem explicar, ou pelo menos serem associados aos
resultados da educao.
55
Os resultados so considerados em parte

como reflexos das condies gerais, em seus aspectos social, econmico e histrico, que afetam a educao de cada pas, e tambm em parte como reflexos
dos efeitos das polticas, dos programas, das prticas
e das decises na rea de educao, e que constituem a escola em cada um dos pases.
imperativo sempre manter em mente a natureza repetitiva e de vrios nveis dessa estrutura. Em
primeiro lugar, a repetitividade. Entre muitos dos indicadores constantes da estrutura, as relaes podem
acontecer em muitas direes de uma s vez. Por
exemplo, as atitudes de alunos e do pessoal escolar
poderiam melhorar medida que melhorassem os resultados. O apoio pblico poder aumentar como resultado de um maior xito dos programas. Simples
melhorias na taxa de trmino dos cursos secundrios
levariam melhora tambm da situao de educao
da populao geral de um pas. Os recursos disponveis devero relacionar-se em parte, ainda que no inteiramente, aos recursos despendidos. Esses so alguns dos exemplos de algumas das interaes e crculos de retroalimentao que podero existir na estrutura. Alm disso, eles ilustram e explicam por que
foi adotada uma estrutura geral, em oposio tentativa de determinar o entendimento de todas essas interrelaes.
Em segundo lugar, a caracterstica estrutural
com vrios nveis: em cada um dos elementos, a variabilidade no sistema pode ser to importante quanto a
variabilidade entre os pases. Isso dever afetar a interpretao, uma vez que, com certeza, as comparaes
globais entre os pases podero tornar-se irrelevantes,
caso existam grandes disparidades entre as escolas,
ou entre as provncias de um pas. Ainda assim, as
disparidades so significativas, enquanto podem refletir problemas sistemticos, tais como servios diferentes, ou distribuio desigual de recursos, que devem
ser solucionados.
Como j foi anteriormente afirmado, o objetivo
principal dos indicadores em educao no a explicao da educao como um processo, ou a verificao de relaes de causa e efeito dentro do sistema.
Se isso for verdadeiro, ento, como, e com que tipo de
objetivo seriam utilizados indicadores, e principalmente indicadores internacionais, como o caso dos da
OCDE? A melhor resposta que eles constituem informao parcial e preliminar sobre o funcionamento
de um sistema de educao. Devem levar a pesquisas
mais detalhadas, ou a considerao do motivo pelo
qual o sistema funciona do jeito em que funciona, o
que vir a exigir informao e anlise adicionais.
A estrutura conceitual e organizacional adotada at ento em 1991 funcionava mais ou menos: possibilitava um quadro para a produo de quatro conjuntos de indicadores, mas no era apropriada para estimular a produo de novos indicadores, nem complexos nem profundos. Os pases-membros haviam soli-
citado que a informao fosse utilizada de forma mais

sinttica e mais analtica, indicando que a escolha dos
indicadores deveria ser menos determinada pela disponibilidade dos dados, e mais pela estrutura conceitual
e poltica. Em outras palavras, a abordagem prtica e
emprica foi considerada como tendo tido mais influncia sobre a construo dos quatro primeiros conjuntos
de indicadores do que na abordagem conceitual e poltica. A estrutura existente antiquada: no eficaz
para guiar e para controlar o desenvolvimento de indicadores, nem possibilita apoio analtico para a interpretao dos dados. As mudanas adotadas na apresentao do quarto conjunto demonstram claramente
a necessidade de uma nova estrutura, e de reviso da
original.
imites do conjunto de indicadores em

educao da OCDE
Analisando o conjunto de indicadores at agora publicado, parece que a rea contexto da educao
a que mais mudou ao longo das quatro edies de
Education at glace. Houve uma expanso de cinco para
13 indicadores, e uma reduo para quatro na edio
de 1996, a modificao de maior significado foi a introduo na terceira edio dos resultados de uma pesquisa comum de opinio e expectativas pblicas relativas aos sistemas nacionais de educao (OCDE,
1995b; INES, 1995). De qualquer forma, preciso lembrar que os indicadores referentes a atitudes e a expectativas no devero ser gerados todos os anos, uma
vez que a OCDE no dispe dos recursos para a
implementao de uma pesquisa anual de opinio.
Assim, pode-se esperar uma grande variabilidade nos
indicadores referentes a essa rea para os prximos
anos.
Nas primeiras edies do conjunto de indicadores da OCDE, existem dois subgrupos comuns de
indicadores na rea em questo, ou seja, indicadores
demogrficos e indicadores econmicos. Essas duas
sees so bastante pobres: fornecem apenas informao de carter muito geral, em sua maior parte
dirigida ao desempenho da populao em termos de
educao, diferenas relacionadas a gnero, educao e participao na fora de trabalho e renda nacional per capita. Esses dados demonstram a proporo
da riqueza do pas devotada educao, e possibilita
um primeiro e interessante quadro sobre a relao entre a classificao pelo investimento total em educao e a classificao pelo PIB per capita. Alguns pases, como a Finlndia e o Canad, gastam consideravelmente mais do que pases que tm um PIB mais
alto per capita, como o caso dos Estados Unidos.
Em particular, interessante observar que alguns dos
56
citas de pagamentos de transferncia e subsdios. A

mudana tornou possvel rastrear os fluxos de recursos destinados educao desde as suas fontes iniciais at os usurios finais, e calcular tanto as distribuies iniciais (antes da transferncia) quanto finais
(depois da transferncia) dos recursos para a educao por fonte.
Ainda, os novos instrumentos separam os gastos realizados por instituies de educao, ou os dirigidos a elas, dos subsdios aos alunos. Essa distino torna-se especialmente relevante no nvel da educao de terceiro grau. O total dos recursos empregados em subsidiar os custos de vida dos alunos , na
verdade, bastante impressionante, mas no possvel, no momento, obter nmeros adequados ou at
mesmo estimativas aceitveis, uma vez que as fontes
de recursos so mltiplas, no apenas em termos dos
nveis do governo, mas em termos dos tipos de administrao. Na Frana, por exemplo, uma estimativa em
1995 era que o valor total de auxlio financeiro para
despesas de subsistncia de alunos (subsdios para
hospedagem e outras despesas de manuteno) era
de aproximadamente de 24 bilhes de francos. Ainda
que a excluso desses recursos do clculo dos indicadores permita evitar maiores distores do prprio
clculo, no uma soluo aceitvel. No caso de alguns pases, as bolsas para alunos e outros subsdios
representam parte importante dos seus oramentos
para educao, e no podem ser simplesmente ignorados. Os valores reais das despesas com educao
so, portanto, subestimados, e a classificao dos
pases, em termos de despesas com educao, poderia mudar drasticamente se fosse includo o total dos
subsdios canalizados para os alunos.
Finalmente, como resultado do esforo para
reduzir o nmero de indicadores identificando ao mesmo tempo aqueles absolutamente necessrios, a edio de 1996 de Education at a Glace chegou a simplificar ainda mais a apresentao de indicadores sobre
custos, publicando nada mais do que cinco indicadores de natureza financeira.
A seo de indicadores sobre participao
compreendeu seis indicadores na primeira edio, sete
nas duas edies seguintes, e cinco na edio de 1996.
Nessa ltima edio, desapareceram dois indicadores:
o referente s caractersticas da transio da educao de segundo grau para a de terceiro ainda que os
dados fossem includos nos indicadores sobre a participao na educao e o indicador sobre acesso
educao de terceiro grau.
Os indicadores nessa seo vm sendo aperfeioados e melhorados de modo constante. Um exemplo o indicador sobre a participao na educao
formal, em relao populao de 5 a 29 anos de idade, que fornece, pela primeira vez, informao sobre o
porcentual da populao jovem que freqenta a educao formal, em tempo integral. Na terceira e na quarta
pases menos ricos, como a Irlanda e a Espanha, gastam uma porcentagem maior do seu PIB per capita
para alcanar o mesmo nvel de investimento em educao do que alguns dos pases mais prsperos, como
a Holanda, o Japo, a Alemanha e a Frana. Se considerarmos que esses pases precisam tambm investir
uma porcentagem maior em outras reas bsicas, e
que os pases menos prsperos precisam educar o
maior nmero de alunos, uma vez que o tamanho da
populao jovem nesses pases maior do que em
outros lugares (por exemplo, a populao entre 5 e 29
anos de idade representa a metade da populao da
Turquia, e menos de um tero da populao da Alemanha), temos aqui uma primeira e interessante base de
referncia para a avaliao das polticas de educao.
Os indicadores referentes ao contexto de educao produzidos pela OCDE jamais incluram qualquer indicador sobre a produtividade dos pases, sendo a produtividade definida como o produto interno bruto por indivduo empregado. Em outras palavras, a produtividade uma medida da capacidade produtiva mdia dos empregados de um pas. Os pases com nveis
mais elevados de produtividade tm maior capacidade
econmica, a partir da qual podem investir em infraestrutura socioeconmica, aprimorar a educao, e
elevar o padro de vida de seus cidados. Entre 1961 e
1991, os Estados Unidos experimentaram o mais baixo aumento anual mdio em produtividade entre os
pases do G-7 (1,05%). O Japo alcanou os mais altos ganhos em produtividade entre os pases remanescentes, com um aumento anual mdio de 4,8% (NCES,
1996).
O problema mais frgil e no resolvido nesta
seo a falta de dados nas reas de sade, habitao e estatsticas culturais e sociais. Esse tipo de informao crucial para que seja possvel uma melhor
viso do contexto educacional e das condies de funcionamento dos sistemas de educao.
A rea de custos, recursos e processos escolares a mais estvel e a mais desenvolvida. O nmero de indicadores aqui varia de 21 a 26, que foi o mximo alcanado em 1995, quando a OCDE calculou dois
indicadores em pesquisa e desenvolvimento, que desapareceram na edio de 1996, alm de vrios indicadores referentes a recursos humanos, que desapareceram na edio sucessiva.
A fortssima seo financeira foi reorganizada
de modo substancial entre 1992 e 1996. Graas ao
trabalho desenvolvido para aprimorar, em termos de
comparabilidade, a qualidade das definies e a medio de recursos financeiros, foram reconsideradas as
categorias de despesas. Foi feita uma distino clara
entre despesas ou custos de educao e fontes de
recursos para a educao. A implementao de novos
questionrios para a obteno de dados de natureza
financeira, com as suas respectivas definies e instrues, permitiu a determinao de categorias expl-
57
zadas pela OCDE para o clculo de indicadores sobre

a natureza, a eficcia e a qualidade dos processos
educacionais e das escolas. Devido natureza diversa
e complexa das atividades desenvolvidas nas escolas,
muitas dessas questes no so facilmente resolvidas, como os resultados relativos a matrculas, gastos
ou exames. Mesmo assim, um determinado nmero
de caractersticas nacionais, regionais, da escola e da
sala de aula, pode ser avaliado atravs da utilizao de
informaes relatadas pelos indivduos envolvidos, ou
retirados de enunciados de polticas. A eficcia da freqncia escola no aparece refletida apenas nas variveis curriculares, mas tambm no ambiente de instruo oferecido pelas escolas, e na importncia atribuda educao fora da escola. A tentativa feita em
1995 de usar dados do IEA gerados pelos questionrios de informaes primrias do Estudo de Letramento
em Leitura, para o clculo de indicadores sobre prticas escolares no foi muito bem-sucedida. Os dados
do International Association for the Evaluation of
Educational Achievement (IEA) foram coletados para
servirem como auxlio interpretao pontuao obtida pelos alunos na leitura, no sendo apropriados para
a construo de indicadores gerais sobre as prticas
escolares. Apenas os indicadores relativos ao nmero
de horas de instruo e ao agrupamento entre as turmas foram calculados usando-se dados do IEA, oriundos do Estudo de Letramento em Leitura. Para a obteno de informao adequada sobre o pessoal, tempo de ensino, salrios dos professores, currculos e
processos escolares, a OCDE foi forada a criar e a
implementar uma pesquisa especfica, focalizando professores e escolas. A informao foi obtida atravs de
uma pesquisa internacional entre as escolas administradas durante o ano letivo de 1995/1996. Baseada
numa amostra de probabilidade de aproximadamente
400 escolas primrias por pas, selecionadas com probabilidades proporcionais ao seu porte, permitiu apresentar em 1996 sete indicadores de processos relacionados educao primria. As escolas primrias foram definidas atravs da estrutura institucional nacional do sistema de educao, independentemente das
idades e sries dos alunos matriculados. O raciocnio
por trs dessa opo era que uma vez que se dispusesse de informaes que correspondessem s reais
situaes das escolas, afastar-se-ia quaisquer perdas
em termos de possibilidades de comparaes internacionais, devidas a diferenas nas idades e nas sries.
Os resultados foram ponderados atravs do nmero de
alunos matriculados. Esses sete indicadores examinam:
l a estabilidade dos profissionais de educao (como indicador substituto da consistncia na educao);
l a liderana escolar (com enfoque especial
sobre o papel desempenhado pela liderana educacional em comparao com a liderana administrativa);
58
edies de Education at a Glace, o indicador inclui

uma tabela sobre a expectativa mdia de escolaridade, que d informao sobre a durao hipottica dos
anos de escola para uma criana de 5 anos. A expectativa mdia em torno de 14 ou 15 anos. mais curta
13 anos ou menos nos pases orientais e na Turquia, sendo mais longa 15,5 anos ou mais na Blgica, Dinamarca, Frana, Alemanha e Holanda. interessante perceber que um aluno de 5 anos de idade
em um desses pases tem uma mdia de 15 anos de
escola sua frente. O aluno no sair do sistema formal de educao antes de atingir os 20 anos de idade.
A expectativa de escolaridade aumentou nos anos mais
recentes praticamente em todos os pases em que havia
dados disponveis. O aumento desde 1985 excede mais
de um ano em muitos pases, e nos pases nrdicos o
aumento foi de mais de 18 meses. A maior durao da
escolaridade um outro fator que contribui para a elevao observada nas taxas de matrcula ao longo das
ltimas dcadas.
Duas outras novas abordagens desenvolvidas
na edio de 1995 so o clculo da proporo de alunos matriculados em segundos programas de educao dos ltimos anos da educao secundria e o clculo do indicador sobre a transio da educao infantil para a educao primria para alunos de 4 a 7 anos
de idade. Entretanto, o indicador realmente novo nesta
seo o que se refere matrcula de adultos em
cursos de educao e treinamento continuados, relacionados atividade profissional, o que anuncia evolues futuras na rea de indicadores relativos educao de adultos e indicadores de aprendizagem no curso de toda a vida.
A seo de indicadores relativos a "pessoal"
foi substancialmente enriquecida entre a segunda e a
terceira edies, graas implementao de uma pesquisa entre professores que no foi repetida nos anos
subseqentes. Como resultado, esta seo como a
seo relativa ao contexto da educao fica bastante instvel atravs do tempo. Em 1996, no foi possvel
calcular alguns dos indicadores muito interessantes
relativos aos professores, publicados em 1995. O conjunto de indicadores em educao da OCDE continua
deixando muito a desejar nesta rea. A sua limitao
mais sria a excluso de dados sobre o pessoal
empregado na educao de terceiro grau. Dois indicadores no foram modificados em todas as edies: o
indicador sobre o pessoal empregado em educao e
o que reflete a proporo entre alunos e o corpo docente.
A seo mais original e inovadora dedicada ao
ambiente escolar e aos processos da escola/sala de
aula foi includa pela primeira vez na edio de 1995,
tendo sido ampliada na edio de 1996, com um aumento no nmero de indicadores de 7 para 10. Apesar
dessa evoluo to significativa, esta seo ainda no
est plenamente consolidada, uma vez que so bastante errticas as fontes de dados que podem ser utili-
a cooperao entre o pessoal das escolas,

e entre diretores e o pessoal;
l os procedimentos de monitoramento e avaliao para garantir a extenso at que possam ter sido alcanadas metas e intenes;
l as formas de encarar a variao no desempenho dos alunos nas escolas, e como as
escolas respondem s diferentes necessidades dos alunos;
l a orientao para o desempenho das polticas escolares (em relao ao ambiente e
ao monitoramento de padres, tanto no nvel do aluno quanto da prpria escola); e
l o ponto at o qual os pais so informados
sobre os vrios assuntos ligados escola,
em especial sobre o desempenho de seus
filhos, bem como o ponto at o qual os pais
se vem envolvidos na instruo, ou contribuem diretamente na tomada de decises
nas escolas.
Esses indicadores ilustram as diferenas na
prtica educacional, que podem ser influenciadas pelas polticas de educao. Podem atuar no s como
"modelos" mas tambm como exemplos de "boas prticas", e so um elemento importante no discernimento
quanto ao desempenho das escolas. Devem ser interpretados luz do contexto nacional da educao.
A seo dos indicadores relativos aos resultados da educao tanto aquela que menos mudou,
em termos do nmero de indicadores (10, 10 e 12,
respectivamente), quanto a que mais sofreu mudanas, em termos do teor dos indicadores. Nas quatro
edies, existem trs subgrupos comuns, ou seja, indicadores de resultados dos alunos, indicadores de
resultados do sistema, e resultados do mercado de
trabalho. O subgrupo mais instvel o que se refere a
resultados dos alunos. Esses indicadores foram modificados em todas as edies, visando utilizar os melhores dados gerados por duas fontes no-governamentais: a IEA e o Educational Testing Service (ETS). Os
indicadores so enfocados no desempenho de matemtica, cincias e leitura. s vezes, o clculo se refere populao de crianas de 9 anos de idade, mas
em geral focaliza os de 14 anos. evidente que a OCDE
no conseguiu encontrar os dados apropriados para a
produo de um conjunto estvel de indicadores, que
fornecessem as informaes esperadas pela opinio
pblica, pelos usurios dos sistemas de educao e
pelos formuladores de polticas. Na terceira edio de
Education at a Glace, a OCDE foi forada a usar, pela
segunda vez, dados oriundos da pesquisa de
Letramento em Leitura da IEA, realizada em 1991. Na
segunda edio, os dados de Letramento em Leitura
foram usados para calcular trs indicadores padronizados sobre o desempenho dos alunos: comparaes
mltiplas, distribuio da pontuao dos alunos, e dentro e entre as variaes escolares. Na terceira edio,
foi usado o mesmo conjunto de dados, para o clculo

de um indicador do progresso na leitura entre as idades de 9 e 14 anos. Os questionrios de informaes
primrias da pesquisa da IEA foram usados para o
clculo de um segundo indicador sobre a quantidade
de leitura, baseado na freqncia da leitura, e de acordo com informaes fornecidas por jovens de 14 anos.
Apesar do interesse desses indicadores, e do raciocnio usado para calcul-los, a impresso que fica que
esses dados foram inventados, para evitar deixar espaos vazios no subgrupo referente ao desempenho
dos alunos. Dois outros subgrupos dessa mesma rea
indicadores de resultados do sistema e resultados
educacionais no nvel do mercado de trabalho so
mais estveis, uma vez que as fontes dos dados so
regulares: no caso dos indicadores de resultados do
sistema, os dados vm de questionrios conjuntos da
UOE, diretamente gerenciados pela OCDE; no caso
dos indicadores dos resultados do mercado de trabalho, as fontes so as Pesquisas da Fora de Trabalho.
A vantagem da capacidade de controlar as fontes de
dados, ou de ter acesso a dados produzidos com regularidade e muito bem definidos, est fora de questo. Caso a OCDE deseje produzir indicadores que
sejam relevantes para as polticas e indicadores
atualizados sobre o desempenho dos alunos, ser necessrio reconsiderar a estratgia dos dados nessa
rea.
processo de produo
O desafio da tarefa de construir um conjunto

de indicadores em educao da OCDE obrigou os pases-membros e a Secretaria da OCDE a inovarem os
mtodos de trabalho e a implementarem uma nova forma de cooperao internacional. As principais caractersticas da metodologia implementada para a construo de uma rede internacional de fornecedores e
usurios de dados e para a gerao de um conjunto
consensual de indicadores internacionais sobre a educao foram as seguintes:
feedback constante entre os pases e a Secretaria da OCDE;
avaliao peridica do progresso do trabalho;
engajamento coletivo, na identificao de preocupaes comuns e na preparao de ferramentas tambm comuns;
informao constante de todos os atores (geradores de dados, produtores de dados e outras pessoas envolvidas) sobre os objetivos,
as tarefas e as prioridades a serem
alcanadas.
Considerando a hostilidade de muitos indiv-
59
transnacional da educao, que invariavelmente demonstra a homogeneidade do desenvolvimento da educao e o peso relativo dos contextos nacional e local.
Este processo pode ser imaginado apenas com base
na confiana forte e mtua entre os fornecedores, geradores e analistas dos dados.
A natureza do trabalho, que implica o intercmbio de informao e de comunicao: ao coletar
os dados, a OCDE manipula informaes estatsticas,
informaes que envolvem milhares de indivduos, suas
ocupaes, suas instituies, sua renda, etc. No
possvel fazer desenvolver esse tipo de trabalho sem
uma forte legitimidade, que pode to-somente ser derivada de uma preocupao comum e de uma concordncia sobre as regras do respeito confidencialidade
e privacidade.
As implicaes polticas do trabalho: a gerao de um conjunto internacional de indicadores em
educao no significa pura e simplesmente trabalho
estatstico, ou trabalho de pesquisa, mas essencialmente uma tarefa poltica, que diz respeito no a um
nmero limitado de especialistas, mas a um grande
nmero de decisores e usurios. Por isso, o programa
estatstico internacional em educao no pode ser
gerenciado por um nmero restrito de profissionais em
estatstica. As decises fundamentais sobre o programa de coleta, processamento e publicao de dados
devem ser tomadas de forma coletiva, por todas as
categorias de atores envolvidos com a implementao
de uma estratgia democrtica de informao em educao.
Esses quatro motivos constituem o raciocnio
para a implementao de formas novas de cooperao
no domnio da estatstica e dos indicadores em educao. Para alcanar essa meta, a OCDE implementou
um sistema em rede. Considerando a utilidade da rede
para a operacionalizao da confiana mtua e para a
gerao de um consenso entre os distintos atores, os
pases-membros da OCDE concordaram j em 1988
em implementar um novo processo de trabalho, baseado na Rede.
Uma rede, no caso do projeto do INES, uma
estrutura flexvel e relativamente informal, que recruta
os seus membros em carter voluntrio, sem elos rgidos demais com as estruturas de poder e de decises.
Foram criadas redes para o desenvolvimento e preparao de aglomerados de indicadores identificados como
sendo relevantes pelos pases-membros. Um pas lder assume a responsabilidade pela organizao da
atividade. A abordagem em rede provou ser extremamente eficaz, representando uma forma poderosa de
mobilizar especialistas, e para gerar indicadores em
reas escassamente exploradas pelos estatsticos de
educao, como o desempenho dos alunos, rumos no
mercado de trabalho de acordo com o nvel de educao, qualificao dos profissionais de educao, expectativas da opinio pblica em relao educao,
e os centros de tomada de decises nos vrios nveis.
60
duos que trabalhavam em educao e dos principais

decisores da poltica contra o desenvolvimento de indicadores em educao quando foi iniciada a atividade,
em 1988, foi necessrio inventar um novo estilo de cooperao entre os pases-membros, para que fosse
possvel a criao de confiana mtua e consenso entre os participantes.
O desenvolvimento de um conjunto de indicadores no nvel internacional uma operao complexa
e de muitas etapas. So muitos os atores envolvidos,
com vrios graus de responsabilidade. Alm disso, a
obteno de dados em educao no um processo
fcil: alguns so relativamente simples, outros consomem muitos recursos, alguns podem ser vistos como
indefensveis do ponto de vista tico. Assim sendo,
essencial encontrar o ponto de concordncia entre os
geradores de dados e os fornecedores sobre:
a relevncia conceitual e poltica dos dados
a serem obtidos;
a forma adequada de medir eventos
indicativos, caractersticas ou desempenhos em educao;
as convenes para a coleta de dados;
os procedimentos para publicao e relatos; e
os recursos financeiros disponveis para cobrir os custos da obteno e do
processamento dos dados.
Quatro motivos principais contribuem para explicar a importncia desses componentes.
O envolvimento de muitos atores, disseminados sobre vrias administraes, e engajados em diferentes funes: pesquisadores nas vrias disciplinas;
planejadores de polticas; administradores; estatsticos,
etc. Todos estes interlocutores pertencem a uma variedade de culturas, percebem os problemas de modos
diferentes, usam linguagens distintas e tm diferentes
tipos de treinamento de base cientfica. Uma cooperao efetiva entre eles no pode ser concebida sem providncias organizacionais comuns, sem o desenvolvimento de uma linguagem comum, e sem um conjunto
de ferramentas comuns.
A peculiaridade dos aspectos ligados educao. A educao um terreno extremamente sensvel: diz respeito prpria sobrevivncia de cada uma
das comunidades, ao bem-estar de um pas, capacidade da nao de gerar conhecimento, de entender o
seu contexto histrico e poltico, e de produzir e transmitir uma imagem da sua identidade. Assim, a informao relativa natureza e aos procedimentos da educao peculiar, altamente poltica, e culturalmente
protegida. A construo de um conjunto internacional
de dados comparativos sobre a educao modifica as
perspectivas tradicionais sobre a singularidade dos sistemas locais, regionais ou nacionais de educao. Os
pases-membros hesitam em concordar com o
desmantelamento dessas crenas e em cooperar abertamente para a construo de uma representao
A idia de criao de uma rede ficou recentemente em moda na vida profissional dos setores tanto
pblico quanto privado. Entretanto, caso os objetivos
da rede sejam mal definidos, podero carecer de direo, de comprometimento da parte de seus membros
e de impacto. No caso das redes do INES, em contraste, foi estabelecido o objetivo tangvel de produzir
indicadores utilizveis em suas respectivas reas. Ainda
que esse objetivo tenha sido por vezes pouco claro,
foram desenvolvidos mtodos firmes de trabalho, na
tentativa de se chegar a eles.
O processo de criao da Rede do INES vale
a pena ser examinado, como sendo uma metodologia
inovadora, que alcanou uma srie de pontos que dificilmente seriam alcanados atravs de outros mtodos. Vrios aspectos distintivos merecem ser considerados, com respeito a evolues futuras tanto no nvel nacional quanto internacional:
O uso da rede para o desenvolvimento de definies padronizadas para a comparao entre dados obtidos nacionalmente. As redes
conseguiram chegar a solues para problemas h muito existentes com respeito
comparabilidade, como, por exemplo, nas
reas de gastos em educao e proporo
entre professores e alunos.
O uso da rede para a identificao de reas
estratgicas em que sejam necessrios novos dados. Ainda que se tenha levado mais
tempo para dominar essa atividade, a rede
gerou instrumentos internacionais para a coleta de dados, cuja relevncia acordada entre os pases participantes refletida no seu
comprometimento em coletar as informaes
necessrias.
O gerenciamento de um grande nmero de
participantes no processo de desenvolvimento. O alto nvel de envolvimento parcialmente sustentado pela natureza semi-autnoma
da rede, e pelo dilogo que gera entre os seus
membros, independentemente da Secretaria
internacional. A rede mostra-se eficaz no
apenas em termos da produo de indicadores, mas tambm em termos de entendimento
internacional entre os participantes.
O mecanismo da "criao das redes", que
envolveu no apenas reunies regulares de
trabalho, mas tambm um feedback constante entre os participantes da rede e entre a
prpria rede e a Secretaria internacional.
As redes so parecidas com clubes. Um grupo de indivduos que se encontre com regularidade, e
que adquira um senso de "identidade de grupo" faz
com que seja mais fcil trabalharem juntos do que com
estranhos. Com isso, tornam-se mais eficazes, ainda
que, potencialmente possam ser levados a tomar decises de interesse do clube, prestando ateno insuficiente aos interesses e prioridades mais amplos.
No centro das atividades de uma rede esto

as reunies regulares, como um grupo. Estas reunies acontecem duas vezes por ano, estendendo-se
em geral por dois ou trs dias. Um aspecto importante
das reunies da rede a sua diferena, em termos de
estilo, da maior parte das reunies internacionais com
representao de vrios pases. Em vez de assumirem
um comportamento de "delegados", meramente expondo as opinies de cada pas, os membros tendem a
trabalhar em cooperao, em direo a metas comuns.
A tarefa freqentemente elusiva de definir e coletar indicadores que possam ser internacionalmente comparados no campo educacional vista como um intercmbio intenso de idias (atravs de brainstorming), e
no como uma postura diplomtica. O estilo informal
que foi desenvolvido reforado pelas reunies de natureza social e pela discusso que se desenvolve fora
das sesses da rede, entre um conjunto relativamente
estvel de membros. Esse mtodo pragmtico e produtivo de trabalho nem sempre esteve presente em todas as redes, e muito depende da personalidade de
quem a preside, e do estabelecimento progressivo de
familiaridade e de confiana entre os membros, medida que se conhecem melhor.
questionvel imaginar que a rede tivesse
desenvolvido esse esprito de equipe, limitando-se nada
mais que a encontros bianuais. Entretanto, a natureza
de suas tarefas que, com freqncia, exigiam um esforo "interativo" ao explorar uma variedade de formas
de definir e de gerar indicadores, exige uma comunicao contnua, medida que as propostas circulam e
recebem comentrios. O principal resultado desse processo intenso de feedback produziu um sentimento
nico de propriedade, e raro chegar a um resultado
semelhante, no nvel internacional, quando os grupos
em geral tm uma ligao bastante solta.
Em resumo, o processo de rede constituiu uma
caracterstica principal e inovadora do Projeto INES, e
assumiu importncia crucial para as evolues do prprio INES. A rede a melhor maneira de:
l obter informao freqente, seno imediata,
sobre as metas bsicas, para criar a constncia de propsito durante todo o decorrer
do projeto;
l gerar feedback freqente, para chegar a objetivos de longo prazo, quando o esforo e
o sentido de propsito poderiam tender a
perder o mpeto;
l investir recursos, tempo disponvel e energia para o aprimoramento contnuo do trabalho;
l sustentar o esforo coletivo e construir um
senso de comunidade e de propriedade,
alm de um alto nvel de confiana mtua
entre todos os atores engajados no processo;
l estimular o esforo coletivo e a cooperao;
l criar uma organizao dirigida informao
e ao propsito;
61
produzir uma "organizao de aprendizagem"; e

estimular um intenso controle crtico dos
dados, resultados e informes, alm de uma
vontade bem definida de fornecer dados de
carter nacional, de qualidade sempre melhorada.
lhor divulgar aproximaes do que no publicar nada.

5) Responsabilidade: os que trabalham na rea
de educao precisam ser responsveis pelos resultados do setor, da forma medida pelos indicadores. Por sua vez, precisam ter uma
voz na avaliao de se os recursos recebidos
correspondem s exigncias propostas pelos
que estabelecem as polticas.
So esses os princpios essenciais que orientaram o trabalho da OCDE, e graas aos quais chegou-se ao sucesso, em especial na frente poltica, como
demonstrado pela grande ateno dedicada pelos meios
de comunicao ao conjunto de indicadores em educao da OCDE. Hoje, as concluses da OCDE so
discutidas pelos congressos. O trabalho da OCDE
demonstra que a escolha dos indicadores corretos e
da populao certa pode representar um enorme impacto sobre o sistema de educao, alm de contribuir para o aprimoramento da sua qualidade de uma
extremidade a outra.
oncluso
Em resumo, h cinco princpios cruciais que

orientaram a OCDE na preparao da sua coleo de
indicadores em educao:
1) Prioridade dada determinao de polticas: o desenvolvimento de um sistema de indicadores feito por estatsticos deve responder s necessidades de poltica. Os profissionais de estatstica no esto em posio de
determinar o que o pblico precisa saber. No
deve haver qualquer conflito entre a comunidade cientfica e os responsveis pelas polticas
sobre a determinao e a divulgao dos indicadores relevantes.
2) Comparabilidade entre indicadores: a OCDE
dedicou todo o esforo na produo de informao que pudesse ser comparada, de modo
que os pases pudessem compreender a situao do seu sistema de educao, com a perspectiva dos outros pases-membros. A possibilidade de comparao foi o fator de diferena
que levou a operao da OCDE ao xito.
3) Comunicao: os indicadores so utilizados para a comunicao entre os formuladores
de poltica e a opinio pblica. A regra dourada da comunicao a clareza. Por conseguinte, os indicadores precisam ser, ao mesmo tempo, claros e simples, sem serem superficiais. Para isso, preciso haver um nmero limitado de indicadores. O debate atual
na OCDE a reduo do ncleo principal de
indicadores dos 40 a 50 de hoje para 20. No
ano passado, foram produzidos dois conjuntos de indicadores: um conjunto tcnico, para
os estatsticos, e um conjunto reduzido, de 20
indicadores, para os responsveis pelas polticas e para os jornalistas.
4) Credibilidade estatstica (confiabilidade): preciso estatstica, confiabilidade ou relevncia
no devem ser fatores suficientes que venham
dificultar a divulgao dos indicadores. me-
INES. Public expectations of the final stage of

compulsory education : technical report Network D.
Edinburgh : The Scottish Office of Education
Department, 1995.
NCES. Education indicators : an international
perspective. Washington, DC : US Office of
Educational Research and Improvement, 1996.
OECD. Education at a Glance : OECD indicators. Paris, 1992a.
_______. The OECD international education indicators:
a framework for analysis. Paris, 1992b.
_______. Education at a glance : OECD indicators.
Paris, 1993.
_______. Making education count: developing and using
international indicators. Paris, 1994.
Paris, 1995.
Paris, 1996a.
_______. Education at a glance : analysis. Paris, 1996b.
62
ANEXO S
R ede 1
Fluxos de a lunos
(A US )
R ede 2
R esultados de
aluno s (EU A )
REDES INES
1 Fase (1988-1989)
R ede 3
R ede 4
E co logia de
Financiam e nto de
escolas
educao
(FR )
(O S T)
R ede 5
A titudes
e exp ectativas
(N ET )
2 Fase (1989-1991)
TG 1 M atrculas (Secr. O C DE )
R ede A
R ede B
R esultados alcanados D estino no m ercado de
pelos alunos
trab alho
(E U A )
(S UE )
TG 2 Fina nciam ento de E ducao (S ecr. O C D E)

R ede C
R ede D
E co logia de e scolas
A titudes e E xpecta tivas
(FR )
(N L)
3 Fase (1992-1996)
TG
(S ecr. O C D E )
C oordenadores N acionais
R ede A
R ede B
R esultados
D estino no
A lcanados pelos
M ercado de
A lunos
Trabalho
(E UA )
(S U E )
R ede C
P rocessos
E scola res
(N ET )
R ede D
A titudes e
E xp ectativas
(R U )
OS INDICADO RES EDUCACIONAIS DA OCDE
C ondies ditadas p elo h istrico

dem ogrfico e econ m ico
Estrutura conceitual
R ecurso s e p rocessos
educacionais
R esultados educacionais
Resultados Educacionais
l Resultados alcanados pelo alunos
l Resultados em disciplinas especficas
l Alfabetizao adulta
l Desenvolvimento pessoal
l Resultados alcanados pelo sistema
l Alunos formados em cada nvel de
educao
l Resultados alcanados no mercado de
trabalho
l Desemprego e educao
l Educao e renda
l Situao aps a concluso do
processo educativo
l Satisfao dos alunos com as escolas
Condies Ditadas pelo Histrico Demogrfico e

Econmico
l Caractersticas demogrficas e
socioeconmicas da populao
l Recursos financeiros disponveis
l Apoio pblico
l Grupos de alunos especiais
Recursos e Processos Educacionais
l Recursos financeiros
l Despesas com educao
l Fontes de recursos educacionais
l Participao em educao
l Recursos humanos (funcionrios de educao)
l Processos escolares
l Contedo instrucional
l Caractersticas do processo decisrio
l Funcionamento & organizao da
escola
Ciclo de Feedback
63
Recursividade
O 4 CONJUNTO DE INDICADORES
EDUCACIONAIS DA OCDE (1966)
Captulo 1: Contexto demogrfico, social e econmico
da educao
l C1: Resultados educacionais alcanados pela
populao adulta
l C2: Diferenas de gnero nos resultados alcanados pela populao adulta
l C3: As dimenses relativas da populao jovem
l C11: Taxas de participao da fora de trabalho por nvel de resultados educacionais
alcanados
Captulo 2: Custos da educao e recursos humanos
e financeiros
l F1:
Despesas educacionais em relao ao
Produto Interno Bruto
l F3:
Despesas em servios educacionais por
aluno
l F3-R: Disparidades inter-regionais em despesas em servios educacionais por aluno
l F5:
Despesas educacionais por categoria de
recursos
l F12: Recursos pblicos por nvel de governo
l F13: Proporo de despesas pblicas em educao
l P31: Funcionrios empregados na educao
l P32: Proporo de alunos em relao ao corpo docente
l
l
P33:
P35:
P22(A):
l
l
l
P22(B):
P22(C):
P22(D):
P22(F):
P22(G):
Tempo de ensino
Salrios determinados por lei para
professores das escolas primrias
pblicas e das primeiras sries das
escolas secundrias pblicas
Estabilidade do corpo docente no nvel primrio
Liderana escolar no nvel primrio
Cooperao com a equipe de apoio
Monitoramento e avaliao no nvel
primrio
Orientao de resultados alcanados
no nvel primrio
Envolvimento dos pais nas escolas no
nvel primrio
Captulo 6: Resultados alcanados pelos alunos e

alfabetizao adulta
l R6: Resultados alcanados pelo alunos em
matemtica e cincia
l R7: Diferenas entre alunos nos resultados
alcanados em matemtica e cincia
l R9: Diferenas de resultados alcanados por
duas sries em matemtica e cincia
l R10: Diferenas de gnero em matemtica e
cincia
l R30: Alfabetizao e a populao adulta
l R31: Alfabetizao de adultos por nvel de resultados educacionais
l R32: Habilidades de alfabetizao de pessoas mais jovens em comparao com as
mais idosas
l R33: Alfabetizao de adultos por gnero.
Captulo 3: Acesso educao, participao e

progresso
l P1: Participao em educao formal
l P2: Participao por parte de crianas
pequenas
l P3: Participao em educao ao final da
educao obrigatria e posteriormente
l P6: Participao em educao do terceiro
grau
l P8: Educao continuada orientada ao
emprego e treinamento para a fora de
trabalho adulta
Captulo 7: Resultados alcanados pela educao no

mercado de trabalho
l R21(A): Desemprego e educao
l R21(B): Desemprego entre jovens e a educao
l R22:
Educao e renda gerada por emprego
l R24:
Taxas de desemprego das pessoas
que abandonam o sistema educacional
Captulo 4: Ambiente escolar e processos na escola/

sala de aula
l P11:
Tempo total de instruo pretendido
para os alunos nas primeiras sries
do nvel secundrio
64
Captulo 5: Resultados de graduao em instituies

educacionais
l R11: Alunos formados nas ltimas sries do
nvel secundrio
l R12: Alunos formados no terceiro grau
l R14: Qualificaes tercirias por campo de
estudo
l R15: Fornecimento de um alto nvel de habilidades em campos relacionados com a
cincia
A VALIAO DE
ALUNOS E APRENDIZAGEM PARA
UMA SOCIEDADE EM MUDANA
Caroline Gipps*
tfica" quando o paradigma antigo deixa de ser capaz

de lidar com um problema pendente.
Hoje em dia, a avaliao necessria para a
realizao de toda uma variedade de objetivos: apoiar
o ensino e a aprendizagem, fornecer informaes sobre os alunos, professores e escolas, atuar como dispositivo de certificao e seleo, como procedimento
de responsabilizao, e para orientar o currculo e o
prprio ensino. As novas formas, e o leque de objetivos
da avaliao significam que o modelo tradicional, que
fundamenta a teoria da avaliao, j no mais adequado.
A mudana causada em parte por este dilema: existe um nmero cada vez maior de demandas
por um sistema de testes que funcione em nvel nacional (por toda uma srie de motivos, aos que chegarei
mais adiante) e que possa possibilitar meios de comparao, enquanto que ao mesmo tempo o nosso entendimento da cognio e da aprendizagem nos indica
que necessitamos da avaliao para uma determinao mais direta dos processos que desejamos desenvolver, incluindo habilidades de ordem superior, o que
torna mais difcil chegar a esses meios de comparao. Entretanto, a questo no apenas o nosso desejo de ir alm dos testes tradicionais e da sua
tecnologia, mas o fato de que a mudana envolve um
conjunto muito mais profundo de transformaes, que
levam mudana de paradigma: as nossas concepes subjacentes da aprendizagem, da avaliao e do
que conta como sendo realizaes so hoje radicalmente diferentes daquelas que esto nas bases do
modelo tradicional de avaliao (Gipps, 1994).
A mensagem deste trabalho que a avaliao
uma parte importante da educao, e que, sempre
que possvel, deve ser de um tipo adequado, e usado
para a expanso da boa qualidade da aprendizagem.
Tudo isso no quer dizer que os testes e exames padronizados tradicionais no tenham mais lugar na poltica de avaliao, mas sim que precisamos projetar
programas de avaliao que tenham um impacto positivo sobre o ensino e sobre a aprendizagem.
esumo
Este trabalho examina as funes tradicionais

da avaliao e as atuais demandas por avaliao, para
acomodar os sistemas de educao s mudanas econmicas globais. O seu argumento que no prximo
milnio, e com a revoluo da informao, ser importante promover habilidades de uma natureza superior e
boas estratgias de aprendizagem para uma grande
parte dos nossos alunos. O trabalho prossegue, considerando a natureza dos programas de avaliao de
alta qualidade, de acordo com as relaes crticas entre testes, ensino e aprendizagem principais. Apresentar ainda evidncias do impacto do programa nacional de avaliao sobre o ensino na Inglaterra.
ntroduo
Eu mesma j argumentei em outras ocasies

que est em curso uma mudana de paradigma na
rea da avaliao: a passagem de um modelo de testes e de exames difceis (quando se aplicam provas as
mais difceis possveis, dando ao candidato o mnimo
de orientao, sendo o nmero de fracassos a prova
de qualidade) para um outro modelo de avaliao, em
que tentamos proporcionar a todos os candidatos uma
verdadeira oportunidade de demonstrar o que sabem,
o que entendem e o que podem fazer (oferecendo mais
orientao, compartilhando critrios com os alunos, e
propondo tarefas que estejam de acordo com a vida
real, ou com o que feito em sala de aula). Ocorre
uma mudana de paradigma, ou uma "revoluo cien-
*Caroline Gipps foi professora de Educao e decano de Pesquisa, do Instituto de Educao, da University of London, antes de iniciar sua carreira na rea de
pesquisa. Sua pesquisa atual na rea de Estratgias de Ensino, Avaliao e Retroalimentao dos Professores de 2 a 6 sries. Publicou vrios trabalhos
sobre polticas e prticas na avaliao, e foi presidente da British Educational Research Association (BERA), em 1993. Seu livro A Fair Test? Assessment,
Achievement and Equity (Um Teste Justo? Avaliao, Realizao e Igualdade), escrito em conjunto com Patricia Murphy, recebeu o prmio da SCSE de melhor
livro de Educao publicado em 1994. A terceira edio de Assessment: a Teacher's Guide to the Issues, escrito com Gordon Stobart, acaba de sair.
65
Tradicionalmente, exames extremamente conceituados foram utilizados para selecionar, separar e

classificar. Um exemplo so os exames de admisso
ao Servio Pblico, institudos na Inglaterra em 1855,
para identificar possveis membros do funcionalismo
pblico sem aceitar um processo paternalista. Aqueles primeiros exames eram usados para identificar competncia, e para qualificar para admisso a determinadas profisses ou universidades. Com eles, surgiram
dois "efeitos colaterais": um, o desenvolvimento da
noo de um currculo, ou de um programa, e o outro,
o fato de que o uso de provas tericas e escritas para
admisso a profisses ou instituies de grande status
dava prpria tcnica de avaliao um status elevado
semelhante que ainda mantm (Broadfoot, 1996).
Os meus colegas socilogos, notadamente
Tricia Broadfoot, descrevem a avaliao como um dispositivo usado nas sociedades desenvolvidas, decorrente do fornecimento da educao de massa como
mecanismo de controle social; como base racional,
alm de justificvel, para a designao de "funes
sociais desigualmente desejveis", uma vez que os
indivduos deviam demonstrar competncia atravs de
um procedimento de certificao baseado na competio. O uso de um procedimento justificvel e a noo
da competio, na qual os indivduos concorrem em
bases aparentemente iguais, permitem que aqueles que
no tm sucesso aceitem o seu prprio fracasso. Os
testes de QI eram um meio de controle social "sem
igual, mostrando maioria destinada ao fracasso que
este era o resultado da sua prpria inadequao inata"
(Broadfoot, 1979, p.44).
Os sistemas nacionais sempre precisaro
acompanhar os nveis de desempenho, com fins de
planejamento e demonstrao. Por outro lado, surgiu
recentemente uma nova funo para a avaliao. A
avaliao vem sendo empregada por todo o mundo
desenvolvido para "sintonizar" os sistemas de educao, em resposta s mudanas globais. A economia
gera a retrica: os desenvolvimentos tecnolgicos exigem trabalhadores melhor educados, com mais
discernimento e mais flexveis por todo o mercado de
trabalho, para fortalecer a base tecnolgica do pas e
para promover um esprito empreendedor e de iniciativa. A aparente falta de adequao do produto das escolas s necessidades do mercado de trabalho no
Reino Unido da dcada de 80, como demonstrado pelo
nmero de formandos no qualificados das escolas e
pela quantidade de jovens desempregados, sugere que
a educao se teria afastado do "mundo real" do trabalho, e o resultado foi o esforo em tentar reagregar a
educao economia (Neave, 1988). Por outro lado, o
modelo de escolaridade que se est desenvolvendo na
valiao e aprendizagem
Os tericos da avaliao tradicionalmente no

falaram sobre a aprendizagem. Entretanto, existe uma
relao crtica entre o que testado, e como testado, com o que ensinado, e como os alunos aprendem. Para estimular o ensino e o desenvolvimento de
habilidades de ordem superior, processos de raciocnio e resoluo de problemas, precisamos empregar a
avaliao que reflita esses processos diretamente.
Os testes padronizados de desempenho testam as habilidades dos alunos em recordar e em aplicar os fatos aprendidos rotineiramente: at mesmo itens
destinados avaliao de atividades de mais alto nvel
com freqncia no exigem mais do que a capacidade
de lembrar da frmula apropriada, e de fazer substituies, para chegar resposta certa. Os alunos que
concebem o conhecimento como uma coletnea de
fatos empregaro estratgias de aprendizagem superficial, que visem memorizao bem-sucedida. A
aprendizagem mais profunda, nos "bons" aprendizes,
por outro lado, envolve o pensamento sobre o significado daquilo que est sendo aprendido (Entwistle, 1992).
(Embora me venha mente que Bertrand Russel disse
que "a maior parte das pessoas prefere morrer a pensar, e a maioria delas faz exatamente isso"). Esta noo de aprendizagem profunda, ou com um objetivo,
tem claras implicaes com respeito ao currculo e
pedagogia, mas tambm para a avaliao.
O ensino tradicional para provas e exames com
freqncia estimula a aprendizagem mecnica. E aprender mecanicamente, que basicamente uma atividade
passiva, leva aprendizagem rasa, ou superficial: o
aprendiz domina fatos que ele/ela possa lembrar, na
66
Inglaterra e no Pas de Gales, como resultado, um

modelo de limites tradicionais de matrias, um modelo
de ensino de "transmisso" dentro de salas de aula
formais, de testes e exames que cada vez mais se
tornam formais do tipo lpis e papel, um modelo de
exames feitos em uma s vez.
Na verdade, o que ns precisamos, para preparar os jovens para o prximo milnio, ensinar a
todos eles no apenas as habilidades bsicas, mas
tambm as habilidades de ordem mais superior, de
resoluo de problemas, raciocnio crtico e avaliao;
necessrio tambm ensin-los a como tornar-se
aprendizes eficazes, conscientes e no controle do seu
prprio processo de aprendizagem, uma vez que a revoluo da informao do conhecimento, juntamente
com as mudanas nas carreiras e nas formas de trabalho regular previstas para o prximo sculo exigem
que ns todos continuemos a aprender alm da escola.
unes da avaliao
situao de prova. Os alunos tornaram-se bastante eficientes nessa forma de memorizao, mas os fatos
aprendidos dessa maneira podem ser rapidamente
perdidos/esquecidos. A informao que deve ser retida
precisa ou ser entendida "interagir com" e ser associada a mapas conceituais no crebro ou ser usada
repetidamente aps ser aprendida. A aprendizagem
superficial permitir que os alunos manipulem frmulas ou que trabalhem atravs de exerccios detalhados, ainda que no compreendam os princpios fundamentais. Isso quer dizer que os alunos tero dificuldades em usar esses fatos/conceitos em circunstncias
ou contextos outros, limitando assim o valor da sua

aprendizagem.
A aprendizagem profunda, por outro lado, envolve no apenas entender, mas tambm a inteno de
entender o material, alm de exigir uma abordagem
ativa aprendizagem. Por aprendizagem ativa, no
quero dizer que os alunos tenham que ser vistos como
estando fisicamente ocupados, ou "descobrindo" coisas, mas que devem estar pensando ativamente sozinhos, interagindo com o material. Espera-se que o professor ensine, mas a aprendizagem s pode ocorrer
nos alunos.
Qu adro 1 Ab ordagens d a ap ren dizagem

Ab ord age m d e apren dizagem profunda
Ab ord age m d e apren dizagem rasa ou su perficial
Inte no d e d esenvolver entendim en to pessoal.
Inte no d e ser capaz de reproduzir o conte do,

na m edida do ne ce ssrio.
Inte ra o a tiva com o contedo , princip alm ente

rela cionand o idias novas a con hecim ento e
experincia anteriores.
A ceitao passiva de idia s e da inform a o.
Lig ao entre as idias, usando princpios de

integrao .
Fa lta de reconh ecim ento d e princpios ou pa dres

de orien tao .
R elao de e vidncia s a concluses.
E nfoque da aprend izagem s ne ce ssid ades de

avaliao.
F onte : After Entw istle , 19 92; M ordon, S alzo, 1984 ).
Evidentemente, a aprendizagem mecnica

importante para alguns objetivos: existem algumas
coisas que so provavelmente mais eficientes quando
aprendidas de forma automtica, como identidades
numricas, ortografia, tabuadas. Essas so habilidades que nos so mais teis quando tiverem sido praticadas o suficiente para tornarem-se automticas. Alm
disso, so freqentemente requisitadas na vida quotidiana, e no so facilmente esquecidas. De modo semelhante, no h tempo para os alunos abordarem toda
a aprendizagem de forma profunda. Da a noo de
"aprendizagem estratgica", que envolve uma combinao conscienciosa de aprendizagem superficial e
profunda.
valiao para apoiar a aprendizagem
Para estimular e apoiar uma combinao de

abordagens aprendizagem, precisamos empregar
uma variedade de abordagens da avaliao:
67
Os testes de mltipla escolha, ou de respostas curtas, so uma forma rpida e eficiente de testar a lembrana de fatos simples, como, por exemplo, identidades numricas, vocabulrio de uma lngua estrangeira, e habilidades bsicas, como multiplicao e ortografia. A menos que os itens
sejam elaborados com cuidado, sero menos eficazes na avaliao do entendimento
de conceitos e princpios.
Respostas dissertativas, tarefas prticas e
projetos, quer sejam parte de uma prova ou
de um exame com hora marcada ou parte
do prprio trabalho do curso, ou ainda,parte
da avaliao de sala de aula de todos os
dias, so mais capazes de avaliar o entendimento e de estimular um nvel mais profundo de aprendizagem. O que mais importante, se o objetivo a avaliao do entendimento, so os mtodos que envolvam
o aprendiz na aplicao do seu conhecimento e na ligao deste com contextos
reais. A avaliao no pode ocorrer testando a lembrana de peas isoladas e
valiao numa sociedade em mudana
Ento, o que sabemos sobre as boas prticas

na avaliao, que nos possa ajudar a projetar a avaliao para o futuro?
Existem alguns princpios gerais: em vez de
dirigir a ateno para a classificao e para a comparao em relao a alguma noo de desempenho
"mdio" um conceito profundamente limitante , precisamos apoiar um tipo de abordagem em que sejam
estabelecidos padres de desempenho bem definidos,
para a avaliao de alunos; esses padres e processos de avaliao so transmitidos aos alunos (progressivamente, medida que forem ficando mais velhos).
A avaliao que gradua e classifica os alunos uns em
relao a outros deve ser deixada para o mais tarde
possvel no sistema educacional; no deve ser este o
modelo utilizado nos primeiros estgios, principalmente antes dos 11 anos de idade. Os alunos devem ser
estimulados a acompanhar e a refletir sobre o seu prprio trabalho/desempenho (com a ajuda positiva e construtiva dos professores). A retroalimentao dada aos
alunos, que um fator crucial no processo de avaliao, deve enfatizar o domnio e o progresso.
A publicao de informao sobre testes no
nvel da escola e da sala de aula distorce o processo
educacional e estimula a "burla" de vrios tipos; nem
professores nem alunos conseguem evitar isso - ficam
presos em uma armadilha. E, com essa situao, quem
assume a responsabilidade, se os professores no
ensinarem coisas que no forem ser testadas? Nas
situaes em que forem inevitveis os testes externos
de grande importncia, o emprego da avaliao baseada no desempenho, juntamente com a avaliao de
professores, dever suavizar os piores efeitos sobre o
ensino; por outro lado, at mesmo isso, se a sua importncia for grande demais, promover excessivamente
as atividades avaliadas e implicar o risco de
estreitamento do currculo. Quando testes e exames
muito importantes levam ao fracasso uma grande proporo dos alunos, aparecem problemas de auto-estima e motivao entre os alunos com pontuao baixa,
o que significa risco concomitante de evaso escolar.
A avaliao, de acordo com padres claros, em um
programa discreto, com retroalimentao construtiva e
um enfoque sobre o prprio desempenho do indivduo e
no sobre a comparao com outros, tem maior probabilidade de manter o envolvimento dos alunos, retendo-os no sistema.
A avaliao de boa qualidade exige tempo e
precisa assim usar tarefas de boa qualidade, de forma
a evitar que os alunos terminem por desperdiar o seu
tempo: indispensvel que as tarefas estejam ancoradas em matrias importantes e relevantes, e a natureza
e o modo dessas tarefas precisam estar baseados naquilo que conhecemos da avaliao envolvente e justa.
68
descontextualizadas de informao, que

afastem o ensino e a prpria aprendizagem
do entendimento, focalizando a
memorizao da informao necessria ao
sucesso da avaliao.
l Para um progresso eficaz na aprendizagem, preciso sintonizar as tarefas a um
nvel adequado de dificuldade. Para que o
professor possa ter conhecimento da situao do aluno no seu nvel de progresso,
importante a observao informal, o
questionamento e as tarefas de avaliao
em bases regulares; essa chamada "avaliao de professores" tem as principais caractersticas da informalidade e da regularidade, de forma que as avaliaes so feitas atravs do tempo e de contextos, para
que possa ser construdo um quadro mais
completo do que o que possvel construir
mediante um teste ou um exame feito de
uma s vez.
Habilidades de ordem superior, como o caso
da anlise, da interpretao, da crtica, da sntese, da
aplicao de conhecimento e habilidade e tarefas novas, da construo de um argumento convincente, etc.,
so atividades complexas, que de uma forma geral no
podem ser avaliadas de modos simples, que exijam
puramente marcar as respostas certas, ou classificaes mecnicas. Parte do nosso desafio para o novo
milnio ser ensinar essas habilidades de ordem superior a um nmero muito maior de alunos do que o
fizemos no passado. A avaliao do significado e do
entendimento portanto crucial no desenvolvimento de
tais habilidades.
Assim sendo, para estimular e apoiar a aprendizagem estratgica, e para desenvolver aprendizes
eficazes, necessrio dispormos de toda uma variedade de abordagens de avaliao, adequadas a determinados objetivos de aprendizagem:
l testes, tanto formais quanto informais, para
avaliar a lembrana de fatos, e a aquisio
de habilidades bsicas.
l tarefas e exames mais complexos e detalhados, que possam avaliar o entendimento e a aplicao.
l avaliao informal e contnua de professores, baseada na observao, questionamento e em tarefas rotineiras de avaliao de aprendizagem em sala de aula.
Em resumo, preciso testarmos o significado, e avaliarmos o entendimento; no devemos temer
avaliar habilidades complexas no contexto, ou em cenrios autnticos; as avaliaes de boa qualidade modelam as verdadeiras atividades de aprendizagem com
que desejamos que os nossos alunos se vejam envolvidos, e que sejam ensinadas pelos professores.
No caso da avaliao com objetivos de seleo e de certificao, improvvel que seja reduzida a
sua grande importncia, e por esse motivo so particularmente cruciais o estilo e o contedo das tarefas de
avaliao: precisamos projetar uma avaliao de responsabilidade que gere informao de boa qualidade
sobre o desempenho dos alunos, sem distorcer a boa
prtica de ensino. Alm disso, precisamos lembrar aos
responsveis pelo estabelecimento das polticas a sua
responsabilidade pela avaliao das conseqncias
educacionais e sociais da utilizao de testes em todos os nveis.
Existem alguns aspectos j conhecidos sobre a avaliao que devero ajudar-nos a orientar a prpria avaliao em um futuro previsvel. Mas, o que dizer
da avaliao para o futuro que no podemos prever?
No ser possvel descrever a avaliao para
o milnio, seno quando conseguirmos descrever a
prpria educao para esse mesmo perodo. Estamos
apenas comeando a ter uma viso da educao, no
mundo ps-moderno. Todos concordam que a
globalizao econmica, a viso da cultura como
commodity, e a compresso do tempo e do espao,
que acompanham a revoluo da informao, dever
implicar transformaes radicais na educao (Kenway,
1992; Green, 1994), mas h menos unanimidade sobre o que tudo isso poderia significar, por exemplo, em
termos de currculos. imperioso considerarmos a
natureza da educao para o milnio, em relao
revoluo do conhecimento e da informao: o conhecimento um dos fatores mais importantes de
competitividade, no futuro de qualquer sociedade. Vivemos em um mundo de informaes instantneas, e
de 24 horas de continuidade (Dalin, Rust, 1996, p. 33),
ou ainda, podemos considerar que a informao estar a apenas seis segundos de distncia.
Isso quer dizer que:
l os alunos ver-se-o bombardeados com informao, e os professores precisaro
ajud-los a organizar, conceitualizar e selecionar, em meio a essa impressionante
oferta;
l aprender a aprender tornar-se- uma meta
fundamental do currculo;
l a noo do livro-texto ter que ser reconsiderada (...dando "aos alunos conhecimento e vises gerais bsicas, e auxiliando-os
na explorao das muitas facetas de um
campo" ) (Dalin, Rust, 1996, p. 146);
l a sala de aula do futuro dever extrapolar
as suas quatro paredes, medida que os
alunos sarem, para ter acesso informao e experincia, enquanto que a informao do mundo exterior ser trazida para
a sala de aula;
l a mudana de papel do professor ser inevitvel, devido a outras mudanas. Diferentes estruturas organizacionais, com a for-
mao de grupos maiores para determinados objetivos, acompanhadas pelo emprego de assistentes de ensino, alunos trabalhando juntos e usando sistemas de recuperao de informaes em rede e atravs
de computadores, tudo parece provvel.
O grande educador Jerome Bruner (1996, p.
20), escrevendo sobre o futuro, argumenta que ns precisamos passar de uma concepo empobrecida do
ensino, "... em que um professor nico, presumivelmente onisciente, explicitamente diz ou mostra a
aprendizes presumivelmente ignorantes alguma coisa
sobre a qual eles supostamente nada sabem". Em vez
disso, Bruner fala do desenvolvimento de uma sala de
aula como uma comunidade "de aprendizes mtuos,
com o professor orquestrando as atividades. Observase que, ao contrrio do que preconiza a crtica tradicional, essas subcomunidades no reduzem o papel do
professor, ou a sua 'autoridade'. Na verdade, o professor assume a funo adicional de estimular outros a
compartilh-la. Da mesma forma que o narrador onisciente desapareceu da fico moderna, o professor
onisciente dever desaparecer tambm da sala de aula
do futuro " (p. 21-22, grifos da autora).
Como ser ento que deveremos conceber a
avaliao, na sala de aula do futuro? No esperamos,
com as crianas sentadas em frente a fileiras de computadores, preenchendo sries interminveis de folhas
de trabalhos. A m prtica pedaggica no ir transformar-se em boa prtica pedaggica simplesmente se
for traduzida de lpis e papel para disco e tela. Nem
pela adoo de testes de mltipla escolha, corrigidos
por uma mquina. O processo rpido e eficiente, mas
significa que, com certeza, os alunos no precisam ter
a capacidade para escrever nada. No posso evitar de
pensar que, no prximo milnio, vamos ainda desejar
que os nossos jovens saibam ler e escrever, ainda que
seja atravs de um teclado.
Vrias questes continuam a aparecer, nas
discusses sobre o futuro: a nfase do local, em vez
do global (Kenway, 1992; Harrison, Bailey, Dewar,
1996), do subjetivo, em vez do objetivo (Lincoln, 1992),
a aceitao como vlidas de toda uma variedade de
metodologias (Lather, 1992; Griffiths, 1992), e a funo
desempenhada pela tecnologia.
Como relacionar essas questes avaliao?
1. o local, em vez do global: preciso sublinhar o papel do professor, de forma que a
avaliao possa ser fundamentada em um
contexto "local", apoiando o profissionalismo do professor, e a flexibilidade da
abordagem (mantendo ao mesmo tempo o
rigor, subordinando-a a padres nacionais
e sujeitando-a a moderao externa).
2. o subjetivo em vez do objetivo: na minha
viso, isso quer dizer colocar o aprendiz no
69
programa nacional de avaliao
A Lei de Educao de 1988 determinou um

currculo nacional e introduziu a avaliao nacional. O
programa de avaliao nacional um acompanhamento crucial em relao ao currculo nacional, uma vez
que era atravs do programa de avaliao que deviam
ser levantados os padres. O primeiro estgio de desenvolvimento do currculo nacional e do programa de
avaliao foi a criao do Task Group on Assessment
and Testing (TGAT). O relatrio produzido por esse grupo
(Gr-Bretanha, 1988b) props as bases para a estrutura do currculo que deveria ser apoiado por todos os
indivduos. Os indivduos so divididos em um nmero
de metas de realizao, que so articuladas em uma
srie de oito nveis. A srie de nveis tem o objetivo de
permitir uma progresso: a maior parte dos alunos de
mais de 7 anos de idade estar no nvel dois do sistema, enquanto que a maior parte dos alunos de mais de
11 anos estar no nvel quatro, e assim por diante. As
metas de realizao foram articuladas em cada um
dos nveis, atravs de uma srie de critrios, ou enunciados de realizao, que formavam a estrutura bsica
de um sistema de avaliao baseado em critrios. (Os
muitos enunciados de realizao foram hoje em dia
modificados, para descries em menor nmero e em
um nvel mais amplo). A Secretaria de Estado aceitou
em 1988 as recomendaes do TGAT, no sentido de
que os alunos deveriam ser avaliados por seus professores (Avaliao de Professores ou AP), com objetivos formativos e diagnsticos, dos 5 aos 16 anos de
idade, sendo utilizadas tarefas padronizadas de avaliao (TPAs) nacionalmente, para moderao das avaliaes dos professores aos 7, 11 e 14 anos de idade,
quando seriam ento formalmente informadas, com
propsito somativo. As TPAs de 7 e 11 anos seriam
avaliaes de desempenho, relacionadas a temas estendidos, e assemelhar-se-iam boa prtica de sala
de aula, ainda que pudessem incorporar testes formais
em reas especficas.
Entretanto, uma grande quantidade de mudanas de ministros, polticas e de pessoal nos rgos
dedicados a currculos e a avaliaes significou que o
modelo de avaliao nacional implementado hoje em
dia seja diferente em uma variedade de aspectos do
que foi recomendado pelo TGAT (Black, 1993; Gipps
et al., 1992; Daugherty, 1995). As tarefas padronizadas de avaliao transformaram-se em testes nacionais formais, restritos aos alunos de 11 anos de idade,
e nas reas de Matemtica, Lngua Inglesa e Cincias. A avaliao no Estgio Principal 1 hoje limitada
Lngua Inglesa e Matemtica, embora Cincias tivesse sido includa at 1993. A inteno dos testes o
fornecimento de informaes confiveis de avaliao
para cada um dos alunos, tendo assim ficado mais
oncluses sobre a avaliao nacional

na Inglaterra
Agora, gostaria de ilustrar o impacto de diferentes tipos de programas de avaliao sobre o ensino. Na Inglaterra e no Pas de Gales, feita a avaliao de todas as crianas entre 7 e 11 anos de idade,
nas escolas primrias. Os alunos so avaliados atravs de testes padronizados e das avaliaes dos prprios professores, nas reas de Leitura e Escrita, Matemtica e Cincias. Esse programa de avaliao existe
desde 1991, e tivemos a felicidade de ter podido realizar uma avaliao dele durante seis anos, focalizando
em primeiro lugar o programa de avaliao para crianas de sete anos de idade (na 2 srie, final do Estgio
Principal 1), e para crianas de 11 anos de idade (na 6
srie, final do Estgio Principal 2).
70
centro da avaliao, e espero que tudo o

que eu disse tenha enfatizado exatamente
isso. Entretanto, envolve tambm uma
redefinio das relaes de poder na avaliao, e o envolvimento do aprendiz mais
como um parceiro. No quer dizer que os
professores abram mo do controle quer
dizer que os aprendizes assumam a responsabilidade pelo seu desempenho, e
acompanhem a prpria aprendizagem. o
que denominamos auto-aprendizagem e
metacognio. Temos conscincia de que
ambos esses aspectos so vitais para a
aprendizagem eficaz e de que ningum
jovem demais para comear.
3. aceitao como vlidas de toda uma variedade de metodologias: j argumentei que a
boa prtica exige que utilizemos toda uma
srie de estratgias de avaliao, de modo
que todos os aprendizes tenham uma oportunidade de apresentar um bom desempenho, alm de uma variedade de estratgias
pedaggicas (que incluem um leque de
materiais e de contedo, estilos de ensino
e disposies de sala de aula) para distintos grupos de alunos e para matrias diferentes (Murphy, Gipps, 1996). A diversidade entre os alunos, tanto como indivduos
como aprendizes, fundamenta a proposta
de estratgias pedaggicas e de uma variedade de avaliaes. Tudo o que conhecemos sobre as diferenas entre os aprendizes, de qualquer maneira desafia os sistemas tradicionais de educao, que supem
podem aprender da mesma maneira, e que
realmente o fazem (Gardner, 1991).
abrangentes, em lugar de examinar estreitas camadas

do currculo, para moderar a avaliao dos professores
no nvel da sala de aula. A partir de 1996, os testes
dos 11 anos sero utilizados como base das "tabelas
de ligas" das escolas primrias, ainda que no existam tabelas do gnero para pontuaes de crianas
de 7 anos de idade. Muito pouca nfase ou recursos
foram investidos na avaliao de professores (AP), que
permanecem, assim, sem maiores esclarecimentos
com relao aos mtodos. A avaliao dos professores entregue aos pais juntamente com os resultados
de testes nacionais, porm os professores podem propor a elaborao de suas avaliaes, at depois do
recebimento do resultado desses testes, e no h requisitos para a moderao dos padres.
professores; alm disso, os professores tinham que

fazer a sua prpria avaliao (APs), por todo o currculo principal, antes da aplicao das TPAs. Foram observados nveis cada vez maiores de discusses e
companheirismo nas nossas escolas, nas primeiras
etapas da implementao: de professores de outros
grupos etrios, apoiando professores de segunda srie que, aparentemente, pareciam estar tendo que enfrentar uma tarefa gigantesca, e entre professores de
segunda srie durante todo o estudo, para a negociao de significados para os enunciados de realizao
e para a padronizao dos julgamentos. O envolvimento
dos diretores, em apoio ao corpo docente, significou
que havia um sentimento de "estar no mesmo barco",
o que tambm ajudou a desenvolver formas de trabalho
em companhia uns dos outros. O esforo de ajuda
mtua com as TPAs, a moderao delas e das avaliaes dos professores fizeram com que os professores
sassem das salas de aula, levando-os ao contato de
trabalho uns com os outros.
Um tema que primeiro nos chamou a ateno
em 1991 (Gipps et al., 1992) foi o maior
profissionalismo entre professores de segunda srie;
foi uma observao feita em um tero das nossas escolas, envolvendo professores de segunda srie responsveis pelo treinamento em avaliao e pelo desenvolvimento de polticas. Em 1994, cinco dos onze
diretores de escolas primrias que haviam sobrado do
estudo original (tendo continuado pelo segundo estgio da nossa pesquisa, focalizando o Estgio Principal
2) ressaltaram a contribuio dos professores de segunda srie para a avaliao no Estgio 2.
Somente no segundo ano da avaliao nacional, o governo conseguiu demonstrar a elevao dos
padres: o ento secretrio de Estado de Educao,
John Patten, concedeu uma entrevista coletiva de imprensa no final do ano de 1992, divulgando a subida
dos padres, uma vez que a percentagem da populao de alunos de 7 anos de idade que havia alcanado
nveis mais altos havia subido em leitura, ortografia e
matemtica (Resultados das "Crianas de 7 Anos"
demonstram elevao de padres, comunicado imprensa, DfEE, 21 de dezembro de 1992). Patten considerou isso como sendo a evidncia de que o currculo
nacional estava "funcionando". Com base no nosso
estudo, concluiramos que essa elevao nos padres
seria devida ao fato de que os professores estariam
ensinando com mais nfase o que era pedido nas TPAs:
pontuao, ortografia, caligrafia e aritmtica mental. Foi
dada mais ateno parte "bsica", e isso ficou revelado nos melhores nveis de desempenho das crianas. A experincia com a aplicao dos TPAs auxiliou
tambm os professores a compreenderem os critrios
de avaliao, ou os enunciados de realizao, de forma que pudessem ensinar de uma maneira mais dirigida
nos anos posteriores. Evidentemente, considerandose as mudanas no currculo e nas tarefas de avalia-
projeto de pesquisa
O projeto "National Assessement in Primary

Schools: An Evaluation" (NAPS) foi financiado em duas
fases na Universidade de Londres (Instituto de Educao e King's College), pelo Conselho de Pesquisa Econmica e Social (nmeros de referncia dos recursos
R000232192 e R000234438). A primeira fase (199093) referia-se introduo da avaliao nacional no
Estgio Principal 1 (7 anos) (Gipps et al., 1995); a
segunda fase prosseguiu para o Estgio Principal 2
(11 anos), mas com uma atividade reduzida de acompanhamento continuado do Estgio Principal 1
(Brown et al., 1996).
O projeto era dirigido a escolas em quatro rgos Locais de Educao da Inglaterra (Local Education
Authorities LEAs), que, por sua vez, foram selecionados como sendo to representativos nacionalmente
quanto possvel. Foram selecionadas oito escolas aleatoriamente, atravs de amostragem estratificada em
cada LEA, dando um total de 32 escolas. Entre os
mtodos de obteno de dados, incluam-se observao em sala de aula, entrevistas e questionrios.
Outros pesquisadores realizaram estudos do
tipo pesquisa, com tamanhos maiores de amostras; o
objetivo do nosso estudo foi examinar com maior profundidade a prtica dos professores e suas opinies.
oncluses
Estgio Principal 1 (avaliao de alunos de 7 anos)

A avaliao do Estgio Principal 1 comeou
em 1991. Nesse estgio, as TPAs eram tarefas baseadas em desempenho, conduzidas e pontuadas pelos
71
o em cada um dos trs anos, juntamente com a

falta de confiabilidade dos resultados (Shorrocks et al.,
1992), essas modificaes nos padres de desempenho devem ser tratadas com cautela.
O que os nossos professores da Avaliao
Nacional nas Escolas Primrias estavam fazendo, de
uma forma geral, no era dirigir diretamente o ensino
aos itens especficos do teste (embora as crianas
exercitassem aritmtica mental "rpida", para conseguirem resolver as adies durante a prova em cinco
segundos), mas ensinar reas do currculo, de forma
que as suas crianas fizessem avaliaes nesses tpicos. A diferena entre a situao que estamos observando ultimamente e a da maior parte dos outros
pases, em que se observa o ensino dirigido aos testes, que na Inglaterra e no Pas de Gales ns temos
um currculo imposto, bem como testes tambm impostos. Assim sendo, h alguma coisa a mais, alm
dos itens do teste, para receber a ateno dos professores. Alm disso, as tarefas de avaliao foram modificadas todos os anos, e verificou-se uma evoluo do
programa de enunciados de realizao includos nos
testes, de modo que no seja fcil para os professores
estreitarem demais as suas atividades, ao prepararem
os alunos para o teste.
O que foi muito claramente revelado pelo nosso estudo a mudana na prtica de avaliao entre
os professores de crianas (respeitadas as variaes
individuais), passando de uma abordagem intuitiva para
outra, baseada em evidncias e em registros escritos.
Alm disso, fica claro que a grande parte dos nossos
professores ficou mais informada sobre o processo de
avaliao, em vez de serem meros tcnicos, operando
de acordo com um sistema imposto. Por outro lado, o
que foi mais significativo, em nossa opinio, foram as
mudanas na prtica de sala de aula.
Foram relatados por mais da metade dos nossos professores-chefes um cuidado maior no planejamento, a observao mais cuidadosa das crianas, alm
de um entendimento mais detalhado do progresso individual como tendo influncia no ensino. As TPAs atuaram como dispositivo de treinamento, e a moderao
em grupo ajudou a derrubar as barreiras. Tudo isso
surgiu, entretanto, no pelo fato de ter que ser aplicado um teste externo padronizado (como aconteceu com
os professores de 6 srie e com os testes do Estgio
Principal 2, em 1994), mas por causa das exigncias
da Avaliao do Professor e das atividades do tipo desempenho dos TPAs. Foram essas exigncias que,
juntamente com as especificaes do currculo (ainda
que detalhadas demais), tinham levado, segundo a
opinio dos diretores, a um aprimoramento no planejamento, ensino e avaliao das turmas de 2 srie. A
inteno aqui no menosprezar os problemas do programa de avaliao, uma vez que houve muitos (sobrecarga, critrios de avaliao demais, ainda que inadequados, baixos nveis de treinamento, principalmente
para a Avaliao de Professores, falta de confiabilidade

nos resultados, etc.); o propsito ressaltar o aspecto
de que, caso queiramos elevar os reais padres de
ensino e a avaliao formativa (que, por sua vez, apia
tanto o ensino quanto a aprendizagem), precisamos
de mais do que testes externos tradicionais que nos
sejam impostos.
Os testes do Estgio Principal 2 esto em uma

etapa mais anterior de introduo: comearam seriamente em 1995. Na sua maioria, as avaliaes so
testes padronizados e no tarefas de avaliao. Esto
planejadas as tabelas de ligas para este ano, e portanto, pode-se prever um impacto bastante rotineiro dos
professores ensinando com os testes em vista.
Esse impacto pode ser diretamente observado das maneiras a seguir. Em 1995, as escolas que
haviam estado envolvidas desde 1993 na elaborao
de testes piloto do Estgio Principal 2 relataram que,
como resultado, tinham modificado as suas formas de
organizao:
l quatorze haviam mudado do tipo de ensino
de habilidades combinadas, para algum
tipo de cenrio;
l oito haviam abandonado o trabalho com tpicos, atravs de todo o currculo, passando a uma forma de ensino mais baseada
em assuntos;
l quatro haviam passado a oferecer um ensino mais dirigido a toda a classe;
l quatorze diretores de escolas haviam introduzido testes regulares e formais por
todo o Estgio Principal;
l os testes haviam tambm significado um
impacto no ensino; por exemplo, um
enfoque maior sobre a leitura e a escrita, e
a apresentao da Matemtica de forma
que as crianas tivessem maior probabilidade de bom desempenho nas provas;
l alm disso tudo, todos os professores tinham feito alguma coisa para preparar os
seus alunos para os testes, como, por
exemplo, revises de cincias, aplicao
de provas passadas em Matemtica, testes
com horas marcadas em lngua inglesa.
Entretanto, foi tambm constatado que os professores, em muitos casos, haviam modificado o seu
estilo de ensinar. Entrevistamos detalhadamente 29
professores do Estgio Principal 2, discutindo a sua
abordagem ao ensino em 1995. Quinze dos vinte e nove
relataram modos de ensino diferentes, de acordo com
as vrias e distintas circunstncias. Descreveram quando se haviam tornado basicamente "transmissores" de
conhecimento, quando estimulavam as crianas a des-
72
Estgio Principal 2 (avaliao de crianas de 11 anos

de idade)
cobrirem sozinhas, e quando sentiam que estavam

"construindo juntos a aprendizagem". Tudo seria ainda
modificado de acordo com:
- o ensino de diferentes matrias;
- o ensino de crianas diferentes;
- o ensino de distintos grupos etrios;
- o uso de formas diferentes de organizao
de alunos;
- o esprito da escola.
Nenhum dos professores endossou a pura
abordagem de "transmisso" ao ensino; de modo semelhante, poucos a rejeitaram diretamente. Limitaram
esta abordagem a determinados propsitos.
O fato de que a metade dos nossos entrevistados defendeu a abordagem mista ao ensino interessante, quando consideramos os comentrios mais
gerais dos nossos professores, sobre o efeito do currculo nacional em relao prtica de ensino adotada
por eles. Ainda que nenhum dos professores acreditasse que as crianas aprendessem unicamente a partir
da transmisso de fatos, um quarto deles afirmou sentir-se pressionado a optar mais por essa atitude, devido quantidade de trabalho a ser coberta pelo Currculo Nacional, ou, em alguns casos, pelos prprios testes. Afirmaram tambm a impossibilidade de utilizar
as idias das prprias crianas, como pontos de partida para o trabalho, e lastimaram isso. Alguns de seus
comentrios foram:
sua organizao e sobre a sua prtica de ensino, para

poderem alcanar altos resultados.
Atravs dos dois Estgios Principais, podemos notar muito claramente um efeito de direo do
ensino s necessidades dos testes; uma vez que o
currculo amplo, e que so necessrias habilidades
de avaliao do "processo" para a Avaliao de Professores, este efeito no vem sendo, at agora, particularmente negativo ou limitante. Embora muitos professores lamentem a perda de autonomia, o Currculo
Nacional e o programa de Avaliao serviram para aproximar as prticas nas escolas, o que poder ser desejvel, em termos de um sistema nacional.
As diferenas no programa de avaliao entre
os dois estgios principais oferecem uma interessante
comparao, em relao ao impacto. No Estgio Principal 1, a combinao da avaliao de professores
moderada e da avaliao de desempenho tem um efeito amplo sobre a prtica dos professores, incluindo uma
maior nfase no ensino do "bsico". No Estgio Principal 2, a combinao de testes padronizados, tabelas
de ligas e uma reduo de importncia da avaliao do
professor levaram preparao para os testes, atividade de reviso e a uma modalidade mais "didtica"
de ensino.
As concluses com relao s opinies dos
professores sobre a avaliao e s mudanas na prtica na fase primria so importantes no apenas na
Inglaterra, mas tambm para outros pases que estejam contemplando a introduo de um sistema nacional de testes. O recente boicote acontecido na Inglaterra demonstra os problemas da introduo de um sistema sem o apoio dos professores em geral. Parece
que na Inglaterra, o modelo atual de testes externos
abrangentes e de uma avaliao do professor separada agora considerado como amplamente aceito pelos professores. Por outro lado, a maioria dos professores preferiria em vez de dois resultados separados,
algum tipo de combinao da avaliao do professor
com os resultados dos testes nacionais, para que seja
dado um valor nico mais vlido para cada matria.
Dentro das circunstncias inglesas, parece que vale a
pena avanar nessa direo, como sendo a que ter
mais impacto positivo no ensino e na aprendizagem,
mantendo ao mesmo tempo a amplitude do currculo.
Considerando o modelo "o professor transmite informao s crianas, e assim que acontece o aprendizado" acho que foi assim que
praticamente me senti pressionado a agir, devido ao peso do currculo.
(...)
"o professor transmitindo informao para as
crianas" acho que este tornou-se muito mais
enfatizado com o Currculo Nacional, simplesmente por causa do volume de contedo que
temos que ensinar.
(...)
O que eu acho, e o que o governo acha so
duas coisas completamente diferentes. Se eu
penso em como estava ensinando h cinco
anos atrs, e como estou ensinando agora.
Sempre houve participao minha, mas provavelmente cada vez mais hoje, porque h tanta
coisa a ser coberta.
O efeito sobre as habilidades de avaliao dos

professores de Estgio Principal 2 foi menos marcante
at agora, do que o foi para os professores de Estgio
Principal 1. Isso se deve, na nossa opinio, aos requisitos limitados para a Avaliao de Professores e
natureza padronizada dos testes. Entretanto, por causa da alta visibilidade, houve um efeito maior sobre a
BLACK, P. The shifting scenery of the National

Curriculum. In: CHITTY, C., SIMON, B. (Ed.).
Education answers back : critical responses to
government policy. London : Lawrence and Wishart,
1993. 181p.
73
BROADFOOT, P. Assessment, schools and society.

London : Methuen, 1979.
GREEN, A. Postmodernism and state education.

Journal of Education Policy, v. 9, n. 1, p. 67-83, 1994.
BROADFOOT, P. Education, assessment and society

: a sociological analysis. Buckingham : Open
GRIFFITHS, M. Making a diference : feminism,

postmodernism and the methodology of educational
research. Trabalho apresentado durante a Economic
and Social Research Council Conference, Liverpool,
1992.
BROWN, M. et al. The validity of national testing at

age 11 : the teacher's view. Apresentado ao peridico Assessment in Education em 1996.
HARRISON, C., BAILEY, M., DEWAR, A. Responsive

reading assessments : is postmodern assessment
of reading possible? Paradigms in Reading
Assessment. Routledge, 1996. No prelo.
BRUNER, J. The culture of education. Cambridge, MA

: Harvard University Press, 1996.
DALIN, P., RUST, V. D. Towards schooling for the
twenty-first century. London : Cassell, 1996.
KENWAY, J. Marketing education in the post-modern

age. Trabalho apresentado durante a American
Educational Research Association (AERA)
Conference, San Francisco, 1992.
DAUGHERTY, R. National curriculum assessment : a

review of policy 1987-1994. London : Falmer, 1995.
202p.
LATHER, P. Critical frames in education research:

feminist and poststructural perspectives. Theory into
Practice, v. 31, n. 2, p. 2-13, 1992.
ENTWISTLE, N. The impact of teaching in learning

outcomes in higher education. Sheffield : Sheffield
CVCP Staff Development Unit, 1992.
LINCOLN, Y. S. Emergent paradigms and policy

conundra : problems in exercise and use. Trabalho
apresentado durante a Economic and Social
Research Council Conference, Liverpool, 1992.
GARDNER, H. The unschooled mind : how children

think and how schools should teach. London :
Fontana Press, 1991.
MURPHY, P., GIPPS, C. Equity in the classroom :

towards efective pedagogy for girls and boys. London
: Falmer, 1996.
GIPPS, C. Beyond testing : towards a theory of

educational assessment. London : Falmer, 1994.
GIPPS, C., MURPHY, P. A fair test? assessment,
achievement and equity. Milton Keynes : Open
NEAVE, G. Education and social policy : demise of an

ethic or change in values? Oxford Review of
Education, v. 14, n. 3, p. 273-283, 1988.
GIPPS, C. et al. Intuition or Evidence? teachers and

national assessment of seven year olds. Buckingham
: Open University Press, 1995.
GIPPS, C. V. et al. National assessment at seven :
some emerging themes. In: GIPPS, C. V. (Ed.).
Developing assessment for the national curriculum.
London : ULIE/Kogan Page, 1992.
SCHOOLS EXAMINATIONS AND ASSESSMENT

COUNCIL. National curriculum assessment at key
stage 3 : a review of the 1991 pilots, with implications
for 1992. EMU/SEAC, 1991.
GREAT-BRITAIN. Department of Education and

Science. The national curriculum 5-16 : a consultation
document. London : DES, 1988a.
SHORROCKS, D. et al. ENCA 1 Project Report. London

: SEAC, 1992.
________. National curriculum : task group on

assessment and testing: a report. London : DES,
1988b.
WOOD, R. The agenda for educational measurement.

In: NUTTALL, D. L. (Ed.). Assessing educational
achievement. London : Falmer, 1986.
74
NUTTALL, D. The validity of assessments. European

Journal of Psychology of Education, v. 11, n. 2, p.
108-118, 1987.
A BORDAGENS DE
VALOR AGREGADO PARA A
AUTO-AVALIAO ESCOLAR
NO REINO UNIDO
Sally Thomas*
ntroduo
Nos ltimos 25 anos, muitos trabalhos de

pesquisa foram desenvolvidos sobre as influncias da
escola. Os primeiros trabalhos de Coleman, Jencks e
outros (Coleman et al., 1966; Jencks et al., 1972)
concluram que as caractersticas familiares e do
ambiente exercem impacto mais importante sobre o
desempenho dos alunos do que as de cada escola.
Por outro lado, pesquisas subseqentes (Rutter et al.,
1979; Mortimore et al., 1988; Goldstein et al., 1993;
Sammons et al., 1997) demonstraram no s que as
escolas tipicamente recebem contribuies variveis
dos alunos, mas tambm que os resultados da atividade
escolar no so completamente determinados pelas
suas contribuies. Por exemplo, Thomas e Mortimore
em 1996 relataram que de 70% a 75% da variao
escolar do desempenho entre alunos de 16 anos de
idade na General Certification of Secondary Education
(GCSE) podem ser explicados por medidas de
contribuio dos prprios alunos. Entretanto, o que
tambm importante, a variao remanescente entre
as escolas, que permanece inexplicada de 25% a
30% incorpora os impactos de cada uma das escolas
(bem como de outros fatores externos) dos alunos.
A questo de formas apropriadas e vlidas
para a descrio do desempenho das escolas tem
uma importncia crucial. So poucos os que no
concordam com o fato de que h uma grande
variedade de metas importantes na freqncia
escolar, como a intensificao das atitudes positivas
dos alunos em relao aprendizagem e ao
comportamento, o estmulo de valores comunitrios
e aspiraes vocacionais, juntamente promoo
do desempenho acadmico. Por outro lado, o

alcance deste estudo, em sua maior parte,
limitado ao aspecto do desempenho da escola,
medido atravs de resultados de exames e de
testes. Mais recentemente, as tendncias da
poltica governamental na Inglaterra vm dirigindo
a ateno aos resultados brutos de exames
escolares, sem levar em considerao o contexto
da escola ou do corpo discente. Entretanto,
muitos profissionais da educao, bem como
vrios pesquisadores acadmicos vm defendendo
enfaticamente o argumento de que, isoladamente,
os dados relativos aos resultados brutos de
exames escolares como aqueles publicados
pelo Department for Education and Employment
(DfEE) sero sempre uma medida extremamente
inadequada de desempenho, alm de serem
potencialmente enganosos, se no acom-panhados de
conhecimento sobre o contexto da escola em questo
(McPherson, 1992; National Commission on
Education, 1993). Por exemplo, o j falecido Desmond
Nuttall (1990) argumentava que
...a justia natural exige que as
escolas sejam responsabilizadas to
simplesmente por aqueles aspectos que
possam ser influenciados por elas (para o
bem ou para o mal), e no por diferenas
preexistentes entre os seus corpos de
alunos. (p. 25)
Os resultados brutos so a resposta
apropriada indagao sobre "Como foi o
*Sally Mary Thomas, doutora em Psicologia, conferencista e pesquisadora snior do Instituto de Educao, da University of London. Participou da pesquisa
do ESRC: Optimal multilevel models of school effectiveness. membro do International School Effectiveness and Improvement Center e do conselho editorial
do British Educational Research Journal.
75
Na Tabela 1, de um total de 402 instituies

para maiores de 16 anos, seis foram classificadas entre os 25% superiores (Grupo A) das pontuaes brutas de nvel A; entretanto, ao serem considerados fatores contextuais e de desempenho anterior no GCSE,
suas pontuaes de valor agregado caram para os 25%
inferiores (Grupo C). De uma forma geral, praticamente
uma em cada quatro instituies teve as suas classificaes com base nos resultados brutos modificadas,
quando foram considerados os resultados com valor
agregado.
Portanto, para que seja possvel avaliar o desempenho de uma escola em particular, preciso considerar toda uma variedade de informaes, alm dos
resultados brutos dos testes ou dos exames. Uma das
fontes importantes so os dados sobre o valor acrescentado pela escola ao progresso de cada um dos alunos.
A avaliao do "valor agregado" em termos de
educao com o qual uma escola contribui para o desempenho do aluno tem vrios objetivos:
l oferece uma forma mais justa e mais significativa de apresentao dos resultados
dos exames escolares;
l uma ferramenta que gera dados tanto detalhados quanto resumidos, que podem ser
analisados pela escola, como parte da sua
auto-avaliao;
l pode ser utilizada para examinar as tendncias no desempenho de valor agregado
ao longo do tempo, em relao s iniciativas para o aprimoramento escolar;
l gera medidas de desempenho que podem
ser comparadas a outros tipos de informaes disponveis nas escolas, como opinies de grupos-chave, obtidas atravs de
questionrios entregues a professores, pais
e alunos; e
l pode oferecer orientao adicional para o
acompanhamento e para o estabelecimento
de metas para alunos especficos ou para
grupos determinados de alunos (como
meninos ou meninas, ou determinados grupos tnicos).
Assim sendo, o conceito de "valor agregado"
tanto um indicador da eficcia de uma escola quanto
dificuldade com as tabelas de

desempenho
Os responsveis pelas polticas do

governo e os pesquisadores acadmicos (Nuttall
et al., 1989; Dearing, 1993) j enfatizaram os
riscos de utilizar as tabelas de desempenho
baseadas apenas em resultados brutos. Aquelas
escolas que tiverem um grupo de alunos com alto
desempenho tendero a apresentar bons
resultados apenas por esse motivo. Nem aquela
escola que apresente um alto desempenho inicial,
nem a outra, inicialmente com baixo desempenho
receber qualquer apoio oriundo da publicao das
tabelas brutas de desempenho. No caso da
primeira, passar despercebida a necessidade de
aprimoramento; na ltima, poder acontecer uma
desmoralizao intensa do pessoal, sem que haja
qualquer culpa sua. De uma maneira crucial, os
indicadores de eficcia de valor agregado revelam
se algumas escolas esto apresentando um
desempenho significativamente melhor ou pior do
que outras, tendo levado em considerao aqueles
fatores que dizem respeito ao corpo discente.
Este aspecto foi firmemente ilustrado na
publicao pelo jornal The Guardian dos
resultados tanto brutos quanto de valor agregado
de exames de nvel A, em 1992 e 1993 (Thomas
et al., 1992), conforme Tabela 1.
76
desempenho da minha filha, ou do meu filho?",

mas no a quaisquer perguntas sobre o
desempenho da prpria escola. No podem ser
considerados como respostas sobre a eficcia da
aprendizagem ou do ensino em cada sala de aula
ou em cada escola. No podem ser indicadores
sobre se a escola apresenta o tipo de desempenho que deveria.
O objetivo deste estudo possibilitar uma
viso geral e alguns exemplos daquilo que
comumente denominado medidas de valor
agregado da eficcia da escola no Reino Unido.
Em contraste com os resultados brutos dos
testes, as medidas de valor agregado determinam
o ponto de partida para uma maneira de avaliar o
desempenho escolar que leva em considerao
os fatores referentes ao corpo discente, que ficam
fora do controle da escola, mas que exercem
significativo impacto sobre o desempenho dos
alunos. Alm disso, trataremos de demonstrar
como as medidas mais detalhadas de valor
agregado podem tambm ser empregadas para o
exame das variaes internas na eficcia de uma
escola, nos nveis de sala de aula, das vrias
matrias e dos departamentos.
anterior de desempenho de um aluno, em comparao

com alunos semelhantes de outras escolas. Conseqentemente, preciso dispor de informaes bsicas precisas sobre o desempenho anterior dos alunos, para que seja possvel calcular o componente de
valor agregado (Mortimore et al., 1994; Thomas et al.,
1995). O Grfico 1 mostra um exemplo simples de dados
agregados ao nvel da escola, para ilustrao do componente de valor agregado. Cada ponto representa uma
escola. Uma pontuao positiva de valor agregado (por
exemplo, residual) indica que a escola poder estar
apresentando um desempenho acima das expectativas. Uma pontuao negativa de valor agregado revela
que a escola pode estar apresentando um desempenho abaixo da expectativa. Entretanto, preciso que
haja informaes sobre o intervalo de confiana de 95%,
para que seja possvel avaliar se o desempenho de valor de uma determinada escola pode ter ocorrido por
acaso. Em outras palavras, vital o intervalo de confiana, para a determinao de se o desempenho de
uma escola acima ou abaixo das expectativas
estatisticamente significativo (ver Grfico 2).
uma "ferramenta" a ser utilizada por diretores e pelo

seu pessoal, para a anlise da intensidade da efetiva
elevao do desempenho dos alunos. Como argumentaremos a seguir, entretanto, nada disso uma vara de
condo: existem verdadeiras limitaes, que precisam
ser bem compreendidas.
que significa valor agregado
A expresso "valor agregado" uma medida

do progresso mdio dos alunos ao longo de um determinado perodo de tempo (em geral, do ingresso na
escola at os exames pblicos, no caso das escolas
secundrias, e ao longo de determinados anos, no caso
das escolas primrias), e em comparao com outras
escolas dentro da mesma amostragem. Compara os
resultados depois de fazer os ajustes relativos aos
desempenhos variveis do corpo discente, e reflete o
estmulo relativo exercido pela escola sobre o nvel
Grfico 1 Exemplo de valor agregado
40
P on tua o To tal do G C S E
35
Va lor A g regad o P o sitivo
30
25
Va lor A g regad o N egativo
20
15
10
85
90
95
100
105
110
115
Teste de Leitu ra de Lo ndres

Alm disso, necessrio que haja informaes sobre a incerteza estatstica das medidas de desempenho, quando estiverem sendo comparadas escolas diferentes. O exemplo do Grfico 2 mostra que
h uma superposio dos intervalos de confiana de
95% da maior parte das escolas, o que impossibilita
distines mais sutis entre elas. A questo da incerteza estatstica gera uma restrio muito importante na
interpretao dos dados comparativos. Essencialmente, os intervalos de confiana refletem a falta de preciso inerente nos clculos de quaisquer medidas numricas, como o caso do valor agregado, at mesmo
os das pontuaes brutas. Alm disso, ao estabelecermos comparaes entre escolas, o tamanho apropriado do intervalo de confiana muda de acordo com o
nmero de escolas que estiverem sendo comparadas
(Goldstein, Healy, 1995).
77
78
-15
-10
-5
10
15
Pontuao GCSE
Valor
Agregado
Pontuao
GCSEdede
Valor
Agregado
Identidade
da Escola
Identidade
da Escola
Grfico 2 Intervalos de Confiana de 95%
Das necessidades das LEAs

Os requisitos da Lei de Educao de 1980, e
do Decreto de 1991 (das escolas), seo 16, no sentido de as escolas publicarem os seus resultados "brutos" dos exames pblicos, vieram a colocar uma nfase muitas vezes maior sobre a busca por medidas mais
justas e mais precisas do desempenho escolar, o que
levou coleta cada vez mais disseminada e sistemtica de dados sobre os alunos pelas autoridades locais
de educao, incluindo informaes sobre resultados
de avaliaes e exames dos alunos, juntamente com
outras caractersticas, tanto referentes aos alunos quanto s escolas (Hill, 1994, 1997).
ma estrutura nacional de valor agregado
Um aspecto importante que o governo aceitou atualmente a importncia das medidas de valor agregado, e a School Curriculum and Assessment Authority
(SCAA) publicou as recomendaes transitrias para
uma estrutura nacional de valor agregado (SCAA, 1994;
Fitz-Gibbon, 1995). Entretanto, a principal dificuldade
envolvida na introduo de uma estrutura nacional de
valor agregado est na falta de avaliaes padronizadas confiveis para a medio do desempenho dos alunos antes de sua admisso na escola. No existem
avaliaes nacionais dos alunos admitidos escola
primria, e as avaliaes nacionais de currculos para
os Estgios Principais de 1 a 3 podero no estabelecer um nvel suficiente de diferenas entre os alunos,
ou podero no ser suficientemente confiveis para a
finalidade de medio do valor agregado. So necessrias medidas confiveis e sutilmente diferenciadas,
para que seja possvel descrever com preciso o ponto
de partida dos alunos. Por outro lado, caso a inteno
seja implementar qualquer modificao nas avaliaes
nacionais de currculos, precisaro ser mantidos os
benefcios das avaliaes de professores e de tarefas
padronizadas em relao qualidade do ensino e da
aprendizagem, havendo ao mesmo tempo a
complementao atravs de outras avaliaes, que
possam ser empregadas para medir o valor agregado.
Os novos avanos de hoje incluem o requisito de as
Local Education Authorities (LEAs) implementarem um
sistema reconhecido de testes bsicos para crianas
de 5 anos de idade (SCAA, 1996). Algumas LEAs,
como as de Surrey e de Hampshire, j empregaram
avaliaes bsicas para medir a eficcia das escolas
nos perodos pr-escolares (Sammons, Smees, 1997).
Das necessidades das escolas em particular

Alm disso, as escolas individualmente passaram tambm a encarar as questes relativas ao desempenho e eficcia escolares como um aspecto do
seu prprio controle e avaliao internos, alm das inspees externas, como as realizadas pelo rgo local
de educao, em nvel nacional, pelo Office for
Standards in Education (OFSTED) e pelo DfEE (DfEE,
1996). Vrios projetos, como os que foram criados pela
University of Durham e pela National Foundation for
Educational Research vieram auxiliar as escolas, atravs da proposta de medidas de valor agregado (Hill, 1997).
Pesquisadores acadmicos, LEAs e escolas
empregaram uma grande variedade de distintos procedimentos para a medio dos efeitos das escolas, utilizando fatores relativos aos antecedentes dos alunos
(como condio socioeconmica) ou dados sobre o
seu desempenho anterior, ou ambos, bem como diferentes nveis de sofisticao na anlise (como, por
exemplo, o emprego de dados individuais no nvel dos
alunos, ou dados agregados mais brutos, no nvel da
escola) (Gray et al., 1990; Thomas et al., 1993a, b;
Thomas et al., 1994; Hill, 1994, 1997). Entretanto, a
pesquisa mais recente vem demonstrando que o desempenho anterior dos alunos o indicador e o fator
de previso mais confivel e mais importante para o
seu desempenho posterior, explicando at 59% da variao total dos resultados acadmicos dos alunos, e,
conseqentemente, at 76% da variao do desempenho entre escolas (Thomas, Smees, 1997).
Um aspecto importante gira em torno de que
metodologia de valor agregado dever ser empregada
na inexistncia de dados de desempenho anterior (quer
se considere o nvel nacional ou local). Na ausncia de
dados anteriores de desempenho, foram s vezes utilizadas informaes socioeconmicas e outras caractersticas dos alunos (como, por exemplo, fluncia no
idioma ingls, gnero, idade, nvel de educao dos
pais, elegibilidade para refeies escolares gratuitas),
como medidas aproximadas do desempenho anterior.
Um exemplo dessa abordagem descrito no
relatrio do OFSTED (Sammons et al., 1994), que pro-
desenvolvimento de medidas de valor

agregado
O desenvolvimento de medidas de valor agregado como indicadores da eficcia escolar foi gerado a
partir de uma variedade de fontes:
l
Das necessidades da pesquisa acadmica

Muitos estudos sobre a eficcia escolar, em
especial os realizados antes de meados da dcada de
80, foram dificultados pelo nmero limitado de tcnicas estatsticas disponveis (Scheerens, 1992), alm
de no terem acesso aos mtodos de anlise recentemente desenvolvidos, sofisticados e hoje amplamente
preferidos, a modelagem de vrios nveis (Goldstein,
1987; Paterson, Goldstein, 1991; Goldstein, 1995).
79
pe um procedimento intermedirio para a avaliao

do desempenho escolar, na ausncia de dados de desempenho disponveis em nvel nacional, na data de
admisso s escolas secundrias. Entretanto, necessrio ressaltar o fato de que a pesquisa tem demonstrado que sempre que existem dados de desempenho do corpo discente disponveis, a incluso de informaes de carter socioeconmico no clculo das
medidas de valor agregado acrescenta pouco para a
explicao das diferenas reveladas entre as escolas
(Thomas, Mortimore, 1996). Mesmo assim, continua
sendo til, como mtodo para "ajuste" das medidas de
valor agregado, e faz diferena para as estimativas obtidas para algumas poucas escolas especficas. Tudo
isso assume importncia especial no caso daquelas
escolas que atendam a um corpo de alunos que apresente uma tendncia qualquer, em direo a determinados grupos (por exemplo, meninos, ou alunos oriundos de famlias de baixa renda). necessrio tambm
sublinhar o fato de que a presena de dados de desempenho estudantil de boa qualidade relativos a cada
aluno crucial, uma vez que sem eles fica impossvel
a anlise vlida de valor agregado. Dessa forma, dispor
meramente de dados socioeconmicos ou de dados
agregados ao nvel da escola na maior parte das vezes inadequado.
Thomas e Mortimore (1996) compararam cinco modelos alternativos para a determinao da melhor abordagem de valor agregado. O melhor modelo
inclua o controle relativo a toda uma variedade de fatores relativos a cada um dos corpos discentes no clculo das medidas de valor agregado:
desempenhos anteriores dos alunos em testes de habilidades cognitivas verbais, quantitativas e no verbais;
gnero;
idade;
etnicidade;
mobilidade;
elegibilidade para refeies escolares gratuitas.
Entretanto, como j foi observado anteriormente, o nvel de desempenho que um determinado aluno
possui quando admitido a uma escola o componente principal nas anlises vlidas de valor agregado.
cnicas estatsticas e metodologia para

a medio do valor agregado
importante empregar as tcnicas estatsticas e a metodologia apropriadas para a medio do

valor agregado como indicador da efetividade da escola. A seo a seguir descreve vrias abordagens e aspectos relacionados a essa metodologia. Os aspectos
levantados no so exclusivos, ainda que visem estimular mais pesquisas e o desenvolvimento de medidas de valor agregado.
iferentes modelos para separar e

medir os efeitos
ados detalhados ao nvel do aluno e

modelagem de vrios nveis
O processo de calcular o efeito que uma escola possa exercer sobre o progresso de um determinado aluno bastante difcil. Quanto mais informao
for possvel obter sobre cada aluno, cada subgrupo de
alunos e sobre todos os alunos de uma escola, bem
como de todas as escolas pertencentes a uma LEA,
mais confivel e mais informativa dever provavelmente
ser qualquer anlise subseqente. A anlise de regres-
ontinuidade dos efeitos da escola

primria
Outros trabalhos de pesquisa na rea de valor

agregado focalizaram a questo da continuidade dos
efeitos da escola primria no nvel secundrio
(Sammons et al., 1995; Goldstein, Sammons, 1997).
80
so mltipla a tcnica estatstica que permite que

essa anlise ocorra, enquanto que a modelagem de
vrios nveis um desenvolvimento mais recente dessa tcnica.
Um dos principais desafios para os pesquisadores foi o desenvolvimento de modelos que permitam
que a anlise estatstica isole o efeito da experincia
na escola sobre os resultados de cada aluno (o desempenho alcanado pelo aluno), e o ponto at o qual
as caractersticas do corpo de alunos (aquelas coisas
com as quais os alunos chegam escola o nvel de
desempenho que j tenham alcanado, seus antecedentes socioeconmicos) afetam os seus resultados.
A modelagem de vrios nveis hoje amplamente reconhecida como a ferramenta mais precisa e mais flexvel para a avaliao da natureza hierrquica dos dados de desempenho dos alunos, principalmente quando o objetivo for explicar a complexidade da eficcia da
escola (Goldstein, 1987, 1995).
Os primeiros resultados indicam um impacto duradouro da efetividade da escola primria sobre o progresso
dos alunos durante a escola secundria. Em outras
palavras, os alunos de escolas primrias em que o
ensino e a aprendizagem eram eficazes parecem continuar a apresentar um progresso melhor na escola
secundria do que aqueles oriundos de escolas primrias menos eficazes. Conseqentemente, os novos
avanos na metodologia de clculo das medidas de
valor agregado podero ter que considerar explicitamente as escolas anteriores freqentadas pelos alunos.
i) estabilidade dos resultados ao longo de trs

anos (1990-1992);
ii) consistncia entre vrias matrias, e
iii) efeitos diferenciais para os vrios grupos
de alunos, como os que apresentavam altos e baixos
desempenhos.
Foi empregada uma abordagem de valor agregado, controlando para determinados antecedentes dos
alunos medidas de desempenho anterior no momento
da transferncia para a escola secundria: gnero, idade, grupo tnico e baixa renda. Foram pesquisadas
sete medidas distintas de desempenho escolar: pontuao total no GCSE e pontuaes em Ingls, Literatura Inglesa, Matemtica, Cincias, Francs e Histria. A partir desse estudo, chegou-se s seguintes evidncias:
lunos que trocam de escolas
Estabilidade ao longo do tempo

Este ltimo aspecto tambm diretamente
relevante, quando se considera a ocorrncia bastante
freqente de alunos que trocam de escola no decorrer
de uma etapa educacional. Hill e Goldstein recentemente levantaram que esse aspecto envolve implicaes importantes para a preciso das medidas de
efetividade das escolas, que se relacionem com um
perodo no tempo em que muitos alunos tenham sado
da escola, e muitos tenham sido admitidos (Hill,
Goldstein, a ser publicado). So necessrios mais
estudos, para que seja possvel determinar como essa
questo pode ser encarada, em uma estrutura nacional de valor agregado.
A evidncia no perodo dos trs anos (19901992) demonstrou que os efeitos das escolas sobre a
pontuao total no GCSE foram mais estveis (com
as correlaes de ano para ano variando de 0,82 a 0,85
a relao perfeita sendo expressa em termos de 1)
do que no caso das matrias especficas. A, os resultados referentes a Francs revelaram-se os menos estveis, enquanto que os de Histria, os mais estveis
para o perodo dos trs anos. Essas correlaes so
ligeiramente mais baixas do que as do estudo semelhante, realizado por Gray e colaboradores, examinando a pontuao total do GCSE apenas (Gray et al.,
1995; 1996), ainda que isto possa ser explicado pela
influncia especial da mobilidade de professores e de
alunos nas escolas da cidade.
Apesar das evidncias de uma grande estabilidade em algumas reas, as correlaes indicam que
existe ao mesmo tempo um grau substancial de mudana ao longo do tempo no que tange aos resultados
nas vrias matrias, sublinhando a necessidade de
exame dos resultados de mais de um dos anos, bem
como das tendncias expressas nos resultados durante um perodo mnimo de trs anos. importante
enfatizar que a melhoria "real" (ou piora) no desempenho seja resultado, talvez, de mudanas nas prticas
ou polticas de educao somente poder ser
identificada atravs do estudo das mudanas de longo
prazo nos resultados, ao longo do tempo (idem).
stabilidade atravs do tempo e

variaes internas na eficcia da escola
As estatsticas gerais do desempenho dos alunos no podem gerar uma representao precisa da
efetividade de uma escola em elevar e em manter o
desempenho de todos os seus alunos, ou da capacidade que tem de sustentar os seus padres atravs do
tempo. A disponibilidade e a anlise de dados referentes a cada aluno so essenciais para o exame dos
vrios aspectos da eficcia da escola. Algumas escolas, que podem parecer eficazes, em termos da medida geral de valor agregado, podero no mostrar-se
to eficazes em termos de cada um dos departamentos, ou para os distintos grupos de alunos, ou ainda
atravs dos diferentes perodos de tempo.
Como exemplo, utilizaremos os resultados de
um estudo realizado com 94 escolas secundrias da
cidade de Londres (Thomas et al., 1997a, 1997b). Este
projeto focalizou trs aspectos do desempenho no
GCSE das escolas:
Consistncia entre vrias matrias

As evidncias referentes consistncia entre
os resultados dos vrios departamentos e os resultados gerais das escolas (levando em considerao os
trs anos de dados) varia de bastante acentuada, em
alguns casos, a bastante tnue, em outros. No caso
de uma proporo importante das escolas (por exem-
81
plo, praticamente um tero em 1991), foram reveladas

diferenas significativas entre os departamentos, em
termos de eficcia, que no teriam sido ressaltadas
caso tivessem sido usadas apenas as pontuaes totais do GCSE. Essas concluses esto de acordo com
pesquisa anterior, que examinou uma variedade mais
limitada de resultados (Goldstein, 1993), e que sugere
enfaticamente a necessidade de examinar em detalhe
o desempenho da escola no apenas em termos de
desempenho total no GCSE, mas tambm no nvel das
vrias matrias para identificar os departamentos de
maior eficcia. Tymms e colaboradores desenvolveram
um trabalho semelhante no nvel primrio, como parte
do projeto nacional de valor agregado da SCAA (Tymms,
Henderson, 1995). Entretanto, uma limitao ao examinar cada uma das matrias individuais o fato de
que, s vezes, o nmero de alunos que faz um determinado exame muito pequeno (particularmente no
nvel A), e assim a incerteza estatstica da pontuao
de valor agregado pode ser relativamente grande. De
qualquer maneira, o impacto dessa limitao dever
naturalmente ir decrescendo, medida que aumentar
o nmero de registros com o passar do tempo, e
medida que os tamanhos das amostragens forem ficando maiores.
sensvel dos dados, alm de garantir que possam ser

reconhecidos os baixos desempenhos de grupos especficos de alunos.
Foi desenvolvido um estudo semelhante com
escolas primrias (Sammons et al., 1993; Thomas,
1995), e em instituies para alunos maiores de 16
anos (Goldstein, Thomas, 1996; O'Donoghue et al.,
1997), indicando que as variaes internas em termos
de eficcia precisam ser acompanhadas em todas as
etapas da educao obrigatria. De uma forma geral,
essa evidncia sugere fortemente que as escolas precisam monitorar e avaliar o seu desempenho utilizando uma variedade de diferentes medidas de valor agregado para os grupos especficos de alunos, para cada
um dos departamentos, para diferentes turmas de alunos e diferentes pontos no tempo (e, sempre que possvel, tambm para distintos grupos de anos dentro da
escola).
esultados de valor agregado como

instrumento para a auto-avaliao
das escolas
Efeitos diferenciais para os vrios grupos de alunos

O estudo focalizou tambm o aspecto importante se algumas escolas podero ser mais eficazes
para um determinado grupo de alunos. A anlise do
valor agregado revelou que algumas escolas obtiveram
resultados de valor agregado que eram diferentes para
os vrios grupos de alunos. As concluses foram especialmente marcantes para os alunos classificados
atravs de medidas de desempenho anterior e atravs
de grupos tnicos. Alm disso, foram encontrados efeitos diferenciais significativos entre meninas em comparao com meninos, e para os alunos oriundos de
famlias de baixa renda, em comparao com os outros.
Entretanto, os resultados sugeriram tambm
que todos os alunos das escolas e dos departamentos
que eram eficazes para o aluno mdio tinham probabilidade de apresentar um desempenho relativamente bom
no GCSE, ainda que determinados grupos (como os
dos alunos no elegveis para receberem refeies escolares gratuitas) tinham a probabilidade de apresentar desempenho especialmente bom. Em contraste,
todos os alunos das escolas e dos departamentos que
apresentavam um nvel mais baixo de eficincia para o
aluno mdio tinham a probabilidade de apresentar um
desempenho fraco, embora grupos especficos (como
os alunos de origem asitica) apresentassem a probabilidade de um desempenho no to fraco. Mais uma
vez, essas concluses ressaltam a utilidade das tcnicas de valor agregado para permitir uma anlise mais
... os indicadores no do o diagnstico, nem

prescrevem a correo pura e simplesmente
sugerem a necessidade de ao (Nuttall,
1990).
Os dados de valor agregado auxiliam a autoavaliao da escola, levantando aspectos sobre as
mudanas e/ou a consistncia dos resultados ao longo do tempo, sublinhando as diferenas entre os departamentos de uma escola quando comparados a todo
o valor agregado da escola, e permitindo que as escolas se comparem a outras escolas (dentro dos limites
da incerteza estatstica).
O Quadro 1 resume os diferentes aspectos e
as diferentes abordagens a serem considerados na interpretao de resultados de valor agregado.
82
J enfatizamos a necessidade de as escolas

analisarem os dados de uma forma mais sensvel e
mais detalhada, em uma variedade de nveis: dos alunos, dos vrios grupos de alunos, subgrupos, o nvel
das matrias, toda a escola e todas as escolas de
uma LEA. O que tambm importante, que as escolas precisam colaborar com outras escolas, nos nveis
local, regional e nacional, para que possam dispor de
dados comparativos para as anlises de valor agregado. Vrios projetos da LEA esto em desenvolvimento
atualmente, e um relatrio recente da UK's National
Foundation for Educational Research apresenta maiores detalhes (Hill, 1994, 1997).
Entretanto, a coleta e a anlise de dados tanto quantitativos quanto qualitativos ser essencial, se
as escolas quiserem transformar-se em instituies de
"auto-avaliao".
Quadro 1 Abordagens na interpretao de resultados de valor agregado

para estimular a auto-avaliao de escolas e professores
Considerar a importncia dos limites de confiana ao fazer comparaes entre escolas - se houver superposio
dos intervalos de confiana de duas escolas especficas, no haver diferena significativa entre o seu desempenho (ver, por exemplo, o Grfico 1).
Manter em mente as limitaes da metodologia no caso da sua escola. At que ponto so relevantes para os
resultados da sua escola os aspectos de: erro de medio, inexistncia de dados, preciso de dados e a
natureza retrospectiva dos dados?
Rastrear as mudanas nos resultados ao longo do tempo, para examinar os verdadeiros aprimoramentos e/ou
as flutuaes aleatrias no desempenho.
Examinar a eficcia dos departamentos e/ou dos professores, em comparao com as medidas resumidas de
eficcia escolar (por exemplo, desempenho total no GCSE para o aluno mdio) e as suas implicaes para as
polticas relativas a toda a escola.
Examinar a eficcia diferencial para os diferentes grupos de alunos (por exemplo, meninos/meninas, alunos
com alto/baixo desempenho), bem como as implicaes para a igualdade de oportunidades.
Empregar uma maior variedade de medidas de valor agregado, de forma a refletir mais plenamente as metas da
freqncia escolar (por exemplo, utilizando aspectos vocacionais e de atitudes dos alunos bem como resultados acadmicos).
anos (por exemplo, 1993-1996). Foram fornecidas, alm

disso, pontuaes adicionais para cada um dos resultados relativos aos alunos de desempenho superior,
inferior ou mdio, na data de admisso escola. Assim, as escolas puderam utilizar essa informao para
dirigir a sua ateno a determinados alunos, grupos de
alunos ou departamentos. Alm disso, os consultores
da LEA de Lancashire forneceram informaes adicionais s escolas, oferecendo tambm apoio e desenvolvimento no emprego dos resultados de valor agregado para a auto-avaliao escolar (Scanlon, 1996).
As novas evolues do projeto de valor agregado de Lancashire incluem a obteno de informaes sobre comportamento para todos os alunos da
9a srie (14 anos de idade) e da 11a (16 anos) durante
os semestres de primavera de 1996 e 1997. Utilizam
instrumentos inicialmente planejados para o Improving
School Effectiveness Project (ISEP) (MacBeath,
Mortimore, 1994; Thomas et al., 1997). As concluses
de 70 escolas participantes, resumidas na Tabela 3,
sugerem que em alguns casos, os comportamentos
dos alunos (representados por cinco escalas de comportamentos: cultura do aluno, auto-eficcia,
engajamento com a escola, comportamento e apoio
do professor) variam entre as escolas de modo substancial. Essa informao usada confidencialmente
pelas escolas, para avaliao do seu prprio impacto
sobre a experincia do aluno na escola. Em outras
palavras, os comportamentos relatados dos alunos so
empregados como resultados importantes em si mesmos, alm dos resultados dos exames do GCSE.
Tanto o ISEP quanto o projeto de Lancashire
visam aumentar a variedade de resultados e de medidas de valor agregado usados para avaliar a eficcia da
escola, para refletir mais plenamente os objetivos escolares. Alm disso, os diretores de escolas de
m exemplo de uma anlise de valor

agregado para auxiliar na
auto-avaliao da escola secundria
Em 1992, foi iniciado um projeto pela LEA de

Lancashire que visava desenvolver tanto quanto fosse
possvel as medidas mais precisas, mais apropriadas
e mais justas para a efetividade da escola secundria.
Os resultados deveriam ser devolvidos s escolas, de
forma confidencial, para ajudar na auto-avaliao individual. O projeto ainda prossegue, e desde 1993 noventa e oito escolas secundrias de Lancashire tm
estado envolvidas na coleta de dados detalhados sobre todos os alunos. O mtodo de anlise utiliza as
tcnicas de modelagem de vrios nveis, para o clculo de toda uma variedade de diferentes medidas de valor agregado (Thomas, Mortimore, 1996).
usado o desempenho dos alunos na data de
admisso escola para a anlise do GCSE, incluindo
trs medidas diferentes de desempenho anterior (pontuaes NFERCAT nas reas verbais, quantitativas e
no-verbais). tambm includa uma grande variedade
de fatores relativos aos antecedentes dos alunos
como gnero, grupos tnicos e mobilidade que ficam
fora do controle da escola, na anlise de vrios nveis
dos resultados dos alunos. As principais concluses
do estudo incluem a revelao de que em 1993 um
quarto das 79 escolas subiram ou caram em 20 ou
mais casas quando os seus resultados de valor agregado foram comparados com as pontuaes brutas
mdias. Mais da metade oscilou em 10 ou mais casas. Como se v na Tabela 2, o projeto foi estendido a
cada ano, e em 1996, foram dadas 40 medidas de valor agregado diferentes a cada escola, incorporando
cinco resultados diferentes do GCSE (total, melhores
5, Ingls, Matemtica e Cincias), relativos ao ano em
curso (1996) ou aos resultados combinados de trs
83
relacionar as tendncias que ocorram com o passar

do tempo a medidas de valor agregado, no contexto,
nas metas e nas estratgias individuais para aprimoramento de cada escola.
Lancashire preencheram um questionrio referente s

caractersticas e aos processos de sua escola, juntamente com as suas prprias opinies sobre as escolas eficazes de uma maneira geral. A inteno que
esse tipo de informao possa auxiliar as escolas em
Ta bela 2 Projeto d e valor agregad o da LEA de Lan cash ire:

M edida s de resultados dos alunos e m pregadas ao lo ngo de cinco anos
(1993 1997)
P ontuaes de valor
agreg ado
do G C SE 199 3
P ontuaes de valor
agreg ado
do G C S E - 199 4
P ontuaes de valor
agreg ado
do G C S E - 199 5
P ontuaes de valor
agreg ado
do G C S E 1 997/1998
P ontuao to tal (por

faixas d e 1 a 3)

faixas d e 1 a 3)
Ingls
Ingls (por
faixas d e 1 a 3)

faixas d e 1 a 3)
P ontuao to tal
de 3 anos (por
faixas d e 1 a 3)

faixas d e 1 a 3)
P ontuao to tal
de 3 anos (por
faixas d e 1 a 3)
Ingls (por
faixas d e 1 a 3)
Ingls (por
faixas d e 1 a 3)
3 anos de Ing ls (p or
faixas d e 1 a 3)
M ate m tica (por

faixas d e 1 a 3)
M ate m tica (por

faixas d e 1 a 3)
3 anos de M a tem tica
(por faixas de 1 a 3)
C i ncias (po r
faixas d e 1 a 3)
C i ncias (po r
faixas d e 1 a 3)
3 anos de C incias
(por faixas de 1 a 3)
M ate m tica
M ate m tica (por
faixas d e 1 a 3)
C i ncias (po r
faixas d e 1 a 3)
Escalas de
co m po rtam ento
do s alu nos
E ngajam ento
com a escola
A uto-efic cia
C om portam en to
A poio de P rofesso res
Notas:
GCSE (General Certificate of Secondary Education) - exame realizado aos 16 anos.
Faixas de 1 a 3 = As pontuaes de valor agregado so calculadas em separado,
para os alunos classificados em trs grupos (os aproximadamente 25% superiores
- 1; os 50% mdios - 2; os 25% inferiores - 3), em termos de desempenho anterior
(aos 11 anos de idade) nos Testes de Habilidades Cognitivas do NFER.
3 anos = pontuao de valor agregado, calculada utilizando-se trs turmas do
GCSE, incluindo a turma atual do GCSE (por exemplo, 1996), e duas turmas
anteriores (por exemplo, 1994 e 1995).
84
M elho re s 5 (por
faixas d e 1 a 3)
M elho re s 5 durante
3 anos (por
faixas d e 1 a 3)
Tabela 3 Escalas do questionrio referente ao com portam ento

dos alunos de Lancashire
Pontuao Desvio
Padro*
Mdia*
Escala 1: Engajam ento com a escola
Item 1: E u sem p re gosto da escola [0 ,17].
Item 3: S em pre me dou be m com os professores [0,27].
Item 5: O s professores so sem pre justos [0,33].
Item 6: O trabalh o escolar sem pre interessante [0,19].
Item 31: O s professores s o qu ase se mpre sim pticos co m os aluno s [0,20].
2,85
0,08
Escala 2: Cultura dos alunos

Item 2: S em pre me dou be m com os outros d a m esm a s rie que eu [0,34].
Item 20: Nu nca m e sinto d eixado de fora [0,38].
Item 33: Ningum abusa de m im [0,17].
Item 36: Acho fcil fazer am igos [0,28].
3,28
0,07
Escala 3: Auto-eficcia
Item 26: M eu tra balho de aula m uito bom [0,51].
Item 28: Acho que sou m uito inteligente [0,17].
Item 29: Tod os os m eus p rofessores acham bom o m eu trab alho em sa la de aula [0,37 ].
2,93
0,08
Escala 4: Com portam ento

Item 3: S em pre me dou be m com os professores [0,07].
Item 37: Co mo voc descreveria o se u com porta m en to em aula? Bom [0,40].
Item 38: C om o voc acha que os professores descreveria m o seu
com portam ento? B om [0,5 6].
3,25
0,10
Escala 5: Apoio dos professores

Item 8: O s professores sem pre m e ajudam a ente nder o m eu de ver [0,1 9].
Item 11: O s professores sem pre m e dizem qu e e u tenho capacida de [0,25].
Item 14: O s professores se mpre m e dizem com o est o m eu desem penh o [0,31].
Item 16: O s professores se mpre m e elogiam quando eu trabalho bem [0 ,29 ].
Item 31: O s professores s o qu ase se mpre sim pticos co m os aluno s [0,14].
2,87
0,12
Notas:
*Em todas as escolas.
- Os pesos do LISREL aparecem entre colchetes.
- LISREL (Linear Structural Equation Model for Latent Variables) (Joreskog,
K.G., Sorbom, D., 1989).
- Variao da Escala: 1 (=categoria da resposta mais negativa) a 4 (=categoria da resposta mais positiva, que aparece na tabela).
desempenho, nem leva a distines ou a comparaes

definitivas. Portanto, importante que as informaes
sobre a efetividade da escola, do departamento e da
sala de aula sejam constantemente comparadas
poltica e prtica do momento. Por exemplo, algumas escolas secundrias de Lancashire utilizaram
pontuaes com valor agregado separadas para as
matrias, para que os alunos com desempenhos melhores e piores refletissem e avaliassem os seus siste-
assando da medio da eficcia da

escola ao aprimoramento escolar
A tarefa de ligar as medidas de efetividade da

escola ao aprimoramento escolar comea com a premissa de que a anlise o incio, e no o fim do processo. O monitoramento em si mesmo no melhora o
85
mas quanto ao GCSE. Alm disso, as escolas da Irlanda do Norte envolvidas pela DENI originalmente,
Raising School Standards Initiative (RSSI) tm a inteno de empregar as medidas de valor agregado, bem
como outros tipos de evidncia, para avaliar o impacto
de determinadas estratgias de aprimoramento
(Thomas, 1996).
As evolues futuras na pesquisa de valor agregado provavelmente devero basear-se nas concluses
atuais, que investigam as relaes entre as medidas
de desempenho escolar e as condies que parecem
aumentar ou dificultar a eficcia da escola nos diferentes tipos de contextos escolares. Esta abordagem exige
o uso de dados tanto qualitativos quanto quantitativos.
Por exemplo, a pesquisa realizada por Sammons e
colaboradores (Sammons et al., 1997) empregou a
metodologia de valor agregado para avaliar o desempenho da escola, mas combinando-a a informaes geradas por entrevistas e por questionrios, para investigao dos fatores e dos processos relacionados a uma
maior eficcia dos departamentos ou da escola.
Por outro lado, preciso dedicar mais ateno questo crucial de quais iniciativas ou estratgias para o aprimoramento escolar representam alavancas bem-sucedidas para o melhor desempenho escolar ao longo do tempo. Um aspecto especfico relaciona-se variedade de estratgias que podero ter sucesso nos vrios tipos de contextos, como o caso
das reas de alta ou baixa desvantagem
socioeconmica. O Improving School Effectiveness
Project (MacBeath, Mortimore, 1994) est no momento examinando esses aspectos, e as concluses do
projeto devero gerar informaes importantes com
relao implementao e ao impacto de determinadas estratgias para melhorar a escola.
alm de resultados acadmicos. Mesmo assim, o principal indicador de desempenho das escolas continua
a ser o seu sucesso em garantir que o mximo nmero possvel de alunos alcance o seu potencial acadmico pleno.
Portanto, o monitoramento das variaes internas de desempenho em um ano e ao longo dos anos
dever ser estimulado, para facilitar uma anlise dos
padres para os diferentes grupos de alunos e aos nveis dos departamentos, das matrias e das salas de
aula, bem como no nvel geral, para que se possa observar como esses padres podem mudar com o passar do tempo. Os resultados de pesquisas em que as
escolas so agrupadas em categorias de efetividade
rigidamente definidas demonstram que so poucas as
escolas que apresentam um desempenho tanto consistente atravs das vrias matrias quanto com estabilidade atravs do tempo (Thomas et al., 1997). Essas concluses tm importncia tanto prtica quanto
terica. O desempenho da escola que varia muito atravs do tempo, ou entre os departamentos nas escolas
secundrias, tem implicaes para as polticas escolares integrais, e poder representar evidncia importante do impacto das iniciativas de aprimoramento escolar. O desempenho escolar que varia muito para os
distintos grupos de alunos (como meninos e meninas)
tem implicaes para as questes de oportunidades
iguais e direitos dos alunos. De modo semelhante, as
diferenas significativas entre as diferentes matrias
no nvel primrio (Sammons, Smees, 1997) tm implicaes importantes para a efetividade dos professores
atravs de todas as matrias constantes do currculo
nacional.
oncluses
COLEMAN, J. S. et al. Equality of educational

opportunity. Washington : US Government Printing
Office, 1966.
Este estudo focalizou, principalmente, o desempenho das escolas, em termos dos resultados dos
exames e dos testes. Isoladamente, esses resultados
so insuficientes para julgamentos adequados sobre o
desempenho escolar. Outros resultados relativos aos
alunos, como freqncia, capacidade para aprendizagem independente, atitudes em relao escola e
aprendizagem, comportamento e autoconceito so tambm importantes. A pesquisa na rea de efetividade da
escola visa examinar toda uma variedade de resultados educacionais, e o Junior School Project (Mortimore
et al., 1988), o Lancashire Project (Thomas, Mortimore,
1996) e o Improving School Effectiveness Project na
Esccia (MacBeath, Mortimore, 1994) so exemplos
dessa abordagem, que envolve a obteno de dados
referentes a atitudes de alunos, pais e professores,
DEARING, R. The National Curriculum and its

assessment : interim report, July 1993. London :
National Curriculum Council, School Examination
Assessment Council, 1993.
DfEE. Setting targets to raise standards : a survey of
good practice. London : Department for Education
and Employment, 1996.
FITZ-GIBBON, C. T. National Value Added Project :
general report - issues to be considered in the design
of a National Value Added System. London : School
Curriculum and Assessment Authority, 1995.
86
HILL, P., GOLDSTEIN, H. Multilevel modelling of

educational data with cross-classification and
missing identification for units. Journal of
Educational and Behavioural Statistics. (1997, a ser
publicado)
GOLDSTEIN, H. Assessment and accountability.

Education, v. 183, n. 3, p. 33-34, 1995.
GOLDSTEIN, H. Multilevel models in educational and
social research. London : Charles Griffin, New York
: Oxford University Press, 1987.
JENCKS, C. S. et al. Inequality : a reasssessment of

the effect of family and schooling in America. New
York : Basic Books, 1972.
_______. Multilevel statistical models. 2. ed. London :

Auckland, Sydney : Edward Arnold, 1995. (Kendall's
library of statistics, 3)
JORESKOG, K.G., SORBOM, D. LISREL 7 : user's

reference guide. Chicago : SPSS, 1989.
GOLDSTEIN, H. et al. A multilevel analysis of school

examination results. Oxford Review of Education, v.
19, n. 4, p. 425-433, 1993.
MacBEATH, J., MORTIMORE, P. Improving school

effectiveness : a scottish approach. [s.n.t]. Trabalho apresentado na 20 conferncia anual da British
Educational Research Association, Oxford, setembro, 1994.
GOLDSTEIN, H., HEALY, M. The graphical presentation

of a collection of means. Journal of the Royal
Statistical Society, v. 581, n.1, p. 173-177, 1995.
McPHERSON, A. Measuring added value in schools.

In: NATIONAL COMMISSION ON EDUCATION.
Briefing n. 1. London, 1992.
GOLDSTEIN, H., THOMAS, S. Using examination

results as indicators of school and college
performance. Journal of the Royal Statistical
Society, v. 159, n.1, p. 149-163, 1996.
MORTIMORE, P. et al. School matters : the junior years.

Wells : Open Books, 1988.
GOLDSTEIN, H., SAMMONS, P. The influence of

secondary and junior schools on sixteen year
examination performance : a cross-classified
multilevel analysis. School Effectiveness & School
Improvement, v. 8, n. 2, p. 219-230, 1997.
MORTIMORE, P., SAMMONS, P., THOMAS, S. School

effectiveness and valued added measures.
Assessment in Education: Principles, Policy &
Practice, v. 1, n. 3, p. 315-332, 1994.
NATIONAL COMMISSION ON EDUCATION. Learning
to succeed. London : Heinemann, 1993.
GRAY, J. et al. A multilevel analysis of school

improvement : changes in schools' performance over
time. School Effectiveness & School Improvement,
v. 6, n. 2, p. 97-114, 1995.
NUTTALL, D. Differences in examination performance

RS1277/90 : 25. London : Research and Statistics
Branch, ILEA, 1990.
GRAY, J., JESSON, D., SIME, N. Estimating

differences in the examination performance of
secondary schools in six LEAs : a multilevel
approach to school effectiveness. Oxford Review of
Education, v. 16, n. 2, p. 137-158, 1990.
NUTTALL, D. et al. Differential school effectiveness.

International Journal of Educational Research, v. 13,
n. 7, p. 769-776, 1989. Nmero especial :
Developments in School Effectiveness Research,
captulo 6.
GRAY, J., GOLDSTEIN, H., JESSON, D. Changes and

improvements in schools effectiveness : trends over
five years. Research Papers in Education, v. 11, n.
1, p. 35-51, 1996.
O'DONOGHUE, C. et al. 1996 DfEE study of value

added for 16-18 year olds in England. London :
HMSO, 1997.
PATERSON, L., GOLDSTEIN, H. New statistical
methods of analysing social structures : an
introduction to multilevel models. British Educational
Research Journal, v. 17, n. 4, p. 387-393, 1991.
HILL, N. Value added analysis : current practice in local educational authorities. Slough : National
Foundation for Educational Research in England and
Wales, Education Management Information
Exchange, 1994.
RUTTER, M., et al. Fifteen thousand hours : secondary

schools and their effects on children. London : Open
Books, 1979.
_______. Value added and school performance : recent

LEA initiatives. Slough : National Foundation for
Educational Research in England and Wales,
Education Management Information Exchange,
1997.
SAMMONS, P. et al. Assessing school effectiveness :

developing measures to put school performance in
context. London : OFSTED, 1994.
87
SAMMONS, P. et al. Continuity of school effects : a

longitudinal analysis of primary and secondary
school effects on GCSE performance. School
Effectiveness & School Improvement, v. 6, n. 4, p.
285-307, 1996.
GCSE outcomes for different groups of students over

three years. British Educational Research Journal,
v. 23, n. 4, p. 451-469, 1997b.
THOMAS, S., NUTTALL, D., GOLDSTEIN, H. The
Guardian survey (of A-level examination results). The
Guardian, 20 Oct. 1992.
SAMMONS, P., NUTTALL, D., CUTTANCE, P.

Differential school effectiveness : results from a
reanalysis of the Inner London Education Authority's
Junior School Project Data. British Educational
Research Journal, v.19, n.4, 381-405, 1993.
_________. The Guardian survey (of A-level examination

results). The Guardian, 30 Nov. 1993.
________. Report on analysis of 1991 examination
results. London : Association of Metropolitan
Authorities, 1993.
SAMMONS, P., THOMAS, S., MORTIMORE, P. Forging

links : effective schools and effective departments.
London : Paul Chapman, 1997.
THOMAS, S., PAN, H., GOLDSTEIN, H. Report on

analysis of 1992 examination results. London :
Association of Metropolitan Authorities, 1993.
SAMMONS, P., SMEES, R. Surrey LEA baseline

screening. London : Institute of Education, 1997.
SCANLON, N. Lancashire LEA Value Added Project.
Preston : Lancashire LEA, 1996.
THOMAS, S., SAMMONS, P., MORTIMORE, P.

Determining what "adds value" to student
achievement. Educational Leadership International,
v. 52, n. 6, p. 19-22, 1995.
SCHEERENS, J. Effective schooling : research, theory

and practice. London : Cassell, 1992.
THOMAS, S., MORTIMORE, P. Comparison of value

added models for secondary school effectiveness.
Research Papers in Education, v. 11, n. 1, p. 5-33,
1996.
SCHOOL CURRICULUM AND ASSESSMENT

AUTHORITY. Baseline assessment draft proposals.
Londres : SCAA, 1996.
______. Value added performance indicators for
schools. London : SCAA, 1994.
THOMAS, S. Considering primary school effectiveness
: an analysis of 1992 Key Stage 1 results. The
Curriculum Journal, v. 6, n. 3, p. 279-295, 1995.
THOMAS, S., SMEES, R., McCALL, J. Room for

improvement : an analysis of ISEP primary baseline
measures. Trabalho apresentado no simpsio Critical
Issues in School Effectiveness Research, durante o
10th International Congress for School Effectiveness
and Improvement, 1997, Memphis, Tennessee.
_______. Research proposal for DENI RSSI Value

Added Project. London : Institute of Education, 1996.
THOMAS, S. et al. Stability and consistency in
secondary schools' effects on students' GCSE
outcomes over 3 years. School Effectiveness &
School Improvement, v. 8, n. 2, p. 169-197, 1997a.
TYMMS, P., HENDERSON, B. The Value Added

National Project technical report : primary. London :
School Curriculum and Assessment Authority, 1995.
THOMAS, S. et al. Differential secondary school

effectiveness: examining the size, extent and
consistency of school and departmental effects on
88
THOMAS, S., SMEES, R. Dimensions of school

effectiveness. [s.n.t.]. Trabalho apresentado durante o 10th International Congress for School
Effectiveness and Improvement, 1997, Memphis,
Tennessee.
A VALIAO POR
DILOGOS: UMA CONTRIBUIO
POSSVEL PARA O
APRIMORAMENTO ESCOLAR
David Nevo*
Extensas reformas ou inovaes educacionais,
at mesmo aquelas que defendem abordagens de baixo para cima, foram, em geral, iniciadas nos nveis estadual ou nacional, como iniciativa de partidos polticos, rgos nacionais de educao, pesquisadores ou
estudiosos do mundo acadmico. Entretanto, os resultados dessas iniciativas ainda no foram vistos no
nvel da escola. Observando tentativas de inovao educacional no mundo todo, parece claro que, se alguma
coisa significativa de todo acontecer, no ser no Ministrio de Educao, nem na universidade: ser na
escola, e na sala de aula. Pode ser que as reformas
sejam concebidas por aqueles responsveis pela criao da poltica, e planejadas nos Ministrios de Educao, por especialistas e por administradores, mas
elas tm de ser implementadas nas escolas por professores e por diretores de escolas. Mudar a educao mudar a escola, e a avaliao utilizada para o
aprimoramento de um sistema educacional no poder ter eficcia sem que seja transportada, em sua capacidade e potencial plenos, s instalaes da escola. Se a inteno for utilizar a avaliao para melhorar a educao, ela ter de ser trabalhada no nvel da escola.
A avaliao sempre esteve dentro da escola,
em especial dentro de suas salas de aula, mas numa
capacidade extremamente limitada. A avaliao j estava l at mesmo antes que os administradores de
educao comeassem a empreg-la para a tomada
de decises, e para o controle ou a fiscalizao de
suas operaes, no mbito do sistema educacional.
Entretanto, a avaliao na escola era, em geral, limitada avaliao dos alunos, sendo executada atravs
de testes, notas e boletins de desempenho. A noo
de uma avaliao sistemtica da prpria instruo e
dos professores, a avaliao de programas e projetos,
ou da escola como um todo, s chegou s instalaes
da escola muito recentemente, e ainda est longe de
tornar-se prtica comum, inclusive nos sistemas mais
avanados de educao. At mesmo aquelas escolas
que tenham adotado abordagens inovadoras avalia-
o de alunos, como avaliao de desempenho,

portflios ou exposies, no necessariamente estendem a sua percepo de avaliao para alm do mbito da avaliao de alunos.
Por outro lado, no apenas a escola que tem
uma percepo limitada da avaliao. Durante muitos
anos, essa era tambm a percepo geral da avaliao na educao (Nevo, 1983, 1995). A avaliao educacional era em geral equacionada avaliao de alunos, e as palavras "avaliao" e "medio" eram em
grande parte percebidas como sinnimas. At meados da dcada de 60, a maior parte dos livros com
ttulos como Avaliao Educacional, Medio e Avaliao na Educao, etc., discutia principalmente (na
maioria dos casos, somente) a avaliao de alunos,
preocupando-se com a criao, a confiabilidade e a
validade de testes, a pontuao e a comparao de
vantagens e de problemas dos vrios tipos de aspectos desses testes. A mudana surgiu no final da dcada de 60, e principalmente nos Estados Unidos, quando foram sugeridos os conceitos de avaliao curricular
e avaliao programtica, no contexto de materiais recm-desenvolvidos para currculos e de projetos em
grande escala dirigidos a alunos em situaes de desvantagem social (Scriven, 1967; Stake, 1967;
Stufflebeam et al., 1971).
Foram desenvolvidas percepes novas de
avaliao, definindo a prpria avaliao de uma forma
que pudesse ser estabelecida a distino entre o que
"avaliao" e o que "medio", e estendendo o
mbito da avaliao para alm da avaliao de alunos,
com a introduo da avaliao de programas e de currculos, seguida posteriormente pela avaliao de professores (Millman, 1981; Millman, Darling-Hammond,
1990). Foram sugeridas funes novas, que deveriam
ser servidas pela avaliao, como a tomada de decises e o aprimoramento, alm da classificao e do
credenciamento. A prpria metodologia de avaliao
foi desenvolvida, combinando-se mtodos de pesquisa
quantitativos e qualitativos, e suplementando-os com
outros mtodos, como procedimentos judiciais (Wolf,
*Davi Nevo, doutor em Avaliao Educacional, professor da School of Education, na Tel-Aviv University. Autor de extensa bibliografia, foi editor do peridico
Studies in Educational Evaluation, de 1984 a 1994, e tambm colaborador da International Encyclopedia of Educational Technology.
89
1979) e crtica de arte (Eisner, 1979). A avaliao da

educao comeou tambm a estabelecer a sua identidade profissional, atravs do desenvolvimento de programas universitrios para o treinamento de avaliadores profissionais, nos nveis de mestrado e doutorado,
e do estabelecimento de padres acordados para o
controle da qualidade da avaliao (Joint Committee,
1981, 1988, 1994).
Entretanto, tudo isso ocorreu no esprito e
na prtica bem longe do prdio da escola. Os especialistas em avaliao mostravam-se preocupados com
problemas conceituais relacionados avaliao de programas e de projetos, e no com aspectos do interesse de professores e de diretores de escolas, e exerciam as suas profisses atravs de projetos de larga
escala, nos nveis nacional e estadual. Nos Estados
Unidos da Amrica o bero da moderna avaliao e o
pas que dispe da maior indstria de testes do mundo
a avaliao forneceu as bases conceituais e as solues metodolgicas para o movimento de
responsabilizao. Apoiou-se a idia de propor necessidades de avaliao como forma de controlar as escolas, e ajudou-se a criar a iluso de que a instruo
pode ser determinada atravs de testes. Os avaliadores em educao vm-se mostrando mais interessados no trabalho com os administradores e no atendimento das necessidades de informao dos responsveis pelas polticas, do que na ajuda aos professores a aprimorar os mtodos de avaliao que vm sendo usados h dcadas, ou no fornecimento a pais e a
alunos do tipo de informao de que eles precisam,
como "clientes da avaliao".
Felizmente, algumas coisas comearam a ser
modificadas na ltima dcada. Vrios pases esto no
processo de reforma de seus sistemas de educao,
de maneira que visam dar s escolas locais mais poderes, sem necessariamente eliminar padres e requisitos nacionais. Podem ser encontrados exemplos na
Gr-Bretanha, na Nova Zelndia, na Espanha e na Noruega. At mesmo nos Estados Unidos, onde o distrito escolar continua sendo o corao do sistema educacional, ressurgiu o interesse no nvel da escola. Conceitos do tipo gesto baseada na escola e escolas
aceleradas esto atraindo mais ateno. O programa
America 2000, do presidente Bush, e, subseqentemente, do presidente Clinton, atribui grande importncia ao aumento de poder das escolas e das comunidades locais, estabelecendo ao mesmo tempo padres
nacionais que devem ser atingidos por todas as escolas. Parece que chegou a hora de levar para os prdios
das prprias escolas alguns dos recursos conceituais
e metodolgicos que foram acumulados pelos avaliadores de programas ao longo dos ltimos 30 anos, e
de utiliz-los para o benefcio dos alunos, dos professores e dos diretores de escolas.
Usar a avaliao no nvel da escola implica uma
abordagem baseada na escola, aproveitando as concepes atuais de avaliao educacional, e determinando orientaes prticas para essa aplicao. Assim sendo, na parte seguinte deste trabalho, apresentarei um nmero de princpios gerais de avaliao, aplicados na minha abordagem da avaliao escolar. E,
com base no meu trabalho com muitas escolas, no
desenvolvimento das suas capacidades de avaliao,
demonstrarei em seguida como essa abordagem pode
ser implementada de modo realista, no nvel da escola. Este trabalho ser concludo com a sugesto de
que um discurso de mudana poder ser necessrio
na avaliao educacional, para faz-la passar de um
discurso de descrio e de julgamento para um discurso de dilogo.
rincpios de avaliao para a avaliao

escolar
Com base no nosso entendimento atual do

conceito de avaliao educacional, e de sua aplicao
nas vrias escolas no mundo todo, gostaramos de
apresentar aqui os seguintes princpios de avaliao,
na nossa abordagem avaliao baseada na escola.1
Como j mencionamos, existe uma tendncia

a equacionar a avaliao escolar aos testes e a avaliaes de alunos. O que ns sugerimos que qualquer
entidade dentro da escola um objeto potencial de
avaliao, contanto que exista alguma necessidade
justificada de descrever a sua natureza, e/ou de avaliar o seu mrito. Objetos tpicos de avaliao escolar
podero ser programas, projetos, materiais de instruo, professores e pessoal da escola, alunos e a prpria escola como um todo.
2. Os resultados ou impactos no devem ser o nico

fator a ser examinado durante a avaliao de um programa, projeto, ou de qualquer outro objeto de avaliao dentro da escola.
Isso no quer dizer que os resultados e os
impactos no sejam importantes, mas uma descrio
1 Para uma apresentao mais detalhada dessa abordagem e de seus princpios subjacentes, ver Nevo (1995).
90
1. Os alunos e suas realizaes no devem ser os

nicos objetos da avaliao escolar.
inteligente de um objeto educacional e um julgamento

justo de seu mrito no podem ficar limitados ao mbito estreito de medidas de resultados, como, por exemplo, pontuaes em testes. Para representar a
abrangncia completa de um objeto educacional, a
avaliao precisa ser dirigida a, pelo menos, quatro
tipos de informaes, com relao qualidade do objeto. Esses quatro tipos de informaes esto relacionados s metas do objeto, s suas estratgias e aos
seus planos, ao seu processo de implementao e aos
seus resultados e impactos.
to apropriado e por assistncia tcnica. Claramente, a

minha preferncia por uma equipe de professores com
o apoio de assistncia tcnica de um avaliador em tempo integral ou parcial, cuja nica responsabilidade seja
a realizao da avaliao interna da escola.
5. A avaliao baseada na escola deve ser fundamentada em uma combinao de avaliaes internas e
externas, mas a avaliao interna uma precondio
para a avaliao externa que tenha utilidade.
Na minha concepo, a avaliao baseada na
escola no um sinnimo da avaliao interna nem
um antnimo da avaliao externa, mas sim uma combinao de ambas. As vrias funes da avaliao dentro da escola podem e devem ser atendidas por avaliaes tanto internas quanto externas. Entretanto, a existncia da avaliao interna dentro da escola um prrequisito para qualquer tipo de emprego construtivo da
avaliao externa. Obviamente, os avaliadores internos
executam melhor a funo de avaliao formativa, e os
avaliadores externos, a de avaliao somativa. Mas uma
escola que no disponha de um mecanismo interno de
auto-avaliao ter dificuldades para desenvolver atitudes positivas em relao avaliao, e lhe faltar a
autoconfiana necessria para um dilogo construtivo
entre a escola e a avaliao externa. Nesses casos, a
avaliao se transforma em fonte de acusaes e atitudes defensivas, em vez de servir como base para o
dilogo entre os responsveis internos e externos pela
tomada de decises.
3. A avaliao escolar tem de atender tanto funo

formativa da avaliao quanto somativa, proporcionando informaes para o planejamento e para o aprimoramento, mas tambm para a seleo, certificao
e responsabilizao.
O conceito de "avaliao formativa" enfatiza a

importncia da avaliao, como sendo construtiva e
til, ainda que em determinados casos tenha sido usado como desculpa no justificada para fugir das exigncias de responsabilidade, sugerindo que a avaliao formativa uma alternativa para a avaliao
somativa. No h dvidas de que a avaliao deve ser
construtiva para a pedagogia e para a administrao
dentro da escola, mas deve tambm auxiliar a escola
na demonstrao do seu mrito para as autoridades
da rea de educao, para os pais, e para o pblico
em geral. A tendncia de evitar a avaliao somativa
especialmente perturbadora quando ocorre em escolas inovadoras ou experimentais, que utilizam a avaliao formativa para melhorar a sua operao, mas que
parecem esquecer que deveriam ter tambm a avaliao somativa, para demonstrar o seu mrito como alternativa vivel s escolas convencionais.
4. As necessidades internas de avaliao de uma escola podem ser melhor atendidas atravs de uma equipe de professores e de outros educadores, para quem
a avaliao apenas parte da definio de suas ocupaes, apoiada por treinamento adequado e assistncia tcnica externa.
processo de desenvolvimento de um
sistema de avaliao baseado na escola
necessrio que existam vrias condies,

para que seja possvel um contexto organizacional no
qual a avaliao baseada na escola possa florescer e
crescer. Essas condies devero ser desenvolvidas
de forma gradual e de uma maneira coordenada, combinando os recursos disponveis na escola a recursos
adicionais, a serem levantados fora do ambiente escolar. A avaliao escolar no um processo que deixe
de envolver custos, nem uma tarefa que no implique
esforos, mas vivel, e a nossa experincia no trabalho com escolas em vrios pases, no desenvolvimento
e na manuteno da avaliao escolar, indica que pode
ser feito, se houver vontade de que ocorra.
So necessrios trs elementos para se organizar uma avaliao que tenha a escola em mente:
conscincia, treinamento e recursos organizacionais.
O desenvolvimento de uma avaliao baseada na escola tipicamente uma atividade de baixo para cima,
como tantas outras atividades centradas na escola (por
A equipe de avaliao escolar composta por

professores e outros educadores (por exemplo,
orientadores escolares), cujo treinamento profissional
no na rea de avaliao, e para quem a avaliao
representa apenas uma pequena parte da descrio
de suas funes. O ponto forte de tal equipe de avaliao reside na sua formao pedaggica e educacional, sua familiaridade com os contextos social e educacional da escola, e no fato de que no representa
qualquer tipo de ameaa ao corpo docente e administrao da escola. O seu ponto fraco mais importante a sua falta de habilidades e experincia de avaliao, ainda que isso possa ser corrigido por treinamen-
91
exemplo, gesto), e seria interessante se fosse iniciada l mesmo. Na verdade, isso o que ocorre com
algumas escolas, e o mesmo provavelmente poderia
acontecer com outras, principalmente no caso de sistemas descentralizados de educao. Entretanto,
essa, infelizmente, poder ser uma expectativa no
realista em muitos sistemas de educao, principalmente aqueles que tenham longas tradies de centralizao e burocratizao. Nesses casos, a escola
ter de ser estimulada a iniciar o desenvolvimento da
avaliao baseada na escola, e ter de receber os recursos que forem necessrios para mant-la, possivelmente dentro da tendncia mais geral de atribuio de
maiores poderes prpria escola.
O processo de desenvolvimento de um contexto organizacional que possa levar s condies
mencionadas acima, levando ao desenvolvimento de
um sistema de avaliao baseado na escola, consiste
de quatro etapas principais: 1) treinamento bsico, 2)
criao de equipes de avaliao escolar, 3)
institucionalizao da avaliao, e 4) criao de um
dilogo entre a avaliao interna e externa.
necessidades especficas de suas escolas. No devem ser criadas expectativas no sentido de que, durante o workshop, diretores e professores possam
"aprender a como fazer avaliaes", conseguindo voltar para as suas escolas e comear a trabalhar, sem
assistncia posterior. extremamente difcil aprender
a realizar uma avaliao, sem realmente ter a experincia de faz-lo. Portanto, eles devero aprender a
desenvolver a avaliao apenas na fase seguinte, quando
efetivamente realizarem a avaliao nas suas escolas,
com a assistncia de seus instrutores externos de avaliao.
As escolas que resolverem prosseguir com o

desenvolvimento da sua avaliao devero criar equipes internas de avaliao, que consistam de trs ou
quatro professores, ao menos alguns dos quais tenham
participado dos workshops de treinamento bsico. A
deciso de criar uma equipe de avaliao interna em
geral tomada mais para o final da primeira fase.
A equipe consistir de professores e de outros educadores (por exemplo, orientadores escolares),
que sejam liberados em parte de suas atividades, para
o trabalho na avaliao. A regra geral que os membros da equipe devero ser liberados em torno de quatro a seis horas por semana, e o coordenador da equipe, em torno de seis a oito horas por semana. Os professores devem trabalhar na equipe durante um perodo de dois a trs anos, sendo determinado um sistema de rodzio ao longo dos anos, de modo que um ou
dois membros sejam substitudos a cada ano. Com o
passar do tempo, todos os professores devero ter a
oportunidade de participar da equipe de avaliao da
escola.
Criada a equipe de avaliao, preciso escolher o primeiro objeto da avaliao, que poder ser um
projeto da escola, um programa de instruo, ou alguma rea de atividade dentro da escola, como desenvolvimento de pessoal, ou envolvimento de pais. Este ser
o objeto sobre o qual a escola dever praticar a sua
capacidade de avaliao interna, e a equipe de avaliao aprender efetivamente como executar essa atividade. Um instrutor externo de avaliao trabalhar em
cooperao estreita com a equipe da escola, nos seus
problemas especficos de organizar a avaliao, determinar ou desenvolver os instrumentos adequados para
esse fim, obter dados e analis-los, e elaborar relatrios sobre as concluses da avaliao.
Fase I: Treinamento bsico

O processo de desenvolvimento de uma avaliao baseada na escola inicia-se com um workshop
regional como parte do prprio servio, oferecido a professores e diretores de escolas interessadas. O
workshop deve oferecer de 50 a 80 horas de treinamento bsico, nas reas de avaliao de programas,
criao de testes, procedimentos para obteno de
dados, e anlise desses dados. Pode ser realizado
em bases semanais ou bissemanais, ou sob a forma
de um seminrio de uma semana, durante o perodo
de frias, com a suplementao de vrias reunies
mensais.
A idia do workshop envolve dois objetivos principais. O primeiro ajudar as escolas a conhecerem
melhor a natureza da avaliao baseada na escola, de
forma que possam tomar uma deciso informada com
respeito ao desenvolvimento do processo de avaliao
nas suas escolas. Para este fim, importante que diretores, ou ao menos os seus assistentes, participem
do workshop. Alm disso, importante que, durante o
workshop, os participantes faam apresentaes formais ou informais nas suas escolas, compartilhando
questes que tenham sido discutidas durante o
workshop, para expandir os crculos daqueles que conhecem a idia da avaliao baseada na escola, como,
por exemplo, aqueles que devero participar no processo de tomada de decises sobre a introduo da
avaliao nas suas escolas.
O segundo objetivo do workshop o ensino da
"linguagem" da avaliao, de modo que aqueles que
iro desempenhar um papel ativo na avaliao possam
compreender as suas vantagens potenciais, para as
Fase III: Institucionalizao da avaliao

Depois que a escola tiver passado por vrias
avaliaes de vrios objetos escolares, realizadas pela
sua equipe interna de avaliao, e aps ter sido considerada a utilidade dessas avaliaes, bem como a sua
92
Fase II: Criao de uma equipe de avaliao da escola
importncia para as atividades administrativas e pedaggicas da escola, chega o momento de

institucionalizar a avaliao escolar. A equipe interna
de avaliao j ter se tornado um componente permanente da estrutura da escola, recebendo recursos de
forma contnua, depois da fase experimental. preciso tomar providncias para oferecer equipe assistncia tcnica, que normalmente ser muito menos intensiva do que a assistncia dada na fase anterior, e
fornecida de acordo com as solicitaes da prpria
equipe. A equipe prosseguir com o processo de avaliao de um ou dois projetos ou atividades escolares
todos os anos, de acordo com as necessidades da
escola. Os resultados de todas as avaliaes sero
acumulados e organizados em uma base de dados da
escola, juntamente com outras informaes fornecidas
escola, como pontuao em testes, resultados de
pesquisas, ou resultados de avaliaes externas que
sejam relevantes para a escola. A base de dados da
escola dever ser organizada de maneira que possa
ser de utilidade para professores e administradores
escolares durante o seu trabalho quotidiano, servindo
ao mesmo tempo de base para o desenvolvimento de
um portflio escolar, que inclua dados sobre a qualidade geral da prpria escola. este portflio que ir auxiliar a escola a demonstrar a sua qualidade quando for
necessrio, servindo como base de dilogo com a avaliao externa.
O discurso tradicional da avaliao coercivo

por natureza, devido ao poder atribudo ao avaliador,
como portador do conhecimento, ou da informao, e
como juiz da qualidade. Esse tipo de discurso cria uma
relao entre o avaliador e o avaliado, ou cliente da
avaliao, que poderia ser semelhante ao que Freire
(1970) costuma chamar de relao "bancria". De acordo com aquele grande educador brasileiro, a relao
bancria uma atividade assimtrica de duas partes,
que inclui um "depositante" e um "depositrio". Aplicado educao, o aluno o depositrio, e o professor o
depositante. O depositante possui todo o conhecimento
e a sabedoria; o depositrio vazio e ignorante. funo do professor (depositante) depositar o seu conhecimento e a sua sabedoria na mente do aluno (depositrio). A funo do aluno absorver e digerir todos os
depsitos. Essa abordagem, de acordo com Freire,
a fonte da opresso na educao. Para interromper
essa opresso, a educao tem de ser baseada em
um dilogo , e no em um processo de atividade
bancria.
Um processo semelhante ao processo bancrio de Freire pode ser observado na avaliao. Quando
o avaliador fornece informaes ao responsvel pela
tomada de decises ou ao cliente sobre os objetos
que avaliou, ele o fornecedor, o depositante e o cliente, o depositrio. O avaliador tem uma variedade de
"boas respostas" para as perguntas que ele espera
que sejam relevantes para os seus clientes, e que,
portanto, sero teis para eles. A relao entre o avaliador e a sua platia at mesmo mais assimtrica
quando o avaliador no apenas informa ao cliente o
que est ocorrendo, mas tambm qual a situao,
ou o que ser melhor de uma forma geral, ou para ele,
especificamente.
Assim como os alunos, que no aprendem
grande coisa atravs de um processo freiriano de "atividade bancria", em que os professores simplesmente tentam depositar conhecimento nas suas cabeas,
os educadores no iro aprender muito dos avaliadores cujo objetivo seja depositar em suas mentes descries prontas da realidade e julgamentos quanto ao
seu valor. E, assim como os alunos, que no ficam
motivados para usar o que aprendem atravs dessa
forma de ensinamento, os educadores no se motivam
a usar a avaliao que seja apresentada a eles atravs
de um discurso coercivo de uma s via, da descrio
e/ou do julgamento. Destarte, o dilogo na avaliao
necessrio por dois motivos. Em primeiro lugar, para
possibilitar um processo melhor de aprendizagem para
entender a realidade, e, em segundo lugar, para aumentar a motivao para usar o que foi aprendido. O
Fase IV: Estabelecimento do dilogo com a avaliao

externa
udando o discurso da avaliao
Durante a ltima fase de desenvolvimento, que

poder ser implementada em paralelo com a terceira
fase, a escola dever estar pronta para a avaliao
externa, a ser realizada por um rgo nacional ou regional de educao. A avaliao externa dever ser obrigatria em todas as escolas, quer tenham ou no decidido criar uma equipe de avaliao interna. Por outro
lado, as escolas que decidirem desenvolver equipes
internas de avaliao devero receber um prazo de um
ou dois anos, para o incio da avaliao externa, de
forma a permitir que a capacidade de avaliao interna
da escola se torne operacional.
Entretanto, as escolas no devem simplesmente aprender a como encarar as avaliaes externas obrigatrias: devem tambm encomendar avaliaes externas, realizadas por avaliadores profissionais,
grupos de pais, ou equipes de professores de outras
escolas. As avaliaes externas iniciadas pela prpria
escola podero focalizar a avaliao de objetos de interesse especial para a escola, ou a prpria escola
como um todo. Isso estenderia o mbito do dilogo
entre a avaliao interna e externa, que , na verdade,
o cerne da nossa abordagem da avaliao baseada na
escola.
93
94
lugar de um discurso descritivo ou cheio de julgamentos. Alguns princpios especficos devem ser seguidos,
para criar bases slidas para o dilogo. Isso modificaria a perspectiva da avaliao, e deveria ser expresso
em vrias das atividades de avaliao escolar, como,
por exemplo, a avaliao de alunos, avaliao de professores, de programas e a avaliao da escola em
sua totalidade.
Em primeiro lugar, a relao entre o avaliador
e as suas platias tem de ser uma relao de duas
mos. Deve ser uma relao em que haja um fluxo de
informaes em duas direes, e um processo duplo
de aprendizagem mtua. As duas partes envolvidas no
dilogo no necessariamente sero iguais, mas existe
simetria na suposio de que ambas tm alguma coisa a aprender da outra, e alguma coisa a ensinar uma
outra. um processo em que, no comeo, ningum
sabe tudo, mas em que as duas partes sabem alguma
coisa, e em que, medida que se engajam no dilogo,
vm a saber mais e mais.
Com respeito avaliao de alunos, a suposio seria a de que no apenas o professor que conhece o valor de um aluno: o prprio aluno tem tambm algo a dizer sobre a qualidade do seu trabalho, e,
para que seja determinada qual realmente a sua condio, essas duas fontes de informao devem ser
combinadas. Para avaliar o aluno, professor e aluno
tm de "comparar anotaes" e intercambiar informaes e interpretaes mtuas da informao disponvel. Um exemplo desse processo de duas mos pode
ser visto em alguns dos novos mtodos alternativos de
avaliao, como o mtodo do portflio e da exposio,
em que a contribuio do aluno, assim como as suas
reflexes, so componentes importantes da sua avaliao. Ainda, o processo de duas vias pode ser observado tambm quando, em paralelo avaliao do aluno, a escola trata tambm de obter classificaes do
mesmo aluno para a avaliao de professores. Isso
reflete a suposio de que o aluno tem algo a descobrir sobre a sua aprendizagem a partir do seu professor, e que o professor pode ficar sabendo alguma coisa sobre a sua atividade de ensino a partir dos seus
alunos.
Ao combinarmos as avaliaes externa e interna para avaliar a escola como um todo, com o objetivo de responsabilizao ou de aprimoramento escolar, supomos que no exista uma nica forma objetiva
de avaliar a qualidade da escola. A chamada verdade
sobre a qualidade da escola no prerrogativa de um
avaliador externo, nem da prpria escola, que atesta
pela sua qualidade. Mesmo que exista uma verdade
nica sobre a escola, estar em algum nvel intermedirio, e portanto somente poder ser revelada atravs
de um dilogo entre as duas partes, as duas recolhendo dados e interpretando-os.
Em segundo lugar, indispensvel que haja
respeito e confiana mtuos entre as partes. As duas
dilogo pode tornar a avaliao mais criteriosa,

incrementando a sua utilizao.
A educao um empreendimento extremamente complexo, e a avaliao uma profisso extremamente jovem. Para entenderem as complexidades
da educao com os meios limitados de avaliao, os
avaliadores em educao precisam ser mais modestos nas promessas que fazem, com respeito sua
habilidade de explicar melhor os "verdadeiros problemas" da educao, e da sua capacidade de determinar a qualidade da sua prtica. Alm disso, precisam
ser mais flexveis na sua prontido para colaborar com
aqueles que estiverem sendo submetidos avaliao
e com outros avaliadores, em um esforo conjunto para
compreender os aspectos importantes da prtica educacional e tentar melhor-la. A avaliao deve ser a
base para dilogo, e no a origem de descries
assertivas unilaterais e de julgamentos autoritrios, e
os avaliadores devem desejar tornar-se participantes
construtivos nos dilogos educacionais, em vez de
geradores de informao inquestionvel ou rbitros
autoritrios.
O dilogo no processo de avaliao tambm
necessrio para incrementar as possibilidades de que
venha a ser usada algum dia. A pesquisa no emprego
da avaliao j demonstrou que ela tem maior probabilidade de ser usada por seus clientes nas ocasies
em que eles sejam envolvidos na sua prpria iniciao,
e quando so mantidos informados sobre o seu progresso, atravs da interao com os avaliadores durante todo o transcurso do processo de avaliao. Um
dilogo contnuo entre os avaliadores e as suas platias poder ser extremamente construtivo no desenvolvimento de atitudes positivas em relao avaliao,
originando maior receptividade para as suas concluses.
Os indivduos submetidos ao processo de avaliao sentir-se-o menos ameaados pelas concluses da avaliao externa, e por isso mesmo adotaro
atitudes menos defensivas em relao a elas, se dispuserem das suas prprias concluses, que possam
respaldar, complementar, contradizer ou colocar em
disputa as concluses externas. Quando algum que
vai ser avaliado no dispuser de nada que seu quando lhe forem apresentadas concluses negativas de
uma avaliao externa, tudo o que poder fazer ser
defender-se, tratando de desacreditar as concluses
de avaliao, ou oferecendo desculpas para o seu prprio fracasso. As duas reaes descrdito da avaliao ou defesa do fracasso no so comportamentos
muito construtivos, que possam levar ao aprimoramento. Um dilogo, que incorpore perspectivas distintas,
baseado em vrios conjuntos de concluses, poder
ser uma maneira mais til de entender os problemas
educacionais, e de utilizar a avaliao para lidar com
eles. Para fazer da avaliao um instrumento mais
criterioso e mais til para a escola, preciso progredirmos para um discurso mais dialogal de avaliao, em
rao com outras concluses, obteno de informaes adicionais, produo de mais concluses,
enfrentamento de complexidades agregadas, e assim
por diante... Se for assim que a avaliao percebida,
ento o dilogo ser uma parte integrante do seu processo, quando so confrontadas vrias perspectivas e
vrias concluses, na tentativa sempre presente de
expandir o entendimento. Talvez seja este o verdadeiro
processo. Mas, se a inteno o trabalho com problemas simples, que possam ser tratados atravs de avaliaes simples e isoladas, por que nos importaramos
com o dilogo? Por que nos importaramos com qualquer coisa?
Em quinto lugar, a avaliao deve ser justa, e
tem de ser justa para as duas partes envolvidas no
dilogo. A avaliao precisa ser justa de uma variedade de maneiras. Em primeiro lugar, tem de ser
conduzida de acordo com preceitos legais, ticos, e
com a devida ateno ao bem-estar daqueles que estiverem associados avaliao, ou que possam ser afetados pelas suas conseqncias. No se pode esperar que os professores que sentirem que esto sendo
avaliados pelos diretores ou pelos pais de uma forma
injusta participem em um dilogo sincero com respeito
a essa avaliao.
Para que a avaliao possa ser justa, os dois
lados precisam determinar com clareza o propsito da
avaliao e seus benefcios esperados, qual dever ser
o seu preo, e quem arcar com os custos, e no apenas aqui os custos financeiros. No seria realista esperar que uma escola entre em um dilogo com uma
avaliao externa, ainda que voluntariamente escolhida pela prpria escola, se a uma determinada altura
chegar concluso de que est sendo explorada, por
motivos que no atendem s necessidades diretas. Isso
pode ocorrer quando a escola acreditar que uma certa
avaliao serve principalmente aos interesses da pesquisa do avaliador, e s necessidades de informaes
do sistema de educao, em vez de ser til escola.
Em sexto lugar, preciso que a avaliao seja
relevante s questes que estiverem em jogo. Um dilogo, qualquer dilogo, uma tarefa que exige muito,
que necessita de abertura, autoconfiana e muita energia da parte dos participantes. A tendncia das pessoas evitar o dilogo, se ele no estiver relacionado s
questes que forem efetivamente importantes para elas.
Se a avaliao tratar principalmente de aspectos triviais, ou se estiver preocupada com sofisticao
metodolgica, e no com aspectos de substncia, o
pessoal da escola perder o interesse na prpria avaliao, e evitar participar de qualquer dilogo. A tendncia de alguns avaliadores, de confundir os seus clientes com sofisticao metodolgica, quando no conseguem encant-los com as suas concluses, uma
tentativa ingnua de tratar de dar avaliao uma boa
aparncia, quando realmente no a tem. Esses esforos conseguiro apenas aumentar a alienao do pes-
tm de acreditar que haja um interesse genuno de cada

uma delas em compreender o que est em jogo, e que
pode representar contribuio significativa para tal entendimento. Um sistema educacional que adota uma
concepo burocrtica de ensino, definindo as funes
de seus professores como implementadores de um
currculo prescrito por administradores e especialistas,
no confia que os professores possam entender o ensino, nem confia que eles possam ser qualificados para
avaliar a sua qualidade. Tal sistema provavelmente buscar um programa de responsabilizao baseado em
avaliao externa, ou empregar supervisores nacionais, cujo trabalho seja avaliar e supervisionar as atividades dos professores. Um sistema de educao com
uma concepo mais profissional do ensino esperar
que os seus professores planejem, desenhem e avaliem o seu trabalho, tratando de alcanar metas
identificadas e de atender a padres definidos de excelncia. Um sistema assim perceber os professores
como profissionais, que esto interessados em compreender os problemas da sua profisso, em manter
os seus padres e em garantir a sua qualidade. Esses
professores so percebidos como parceiros confiveis
para a avaliao de professores, e como profissionais
respeitveis, cuja avaliao ser melhor servida pelos
portflios dos professores do que pelas pontuaes
padronizadas dos testes de seus alunos. Em um sistema de educao como esse, a avaliao de professores poder basear-se num dilogo entre professores
de avaliao externa e de auto-avaliao interna.
Em terceiro lugar, preciso que os avaliadores sejam modestos, reconhecendo as suas limitaes
dentro do domnio do que h de mais avanado, em
termos de avaliao educacional. Alguns avaliadores
tendem a fazer promessas sem garantias, a partir das
descries objetivas e avaliaes imparciais de seus
clientes, que esperam obter atravs de seus poderosos instrumentos e metodologia de avaliao. Essas
promessas extrapolam em muito as capacidades dos
atuais mtodos de avaliao, e so, em geral, expresso de "orgulho profissional" exagerado, ficando no limiar da arrogncia e das afirmativas enganosas. s
vezes, essa arrogncia racionalizada por uma ideologia de isolamento, que leva o avaliador a preservar a
sua objetividade afastando-se tanto quanto possvel de
seus clientes e dos indivduos a serem avaliados, para
evitar parcialidades e envolvimento.
Em quarto lugar, a avaliao tem de ser percebida como um processo, e no como uma atividade
isolada. A menos que a inteno seja trabalhar com
aspectos triviais, a avaliao um processo complexo
de tratar de compreender questes tambm complexas. s vezes, usam-se figuras para explicar coisas.
Outras vezes, criam-se descries e representaes
extensas, para chegar ao quadro real. um processo
que envolve a apresentao de concluses, a sua anlise, a sua discusso com grupos pertinentes, compa-
95
entre aqueles que descobrem o que est errado e aqueles que tm de corrigir; entre aqueles que tm a autoridade do conhecimento e aqueles que tm a autoridade da ao. Talvez o que seja necessrio agora seja
reduzir essa distino, para criar uma base de dilogo
entre as duas partes. Qui a regra deva ser a de que
ningum deve ter a autoridade para avaliar, se no estiver pronto para compartilhar a responsabilidade pelas
conseqncias da avaliao. E no se deve esperar
que ningum use a avaliao, se no estiver fazendo a
avaliao. Os avaliadores precisam estar prontos para
aprender com os seus clientes e com as suas platias, e no apenas para ensin-los. E os clientes devero no apenas ser recipientes da informao, mas
tambm coletores e fornecedores dessa informao.
Provavelmente, a escola jamais ser um bom
cliente da avaliao, a menos que comece a fazer a
avaliao, tornando-se um parceiro igual no dilogo para
o aprimoramento escolar. preciso que as escolas
tenham a avaliao em mente, se a inteno for fazer
com que a avaliao tenha qualquer papel significativo
para melhorar a educao. Mas as escolas so formadas por alunos, professores e por administradores, e
somente eles podero fazer dela uma escola que tenha a avaliao em mente. Alunos, professores e administradores escolares devem transformar-se em participantes ativos dos dilogos de avaliao, em vez de
continuarem sendo recipientes passivos das descries
e dos julgamentos oriundos das avaliaes. preciso
que eles parem de reclamar da m qualidade da avaliao, e que comecem a realiz-la de uma maneira
melhor.
soal da escola em face da avaliao, alm de prejudicar a sua reputao.

Em stimo lugar, as duas partes devero ser
responsveis pelas conseqncias da avaliao. Se a
inteno for desenvolver um dilogo entre as avaliaes
externa e interna, indispensvel que exista um sentimento de responsabilidade conjunta pelas conseqncias. Se a avaliao externa de uma escola for
conduzida por uma organizao nacional ou regional,
e se quisermos instalar um dilogo entre a escola e
aquela organizao sobre a qualidade da escola, a
escola no poder ser abandonada, para encarar os
resultados da avaliao. A organizao de avaliao
dever comprometer-se com uma parceria plena, no
desenvolvimento de solues para os problemas que
vierem a ser revelados atravs da avaliao. A motivao para a escola, de engajar-se em dilogo srio para
o aprimoramento escolar, ser muito pouca, se a sobrecarga de melhorar ficar apenas sobre os seus prprios ombros. Abandonar assim a escola, para solucionar os problemas encontrados, no apenas limita as
possibilidades de encontrar as solues apropriadas,
mas implica tambm o fato de que a escola ser culpada por aqueles problemas. E acusaes, em vez de
estimular a soluo de problemas e as aes construtivas, levam a atitudes defensivas e a contra-acusaes. Infelizmente, exigncias exageradas pela
responsabilizao e a utilizao da opo dos pais
como forma de remediar problemas da escola so, na
verdade, exemplos dessa tendncia dos sistemas de
educao, de no compartilhar com as suas escolas a
responsabilidade de enfrentar as conseqncias da
avaliao escolar.
oncluso
A avaliao pode ter um papel importante no

aprimoramento da educao, e pode ser realizada dentro do contexto da escola, mas, para torn-la possvel,
necessrio mudar a sua natureza, e no pura e simplesmente de uma maneira tcnica. At agora, a relao entre um avaliador e um cliente foi concebida como
uma relao essencialmente assimtrica. Essa
assimetria vai contra os princpios de um dilogo construtivo, e a distino que pressupe, entre o avaliador e
o cliente, ter de ser reconsiderada. A distino foi
proposta por avaliadores proeminentes, com a boa inteno de desenvolver abordagens da avaliao orientadas ao cliente, enfatizando a importncia de atender
s necessidades de informao de clientes identificados, e no aos interesses de pesquisa de avaliadores
individuais.
Entretanto, essa distino entre avaliadores e
clientes enfatizava tambm a distino entre aqueles
que sabem e aqueles que devem receber o conhecimento; entre aqueles que tratam de obter informao
sistemtica e aqueles que pensam de forma intuitiva;
EISNER, E. W. The educational imagination. New York

: MacMillan, 1979.
FREIRE, P. Pedagogy of the oppressed. New York :
Continuum, 1970.
GUBA, E. G., LINCOLN, Y. S. Effective evaluation. San
Francisco, CA : Jossey-Bass, 1981.
________. Fourth generation evaluation. Newbury Park,
CA: Sage, 1989.
JOINT COMMITTEE ON STANDARDS FOR
EDUCATIONAL EVALUATION. The personnel
evaluation standards. Newbury Park, CA : Sage,
1988.
JOINT COMMITTEE ON STANDARDS FOR
EDUCATIONAL EVALUATION. The program
evaluation standards. 2. ed. Thousand Oaks, CA:
Sage, 1994.
96
________. Standards for evaluations of educational

programs, projects and materials. New York :
McGraw-Hill, 1981.
Review of Educational Research, Washington, DC,

v. 53, n. 1, p. 117-128, 1983.
SCRIVEN, M. The methodology of evaluation. Chicago: Rand McNally, 1967. (AERA Monograph Series
on Curriculum Evaluation, n. 1)
MILLMAN, J. (Ed.). Handbook of teacher evaluation.

Beverly Hills, CA : Sage, 1981.
STAKE, R. E. The countenance of educational

evaluation. Teachers College Record, New York, v.
68, p. 523-540, 1967.
MILLMAN, J., DARLING-HAMMOND, L. (Ed.). The new

handbook of teacher evaluation : assessing
elementary and secondary school teachers.
Newbury Park, CA : Sage, 1990.
STUFFLEBEAM, D. L. et al. Educational evaluation

and decision making. Itasca, IL : Peacock, 1971.
NEVO, D. School-based evaluation : a dialogue for

school improvement. Oxford : Pergamon, 1995.
WOLF, R. L. The use of judicial evaluation methods in

the formation of educational policy. Education
Evaluation and Policy Analysis, Washington, DC, v.
1, p. 19-28, 1979.
________. The conceptualization of educational

evaluation: an analytical review of the literature.
97
98
A VALIAO DO
SISTEMA EDUCATIVO: AS
ESTRUTURAS INSTITUCIONAIS
NA FRANA
Jacqueline Heritier*
Na Frana, a avaliao do sistema educativo ,

doravante, uma obrigao fixada pela Lei de Orientao da Educao, de 10 de julho de 1989. A nova importncia concedida avaliao foi reforada pela elaborao do Plano de Modernizao do Servio Pblico da
Educao Nacional. Estes dois textos servem de referncia para identificar os atores institucionais responsveis pela avaliao do sistema educacional na Frana.**
Dois motivos explicam as necessidades de avaliao:
a presso externa: a educao exige,
hoje, um investimento financeiro considervel.
Na Frana, 7,4% do PIB, ou seja, 578 milhes
de francos so destinados educao, o que
representa 9.900 francos por habitante. A opinio pblica tem, portanto, o direito de exigir a
apresentao de resultados, que so medidos
por meio da avaliao;
a presso interna: a avaliao contribui
para o aperfeioamento do sistema educacional
pela verificao da implementao dos objetivos
nacionais. Em um sistema desconcentrado, no
qual os atores locais so cada vez mais autnomos, a avaliao corresponde a uma preocupao de regulao: a desconcentrao e a
descentralizao implicam uma adaptao local dos objetivos nacionais. A grande diversidade das aes no deve levar a resultados desiguais. Por isso, imperativo avaliar esses resultados de forma a assegurar a coerncia nacional.
Na Frana, diferentes atores institucionais intervm na avaliao do sistema educativo.
ses de Inspection Gnrale de l'Education Nationale

(IGEN) foram, ento, definidas em coerncia com os
dispositivos da Lei de Orientao. Doravante, o controle da atividade individual dos professores passa para
segundo plano, em benefcio da avaliao global da
poltica educacional. A cada ano um programa de trabalho determina as reas nas quais a avaliao dever
ser feita. Os resultados desse trabalho sero objeto de
um relatrio anual, publicado de forma a torn-lo acessvel a todos. A definio de uma misso global de avaliao necessita, igualmente, que o trabalho seja realizado por equipe interdisciplinar. Assim, o acompanhamento da avaliao da renovao pedaggica dos estabelecimentos de ensino mdio exige que seja considerado o conjunto das disciplinas ensinadas na escola
bem como os aspectos relativos organizao geral
do estabelecimento.
A Inspeo Geral desempenha um papel essencial na definio das avaliaes acadmicas, j que
estabelece, com o reitor, o programa de trabalho das
equipes territoriais de inspeo.
Enfim, a Inspeo Geral exerce funo primordial nas avaliaes institucionais representadas pelos
concursos e exames, tanto na definio dos temas
quanto na constituio dos jris e nas modalidades de
atribuio de notas.
b) Direo de Avaliao e de Prospectiva (DEP)

Esta Direo responsvel, de um lado, pela
organizao, pela coleta e pelo tratamento do conjunto dos dados estatsticos do Ministrio e, por outro
lado, pela formulao e implantao da avaliao do
sistema educativo. O conhecimento estatstico , de
fato, condio indispensvel para a implementao da
avaliao. A DEP , juntamente com a Inspeo Geral,
o segundo ator central na avaliao do sistema
educativo.
s atores no mbito nacional
a) Inspeo Geral
A Lei de Orientao, de 10 de julho de 1989,
atribuiu uma posio central Inspeo Geral no dispositivo da avaliao do sistema educativo. As mis-
*Direction de l'valuation et de la Prospective (DEP)/Frana.

**A autora refere-se ao seu artigo e ao artigo do professor Claude Sauvageot, intitulado "Avaliao e Monitoramento dos Estabelecimentos Escolares", tambm
neste volume. Os dois artigos so complementares, devendo o artigo da professora Heritier ser considerado a primeira parte, e o do professor Sauvageot a
segunda parte, de um mesmo trabalho (N.E.).
99
Foi no final da dcada de 70 que a avaliao

ganhou destaque no mbito do Ministrio, com a criao do Servio de Estatstica. Em 1987, esse servio
tornou-se uma direo independente, com sua denominao atual. O programa de trabalho da DEP ilustra
a extenso e a diversidade de suas reas de atuao.
A cada ano, seu programa de trabalho elaborado,
levando em considerao trs fatores:
a continuidade dos trabalhos em andamento;
as demandas de outras direes da administrao central;
a preocupao de provocar determinadas reflexes ou de desencadear novas operaes,
a fim de fornecer instrumentos pertinentes
para o debate pblico sobre a escola ou para
o monitoramento do sistema.
No que se refere avaliao, pode-se distinguir
dois tipos de trabalho:
os que visam melhorar o conhecimento do sistema;
os que se propem a promover, em todos os
nveis do sistema, a avaliao.
Na primeira categoria, encontram-se os estudos
dos quais a prpria DEP a executora ou que ela
subcontrata a outros organismos (por exemplo, comparaes temporais: certificados de estudos.... ou internacionais).
Na segunda categoria, encontram-se todos os
instrumentos elaborados pela DEP e divulgados para
uso dos diversos atores do sistema que deles se utilizam (avaliaes das turmas de CE 2, 6e, 2e do ensino
fundamental, banco de dados, indicadores para
monitoramento dos estabelecimentos escolares).
Para cumprir essa dupla misso, a DEP mantm relaes de trabalho e de intercmbio com professores, diretores de estabelecimentos de ensino e inspetores. Determinados estudos so feitos em colaborao com a Inspeo Geral ou com organismos de
pesquisa.
Os procedimentos da Inspeo Geral e da DEP
so, portanto, complementares. A Inspeo Geral, alis, participa ativamente na maioria dos grupos de trabalho da DEP e, em numerosos casos, estabelecida,
desde a fase da formulao, uma real complementaridade dos enfoques.
s atores acadmicos e departamentais
A Academia e o Departamento so os primeiros

escales da desconcentrao do Ministrio da Educao Nacional. So, tambm, os territrios de interveno dos Inspetores Pedaggicos Regionais (IPR-IA) e
dos Inspetores da Educao Nacional (IEN).
a) O papel dos inspetores

Os IPR-IAs e os IENs tm a vocao de participar da avaliao global das polticas ou dos organismos: avaliao do funcionamento dos estabelecimentos, de determinada poltica...
uma demanda sistemtica que se inscreve em
um programa de trabalho anual, formulada em conjunto pelo reitor e por seu correspondente na Inspeo
Geral.
b) O papel dos reitores

Alguns reitores implantaram estruturas de avaliao no organograma da reitoria. Isso revela a vontade
de dispor de um instrumento que permita dialogar com
o Ministrio e com as coletividades territoriais. Esse
encaminhamento deve ser mantido; a desconcentrao
e a descentralizao da gesto do sistema educativo
necessita de regulao das iniciativas locais pela avaliao.
s atores locais
So aqueles que trabalham no seio do estabelecimento de ensino: professores, quadro da direo/administrativo, pessoal de educao.
a) Os professores
c) O ministro e seu secretariado
Desempenham um papel fundamental na avaliao: dentro da sala de aula, para controlar a progresso da aprendizagem; quando das provas, para validar
esse aprendizado.
Os professores so os responsveis pela articulao da avaliao e da orientao em um processo
evolutivo discutido com o aluno. So levados a motivar
o aluno (e seus pais) na auto-avaliao de seu aprendizado em relao a seu projeto ou a suas aspiraes
profissionais. Alm da funo de avaliao dos alunos,
O ministro desempenha papel decisivo na definio da poltica educativa. Exerce, igualmente, funo determinante na avaliao:
- no incio do processo, decide o que dever
ser avaliado e determina sua execuo Inspeo Geral e DEP (poltica dos ZEPs, zonas experimentais, violncia...);
no final, o ministro o nico juiz dos desdobramentos que devem ser ao trmino de uma
avaliao.
100
Trata-se de um movimento em curso no qual a

avaliao deveria, em um prazo determinado, ocupar
um lugar cada vez mais importante.
Os atores da avaliao do sistema educativo foram, portanto, agrupados em trs grandes categorias
de acordo com seu nvel de interveno: nacional, acadmico e local. Essas categorias correspondem aos
trs nveis territoriais e hierrquicos: o ministrio, a reitoria e o estabelecimento escolar. Mas essas instncias no so de mesma natureza: o ministrio e a reitoria so entidades administrativas. Nelas avalia-se, mas
no se ensina. Na realidade, o local central do sistema
educativo o estabelecimento escolar, no qual coexistem administrao e ensino.
A poltica educativa pode ser decidida fora do
estabelecimento escolar (o que amplamente o caso
no sistema francs), mas em ltima instncia ela
implementada no estabelecimento escolar. Portanto,
nele tambm que ela avaliada. O estabelecimento
escolar , por conseguinte, o local para o qual convergem todas as avaliaes. Quaisquer que sejam as avaliaes, sempre o ato de ensinar que avaliado.
a Lei de Orientao de 10 de julho de 1989 determina

que a equipe educativa do estabelecimento elabore
um projeto educativo e a respectiva modalidade de
avaliao.
b) Os diretores de estabelecimentos de ensino

A atual regulamentao confere aos diretores um
papel essencial no processo de orientao dos alunos
j que a deciso final de sua competncia. Por conseguinte, participam da implantao e da harmonizao
dos procedimentos de avaliao.
c) Outros atores locais
H cerca de vinte anos, assiste-se, no mbito

do sistema educativo, a uma evoluo que pode ser
resumida pelo termo "abertura escola". Baseia-se na
idia de que a escola no pode, sozinha, atingir todos
os objetivos educativos e que necessrio associar
parceiros sua ao: alunos, pais, mdicos escolares, representantes das coletividades territoriais, representantes do mundo econmico.
101
102
VALIAO E
MONITORAMENTO DOS
ESTABELECIMENTOS
ESCOLARES
Claude Sauvageot e J. C. Emin (colaborador)*
esses trabalhos foram inspirados pela busca da rentabilidade dos estabelecimentos escolares, enquanto os
dispositivos atuais so fundamentados na inteno de
apreciar sua eficcia educativa global.
s Indicadores de Monitoramento dos

Estabelecimentos de Ensino Mdio
(IPES)
A Direo de Avaliao e de Prospectiva do

Ministrio da Educao Nacional concluiu a implantao de um dispositivo de indicadores destinados a todos os estabelecimentos escolares de ensino mdio:
colgios, liceus de educao geral e tecnolgica e liceus profissionalizantes. Todos recebem esse dispositivo no incio do ano, desde 1996. Isso se tornou possvel graas ampla utilizao do potencial dos novos
sistemas de informao e de transmisso dos dados
implantados, nesses ltimos anos, em benefcio dos
estabelecimentos de ensino mdio.
Esse dispositivo pretende responder a duas
exigncias significativas: a primeira, de ordem
institucional, que torna a elaborao e a avaliao dos
projetos-escola uma necessidade legal; a segunda,
corresponde a uma demanda social cada vez mais urgente e exigente quanto aos resultados e eficincia
dos estabelecimentos escolares, o que testemunhado
pelo sucesso alcanado pela imprensa na publicao
dos resultados do baccalaurat "escola por escola", de
numerosas listas de laureados e da classificao por
estabelecimento, procurando ser apresentado de maneira
slida.
O fato de mobilizar importantes meios para satisfazer essa dupla exigncia institucional e social pode
hoje parecer natural, mas resultado de uma evoluo
progressiva que acompanhou o reconhecimento das
diversidades locais pelas instituies e terminou por
legitimar o estabelecimento escolar como entidade
especfica de educao, tendo um efeito prprio, o que,
no sistema educativo francs, relativamente recente.
Alis, o quadro conceitual que subentende a implantao desses instrumentos diverso daquele que conduziu, na dcada de 70, elaborao e implantao
das linhas de orientao dos estabelecimentos secundrios: arriscando ser caricatural, poder-se-ia dizer que
Servio prestado aos estabelecimentos

de ensino
Um dos elementos do diagnstico apresentado, tanto pelos inspetores gerais quanto pelos outros
observadores, sobre a situao dos estabelecimentos
de ensino e seus responsveis em matria de instrumentos de monitoramento, era a dificuldade que tinham
em encontrar indicadores pertinentes e sua falta de
savoir-faire para conceb-los de maneira relativamente
econmica; pode-se acrescentar que quando os estabelecimentos de ensino puderam e souberam elaborar
indicadores pertinentes, raramente esse esforo conseguiu manter-se, sendo diversos os motivos: cansao ou impossibilidade de coletar todos os anos os dados necessrios, problemas de formatao desses
dados, ou, simplesmente, mudana na equipe de direo do estabelecimento.
Adotou-se, ento, o partido de apoiar os estabelecimentos escolares, primeiramente, fornecendolhes uma base de indicadores totalmente calculados a
partir de informaes recolhidas nos sistemas de informao e de gesto nacionais, em seguida, harmonizando esses indicadores de referncias nacionais e
acadmicas que lhes permitissem situar-se em relao aos demais estabelecimentos e, por fim, dandolhes meios para calcular, acompanhar e armazenar na
memria os indicadores especficos que desejassem
elaborar para serem avaliados e regulamentarem seu
projeto. Tudo isso foi possvel apenas porque os sistemas de informao e de gesto da educao nacional
principalmente no ensino mdio evoluram, consideravelmente, a partir do incio da dcada de 90.
*Direction de l'valuation et de la Prospective (DEP)/Frana.
103
At 1992, o Sistema de Informao era essencialmente fundamentado em "questionrios", respondidos manualmente pelos estabelecimentos escolares que, geralmente, no dispunham de equipamentos de informtica. O tratamento estatstico era efetuado em pesados computadores, geralmente em nvel
nacional. Os servios acadmicos dispunham, igualmente, de computadores de capacidade limitada, mas
no havia ligao entre os meios de tratamento dos
nveis nacional e regional. Alm disso, o sistema de
enqute era diferente do sistema de gesto dos estabelecimentos escolares, o que complicava e tornava
ainda mais pesado o trabalho dos diretores de estabelecimentos escolares e era fonte de erros na coleta de
dados.
Um grande esforo de construo e de implantao de novos sistemas de informao foi realizado
desde ento. Cerca de 7 mil colgios e liceus pblicos
beneficiaram-se progressivamente de instrumentos
informatizados para a gesto dos alunos e professores; foram, ao mesmo tempo, equipados com
microcomputadores e, enfim, com um sistema
telemtico que colocou os estabelecimentos escolares em contato com as academias e estas com a administrao central.
Dois elementos do novo sistema de informao so especialmente solicitados para construir os
indicadores fornecidos pelos estabelecimentos de ensino: o aplicativo "Scolarit" que faz o recenseamento
e acompanha, durante toda a escolaridade do ensino
secundrio pblico, os 4,8 milhes de alunos dos colgios e dos liceus pblicos e permite "geri-los" de modo
completo e coerente, nos planos pedaggico, educativo,
administrativo e financeiro; os aplicativos "EmploisPostes-Personnels" que integram, de maneira total, a
gesto dos estabelecimentos secundrios e seus empregos.
Esses dois elementos so os mais solicitados para o clculo dos indicadores, mas esse clculo
utiliza igualmente aplicativos que permitem gerir os
exames e concursos, os que admitem coletar e tratar,
por estabelecimento, os resultados dos alunos nas
avaliaes nacionais na admisso na classe de 6e (1
ano do ensino bsico) e no 1 ano do ensino mdio,
bem como os dados referentes insero dos alunos
no trmino do sistema educativo. O conjunto desses
dados permite o clculo de indicadores relativos a cada
estabelecimento, cujos responsveis consultam facilmente nos computadores disponveis.
Trata-se do primeiro retorno de informaes ordenadas que beneficiam os estabelecimentos
a partir dos dados que eles mesmos forneceram aos
diferentes sistemas de informao e de gesto. organizado segundo dois princpios polticos essenciais.
Os princpios
2.1. Um instrumento que deve servir, simultaneamente, avaliao interna e avaliao externa
O nome dado ao dispositivo "Indicadores para
o Monitoramento dos Estabelecimentos Secundrios"
enfatiza, em primeiro lugar, a avaliao interna da
escola. um instrumento destinado ao diretor do estabelecimento e sua equipe, um instrumento de diagnstico da situao e do funcionamento do estabelecimento, de avaliao da poltica que est sendo
conduzida e de seus resultados, de regulao e de
acompanhamento de seu projeto. Mas, deve tambm
ser um instrumento de prestao de contas de suas
atividades e de seus resultados; a noo de prestao
de contas deve, aqui, ser tomada no sentido amplo do
termo. Os colgios e os liceus so unidades do servio pblico da Educao Nacional e como tais devem,
evidentemente, "prestar contas" de sua tutela, certamente, mas tambm, de forma mais ampla, coletividade. Uma parte dos indicadores propostos aos liceus,
aqueles relativos ao seu desempenho, estabelecidos
a partir dos resultados do baccalaurat so, alis, objeto de publicao desde as provas realizadas em 1993.
Encontramos aqui, sob outra forma, a

dualidade evocada acima: deve-se dispor, para cada
estabelecimento e cada estabelecimento deve dispor de indicadores correspondentes ao que considerado indispensvel de ser levado em conta no plano
metodolgico e, tambm, no plano poltico, para avaliar e para que o prprio estabelecimento avalie seu
funcionamento, seus resultados e seu desempenho.
Prope-se-lhe, ento em certa medida obrigado a
utilizar uma base-padro de indicadores que constitui um compromisso entre tudo que considerado desejvel de ser apreciado para avaliar, o mais completamente possvel, o funcionamento e o desempenho do
estabelecimento e, o que parece efetivamente razovel de ser feito, no estado atual das informaes disponveis, com um custo aceitvel. Trata-se assim de propor, preferencialmente, elementos padronizados de
104
2.2. Instrumento que associa uma base de indicadores-padro e indicadores especficos para cada
estabelecimento
avaliao dos prprios estabelecimentos, em vez de

elementos de avaliao de seus projetos, que so diversos e especficos.
Mas importa que cada estabelecimento possa tambm, paralelamente, descrever e avaliar aspectos particulares de seu projeto, de seu funcionamento
ou de seus resultados; que possa dotar-se de indicadores especficos, sob a condio, claro, de dispor das
informaes necessrias ou de estar organizado para
colet-las. De fato, normal, em um contexto no qual a
lei convida os estabelecimentos a "definir as modalidades particulares de implementao dos programas e dos
objetivos nacionais", que a avaliao e a regulamentao dessas modalidades particulares sejam facilitadas.
O dispositivo oferece-lhes essa possibilidade.
A bateria-padro de indicadores
Para dar uma idia, sero tomados, como

exemplo, os liceus de educao geral e tcnica, ficando entendido que cada tipo de estabelecimento de ensino mdio (colgios, liceus profissionalizantes e liceus
de educao geral e tcnica) dispe de uma bateria
que, a partir de um tronco comum, leva em considerao o que especfico a cada um. Essas baterias de
indicadores foram construdas recorrendo-se amplamente experincia e s necessidades dos usurios, utilizando-se, ao mesmo tempo, como pano de fundo, os
trabalhos de pesquisa sobre a escola eficaz.
Quadro 1 IPES: Indicadores-padro para os liceus
Indicadores referentes populao acolhida

Caractersticas dos alunos presentes no incio do ano letivo: sexo, mdia de idade, categoria
socioprofissional, proporo de alunos atrasados, proporo de alunos estrangeiros, proporo de repetentes;
Caractersticas dos alunos admitidos no liceu no incio do ano letivo: sexo, idade, proporo de repetentes,
proporo de procedentes de escolas particulares;
Escola de origem dos alunos que ingressam no liceu no incio do ano letivo.
Indicadores de recursos e de meios

Meios horrios;
Caractersticas dos professores;
Efetivos de alunos por opo.
Indicadores de resultados
Taxa de xito no baccalaurat por srie;
Taxa de acesso ao baccalaurat;
Proporo de alunos detentores do baccalaurat entre os alunos concluintes do ensino mdio;
Destino dos alunos que concluem o liceu.
Indicadores de funcionamento
Futuro dos alunos ao trmino do 1 ano do ensino mdio;
Proporo de horas de aula efetivamente assegurada ao aluno;
Tamanho das divises; importncia dos servios ligados ao ensino;
Importncia dos servios ligados vida escolar;
Movimento do corpo docente;
Acidentes no estabelecimento escolar;
Estatuto dos alunos.
Indicadores ambientais
Intensidade das relaes com o meio ambiente econmico;
Dados socioeconmicos por zona de emprego.
105
Em numerosos casos, foi necessrio recorrer

ao que se poderia chamar de "a regra do compromisso" entre o desejo de construir um indicador que desse conta do modo mais preciso e completo possvel de
um fenmeno e a preocupao de utilizar da melhor
maneira os dispositivos de informao e de gesto
existentes e de no multiplicar os registros de novos
dados de informao, a respeito dos quais os estabelecimentos de ensino so com justa razo particularmente reticentes. Em seguida, houve o cuidado de
limitar-se a cerca de vinte indicadores o que, s vezes,
implicou resistir tentao de levar tudo em considerao, para limitar-se apenas a algumas linhas mestras que os estabelecimentos poderiam, como vimos
anteriormente, completar em funo de suas necessidades e de suas prioridades especficas. A esses indicadores so associados, como mencionado, referncias nacionais, acadmicas e at departamentais, que
permitem aos estabelecimentos se situarem em relao aos outros.
Empreenderam-se esforos, nessa tarefa, para
respeitar dois princpios: de um lado, fornecer um conjunto de indicadores que se integrassem em uma representao formalizada em um modelo de ao e de
organizao dos estabelecimentos escolares e, de
outro lado, apresentar os indicadores que dessem conta, alm dos resultados de um estabelecimento de
ensino, de seu desempenho efetivo, de seu "valor acrescido".
A representao formalizada completamente clssica; considera-se que um estabelecimento de
ensino uma organizao que, em um dado meio e
devido a determinado tipo de funcionamento, mobiliza
recursos para que os alunos que recebem e que possuem determinado nmero de caractersticas saiam
com caractersticas de nvel superior. Caso a bateria
de indicadores propostos no mea o conjunto dos elementos desse modelo (por exemplo: no inclua o indicador que d conta do "clima" do estabelecimento de
ensino, o qual se sabe ser um elemento importante de
sua eficincia), inclui, entretanto, pelo menos um indicador para cada um desses aspectos (cf. Quadro 1).
Sua concepo , como indicado acima, diferente daquela que havia presidido elaborao e
implantao das linhas de orientao dos estabelecimentos escolares, no final da dcada de 70. Essas
linhas de orientao eram, em ampla medida, concebidas com base no modelo dos instrumentos utilizados pelas empresas industriais e procuravam fornecer
aos estabelecimentos escolares os meios para apreciarem o mais corretamente possvel os recursos colocados sua disposio (horas de ensino, meios financeiros, instalaes) e o uso que lhes foi dado e para
relacion-los com as atividades que exerciam. O
enfoque era, ento, essencialmente dirigido gesto
favorvel dos recursos (de eficincia) bem mais do que
a uma tica de eficcia em relao aos objetivos do
sistema educativo.
O dispositivo atual, ao contrrio, esfora-se em

dar aos estabelecimentos escolares meios para apreciarem suas caractersticas de funcionamento e, considerando o contexto no qual se situam, para proporem hipteses quanto eficincia de suas aes,
quanto ao modo como suas caractersticas interagem
umas com as outras, em uma palavra, quanto poltica que conduzem. A partir dos dados que lhes so
propostos pelos indicadores, cabe aos estabelecimentos escolares determinar seus pontos fortes, pontos
fracos e elaborar seu projeto. Nessa tica , evidentemente, essencial que os estabelecimentos disponham
de uma viso to correta quanto possvel dos resultados que atingem, relativamente aos objetivos que lhes
foram fixados, como unidades do servio pblico nacional de educao.
Trata-se de uma das principais contribuies

desse dispositivo. to importante que, como sabemos, os resultados das escolas de ensino mdio no
baccalaurat, a cada ano, so objeto de publicao
pela imprensa e, isso, sob forma de listas dos laureados ou da classificao considerada como capaz de
dar conta dos mritos e das qualidades comparadas
dos estabelecimentos escolares.
A opo escolhida pela DEP contrria a de
uma lista de premiados baseada em um nico indicador capaz de dar conta, sozinho, de todo o desempenho de um estabelecimento. Tem duas caractersticas
indissociveis: inicialmente, apresenta vrios indicadores para cada escola (trs so publicados), insistindo
no fato de que eles devem ser examinados simultaneamente, porque cada um tem um interesse particular,
sublinhando aspectos diferentes e complementares dos
desempenhos dos estabelecimentos de ensino. Em
seguida, prope, para cada um entre eles, uma apreciao relativa ao prpria de cada escola, eliminando, tanto quanto possvel, a influncia de fatores sobre
os quais a eficincia do estabelecimento no teria influncia como, por exemplo, o maior ou menor grande
atraso escolar que possam ter os alunos recebidos.
4.1. Vrios indicadores complementares para apreciar os resultados de um estabelecimento escolar

A taxa de xito no baccalaurat o mais tradicional indicador, o mais conhecido do grande pblico
e sobretudo o mais fcil de ser estabelecido que relaciona o nmero de alunos da escola, aprovados no
baccalaurat em 1994, com o nmero de alunos pre-
106
Extrapolar a apreciao dos resultados

para avaliar o "valor acrescentado" dos
estabelecimentos: os indicadores de
desempenho
deixam durante o ciclo porque no oferece a seo

que desejam ou porque est situado em uma zona onde
a concorrncia de outros estabelecimentos muito
forte.
A proporo de "bachalerados" entre os alunos que terminam o ensino mdio indica, entre todos
os alunos que deixaram o estabelecimento em um
determinado ano, independente do motivo, aqueles que
o deixaram, de posse do certificado. O ndice pode ser
aplicado em dois momentos: quando se refere aos alunos de qualquer nvel (1, 2 e 3 anos do ensino mdio) que deixam o liceu, identifica, como o precedente,
o conjunto da escolaridade no estabelecimento, mas
de um modo diferente, j que avalia as possibilidades
de um aluno de 2 ano deixar o liceu como titular do
baccalaurat, independentemente do nmero de anos
que nele passou. Quando se refere apenas aos alunos
que terminam o 3 ano, avalia as possibilidades que
um aluno, inscrito no 3 ano, tem de deixar o liceu
tendo o diploma do baccalaurat, at mesmo repetindo o 3 ano no estabelecimento; fornece, ento, uma
informao particularmente til (que os indicadores precedentes no permitiam localizar to exatamente), diferenciando os liceus que, por quererem privilegiar as
taxas de xito, mostram-se reticentes diante da
repetncia de 3 ano e aqueles que, ao contrrio, concedem uma ou mesmo vrias novas oportunidades aos
alunos que no obtm o baccalaurat na primeira tentativa.
sentes na primeira prova. fonte de orgulho para um

estabelecimento escolar selecionar entre os alunos que
querem cursar a 1 srie do ensino mdio e, em seguida, selecionar entre os alunos de 1 e 2 sries do
ensino mdio, aqueles que considera aptos a obter o
baccalaurat e deixar que os outros liceus recebam
aqueles alunos cujas possibilidades de sucesso considera fracas. Ao contrrio, a taxa de aprovao de um
estabelecimento em que a quantidade de alunos de 3
ano, detentores do baccalaurat, numerosa no da
primeira vez, mas aps uma ou vrias reprovaes
ser menos favorvel, embora uma proporo importante desses alunos tenha-se "bacharelado" ao deixar
o liceu.
Se esse indicador totalmente insuficiente
para dar conta da eficincia do conjunto de um liceu,
ele no pode ser negligenciado, sendo que tem a vantagem de poder ser estabelecido facilmente e de poder
ser apresentado para cada seo do baccalaurat.
A taxa de acesso dos alunos do 1 ano do
ensino mdio ao baccalaurat avalia, para um aluno
desta srie, a probabilidade de obter o baccalaurat
ao trmino de uma escolaridade inteiramente realizada no liceu, qualquer que seja o nmero de anos necessrios para isto. Essa taxa no estabelecida a
partir de um conjunto real de alunos, mas resulta do
clculo efetuado sobre um conjunto instantneo (cf.
anexo 1). Contrariamente ao precedente, esse indicador se interessa, portanto, pelo conjunto da escolaridade no liceu. Considera no crdito deste apenas os
alunos que tm possibilidade de nele efetuar uma escolaridade completa, coroada de sucesso, mesmo se
essa escolaridade inclui uma ou vrias repetncias; ao
contrrio, os alunos que tiveram de deixar o liceu, seja
porque este liceu no oferecia a seo que o aluno
desejava estudar, seja porque foram direcionados a uma
determinada seo visando elimin-los, ou, simplesmente, porque mudaram de domiclio, so considerados, do ponto de vista do indicador, como alunos que o
liceu no soube (ou no pde) conduzir ao baccalaurat,
mesmo se, no final das contas, o aluno obteve esse
diploma em outro estabelecimento escolar.
Esse indicador , portanto, muito mais pertinente do que a taxa de xito no baccalaurat para avaliar a eficcia global de um liceu em relao ao objetivo
essencial do sistema educativo francs, que o de
levar at o nvel do baccalaurat, seguido do diploma,
uma parte importante dos jovens. Pode, entretanto, ser
afetado por fatores sobre os quais o liceu tem pouco
ou nenhum controle e que no dependem, propriamente, de sua eficincia; nesse sentido, um liceu que oferece todas as sees do baccalaurat e que relativamente isolado e, no resto dispe das mesmas coisas tem mais trunfos para manter seus alunos at o
3 ano do ensino mdio (e at a obteno de um
baccalaurat) do que um liceu que numerosos alunos
4.2. A apreciao do "valor acrescentado" pelos

liceus
As trs taxas apresentadas acima constituem dados brutos que no informam sobre a questo
fundamental: como avaliar a prpria ao do liceu, o
que "acrescentou" ao nvel inicial dos alunos que recebeu. Em outras palavras, caso um liceu apresente um
valor alto para um indicador, isto devido ao fato de ter
recebido bons alunos, dotados de bons mtodos de
trabalho, que puderam obter o baccalaurat sem esforo particular de sua parte, ou ento, deve-se ao fato
de que soube desenvolver nos alunos, talvez menos
dotados, no incio, os conhecimentos e as capacidades que lhes permitiram ter xito?
Para avaliar esse valor acrescido, cuida-se de
eliminar a incidncia de fatores de xito escolar exteriores ao liceu para isolar o que devido sua prpria
ao. Para isso, busca-se, considerando os fatores
externos de xito escolar, o que poderia (ou deveria)
ter sido, em mdia, a situao dos alunos do liceu em
relao ao xito ou ao acesso ao baccalaurat a fim
de verificar sua situao efetiva, que mais ou menos
favorvel relativamente situao de referncia.
4.2.1. As taxas esperadas
107
tratos, a taxa mdia de xito no baccalaurat ficou em

75,8% na sesso de 1996, essa mesma taxa de xito
relativamente contrastada, caso se considere a idade e a categoria socioprofissional dos alunos (cf. Tabela 1). O fato de dispor dessas caractersticas
sociodemogrficas para o conjunto dos alunos dos liceus permite calcular, para cada estabelecimento, a
taxa de xito e as taxas de acesso "esperadas", ou
seja, o valor esperado para essas taxas caso, em
mdia, todos os alunos do liceu tivessem a mesma
escolaridade e o mesmo sucesso no baccalaurat do
que o aluno mdio comparvel isto , de mesma idade e origem socioprofissional do conjunto dos liceus
(cf. Anexo 2).
Na falta de poder dispor, imediatamente, de

uma medida do que poderia ser, com segurana, o
melhor indicador de previso do resultado dos alunos
no baccalaurat, de seu nvel de escolaridade no incio
do 2 grau ou do nvel de preparao para o ensino de
2 ciclo, foram selecionados dois fatores externos principais, disponveis no sistema de informao da Educao Nacional, que constituem, igualmente, excelentes indicadores de previso de xito ou de acesso ao
exame: a idade e a origem socioprofissional dos alunos. O cruzamento desses dois dados fornecem, de
fato, uma boa aproximao das possibilidades de acesso e de xito ao baccalaurat de um aluno: enquanto,
para o conjunto dos alunos que freqentam os liceus
de ensino geral e tcnico pblicos e privados com con-
Tabela 1 Baccalaurat geral e tcnico Sesso de 1996

Taxa nacional de xito segundo a idade e a origem socioprofissional dos alunos dos estabelecimentos
pblicos e privados sob contrato (Frana metropolitana + departamentos de alm-mar)
Idade em 3 1/12 /19 96

18 A nos e
19 A nos
20 A nos e +
C ategoria
M uito favorvel
90,3%
75,3%
68,9%
S ocioprofission al
Fa vo rvel
85,6%
72,4%
67,8%
dos P ais
M dia
84,0%
71,9%
67,7%
D esfavorvel
81,4%
70,3%
64,7%
86,3%
72,5%
66,9%
Total
4.2.2. Apreciao relativa do valor acrescentado

segundo diversos pontos de vista
Dispe-se, assim, por comparao entre as taxas esperadas e as taxas brutas, de um enfoque relativo do valor acrescentado de um liceu: se, para um
indicador, a variao entre a taxa bruta e a taxa esperada positiva, cabe pensar que, do ponto de vista
avaliado por esse indicador, o liceu trouxe aos alunos
que recebeu mais do que teriam recebido caso tivessem freqentado um estabelecimento mediano, o que
um ndice de boa eficincia relativa. Caso a variao
seja negativa, ter-se- suposio inversa. Com certeza, a variao no pode ter o mesmo sinal caso se
trate de taxa esperada em uma base acadmica ou de
taxa esperada em uma base nacional. Encontrar-se-,
no Encarte n 1, uma ilustrao desse procedimento.
Assim, o indicador pertinente em matria de
aprovao no baccalaurat , no a taxa bruta de aprovao, nem as taxas esperadas, mas a variao entre
a taxa bruta e as taxas de aprovao esperadas. Uma
108
A taxa de aprovao esperada de um liceu no

baccalaurat , ento, a taxa de xito que seria a sua,
caso seus alunos conhecessem o mesmo xito no
baccalaurat que o conjunto dos candidatos de mesma idade e da mesma origem socioprofissional de todos os liceus. Utiliza-se o mesmo raciocnio para calcular a taxa de acesso esperada dos alunos de 2 ano
ao baccalaurat.
De fato, duas taxas de aprovao esperada e
duas taxas de acesso esperado so apresentadas para
cada estabelecimento de ensino. Uma calculada tomando por base o conjunto dos alunos da Academia
onde o estabelecimento de ensino encontra-se situado; a outra, tem por base o conjunto dos alunos da
Frana. De fato, as diferentes academias apresentam,
bem como os estabelecimentos de ensino, taxas de
aprovao e de acesso ao baccalaurat sensivelmente diferentes, e levar em considerao apenas as taxas esperadas calculadas em base nacional discriminaria, s vezes, muito pouco os estabelecimentos de
uma mesma academia.
que o esperado aceder ao baccalaurat, em relao

populao escolar acolhida. Se estiver abaixo, estar em
situao inversa.
Pode-se, sobretudo, ler as disparidades de desempenho entre estabelecimentos. Em uma horizontal,
na qual figuram todos os estabelecimentos com a mesma taxa esperada, v-se claramente que esses estabelecimentos podem ter valores acrescentados sensivelmente diferentes. nesse estgio que transparece o interesse deste tipo de anlise. Por exemplo, o estabelecimento A, cuja taxa bruta de 55%, tem elevado desempenho em termos de acesso ao baccalaurat. No esse o
caso do estabelecimento B, embora a taxa bruta de acesso seja, entretanto, de mais de 70%.
variao positiva em uma determinada srie permite

pensar que as terceiras sries desse ano tiveram boa
eficincia, pelo menos se todos os alunos estiveram
efetivamente presentes no baccalaurat.
Encarte n 1
No grfico abaixo, esto representadas, a ttulo de
exemplo, as taxas brutas de acesso e a esperada de todos os liceus de uma Academia. A primeira bissetriz ilustra a situao de igualdade entre as duas taxas. Cada
ponto representa um estabelecimento de ensino. Se um
ponto est acima dessa primeira bissetriz, significa, ento, que o liceu permitiu a um nmero de alunos maior
Grfico 1 Taxa de acesso bruta e taxa de acesso esperada dos liceus da Academia de Lille
90
X
X X
X
X
XXX X X
XX
X
X
XX
X XXXX
X
XXXX
X
X
X
X
XXX X
X
XXX
X
X
X
X X XX X XX
X
XXX XXXX
X
X
X
X
X
X
X
X
X
XX
X X X XXXX
XX
XXXX
XX
X
XX X
X
XX
X
X
X
80
Taxa de acesso bruta
70
60
50
40
30
20
20
30
40
50
60
70
80
90
Taxa de acesso esperada

Da mesma forma, o indicador pertinente, no
que se refere ao acesso do 1 ano do 2 grau ao
baccalaurat, a variao entre a taxa de acesso bruta e as taxas de acesso esperadas. Uma variao positiva permite pensar que o liceu possui boa eficincia
global, j que leva ao baccalaurat mais alunos do 1
ano do que o esperado, considerando as caractersticas externas desses alunos.
No que se refere ao terceiro indicador, a proporo de "bacharelados" entre os alunos que terminam o liceu no associada a um valor esperado;
contenta-se em confront-lo com duas mdias: essa

mesma proporo para o conjunto dos liceus da Academia, de um lado; para toda a Frana, por outro lado.
No caberia, certamente, tirar, apenas da confrontao dessas mdias, concluses sobre a eficincia do
estabelecimento. Mas ela completa as apreciaes
apresentadas pelos dois primeiros indicadores.
Na verdade, a apreciao combinada dos diferentes indicadores apresentados que permite dar todo
o sentido ao dispositivo. Encontrar-se-, no Encarte n
2, um exemplo da anlise do desempenho e da situao
de um liceu, elaborada a partir desses dados.
109
Encarte n 2
Trs indicadores de um liceu e um exemplo de interpretao
1 Taxa de aprovao no Baccalaurat por srie
Taxa
F*
Bruta
86
69
83
91
56
77
67
76
Esperada (base acadmica)
76
68
83
84
71
72
69
75
Esperada (base Frana)
77
68
85
78
73
69
69
74
135
121
123
85
34
57
197
752
Presentes
F8
F**
Total
*Menos F8, F 11 e F 12
**F 11 e F 12
2 Taxa de acesso do 1 ano do ensino mdio ao Baccalaurat

Bruta
Esperada (base acad.)
Esperada (base Frana)
Taxa
71
65
63
Efetivo do 1ano
do 2 grau
681
3 Proporo de bacharelados entre os alunos no trmino

P/estabelecimento
P/academia
P/Frana
1, 2, 3 do
ensino mdio
78
67
70
3 ano do
ensino mdio
94
91
88
Na anlise dos resultados do baccalaurat (indicador n 1), esse liceu aparece como mdio. De fato, trs
alunos, entre quatro que se apresentaram para o exame,
obtiveram o diploma. Se levarmos em considerao as
origens sociais e a idade dos alunos, as terceiras sries
desse liceu apresentam resultados prximos do que era
esperado (75% da taxa esperada em base acadmica,
74% da taxa esperada base Frana). 0 exame de cada
srie permite matizar essa interpretao global. As sries
13, C e G apresentam taxas medianas e exibem resultados prximos do que se podia esperar delas. As sries
com os melhores desempenhos so as A, D e F, com
uma contribuio, em termos de valor acrescido, mais
significativo para a srie A. A menos eficaz a srie E, que
apresenta uma taxa de aprovao bruta fraca (56%), comparada com as taxas esperadas de 71% e de 73%.
necessrio, entretanto, relativizar essas ltimas taxas,
estabelecidas com base em apenas 34 alunos.
Analisando as taxas de acesso (indicador n 2) e
as propores de "bacharelados" entre os alunos
concluintes do ensino mdio (indicador n 3), pode-se
melhor delinear a situao desse liceu. Um aluno do 1
ano geral e tcnico desse estabelecimento tem 71% de
possibilidade de obter o baccalaurat nesse mesmo liceu. Considerando-se a estrutura social e a separao
dos alunos por idade, podia-se esperar que essa probabilidade fosse de 65%, em referncia Academia, ou de
63% em relao ao conjunto nacional. Com uma taxa de
aprovao mdia, mas com uma taxa de acesso elevada,
pode-se supor que esse liceu pratique polticas de
repetncia ou de reorientao eficazes entre as sries
alunos at que eles sejam diplomados, mesmo se, para
isso, for necessrio um quarto ou at um quinto ano de
estudo no estabelecimento. Outros liceus teriam, talvez,
reorientado seus alunos para outros estabelecimentos
de ensino.
Essa hiptese confirmada pela anlise da proporo de "bachalerados" entre os alunos que concluram o ensino mdio. De fato, quase todos os alunos de 3
ano (94%) deixam o liceu com o baccalaurat. Se nos
interessarmos em todos os que deixam o liceu, essa proporo cai para 78%, o que bem superior s mdias
acadmica (67%) e nacional (71%). Isso confirma bem a
idia de que se deixa esse liceu, mais do que os outros,
aps ter obtido o baccalaurat em qualquer das opes
propostas.
110
que oferece. Esse liceu mantm grande parte de seus
Taxa de aprovao esperada
nexos
Para calcular a taxa de aprovao esperada,

agrupam-se os alunos do liceu que se apresentaram
no baccalaurat em doze subpopulaes obtidas combinando-se trs categorias de idade (i) e quatro agrupamentos de origem social (j). A taxa de aprovao
esperada no baccalaurat obtida aplicando-se aos
efetivos de cada uma das 12 subpopulaes (n, j) as
taxas brutas de aprovao (t, j) do conjunto dos alunos
de mesma idade e da mesma categoria
socioprofissional constatados na populao de referncia (todos os alunos escolarizados nos estabelecimentos pblicos ou privados sob contrato da Academia base acadmica ou da Frana base Frana).
ANEXO 1
TAXA DE ACESSO DO 1 ANO DO ENSINO MDIO
AO BACCALAURAT
A taxa de acesso do 1 ano ao baccalaurat,

para um liceu, o produto das taxas de acesso do 1
ao 2 ano, do 2 ao 3 ano e do 3 ao baccalaurat,
calculadas para este estabelecimento de ensino em
um ano determinado.
O clculo dessas taxas no se fundamenta na
observao de um conjunto real de alunos de 1 ano,
mas sobre o que se convencionou denominar de conjunto instantneo. Essas taxas descrevem melhor, em
um dado momento, o que ocorre em um estabelecimento, do que aquelas baseadas em conjunto reais.
De fato, nesse ltimo caso, seramos obrigados a esperar que o conjunto de alunos tenha deixado o liceu
(4 ou 5 anos, pelo menos).
A taxa de acesso de um nvel a outro traz, para
a populao dos alunos de um estabelecimento deixando o nvel inicial, a populao daqueles que tm
acesso ao nvel superior no mesmo estabelecimento.
A frmula a seguinte, por exemplo, para o ano
1992-1993:
ni, j x ti, j
i j
Taxa de aprovao esperada =
Os agrupamentos por idade (i) correspondem aos

alunos:
sem atraso escolar;
com um ano de atraso escolar;
com mais de um ano de atraso escolar, isto ,
aos alunos tendo 18 anos e menos; 19 ou 20
anos e mais, no ano do baccalaurat.
Os agrupamentos por profisso e por categorias
sociais (i) so feitos em quatro categorias elaboradas,
levando em conta os resultados dos estudos sobre a
aprovao escolar dos alunos em funo de sua origem social:
categoria denominada "muito favorecida", compreendendo os diretores, as profisses intelectuais superiores e todos os professores;
categoria denominada "favorecida", compreendendo os chefes administrativos;
categoria denominada "mdia", agrupando agricultores proprietrios, artesos, comerciantes,
chefes de empresas, empregados;
categoria denominada "desfavorecida", reunindo os operrios e os inativos.
ESL
Taxa de acesso de um nvel a outro =
x 100
EI - ERL
ni, j
i j
Com:
EI = alunos inscritos no nvel inicial em setembro de
1992;
ERL = alunos do estabelecimento que repetiram o nvel inicial no liceu em setembro.
Para o clculo das taxas de acesso do 1 ao 2 ano e
do 2 ao 3 ano:
ESL = alunos do estabelecimento que passaram para
o nvel superior no liceu em setembro de 1993.
Para o clculo da taxa de acesso do 3 para o
baccalaurat:
ESL = alunos do estabelecimento que tenham obtido
o baccalaurat em junho ou em setembro de 1993.
Taxa de acesso esperada
ANEXO 2
Para calcular a taxa de acesso esperada, de

acesso de um nvel a outro, agrupam-se os alunos do
nvel inicial em doze subpopulaes obtidas combinando-se as mesmas trs categorias de idade (i) e os
mesmos quatro agrupamentos de origem social (j) que
foram utilizados para o clculo das taxas de aprovao
esperadas. Em seguida, aplica-se aos efetivos das doze
subpopulaes do nvel inicial (n, j) as taxas brutas de
acesso (ta, j) do conjunto dos alunos de mesma idade
TAXAS ESPERADAS
Se a taxa bruta de aprovao no baccalaurat
calculada simplesmente trata-se da relao entre o
nmero de "bachalerados" e o nmero de candidatos
presentes na primeira prova - o clculo da taxa de
aprovao esperada mais complexa.
111
A frmula a seguinte:
e de mesma categoria socioprofissional, calculadas

sobre a populao de referncia (todos os alunos, de
um mesmo nvel, qualquer que seja o estabelecimento
pblico onde so escolarizados, contabilizados em nvel acadmico base acadmica ou nacional base
Frana).
ni, j
i j
Taxa de aprovao esperada =
ni, j x tai, j
i j
112
A RRANJOS INSTITUCIONAIS
PARA AVALIAO
Ernest R. House*
Quais sero os melhores arranjos institucionais
para a realizao de avaliaes? Para responder a esta
pergunta, preciso, em primeiro lugar, considerar o
motivo que nos leva avaliao profissional. A avaliao, como instituio de informao para as decises
pblicas, surgiu apenas durante a ltima tera parte
do sculo XX, em primeiro lugar, e de maneira mais
disseminada, nas sociedades capitalistas avanadas.
O capitalismo avanado altamente valorizado pela sua eficcia em aprimorar os padres de vida
tambm um processo extremamente desestabilizador.
Enormes massas de pessoas migram para longe de
suas casas e de suas famlias, em busca de trabalho
em cidades estranhas, afastando-se de seus amigos,
de suas associaes tradicionais, e at mesmo de seus
idiomas maternos. Quando todos os empreendimentos humanos se vem sujeitos a padres de produtividade e de eficincia, sobra pouco espao para o que
tradicional ou caracterstico de qualquer comunidade.
Por outro lado, foram as formas tradicionais de autoridade - a Igreja, a comunidade e a famlia que deram
apoio legitimidade dos governos.
Com as bases tradicionais de apoio fragilizadas
pela mobilidade tanto do capital quanto da mo-de-obra,
e com as rpidas modificaes na tecnologia e nos
estilos de vida, necessrio que os governos encontrem outras fontes de legitimizao para as suas aes,
alm das tradicionais. Existe toda uma variedade de
fontes de legitimidade, mas, o que mais importante,
os governos precisam demonstrar que tm capacidade para sustentar a melhora material de suas sociedades, ou seja, de aumentar a prosperidade material de
suas populaes. Poucos regimes conseguem sobreviver sem oferecer essa grandeza material. Assim sendo, os governos nessas sociedades tratam de criar as
condies econmicas que possam facilitar os empreendimentos capitalistas.
Outra fonte de legitimidade a instituio da
cincia profissional, que assumiu parte da autoridade
uma vez investida na religio. A avaliao profissional,
atravs da sua identificao com a cincia, d legitimi-
dade s aes do governo, avaliando seus programas

e polticas, em relao ao seu valor social. Quando o
presidente Lyndon Johnson deu partida em seus controversos programas da "Great Society" nos Estados
Unidos, nos anos 60, garantiu sua aprovao no
Legislativo simplesmente assegurando ao Congresso
que aqueles programas seriam avaliados. Em grande
escala, a avaliao foi iniciada nos Estados Unidos
em torno do ano de 1967.
preciso notar que no estou afirmando que
a avaliao seja puramente cosmtica, ou que seja
realizada apenas tendo em vistas a legitimidade. Ao
contrrio, a avaliao efetivamente serve para determinar a eficcia de programas, polticas e do pessoal.
Informa as aes do governo e educa a opinio pblica. Tambm no estou sugerindo que exista nenhum
elemento de insinceridade nesses esforos. Entretanto, sem a funo legitimizadora oferecida pela avaliao a um pblico ctico, outras fontes de informao
seriam adotadas em seu lugar, como o emprego de
especialistas. A avaliao cientfica tem a vantagem
da credibilidade pblica de suas concluses.
redibilidade
Para gerar essa credibilidade, preciso que a

avaliao seja vista como independente nas suas concluses, e como sendo justa at certo ponto. Caso
seja considerada como indevidamente parcial, perder
a sua credibilidade. A falta de credibilidade o problema das comisses do governo, em que cidados proeminentes chegam s concluses que o governo deseja. Freqentemente, as pessoas no confiam nessas
comisses, porque elas no so independentes, e porque no tm credibilidade cientfica. Refletem a orientao do governo.
*Ernest R. House professor da School of Education na University of Colorado, desde 1985. Dentre a sua produo bibliogrfia, destacam-se as duas ltimas
obras: Professional evaluation: social impact and political consequences (1993) e Productivity in Education: policies, markets and teacher assets (1998). Realizou
estudos sobre avaliao para vrias instituies: National Education Association, Ford Foundation, OECD, Federal Coordinating Council for Science,
Engineering and Technology in Washington.
113
Para que sejam consideradas como acreditveis, as avaliaes devero ser baseadas em duas prticas principais. Uma delas o emprego de uma
metodologia cientfica objetiva, como j sugeri, e a outra prtica relaciona-se aos avaliadores, que devero
ser politicamente independentes dos programas e das
polticas sob avaliao. Em meio comunidade de avaliao profissional, perdura um debate constante sobre a eficcia das vrias metodologias de avaliao, e
essas discusses variam desde as melhores formas
de obteno de dados como apresentar as concluses.
Freqentemente, esses debates tm um cunho altamente tcnico, ainda que, apesar disso, no sejam
menos ferrenhamente contestados.
A maior parte dos julgamentos sobre as
metodologias adequadas encontra-se nas mos da
comunidade profissional, e no no governo. O empreendimento da avaliao profissional, assim como o
empreendimento mdico profissional, depende de um
mercado livre de idias, para forjar as suas
metodologias. O governo influencia indiretamente a
metodologia, a partir do momento em que aprova que
mtodos devero ser utilizados nos estudos patrocinados por ele, ainda que raramente se envolva diretamente
nos debates metodolgicos.
Por exemplo, em um estudo de cinco anos da
principal agncia de avaliao da National Science
Foundation (NSF), constatei que os rgos do governo
tendem a aprovar as metodologias tradicionais para os
estudos, como pesquisas e visitas de campo, que sejam bem compreendidas e aceitas tanto por avaliadores quanto por no avaliadores. H menos probabilidade de as agncias do governo aprovarem o financiamento de metodologias novas, de que as pessoas discordem. E esse conservadorismo metodolgico faz
sentido, se a legitimidade dos estudos for uma preocupao importante.
A segunda das estratgias principais para a
garantia da legitimidade a localizao dos avaliadores em lugar que seja resguardado da interferncia
poltica. No se deseja que as concluses da avaliao sejam modificadas por aqueles cujos programas
estejam sendo avaliados. Se a agncia de avaliao
estiver localizada em local protegido daqueles que forem ser submetidos avaliao, haver menos oportunidade de interferncia com os estudos. Assim, a agncia de avaliao da NSF est localizada na sua prpria
diviso, tendo o seu diretor status igual ao dos diretores das divises de programas. Eventualmente, a agncia de avaliao localizada dentro de uma agncia
superior da organizao. Por exemplo, o Federal Bureau
of Investigation (FBI) tem a sua agncia de investigao localizada no escritrio do diretor assistente dessa instituio.
Por outro lado, h um preo a ser pago por
esse tipo de independncia poltica. Quando a agncia
de avaliao afastada dos programas, existe menos
endncias recentes
Esses foram os avanos das ltimas poucas

dcadas. E as outras tendncias? Uma tendncia poderosa foi a de os governos reduzirem o seu tamanho.
Essa reduo de tamanho faz parte de uma teoria econmica (da escola de economia de Chicago), que afirma que os governos devem limitar os seus gastos, de
forma que haja mais dinheiro disponvel para o setor
privado, que, presumivelmente, pode usar os recursos
de maneira mais eficaz, para gerar mais riqueza. Alm
disso, de acordo com essa teoria, os governos devem
desregulamentar o setor privado.
114
comunicao entre os avaliadores e o pessoal dedicado aos programas. Esta separao reduz a possibilidade de as concluses da avaliao serem utilizadas
por aqueles que trabalham nos programas. Uma das
principais preocupaes dos avaliadores da NSF
convencer o pessoal dos programas a empregar as
concluses da avaliao. Para estimular o uso das
concluses, necessrio engajar o pessoal envolvido
no programa desde cedo no projeto do estudo, para
que o aceitem. Mas a separao das agncias no
encoraja esse tipo de cooperao.
Uma outra forma de estimular o uso das concluses da avaliao construir de maneira ativa uma
cultura de avaliao, dentro das prprias agncias do
governo. Isso pode ser feito atravs da organizao de
seminrios para o pessoal envolvido no programa, atravs de reunies individuais com ele, e, principalmente,
ajudando o pessoal do programa a entender e a participar no planejamento da avaliao e na implementao
de suas concluses. Entretanto, a criao de uma
cultura de avaliao em uma agncia um processo
que leva muito tempo; somente poucas agncias em
Washington foram bem-sucedidas nessa tarefa. O
desenvolvimento de uma cultura de avaliao continua
sendo uma tarefa a ser considerada, e no uma tarefa
realizada (House, Haug, Norris, 1996).
Alm de ser cientfica e independente, a avaliao deve tambm ser vista como sendo justa. Com
isso, quero dizer que os interesses e os pontos de
vista relevantes devem ser representados na avaliao.
Uma avaliao ter pouca credibilidade aos olhos do
pblico em geral se representar apenas os interesses
e os pontos de vista do governo. preciso que a avaliao represente os interesses de todos aqueles que
sejam afetados de modo significativo pelo programa
(s vezes mencionados como "partes interessadas").
Atualmente, um dos debates mais controversos na
comunidade de avaliao diz respeito a que interesses
deveriam ser representados.
var que o mercado de avaliao desenvolvido no tem

as caractersticas de um mercado neoclssico. Em
um mercado neoclssico, existem muitos compradores e vendedores de bens e de servios. Se os compradores no gostam de um produto, podem voltar-se
para outros vendedores do produto. Se os vendedores
no gostam do preo oferecido pelo seu produto, encontram compradores que ofeream um preo melhor.
Assim, as relaes de mercado so impessoais, e no
de pessoal. E, presumivelmente, o mercado mantido
em equilbrio a um alto nvel de eficincia, atravs desse balano de compradores e vendedores impessoais.
Entretanto, o mercado de avaliao que vai se
desenvolvendo no assim, ao menos no em Washington. Por exemplo, apenas quatro empresas realizam toda a atividade de avaliao da NSF. O pessoal
dessas empresas desenvolve relacionamentos pessoais estreitos com o pessoal da NSF. Afinal de contas,
os funcionrios da NSF precisam dispor de concluses
de avaliao para exibir ao Congresso, e necessitam
de contratados confiveis para fornecer as avaliaes
a tempo. Por outro lado, as quatro empresas contratadas tornam-se dependentes dos recursos da NSF, que
respondem por uma parte significativa de seus oramentos.
Assim, em lugar de relacionamentos impessoais de muitos compradores e de muitos vendedores,
o mercado passa a ser caracterizado por relaes bilaterais pessoais, cara a cara. As vantagens dos mercados custos baixos, alta qualidade no necessariamente se aplicam a esses mercados. Os servios
adquiridos podem realmente custar mais, e a qualidade do produto pode ou no ser um problema, dependendo da competncia dos contratados.
isso que os economistas chamam de "mercado imperfeito", e, para fazer com que esse mercado
funcione, preciso que o governo tome determinadas
providncias. O rgo do governo deve ter a capacidade para definir exatamente o que deseja, independentemente de seus contratados, as empresas responsveis pela execuo da avaliao. O rgo deve ser capaz de determinar quais so os bons contratados, de
controlar de perto os produtos e de diferenciar as avaliaes boas das ms (House, 1997). Essas tarefas
exigem a incluso de alguma maneira de atividades de
fiscalizao na organizao.
A contratao da avaliao de terceiras partes levanta tambm aspectos relativos ao controle das
concluses da avaliao. Na Gr-Bretanha, principalmente os governos Thatcher e Major propuseram contratos de avaliao que atribuem um controle considervel sobre as concluses de avaliao a patrocinadores do governo das prprias avaliaes (Norris, 1995).
Em alguns casos, as concluses foram suprimidas ou
modificadas, e foram negadas aos avaliadores oportunidades de tornar pblicas as suas concluses.
Ainda que esse controle no parea ser um
problema importante em todos os pases, fcil compre-
Ainda, os prprios governos devem ser mais

parecidos com empresas, mais empreendedores
(Osborne, Gaebler, 1992). Devem planejar e avaliar os
servios pblicos, mas os prprios servios pblicos
devem ser prestados pelo setor privado, em vez de por
agncias do governo. O governo deve planejar as suas
atividades, em vez de produzi-las. Por vezes, o conjunto
dessas polticas chamado de "nova gesto pblica".
Essas polticas resultaram em reduo dos
recursos do governo e levaram a uma outra funo para
a avaliao. Os governos desejam efetuar grandes cortes de oramento, querendo tambm que esses cortes sejam vistos como legtimos. Em especial, foi este
o caso na Europa, onde a recente onda de avaliao
foi intimamente associada aos escritrios de contabilistas e de oramento. O governo Thatcher, na GrBretanha, foi talvez o primeiro a utilizar a avaliao primariamente como instrumento para o corte de custos,
mas vrios outros governos fizeram a mesma coisa,
incluindo os governos social-democratas nos pases
nrdicos (Henkel, 1991).
Tudo isso resultou em modificaes na prpria comunidade profissional de avaliao. Enquanto
as primeiras comunidades de avaliao, nos Estados
Unidos, eram basicamente formadas por funcionrios
do governo dedicados pesquisa social, na Europa,
contabilistas, economistas e especialistas em oramento tornaram-se mais freqentes. Os critrios de
eficincia tornaram-se to importantes quanto os critrios de eficcia , para a avaliao de programas.
Um outro resultado foi que os prprios servios de avaliao passaram a ser terceirizados, ou contratados externamente. Com o intuito de reduzir o seu
tamanho, as agncias do governo vm terceirizando
muitos servios do governo junto ao setor privado. Tarefas uma vez realizadas pelos rgos do governo esto hoje sendo executadas por empresas privadas. A
nova gesto pblica sustenta que essas empresas privadas tm a capacidade para executar esses servios
de modo mais eficiente. E, de fato, ao reduzir seus
quadros, os rgos do governo com freqncia no dispem de pessoal suficiente para executar internamente as tarefas.
As avaliaes so tambm cada vez mais
terceirizadas. Por exemplo, na j mencionada agncia
da NSF, nada mais do que trs especialistas em avaliao administram em torno de 20 milhes de dlares
em estudos. Virtualmente todos os estudos de avaliao so contratados de firmas privadas. O pessoal da
NSF simplesmente no poderia realizar a tarefa, mesmo que o desejasse. Polticas semelhantes foram
adotadas na Austrlia, na Nova Zelndia, na GrBretanha e na Holanda (Boston et al., 1996).
Esse movimento de terceirizao resultou no
desenvolvimento de mercados especializados de avaliao. Empresas com e sem fins lucrativos realizam
estudos para o governo. Entretanto, vale a pena obser-
115
onde e como cortar alguns dos programas. importante saber como a terceirizao das avaliaes e o
desenvolvimento de um mercado de avaliao afetam
as prprias avaliaes, mas no dispomos de um entendimento sobre esse fenmeno.
Em terceiro lugar, esto as questes
metodolgicas, que incluem a acomodao das
metodologias ideais de avaliao aos aspectos polticos. Buscam-se mtodos que sejam possveis de serem apoiados, do ponto de vista poltico, e que sejam
profissionalmente aceitveis o que nem sempre
fcil de achar. E possvel imaginar de que forma essas questes poderiam interagir. Por exemplo, em qualquer operao burocrtica, o fluxo de informaes atravs dos nveis tcnico, administrativo e institucional
problemtico (Wilson, 1989).
Os funcionrios tcnicos fazem o trabalho, ao
passo que os prprios especialistas em avaliao fiscalizam os contratos e operam os programas. Administradores, em geral diretores de divises ou de departamentos, preocupam-se com os produtos finais, e
podem ter apenas um conhecimento superficial das
empresas que estejam realizando o trabalho. Os chefes institucionais, no topo da organizao, lidam com
legisladores, com o pblico e com outras foras polticas, para obterem recursos para a sua agncia. Possuem conscincia nada mais do que vaga sobre o trabalho que est sendo desenvolvido. A comunicao
entre esses nveis pode ser disfuncional.
O desastre do nibus espacial Challenger,
causado por um anel de vedao, um exemplo impressionante, quando os funcionrios tcnicos (os engenheiros) desaconselharam o lanamento da nave,
devido ao tempo frio. A empresa contratada, a Morton
Thiokol Corporation, tinha conhecimento de que os
anis de vedao, que selam os tanques de combustvel, poderiam apresentar mau funcionamento no inverno. Os altos administradores da National Aeronautics
and Space Administration (NASA) foram informados
do perigo, mas jamais compreenderam plenamente a
probabilidade de falha do anel de vedao. Estavam a
tal ponto preocupados com as conseqncias polticas de no lanar o nibus espacial, que o desastre
aconteceu: o nibus foi lanado e explodiu. Considerando-se que cada um dos nveis da organizao estava preocupado com um aspecto distinto, as probabilidades de falhas na comunicao eram altas.
A mesma coisa pode ser dita da avaliao
dentro do governo. Por exemplo, os legisladores exigem informao "de impacto", uma necessidade transmitida aos especialistas em avaliao atravs da cadeia de comando. Os especialistas em avaliao e as
empresas contratadas determinam o que tecnicamente vivel de ser feito sob aquelas circunstncias,
ou seja, que tipos de informaes podero ser obtidas.
Entretanto, aquilo que o Congresso quer dizer com "informao de impacto" e o que pode ser produzido so
esafios futuros
Quais so os futuros desafios a serem considerados por essas organizaes institucionais de avaliao? Em primeiro lugar, existe o problema potencial
da interferncia poltica, como j foi levantado. Nitidamente, a avaliao tem funes polticas, e politicamente til, mas, para desempenhar adequadamente a
sua funo de legitimizao para o governo, no pode
ter os seus processos politizados. Perder toda a sua
credibilidade. Ter credibilidade significa ter a capacidade para publicar concluses negativas. Que cidado,
onde quer que pudesse estar, acreditaria que as aes
do governo so sempre positivas?
Em segundo lugar, existe o problema econmico dos mercados especializados de avaliao. Conexes estreitas entre os governos e as empresas resultam em relacionamentos bilaterais prximos, o que
pode terminar por afetar a qualidade e a credibilidade
do trabalho. Ser que as empresas que forem to dependentes das agncias do governo geraro relatrios
favorveis aos programas dessas mesmas agncias?
H sinais disso nas avaliaes da NSF. Em uma extensa avaliao, com visibilidade nacional, os avaliadores mostraram-se relutantes em criticar a poltica do
governo, embora os avaliadores da NSF argumentem
que este no um problema muito disseminado.
Evidentemente, fcil ver que as empresas
contratadas imaginem que, ao produzirem relatrios
negativos, tero menos probabilidade de receberem
contratos futuros da agncia. Ironicamente, neste caso,
o que os funcionrios das agncias desejam ver so
as concluses negativas, de forma que possam saber
116
ender que a prtica disseminada da supresso das

concluses pelo governo terminaria por negar a
credibilidade das avaliaes como um todo, do ponto
de vista do pblico. Os avaliadores gerariam relatrios
em que ningum acreditaria. A longo prazo, essas prticas seriam autodestrutivas para o governo, uma vez
que levariam contaminao de uma fonte de legitimidade do prprio governo. Mas, evidentemente, o governo conhecido por ter optado por prticas no inteligentes no passado, e por ter garantido vantagens a
curto prazo a custos de longo prazo.
Assim, em resumo, a avaliao o produto
das interaes do governo, da comunidade de avaliao profissional e do mercado econmico. As interaes
entre esses trs setores da sociedade moderna ou
seja, o Estado, a sociedade civil e a economia so
complexas, mutuamente dependentes, e s vezes
conflitantes. Mas essa a estrutura das economias
capitalistas avanadas.
duas coisas diferentes. Pode-se encontrar muitas falhas de entendimento frente.

Em quarto lugar, h uma questo prtica, sobre de quem sero os interesses e pontos de vista a
serem includos na avaliao, de forma que ela seja
considerada como tendo sido justa e imparcial. indispensvel que as avaliaes tenham aparncia de
serem justas e imparciais, para terem credibilidade.
Ser imparcial significa incluir os interesses de todas
as partes relevantes na avaliao, incluindo aquelas
que tenham poder de voz. No somente devero ser
representados na avaliao os interesses dos ricos e
dos poderosos: com isso, focalizam-se questes de
justia social na avaliao.
J discuti esses aspectos em um livro de 1980,
mas deverei entrar em maiores detalhes em um outro
livro, ainda no terminado (House, 1980). Em poucas
palavras, o meu argumento que a avaliao deve ser
democrtica, dialogal e deliberativa. Deve ser democrtica, no sentido de que inclua os interesses e os
pontos de vista de todas as partes interessadas. Deve
ser dialogal, em termos de que precisa estabelecer
um dilogo com as partes interessadas, de forma que
a avaliao possa representar autenticamente os interesses dessas partes. E a avaliao precisa ser
deliberativa, para que possa dar s partes interessadas a oportunidade de deixar claros os seus verdadeiros interesses, de modo que se consiga chegar a decises bem tomadas. Em termos gerais, a avaliao
dever servir para informar uma democracia deliberativa.
especializado para servios de avaliao. Essas empresas contratadas precisam ser vistas como competentes, do ponto de vista profissional, e as agncias
dos governos devem tomar determinadas providncias
para que esses arranjos possam funcionar, incluindo
tanto a fiscalizao da qualidade das avaliaes produzidas, quanto a capacidade dos prprios contratados para a avaliao.
Finalmente, estou consciente de que muitas
pessoas imaginaro que seja ingnuo falar da independncia poltica dos avaliadores dos governos, que
os funcionrios do governo sempre trataro de interferir
nas avaliaes e de influenciar as concluses, para a
sua prpria vantagem. E, claro, muitos funcionrios
de governos faro isso. Por outro lado, a outra considerao significativa a relativa fragilidade dos governos nos Estados capitalistas avanados. Nessas sociedades, os governos necessitam de legitimidade, uma
vez que as decises econmicas crticas foram colocadas alm do seu alcance. Os governos precisam de
amigos, que possam dar apoio sua legitimidade, ainda que esses amigos sejam justos e imparciais.
BOSTON, J. et al. Public management : the New

Zealand Model. Oxford, England : Oxford University
Press, 1996.
HENKEL, M. Government, evaluation and change. Londres : Jessica Kingsley Publishers, 1991.
oncluso
HOUSE, E. R. Evaluacin, poder y tica. Madrid :

Morata, 1994.
Em resumo, e com respeito s providncias

para a realizao de avaliaes, elas precisam ser independentes a ponto de ter a capacidade de chegar a
concluses que sejam imparciais. Devem ser vistas
como sendo crveis, se quiserem atingir essa funo.
Sua imparcialidade advir da utilizao da metodologia
cientfica apropriada, e da proteo contra a interferncia poltica. Dentro do governo, as agncias de avaliao devero ser localizadas em rgos independentes, posicionados prximos aos responsveis pela tomada de decises, mas no no mesmo escritrio dos
programas a serem avaliados. Os mtodos cientficos,
que evitem quaisquer formas de parcialidades, devem
ser oriundos da comunidade profissional de avaliao.
Cada vez mais, as avaliaes vm sendo patrocinadas por rgos de governos, sendo realizadas
atravs de contratos firmados com empresas particulares, a ponto de vir desenvolvendo-se um mercado
________. Evaluation in the government marketplace.

Evaluation practice, v. 18, n. 1, p. 37-48, 1997.
________. Evaluating with validity. Beverly Hills, CA :
Sage Publications, 1980.
HOUSE, E. R., HAUG, C., NORRIS, N. Producing
evaluations in large bureaucracies. Evaluation, v. 2,
n. 2, p. 135-150, 1996.
NORRIS, N. Contracts, control, and evaluation. Journal
of Education Policy, v. 10, n. 3, p. 271-285, 1995.
OSBORNE, D., GAEBLER, T. Reinventing government.
Reading, MA : Addison-Wesley, 1992.
WILSON, J. Q. Bureaucracy. New York : Basic Books,
1989.
117
118
C OMO PODE A AVALIAO

CONTRIBUIR PARA A POLTICA EDUCACIONAL?
OS USOS DA INFORMAO
Barry MacGaw*
da adequao da informao sobre a qual se baseiam

os seus julgamentos.
Uma estratgia alternativa aquela em que o
sistema estabelece alguns mtodos de rotina para a
avaliao do seu prprio desempenho, obtendo e
analisando uma variedade de dados sobre o
desempenho do sistema.
A poltica de educao formulada e

implementada nos nveis do sistema e da escola.
Mesmo naqueles casos em que o sistema impe
severas restries ao que as escolas fazem, sempre
existe l algum grau de discernimento sobre a forma
especfica das polticas e sobre como podem ser
implementadas.
Alguns sistemas altamente descentralizados,
como o caso dos Estados Unidos da Amrica e da
Inglaterra e do Pas de Gales, esto tratando de
desenvolver polticas nacionais mais fortes, para
determinar uma estrutura para as polticas escolares.
Outros sistemas tradicionalmente centralizados esto
no processo de devolver muito mais responsabilidade
pelas decises sobre polticas e prticas escola, ainda
que possam criar algum tipo de estrutura de
responsabilidades, de forma que fique claro para as
escolas sobre quais aspectos elas devem consultar
as autoridades centrais sobre suas polticas, programas
e desempenho.
adoo de um enfoque sobre os

resultados
Durante as dcadas de 60 e 70, vrios pases

desenvolvidos buscaram formas de expandir os
recursos para financiamento de seus sistemas de
educao, enquanto se acomodavam em primeiro lugar
com o aumento da populao, e em seguida com a
maior participao, alm dos anos de freqncia
obrigatria escola.
J na dcada de 80, foram sendo levantadas
dvidas sobre as vantagens geradas pelo crescente
volume de recursos dirigidos. Como foi constatado pelo
Comit de Avaliao da Qualidade da Educao da
Austrlia (1985), pouca informao havia sido obtida
sobre a eficcia dos programas introduzidos com o novo
fluxo de financiamento, no havendo assim nenhuma
explicao bem-fundada sobre os benefcios. Quase
uma dcada mais tarde, a ausncia de evidncias sobre
vantagens passou a ser interpretada como a presena
de evidncias para a ausncia delas. Ainda mais, o
argumento era o de que se os recursos podiam ser
aumentados sem que houvesse benefcios, podiam
tambm ser reduzidos sem detrimentos (Comisso
Victoriana de Auditoria, 1993).
A ausncia de dados sobre os efeitos dos novos
programas e de outras reformas no serviu muito bem
uso da informao no nvel do sistema
Existem vrias maneiras atravs das quais os

sistemas de educao podem avaliar as suas
operaes, no nvel do prprio sistema.
Uma das maneiras a anlise externa. O
Departamento de Educao Escolar de Nova Gales do
Sul, Austrlia, adotou essa abordagem durante vrios
anos, reunindo um pequeno grupo de renomados
educadores da Inglaterra e dos Estados Unidos que se
encontravam todos os anos para analisar e escrever
relatrios sobre algum aspecto do sistema. A vantagem
que pode advir de um painel de grandes especialistas
depende do saber e da condio dos que fazem parte
dele, da abrangncia das questes que examinam, e
*Barry McGaw diretor do Conselho Australiano de Pesquisa Educacional (ACER). Foi o autor do estudo de caso australiano para o projeto da Organizao para
a Cooperao e Desenvolvimento Econmico (OCDE) sobre a definio de padres na educao. Em 1996-1997, o relatrio final da sua anlise sobre o
certificado da High School em Nova Gales do Sul foi a base para o informe oficial do governo, divulgado em agosto de 1997.
119
conceitualizao dos resultados. As seqncias de

resultados atravs dos anos sucessivos de freqncia
escolar so especificadas de forma clara, para
descrever o desenvolvimento esperado na
aprendizagem de um aluno em um determinado tema.
Esta abordagem foi adotada na estrutura de currculo
nacional na Austrlia, na especificao de estgios
principais na Inglaterra e no Pas de Gales, e em vrios
enunciados sobre padres nos Estados Unidos.
Na abordagem australiana, por exemplo, o
currculo foi dividido em oito principais reas de
aprendizagem, para cada uma das quais foram
desenvolvidas seqncias de resultados previstos, ao
longo de vrias linhas.
Na rea de Lngua Inglesa, h trs linhas:
l expresso oral e compreenso oral;
l leitura e visualizao e
l escrita.
Em Estudos da Sociedade e do Meio Ambiente,
h seis linhas:
l pesquisa, comunicao e participao;
l tempo, continuidade e mudana;
l lugar e espao;
l cultura;
l recursos e
l sistemas naturais e sociais.
No caso dos Estudos da Sociedade e do Meio
Ambiente, a primeira linha trabalha com os principais
processos empregados em todos os estudos nesta
rea, enquanto que os outros cinco identificam os
conceitos principais a serem aprendidos.
H, em curso, um debate sobre o lugar ocupado
pelo contedo entre o aspecto dos resultados, mas
est claro que eles apenas especificam a estrutura do
conhecimento, das habilidades, das atitudes e dos
valores a serem aprendidos. Os enunciados dos
resultados no incluem um currculo, atravs do qual
pudessem ser adquiridos conhecimento, habilidades,
atitudes e valores. O desenvolvimento do currculo
uma tarefa separada, a receber informaes da
estrutura dos resultados.
os resultados aos modelos a serem

seguidos
A especificao dos resultados da educao

envolve a determinao de algo, com respeito s
expectativas da aprendizagem. um passo importante
em direo ao estabelecimento de padres, mas poder
jamais chegar l.
Os resultados especificados na estrutura do
currculo nacional da Austrlia, por exemplo, definem
uma seqncia de resultados que se espera sejam
alcanados pelos alunos durante os seus primeiros dez
120
aos que haviam proposto aquelas iniciativas. Por outro

lado, muitos deles permaneciam relutantes em apoiar
a implementao de qualquer programa explcito de
monitoramento, argumentando que as medidas
provavelmente empregadas seriam limitadas demais
para que pudessem refletir toda a variedade de suas
metas educacionais.
Observava-se a tendncia de afastar o enfoque
dos insumos, ainda que, em um primeiro momento,
apenas para medidas intermedirias, como a
participao. A participao mais intensa tornou-se em
si mesma uma meta. Para as subpopulaes em
situaes de desvantagem, o objetivo passou a ser a
reduo das diferenas entre a populao como um
todo e a subpopulao em questo, em termos de taxa
de participao alm dos anos de educao obrigatria.
Cada vez mais, o enfoque foi transferido da
participao para os resultados. Na Austrlia, por
exemplo, um relatrio nacional sobre a educao de
australianos aborgenes (Departamento de Emprego,
Educao e Treinamento, 1988) baseou as suas
recomendaes para o desenvolvimento e
implementao de polticas em torno de quatro tpicos:
l envolvimento dos povos aborgenes e do
Estreito de Torres no processo de tomada de decises
no campo da educao;
l igualdade de acesso aos servios de
educao;
l igualdade na participao na educao; e
l resultados educacionais apropriados e iguais.
Estes tpicos refletem a mudana de enfoque,
mais geralmente do acesso e da participao para os
resultados. Acesso e participao so meios, e no
fins. So condies necessrias para o desempenho,
mas no o garantem, e realmente no so a certeza
de resultados com igualdade.
A prpria maneira de expressar os resultados
foi tambm sujeita a mudanas. O debate sobre os
objetivos comportamentais nas dcadas de 60 e 70
era um argumento sobre o nvel de especificidade
apropriado no enunciado de resultados esperados em
um currculo. Os objetivos comportamentais eram
enfatizados, com base no fato de que o seu uso
determinava aquilo que os professores deveriam
esperar, de uma forma que tornaria bvia a realizao
do objetivo, uma vez que a evidncia poderia ser
observada no comportamento do aluno. Os crticos
argumentavam no s que havia outros objetivos
importantes, alm do comportamento, mas tambm
que a diviso dos objetivos em partes menores e
possveis de serem observadas desagregaria a
aprendizagem a tal ponto que o quadro do todo seria
perdido em suas partes.
A tendncia atual, em direo a especificaes
de resultados, envolve at certo ponto esse risco de
desagregao, ainda que a abordagem seja distinta
em aspectos importantes. O mais significativo deles
que existe uma abordagem mais integrada
anos de freqncia escolar. Esses resultados so

agrupados em oito nveis, bastante amplos, no
havendo especificao quanto ao nvel da seqncia
de resultados que os alunos deveriam alcanar em cada
uma das etapas da escola. O nvel 8 foi inicialmente
concebido como o nvel que os alunos deveriam
alcanar na 11 e na 12 sries. Por causa do currculo
altamente estruturado existente nos estados para essas
sries, com as avaliaes associadas, abrangendo a
totalidade dos estados, o que se revelou foi a extrema
dificuldade em desenvolver um enunciado comum de
resultados para um Nvel 8 projetado para cobrir essas
sries. Ao fim, o Nvel 8 foi mantido, para descrever os
resultados que os melhores alunos poderiam alcanar,
antes do final da 10 srie.
A falta de ligao direta entre o nvel de srie e
o nvel do resultado foi bastante proposital. Na verdade,
a inteno era deixar claro que, em qualquer que fosse
a srie, a expectativa era que os alunos estivessem
trabalhando em uma variedade considervel de nveis.
Os alunos na Austrlia avanam atravs das vrias
sries por idade, e no atravs do progresso efetuado,
ao chegar a resultados especficos. No seria razovel
supor que todos os alunos de uma srie estejam em
uma determinada etapa da sua aprendizagem, e a
escola e o currculo de aula devem levar esse fato em
considerao.
Alguns dos sistemas dos estados desde ento
ligaram os onze anos, do Jardim de Infncia 10 srie
a oito nveis da seqncia de resultados. O Estado de
Victoria cancelou o Nvel 8 e ligou sete nveis aos
primeiros onze anos, at a 10 srie. A Introduo
dessas ligaes foi em parte uma resposta a uma
necessidade percebida, no sentido de que os
professores recebessem diretrizes mais claras daquilo
que, de uma forma geral, deveriam esperar dos seus
alunos. Alm disso, foi uma tentativa de estabelecer
as expectativas sobre a velocidade em que, em geral,
se espera que os alunos aprendam o contedo coberto
pelo currculo escolar.
Cada vez mais esto sendo descritos objetivos
explcitos dessa natureza, como modelos a serem
observados, em termos de desempenho. O que ainda
no ficou claro como exatamente esses modelos
devero ser estabelecidos. Os padres passados de
desempenho dos alunos de diferentes sries podero
servir como uma base. Uma outra seria a comparao
com nveis de desempenho esperados nas sries
correspondentes em outros sistemas, incluindo os de
outros pases.
No que os resultados sejam irrelevantes. At certo

ponto, eles no so ambguos, e possibilitam critrios
claros de acordo com os quais possvel julgar o
processo.
O critrio dos resultados no precisa ter um
carter financeiro, ainda que seja financeira, em ltima
anlise, a medida do desempenho de uma empresa da
rea empresarial ou industrial. Um departamento de
aquisio dentro de uma fbrica, por exemplo, pode
ser comparado contra departamentos de aquisio de
organizaes semelhantes, ou com o componente de
aquisio de uma organizao especializada, que pura
e simplesmente compra e vende. As caractersticas
dos processos de aquisio da companhia externa
poderiam ser introduzidas na empresa, usando a
primeira como modelo. Os aprimoramentos de
desempenho poderiam ser testados, atravs do uso
de indicadores explcitos de desempenho, como
transaes por membro do pessoal em alguma unidade
de tempo, ou custo por transao.
Nos casos em que os resultados sejam mais
ambguos, como na prestao de servios de natureza
humana ou social, o enfoque do processo de
benchmarking tende a ser concentrado nos resultados,
e no mais no processo. So realizadas comparaes
com outras organizaes em termos de medidas dos
resultados. A melhor prtica definida em termos de
resultados, pelo menos durante as primeiras etapas.
fcil encontrar exemplos na prtica mdica.
No caso de sade pblica, so usados como
indicadores as taxas de mortalidade e morbidade.
Evidentemente, o quadro obtido poder ser bastante
complexo. Caso caia a taxa de mortalidade infantil,
bem poder haver um crescimento da taxa de
morbidade entre as crianas, j que tero sobrevivido
aquelas portadoras de algum tipo de incapacidade.
medida que declinam as taxas de mortalidade devidas
a um tipo de enfermidade, podero elevar-se outras,
devido a outras doenas, mas com a idade mdia de
morte mais alta do que era antes. Aqueles que no
morrem devido causa anterior, podero viver durante
mais tempo, mas ficaro mais propensos morte em
conseqncia da segunda causa. Outros indicadores
referem-se durao mdia da hospitalizao para os
pacientes que recebam tratamento para uma
determinada condio, taxa de retorno de pacientes
com alta, e assim por diante.
Conceitos de modelos a serem seguidos
Na educao, a discusso mais atual do

processo de benchmarking concentra-se nos
resultados. Os modelos a serem copiados so
tipicamente definidos como nveis de desempenho que
devem ser esperados de todos os alunos com o mesmo
estgio de escolaridade. Os estados australianos que
ligaram as suas sries escolares a nveis na estrutura
do currculo nacional podem argumentar que os
Benchmarking em educao
A noo da determinao de modelos a serem

seguidos (benchmarking) veio dos setores empresarial
e industrial. Ali, a discusso gira em geral em torno da
comparao com um modelo de "melhor prtica", at
mesmo "melhor prtica em nvel mundial". A prtica de
benchmarking enfatiza o processo, e no os resultados.
121
resultados no nvel ligado a uma determinada srie

representam o modelo para aquela srie, determinando
o que deve, pelo menos, ser esperado dos alunos
daquela srie.
Por outro lado, as coisas no so to diretas
quanto parecem, uma vez que existem 11 sries (do
Jardim de Infncia 10 srie), e oito nveis de
resultados. As ligaes definidas no Estado de Victoria
aparecem na Tabela 1.
campo de letramento e conhecimento numrico para a

3 e a 5 sries, sendo distribudas as minutas das
descries, para comentrios.
Os sistemas de exames pblicos nos estados
e territrios da Austrlia, ao final da 12 srie, so uma
avaliao do desempenho dos alunos nas matrias que
eles tenham optado por estudar. Durante muitos anos,
os sistemas operaram sem distino de "aprovado/
reprovado". Os alunos so solicitados a terminar um
determinado nmero e padro de cursos, para a
obteno de um certificado em que aparecem os
resultados por matria. Em alguns casos, aparecem
notas na escala de 0 a 100, mas 50 no a nota "para
passar", uma vez que uma proporo fixa de candidatos
em geral recebe notas abaixo de 50.
Em Nova Gales do Sul, o governo adotou uma
abordagem de referncia a padres para a avaliao e
informao sobre o desempenho dos alunos, da forma
recomendada por uma anlise do Certificado de Higher
School (McGaw, 1997), mas acrescentou um requisito,
de que as bancas do exame determinem um nvel
mnimo de aceitao de desempenho que receber nota
50 (ministro da Educao e do Treinamento de Nova
Gales do Sul, 1997). No vai haver requisito para que
uma determinada proporo de alunos tenha nota abaixo
de 50. O fato de os alunos receberem notas acima ou
abaixo vai depender de que tenham alcanado o padro
exigido, ou o modelo. Ainda est para ser definido o
ponto at o qual os modelos sero comparveis entre
as matrias.
N vel de
resulta do
N vel 1
N vel 2
N vel 3
N vel 4
N vel 5
N vel 6
N vel 7
S rie
Final da Srie P repara tria
Final da 2 s rie
Final da 4 s rie
Final da 6 s rie
Final da 8 s rie
Final da 10 s rie
E xten s o para os que passam do N vel 6
A adaptao feita em Victoria da estrutura do

currculo nacional, como sendo a sua Estrutura
Curricular (CSF), claramente vai alm da especificao
das seqncias nas quais podem ser alcanados os
resultados, e passa a ser uma proposta de intenes
sobre quando se espera que esses resultados sejam
efetivamente alcanados.
O documento referente a cada rea principal
de aprendizagem explica s escolas que essas ligaes
entre as sries escolares e os nveis constantes do
CSF so feitas:
para possibilitar diretrizes claras para as escolas sobre
Quando o enfoque no nvel do sistema era

concentrado nos insumos, eram usados vrios
indicadores sobre a qualidade desses resultados, para
avaliao do sistema como um todo. O nvel de
despesas por aluno era o mais bvio e o mais
freqentemente usado. Uma importante anlise da
escola realizada no incio da dcada de 70 revelou o
investimento australiano em educao escolar como
baixo, quando comparado a outros pases da OCDE, e
varivel quando eram examinados os sistemas dentro
do pas (Comit Interino, 1973). O comit de anlise
desenvolveu um ndice de utilizao de recursos, como
meta para o aumento nos investimentos que tinha de
ser alcanada at o final da dcada de 70 em todos os
sistemas, com apoio financeiro do governo federal. A
meta foi alcanada.
Outros indicadores referentes a insumos, que
refletiam em grande parte a forma de direo dos
recursos financeiros, concentrava-se no nmero e no
o tempo e a progresso do currculo e dos padres. A

Diretoria reconhece que no h ritmos iguais no
processo de aprendizagem das crianas. O CSF oferece
descries sobre os anos de freqncia escolar
necessrios para a cobertura dos elementos mais
importantes das principais reas de aprendizagem...
Ao desenvolver os padres, a Diretoria descreve
padres esperados em determinados nveis. Os padres
no
representam
simplesmente
ontes e formas de dados
descries
informadas de desempenhos do momento, mas

relacionam-se especificamente s aspiraes do
enfoque curricular (Board of Studies, 1995, p. 4).
No nvel nacional, na Austrlia, h um projeto

atual que est sendo dirigido pela Associao de
Currculo, para a determinao de modelos a serem
seguidos referentes ao desempenho dos alunos no
122
Tabela 1 Ligao entre o nvel de resultados e

as sries em Victoria, Austrlia
em especial para avaliar se os alunos desenvolveram

as habilidades bsicas nas reas de letramento e
conhecimento numrico que sero pr-requisitos para
outras formas de aprendizagem, e na 5a srie. Outros,
acompanham tambm o desempenho durante as
primeiras sries da escola secundria.
A maior parte dos sistemas, hoje, avalia todo
o grupo de alunos, para fornecer relatrios aos pais.
Com esse volume de avaliaes para receberem notas
e para a gerao de relatrios, utilizam-se formas muito
limitadas de dados. As respostas dos alunos precisam
ser corrigidas por mquinas, o que limita as formas,
ainda que no completamente, mltipla escolha.
Durante os primeiros anos, e ainda hoje na
parte ocidental da Austrlia, o acompanhamento inclua
apenas uma amostra representativa de alunos, e no
toda a populao estudantil. Com um volume mais
restrito de respostas a serem pontuadas e includas
em relatrios, ficou aberta a possibilidade de questes
mais complexas e respostas abertas. A Figura 1 mostra
um exemplo do acompanhamento do desempenho dos
alunos em Cincias, no Estado de Victoria.
nvel de treinamento dos professores, nmero e tipo de

pessoal auxiliar, oportunidades de desenvolvimento
profissional para os professores, e assim por diante.
A ateno passou a ser canalizada para os
alunos, medida que se passou cada vez mais a olhar,
na dcada de 80, as taxas crescentes de participao
alm dos anos de freqncia obrigatria escola, ou
seja, aps a 10 srie. Esse era visto como um objetivo
desejvel, ainda que no fosse um indicador direto dos
resultados. Como indicado anteriormente, na discusso
sobre a educao de aborgenes, a participao uma
condio necessria, mas no suficiente, para o
desempenho.
Os dados sobre desempenho dos alunos falam
mais diretamente sobre a possibilidade de um sistema
de educao estar capacitando os alunos a alcanarem
os resultados estabelecidos como metas de
aprendizagem. Todos os sistemas de educao
australianos dispem hoje em dia de algum tipo de
processo para a coleta anual de dados, atravs do qual
se acompanham os nveis de desempenho dos alunos.
A maior parte deles examina o desempenho na 3a srie,
Figura 1 Material de estmulo para avaliao dos conceitos de Cincias dos alunos
123
A questo, que aparece na Figura 1, uma

dentre vrias, que pediam uma resposta dissertativa,
que revelasse alguma coisa da idia que o aluno tinha
sobre a matria. Nesse item, as respostas foram
classificadas de acordo com as categorias ordenadas
que aparecem na Tabela 2.
noo de reaes qumicas

modelo da matria em partculas
64
62
conhece processo no facilmente

observveis
Tabela 2 Categorias das respostas dadas por

alunos questo sobre condensao
identifica apenas os componentes

observados
60
58
observaes e definies simples
C ategoria de resposta
conde nsao q uando o ar resfria
da atm o sfera sem indica o d e m ecanism o
conde nsao sem m encionar a atm osfe ra
lquid o fora da jarra ve m de dentro
lquid o passou pelos lado s da jarra
respostas im possveis de interpretar
Pontos
exemplos ou "mgica" como explicao
4
3
2
1
0
0
56
Figura 3 Escala da estrutura da matria

Usando uma amostra relativamente grande de
alunos, a equipe de pesquisa responsvel por essa
avaliao da aprendizagem dos alunos conseguiu,
atravs de um teste com papel e caneta, efetuar uma
investigao detalhada do entendimento conceitual dos
alunos na rea de Cincias, do tipo usado por
professores de Cincias, com o uso de tcnicas muito
mais intensas de entrevistas (Adams, Doig, Rosier,
1991). O instrumento de avaliao foi posteriormente
publicado em separado, sob o ttulo Tapping Students'
Science Beliefs (Adams, Doig, Rosier, 1992).
Usando um modelo de crditos parciais da

teoria de item-resposta, possvel calibrar a localizao
dos limites entre as categorias de respostas a uma
questo desse tipo. A escala possui propriedades de
intervalos e valores numricos que podem ser atribudos
a ela, para indicar as unidades da escala. A escolha
dos valores numricos arbitrria, assim como o a
escolha dos valores das escalas Fahrenheit e Celsius,
para a temperatura. Os resultados da calibrao
aparecem na Figura 2.
condensao quando o ar resfria

63
nterpretao dos dados
condensao sem mencionar a atmosfera
61
60
O amplo acompanhamento do desempenho de

alunos em um sistema de educao pode ser um
instrumento bastante desastroso, a menos que receba
cuidadosa ateno s interpretaes que precisaro
ser feitas com os dados obtidos. Por sua vez, isso
exigir que sejam levadas em considerao as platias
a que se destinam tanto os prprios dados quanto as
interpretaes deles.
lquido fora da jarra vem de dentro

lquido passou pelos lados da jarra
58
respostas impossveis de interpretar

Figura 2 Calibrao dos limites para o item sobre
condensao
Pblico para as interpretaes
A partir da e de outras questes, que

focalizavam o conceito da estrutura da matria, foi
possvel calibrar a estrutura da escala da matria, que
aparece na Figura 3. O item sobre condensao
envolvia apenas uma mudana fsica, mas alguns dos
outros, que tinham a ver com o processo de cozimento,
envolviam mudanas qumicas, e assim pode levar os
alunos cujo modelo da matria ia alm da teoria das
partculas para a idia da recombinao das partculas
de modos diferentes, medida que as substncias vo
sendo formadas em uma reao qumica.
O acompanhamento no nvel do sistema , em

geral, justificado como uma forma de satisfazer as
necessidades de responsabilizao para com o pblico.
Neste caso, a platia o pblico em geral. Para que
essa necessidade seja bem satisfeita, tudo depender
do nvel de abertura e acessibilidade do relatrio sobre
o desempenho geral dos alunos do sistema.
Outros que podem ter um interesse legtimo
no acompanhamento no nvel do sistema so altas
autoridades do prprio sistema; neste caso, o
124
da atmosfera sem indicao de mecanismo
acompanhamento dever inform-los sobre o impacto

geral de suas polticas.
Nos casos em que o acompanhamento
realizado com a verificao de toda a populao de
alunos, cada escola e os prprios pais podero obter
informaes sobre respectivamente um determinado
aluno, ou uma determinada escola, dentro do contexto
do padro geral dos resultados.
esto participando, mas tambm em qu. Por exemplo,

em Nova Gales do Sul, o estudo da Lngua Inglesa
oferecido atravs de quatro diferentes cursos, da 11
12 srie, sendo organizados hierarquicamente por nvel
de exigncia intelectual. Ou seja, os cursos
determinam diferentes tipos de expectativas para os
alunos, e presume-se que o nmero de matrculas reflita
os nveis de desempenho anterior dos alunos. A anlise
recente do Certificado de Higher School de Nova Gales
do Sul revelou que as expectativas eram diferenciadas
por classe social, bem como por desempenho anterior
(McGaw, 1997, p. 44).
Isso pode ser comprovado atravs da
comparao do nmero de matrculas nos cursos na
11 e 12 sries, de alunos com desempenho
igualmente bom em Lngua Inglesa, na avaliao em
nvel estadual realizada no final da 10a srie, e que
freqentavam escolas secundrias no-seletivas do
governo, mas que tinham distino em termos de
geografia - um grupo dos subrbios de classe
socioeconmica mais baixa de Sydney, e o outro da
rea de nvel socioeconmico de mdio para alto da
Zona Norte de Sydney. A Tabela 3 mostra os detalhes.
Dados no nvel do sistema

Ainda que os dados relativos participao
no constituam uma medida do resultado, eles so
significativos para questes de eqidade, e so
importantes em qualquer avaliao da poltica de
educao. As diferentes taxas de participao por
gnero, por condio socioeconmica, localizao (rea
rural ou urbana) todas podero sinalizar a necessidade
de iniciativas de natureza poltica, para a reduo das
desigualdades.
Alm disso, os efeitos podem ser mais sutis.
No simplesmente uma questo de se os alunos
Tabela 3 Percentagens de alunos de escolas no-seletivas do governo, m atriculados

em vrios cursos de Lngua Inglesa durante a 12 srie
In g l s d e 1 2 s rie e m 1 9 9 6
D o is cu rs o s c o m m a io r e x ig n c ia
S e g u n d o c u rs o c om m e n o s e x ig n c ia
C u rs o c o m m e n o r e xig n c ia
3 0 % s u p e rio re s e m
In g l s d a 1 0 s rie e m
1 9 9 4 , d e a c o rd o c o m
a a v a lia o e s ta d u a l
SO de
N de
S yd n e y
S yd n e y
M
F
M
F
35
22
22
13
62
73
70
78
4
5
8
9
Entre os alunos representados como os 10%

superiores em Lngua Inglesa da 10a srie, os da parte
mais ao sul de Sydney tm probabilidade maior do que
os da parte Norte da cidade de serem matriculados no
segundo curso em Lngua Inglesa com menor nvel de
exigncia durante a 11 e 12 sries, e menos probabilidade de serem matriculados em qualquer um dos dois
cursos com maior nvel de exigncia. Verifica-se um
padro semelhante com relao aos alunos dos 30%
superiores em Lngua Inglesa da 10 srie; a exceo
que, para esse grupo mais amplo, h uma maior probabilidade de os alunos da Regio Sudoeste optarem
por um curso com menor nvel de exigncia, na mesma matria.
A verdade que os alunos viam-se limitados
pela variedade de cursos oferecidos nas suas escolas.
A estrutura de cursos altamente diferenciada em Lngua Inglesa (assim como em outras matrias) em Nova
Gales do Sul visava oferecer cursos que fossem apro-
1 0 % s u p e rio re s e m
In g l s d a 1 0 s rie e m
1 9 9 4 , d e a c o rd o c o m
a a v a lia o e s ta d u a l
SO de
N de
S yd n e y
S yd n e y
M
F
M
F
63
56
51
33
36
44
48
67
1
0
1
0
priados para os alunos com diferentes nveis de desempenho anterior. De fato, a diferenciao dos cursos mapeada de acordo com a diferenciao social.
Os alunos da Zona Sudoeste de Sydney, como aparece na Tabela 3, no so diferentes dos da Zona Norte,
em termos de desempenho anterior em Lngua Inglesa; a nica diferena acontece em termos de geografia
e condio socioeconmica.
A interpretao dos dados de desempenho no
nvel do sistema no um processo direto. Os resultados podem fornecer informaes sobre o nvel e sobre
a abrangncia dos desempenhos dos alunos, alm de
comparaes atravs de sries, caso sejam examinadas mais sries, e caso os testes sejam interligados e
calibrados de acordo com uma escala comum. A questo de se o nvel de desempenho satisfatrio ou no
geralmente aparece como aspecto principal em qualquer discusso pblica sobre a educao.
125
seu emprego com alunos que sejam comparveis entre si, pertencentes a um outro sistema.
Uma recente pesquisa nacional de habilidades de letramento, entre alunos de escolas primrias,
na Austrlia, uma boa ilustrao para esse aspecto.
Esta pesquisa investigou os nveis de letramento entre
alunos de 3 e 5 sries, nos cinco aspectos do
letramento determinados na estrutura do currculo nacional, ou seja, escrita, leitura, visualizao, expresso oral e escuta.
A pesquisa determinou a extenso dos nveis
de desempenho dos alunos, e os mapeou de acordo
com os nveis de resultados na estrutura do currculo
nacional (Comit Administrativo para o Exame de Alfabetizao de Ingls da Escola Nacional NSELS,
1997). As percentagens dos alunos nos vrios nveis
das quatro dimenses de letramento avaliados aparecem na Tabela 4.
Estes resultados possibilitam um nvel bsico

(1996) de desempenho com os quais possvel
comparar os nveis de desempenho de alunos similares,
em anos posteriores. Alm disso, a pesquisa gerou
informaes sobre os nveis de desempenho dos
subgrupos. As meninas apresentam um nvel de
desempenho mais alto do que os meninos em todos
os aspectos relacionados a letramento, com a diferena
maior aparecendo na escrita e a menor na visualizao.
Os alunos de condio socioeconmica mais alta tm
desempenho melhor do que os de condio mais baixa,
e a diferena entre os gneros fica maior a favor das
meninas cujos pais tm ocupao manual, no
capacitada.
O ministro das Escolas da Commonwealth, da
Educao Vocacional e do Treinamento queria uma
comparao mais precisa, com um modelo a ser
seguido claramente definido, mais do que possibilitava
esse mapeamento de nveis de desempenho. O Comit
Administrativo solicitou aos pesquisadores Masters e
Forster, do Conselho Australiano de Pesquisa
Educacional, que tentassem localizar, nas suas cinco
escalas do NSELS os pontos divisrios que pudessem
corresponder a propostas de modelos a serem seguidos
para o projeto nacional sob a administrao da

Associao de Currculo.
Essa tentativa limitou-se s reas de leitura e
escrita, uma vez que eram esses os dois aspectos
referentes a letramento para os quais as propostas de
modelos estavam mais avanadas. Ao final, constatouse que no era possvel passar da proposta dos modelos
a serem seguidos para a determinao de sua
localizao correspondente nas escalas de leitura e
escrita do Exame de Letramento de Ingls da Escola
Nacional (NSELS), sendo assim a tarefa desenvolvida
do ponto de vista oposto. Pediu-se que os
pesquisadores dos modelos determinassem se cada
uma das tarefas das avaliaes de escrita e leitura do
NSELS correspondiam a desempenhos adequados ou
menos do que adequados nas reas de leitura e escrita,
no caso de alunos de 3 ou 5 sries. As suas
concluses foram ento combinadas, para determinar
as notas para aprovao nos testes da pesquisa. O
percentual de alunos que ficaram acima ou abaixo das
notas de aprovao definidas pelos pesquisadores
aparece na Tabela 5. Esses resultados foram
publicados em um outro relatrio (Masters, Forster,
1997).
126
Caso exista um enunciado claro sobre os nveis esperados de desempenho, estes podem servir
como modelo a ser seguido, e de acordo com o qual
podem ser julgados os nveis reais de desempenho.
Evidentemente, uma outra possibilidade que seja levantada a questo de se as expectativas esto determinadas no nvel correto ou no.
O acompanhamento repetido atravs do tempo pode fornecer evidncia de qualquer mudana nos
padres de desempenho, contanto que os testes
efetuados durante os vrios anos estejam interligados,
e possam ser calibrados de acordo com uma escala
que seja comum. Caso os materiais de teste no sejam firmes, a ligao entre os testes aplicados nos
vrios anos poder ser estabelecida, no atravs da
utilizao repetida do mesmo contedo, mas atravs
do desenvolvimento de um teste composto com materiais dos testes aplicados nos vrios anos, alm de
Ta bela 5 Perc entual de alunos que alcan am os padre s esperados

em le tram ento
E scrita
Leitura
N vel de desem penho
3 s rie
5 s rie
3 s rie
5 s rie
A lcana o pad ro
72
67
73
71
N o alca na o padro
28
33
27
29
Comparaes internacionais
Esses resultados transformaram-se ento em

base para um acirrado e substancial debate pblico.
Os informes dos meios de comunicao o descreviam
como a revelao de uma crise de letramento nas escolas. Embora todas as provas disponveis mostrassem que no tinha havido queda nos padres de
letramento, esses resultados foram no apenas interpretados como tendo sido baixos, mas como sendo
mais baixos do que no passado, ou com certeza mais
baixos do que os crticos conseguiam recordar, em
termos de quais seriam esses padres no tempo da
sua prpria freqncia escola.
Os resultados refletem os nveis de desempenho dos alunos em relao aos nveis em que foram
determinados os modelos a serem seguidos. A questo sobre se esses modelos estariam em um nvel alto
demais ou baixo demais pode ser encarada atravs do
exame dos tipos de desempenho em leitura e escrita
que ficam logo acima e logo abaixo do modelo. Caso
os desempenhos abaixo dos modelos estabelecidos
fossem considerados como satisfatrios para os alunos da srie relevante, o modelo poderia ser reduzido.
Uma outra maneira de formar uma opinio sobre se os nveis de desempenho eram ou no
satisfatrios seria atravs do uso de dados comparativos oriundos de um outro sistema, ou de um outro pas.
O Third International Mathematics and Science Study
(TIMSS) possibilitou comparaes entre os sistemas
de educao dos estados e territrios australianos, bem
como entre a Austrlia e outros pases.
As comparaes internacionais possibilitadas
pelo TIMSS foram de uma maneira geral encorajadoras
para a Austrlia. A Tabela 6 mostra os resultados. Havia
pases com desempenhos superiores aos da Austrlia, mas, ainda assim, os alunos australianos mostraram um bom desempenho nas comparaes internacionais. Nenhum pas de lngua inglesa ou da Europa
Ocidental aparecia nossa frente. Enquanto isso nos
permitia algum nvel de satisfao, no devia ser razo
para atitude de complacncia. Um dos estados, o de
Western Australia (Austrlia Ocidental), atingiu nveis
de desempenho comparveis ao pas de mais alto desempenho, que foi Cingapura.
Enquanto isso permitia algum nvel de satisfao para os australianos, no devia ser razo para atitude de complacncia. Nitidamente, existem padres
mais altos sendo atingidos em outros locais, e preciso encarar a questo sobre se esses padres mais
altos devem tambm ser esperados na Austrlia. Isso
traz mesa a possibilidade de tentar chegar melhor
prtica internacional, no em termos de processos,
mas sim de resultados, ainda que o aspecto de processos tenha tambm que ser examinado.
o acompanhamento do desempenho
mudana de polticas
A inteno agora empregar de forma produtiva os resultados do acompanhamento, passando da

avaliao ao.
127
Da avaliao ao
avaliador formativo, para a instalao de uma base para

modificao e aprimoramento do programa.
O acompanhamento amplo de um sistema
um instrumento inadequado demais para poder ser a
medida atravs da qual podero ser formadas ou avaliadas iniciativas curriculares especficas.
necessrio que seja desenvolvida uma anlise mais detalhada do que a mera comparao e inspeo dos dados mdios de carter geral, para que as
informaes geradas pelos programas de acompanhamento possam ter utilidade como base de avaliao.
Essas anlises detalhadas do desempenho
dos alunos australianos no TIMSS, em comparao
com os de outros pases, que apresentaram um desempenho melhor, em especial Cingapura, o Japo e a
Coria indicam as deficincias na Austrlia na rea de
Matemtica. Eventualmente, a Austrlia poderia ter
imaginado que os seus alunos apresentariam um desempenho pior nas tarefas ligadas a clculos matemticos, uma vez que essa rea recebe menor nfase
nos currculos australianos, e os alunos apresentam
um desempenho mais baixo a. Por outro lado, a Austrlia poderia ter pensado que os seus alunos apresentariam melhor desempenho nas atividades relacionadas soluo de problemas, o que no aconteceu:
eles s vezes apresentam bom desempenho, mas
freqentemente aparecem significativamente abaixo,
tambm nesse tipo de tarefa (Stacey, no prelo).
A anlise dos dados relativos s
subpopulaes poder tambm indicar as reas em
que tambm necessrio algum nvel de ao. sempre importante verificar o que esses dados tm a dizer,
em termos de aspectos ligados eqidade nos resultados. Os grupos em situao de desvantagem podem
ser identificados, podendo receber uma quantidade
adicional de recursos, ou at mesmo programas especiais.
O Estado de Nova Gales do Sul utilizou, a uma
determinada altura, os seus resultados no Teste de
Habilidades Bsicas na rea de letramento para a 3a
srie, para a identificao daquelas escolas que apresentavam um nmero significativo de alunos com mau
desempenho, para encaminhar professores
especializados em letramento precoce para as escolas que tivessem revelado as maiores necessidades.
uso da informao no nvel da instituio
Os dados que vm do nvel do sistema podero produzir tambm informaes no nvel da instituio, principalmente se for testada toda a populao de
alunos. Por outro lado, a interpretao dos dados do
nvel da instituio no fcil, uma vez que o resultado no apenas do que a instituio faz, mas tambm
das caractersticas dos alunos que fazem parte da instituio. Isso quer dizer que as instituies devem tratar de enxergar alm das comparaes com outras instituies, ainda que dem ateno a elas, para chegarem a uma anlise interna mais detalhada de si mesmas e da sua comunidade.
strutura de responsabilidades no nvel

do sistema
O sistema de avaliao no nvel do sistema

mais elaborado da Austrlia o que foi implementado
em Victoria, juntamente com um programa que visava
ao retorno substancial das responsabilidades s escolas, com respeito a muitas decises relativas a aspectos curriculares, dos professores e do pessoal, que
pertenciam antes ao domnio da autoridade central. A
autoridade central transferiu a responsabilidade para
as escolas, mas imps ao mesmo tempo uma estrutura de responsabilidades, de acordo com a qual as escolas devem informar tanto as suas prprias comunidades quanto tambm a prpria autoridade central.
De acordo com essa estrutura de responsabilidades, as escolas desenvolvem uma declarao de
misso de obrigaes, em consulta com a sua comunidade, apresentam relatrio anual comunidade e
autoridade central, expondo o desempenho e o progresso em relao aos planos estratgicos contidos
na declarao de misso, e realizam uma anlise
trianual com a ajuda de uma equipe externa, para exame e reviso da declarao de misso para o trinio
seguinte.
Esse programa vem sendo progressivamente
introduzido em todas as escolas do governo, desde
1993, quando foi iniciado com um pequeno grupo de
Da ao avaliao
Esses tipos de anlises de dados, vindos do
acompanhamento do sistema, poderiam ento levar a
consideraes de reforma curricular, para resolver deficincias quando fossem consideradas como srias.
Quaisquer que fossem as iniciativas
curriculares introduzidas dessa forma deveriam ser avaliadas com bastante seriedade, sem serem
implementadas simplesmente pela confiana cega no
sucesso. A longo prazo, preciso que apaream as
vantagens nos nveis de desempenho, a partir do acompanhamento do sistema. A curto prazo, medida que
forem sendo implementadas e desenvolvidas as iniciativas, preciso que seja empregado todo o arsenal do
128
percepes dos pais sobre o valor dos relatrios de desempenho de seus filhos.
escolas voluntrias. Em torno de 300 escolas juntaram-se ao programa em 1994, mais 500 em 1995, e as
ltimas 400 no meio do ano de 1995.
A estrutura de responsabilidades baseia-se em
cinco princpios: foco sobre o cliente, orientao para
o desempenho, propriedade e transparncia locais,
integrao de todas as partes do planejamento, poltica e atividades operacionais da escola, e, ainda assim, um conjunto comum de requisitos para todas as
escolas, com relao obteno e publicao dos
dados.
na administrao, usando:
opinies do pessoal, sobre a qualidade da
administrao da escola;
extenso do desenvolvimento profissional
entre os membros do pessoal;
faltas do pessoal.
nos recursos, usando:

demonstrativo dos resultados financeiros
anuais;
total de receitas e despesas da escola.
ontes e formas de dados
Para estabelecerem as suas metas, as escolas precisam levar em considerao o acesso e a eqidade para os alunos de famlias que no falam ingls,
os que so portadores de incapacidades e os alunos
aborgenes.
As escolas recebem orientao do Escritrio
de Avaliao do Departamento de Educao sobre
como implementar a estrutura de responsabilidades,
incluindo como obter e analisar os dados relevantes.
Entre os documentos fornecidos pelo Escritrio, incluem-se: Developing a School Charter, School Annual
Report Guidelines, School Organisational Health Survey,
para a pesquisa com o pessoal, e Parent Opinion
Questionnaire e Monitoring Parent Opinion: User Guide,
como documento associado.
A estrutura de responsabilidades permite que

as escolas desenvolvam as suas prprias prioridades
e os seus prprios planos, de acordo com as polticas
e programas gerais do sistema, alm de acompanharem o desempenho em relao ao programa escolar
local, que resulta das suas prioridades e de seus planos.
O processo de obteno e avaliao de dados
das escolas baseia-se:
l
na aprendizagem do aluno, usando:

o desempenho dos alunos demonstrado em
testes aplicados em todo o estado e, no
caso das escolas secundrias, nos exames
do Certificado Victoriano de Educao e outras avaliaes, para a 12 srie;
no julgamento dos professores sobre os desempenhos dos alunos em relao Currculo e Estrutura de Padres.
no currculo, usando:
as designaes de cargas horrias para as
oito reas curriculares;
a participao por gnero nas matrias da
escola secundria, quando os alunos tm
a possibilidade de opo;
as opinies dos pais sobre a qualidade do
currculo.
nterpretaes dos dados
Pblico das interpretaes

H duas espcies principais de pblico a quem
se destinam os relatrios anuais das escolas e os relatrios trianuais de anlise. Uma a comunidade das
escolas. A outra, o Escritrio de Avaliao, que examina os relatrios, combinando tambm dados de relatrios de todas as escolas, para gerar um relatrio para
todo o sistema.
no ambiente da escola, usando:

a freqncia escolar;
o nmero de acidentes entre os alunos;
as opinies dos pais sobre o ambiente da
escola.
Metas institucionais como critrios

Um dos enfoques principais na interpretao
dos dados oriundos das anlises so as prprias metas da escola, definidas na sua declarao de misso.
Se a declarao de misso de uma escola estabelece
o letramento como prioridade, por exemplo, esse aspecto ter peso maior na avaliao que a escola faz do
seu progresso, e nos seus relatrios para a comunidade e para o Escritrio de Avaliao.
na responsabilidade, usando:
dados sobre as matrculas dos alunos, principalmente mudanas atravs do tempo;
no caso das escolas secundrias, destino
dos alunos que deixam a escola;
129
Comparaes entre instituies
para os mesmos alunos no GAT estiverem suficientemente fora de linha, so enviados escola avaliadores
independentes, para reviso do trabalho dos alunos
anteriormente avaliado pela prpria escola. Se a avaliao da escola for mais alta do que o esperado, passada esta nova avaliao, o processo de estimativa do
valor agregado rotular ento a discrepncia, como
evidncia de valor agregado, e no como evidncia de
uma elevao artificial das avaliaes da escola.
Caso essa prtica fique padronizada, haver
um incentivo para as escolas tentarem baixar o desempenho de seus alunos no GAT, para criar uma discrepncia entre esses resultados e os da avaliao da
escola, de uma forma que no pudesse ser anulada
atravs de uma reviso das avaliaes feitas pela escola. Uma outra reao seria tentar inflacionar suficientemente as avaliaes da escola, para receber alguma vantagem da estimativa de valor agregado, ainda
que no o suficiente para causar anlise externa.
O problema tanto com a abordagem da
Western Australia (hoje abandonada) quanto com a de
Victoria que elas usam uma avaliao atual de desempenho de 12 srie como substituto para o desempenho no momento de admisso s 11 e 12 Sries,
ou, o que pior, como substituto para "inteligncia".
Estimativas de "valor agregado"

No momento, no se est tratando de estimar
o valor agregado para as escolas primrias ou secundrias. A possibilidade de ser introduzido esse tipo de
abordagem vai aumentando agora, quando est sendo
includa nos programas de testes toda a populao de
alunos h j alguns anos. Existem hoje grupos de alunos que passam por escolas em alguns sistemas, para
quem h avaliaes de desempenho em vrias sries.
Com esses dados, possvel usar uma medida anterior de desempenho para isolar do desempenho subseqente aqueles aspectos no acrescentados pelas
escolas com o passar dos anos, para poder calcular a
influncia da escola. Por outro lado, os procedimentos
no so diretos, uma vez que a medio do valor agregado um residual, que tem tipicamente baixo nvel de
confiabilidade. Qualquer tipo de residual, at mesmo
simples diferenas entre duas medidas, muito menos confivel do que as medidas a partir das quais
calculado.
No caso do final da escola secundria, com
as avaliaes da 12 srie, foi calculado o valor agregado na Austrlia. Nos dois casos, a abordagem adotada tem falha conceitual da mesma maneira. A medida dos efeitos no relacionados com a escola, nos
dois casos, um teste geral de habilidades desenvolvidas aplicado aos alunos j quase no fim da 12 srie.
No caso do Estado de Western Australia a principal
utilidade do teste determinar uma escala de resultados de exames nas diferentes matrias, e expresslos em uma escala comum.
No caso de Victoria, o que existe um Teste
de Avano Geral (GAT), destinado a revelar as avaliaes com base na escola que possam estar anormalmente altas (ou baixas), para submet-las anlise.
Quando as avaliaes de uma escola e os resultados
oncluso
Existem grandes volumes de dados e muitas

outras informaes potencialmente disponveis para as
escolas e os sistemas escolares poderem avaliar o
desempenho, e para modificar a poltica e a prtica.
Sempre existe o risco de coleta de dados desorganizada, o que cria mais informao do que possvel
usar de forma sensata. Com freqncia, sabemos mais
do que entendemos. A escolha cuidadosa dos dados
a serem usados e a anlise e interpretao apropriadas podem transformar a informao em entendimento, e, quem sabe, finalmente em sabedoria.
ADAMS, R., DOIG, B., ROSIER, M. Science

achievement in Victorian schools: 1990. Hawthorn,
Vic. : Australian Council for Educational Research,
1991.
_____. Tapping students' science beliefs. Hawthorn, Vic.
: Australian Council for Educational Research, 1992.
130
O Escritrio de Avaliao utiliza os dados combinados das escolas, quer sejam todas as escolas, ou
amostras representativas entre elas, para determinar
as distribuies como as escolas possam compararse. So descritas como modelos, mas so, evidentemente, nada mais do que representaes do desempenho do momento entre as escolas.
No se pede que as escolas faam comparaes entre si mesmas e todas as escolas, mas com
"escolas semelhantes". Esse agrupamento de "escolas semelhantes" baseia-se na proporo de alunos
de uma escola que usa um idioma que no seja o ingls em casa, e na proporo de alunos considerados
como em "situao de risco". Os alunos "em situao
de risco" so considerados como aqueles que recebem subsdio do governo para os pais de baixa renda.
AUSTRALIA. Department of Employment, Education

and Trainig. Report of the Aboriginal Education Policy
Task Force. Canberra : Australian Government
Publishing Service, 1988.
MANAGEMENT COMMITTEE FOR THE NATIONAL

SCHOOL ENGLISH LITERACY SURVEY. Mapping
literacy achievement : results of the 1996 National
School English Literacy Survey. Canberra :
Department of Employment, Education, Training and
Youth Affairs, 1997.
AUSTRALIA. New South Wales Minister for Education

and Training. Securing their future : New South Wales
Government's reforms for the Higher School
Certificate. Sidney : NSW Gouvernment, 1997.
MASTERS, G. N., FORSTER, M. Literacy standards

in Australia. Canberra: Commonwealth of Australia,
1997.
AUSTRALIA. Quality of Education Review Committee.

Quality of education in Australia . Canberra :
Australian Government Publishing Service, 1985.
McGAW, B. Shaping their future : recommendations

for reform of the Higher School Certificate. Sydney :
Department of Training and Education Co-ordination,
1997.
AUSTRALIA. Victorian Commission of Audit. Report of

the Victorian Comission of Audit. Melbourne, 1993.
BOARD OF STUDIES. English - curriculum and
standards framework. Carlton : Victoria, 1995.
STACEY, K. Insights for mathematics. In: LOKAN, J.,

GREENWOOD, L. (Ed.). Raising Australian
standards in mathematics and science : insights
from the Third International Mathematics and Science
Study. Melbourne : Australian Council for Educational
Rese
INTERIM COMMITEE FOR THE AUSTRALIAN

SCHOOLS COMMISSION. Schools in Australia.
Canberra : Australian Government Publishing
Service, 1973. Presidente do comit: Professor P.
H. Karmel.
131
132
O NZE DILEMAS COM QUE SE

DEFRONTAM OS ESTUDOS INTERNACIONAIS:
COMENTRIOS PARA A MESA*
Juan Casassus**
ossibilidades e limitaes dos estudos

internacionais de avaliao
Laboratrio Latino-Americano de
Avaliao da Qualidade da Educao
Para situ-los no contexto a partir do qual formulamos nossos comentrios, permitam-nos expressar brevemente que, diferentemente do IEA, o Laboratrio Latino-Americano uma rede intergovernamental,
que agrupa o conjunto de sistemas de medio e de
avaliao dos sistemas de Educao da Amrica Latina e do Caribe. Desta rede (com exceo do Uruguai)
participam todos os pases de fala portuguesa e espanhola da regio. Criada em 1994, no Mxico, sua coordenao foi confiada ao Escritrio Regional da Unesco
em Santiago do Chile, e o Laboratrio conta com o
apoio financeiro dos pases-membros, da Unesco, da
Fundao Ford e do Banco Interamericano de Desenvolvimento (BID), entre outros.
Entretanto, apesar de ser uma rede
intergovernamental, suas aes no esto distantes
das preocupaes do IEA. O Laboratrio desenvolve
um programa que contm quatro linhas de ao orientadas no sentido de apoiar a formulao e gesto de
polticas educacionais:
a) estudos comparativos internacionais (como
o levantamento de informaes do estudo
internacional nos pases-membros, concludo no dia 28 de novembro);
b) gerao de padres (standards) regionais;
c) fortalecimento institucional dos pases-membros por meio de formao, assistncia tcnica, disponibilidade de bases de dados e
bancos de itens;
d) desenvolvimento de um programa de pesquisa e experimentao no mbito da avaliao e as variveis associadas ao rendimento
escolar.
Em primeiro lugar, gostaramos de agradecer

aos organizadores a amabilidade do convite para participar deste importante seminrio internacional sobre
avaliao educacional.
uma honra podermos comentar a apresentao do professor Plomp, da International Association
for the Evaluation of Educational Achievement (IEA).
Com sua palestra, todos aprendemos muito sobre o
IEA e os estudos auspiciados por este organismo.
realmente digno de admirao o trabalho iniciado por
Bloom e Husen, e continuado por destacados pesquisadores durante 38 anos de trabalho pioneiro realizado
no campo da avaliao.
O documento de trabalho deste seminrio
constitui o marco geral de nossas observaes. Em
especial reconhecemo-nos na viso ali contida sobre a
reflexo comparada como mtodo de progresso e apreciamos o convite para participar da construo de uma
agenda aberta para o futuro.
A palestra que acabamos de escutar do professor Plomp reflete a experincia acumulada nos estudos auspiciados pelo IEA. Gostaramos de aventurar
que as qualidades por ele atribudas aos estudos internacionais do IEA so tambm extensivas ao conjunto
dos estudos comparativos internacionais. Entre eles
se encontram no somente os auspiciados pelo IEA,
mas tambm os de outras entidades como: Organization
for Economic Co-operation and Development (OECD),
Internacional Assessment of Educational Progress
(IAEP), Educational Testing Service (ETS) ou Unesco,
particularmente os do Southern Africa Consortium for
Monitoring Educational Quality (SACMEQ), do programa de monitoramento de Educao para Todos e do
Laboratrio Latino-Americano de Avaliao da Qualidade da Educao.
*As expresses aqui apresentadas so de responsabilidade do autor e no comprometem nem a Unesco nem o Laboratrio Latino-Americano de Avaliao da
Qualidade da Educao. O autor aproveita a oportunidade para agradecer a Eduardo Cabezn, Sandra Cusato e Juan Carlos Palafox pelos comentrios feitos
verso preliminar deste texto.
**Juan Casassus funcionrio da Unesco desde 1977, e desde 1988 especialista regional em polticas, planejamento e gesto da educao da Orealc. autor
e co-autor de vrias publicaes sobre administrao da educao e qualidade da educao. Coordena o Laboratrio Latinoamericano de Evaluacin de la
Calidad de la Educacin, com sede em Santiago do Chile, e realiza freqentes misses de assessoria aos pases que participam desse projeto.
133
sensibilizao acerca da importncia da avaliao j

terminou. Portanto, entramos em outra etapa, que se
deve caracterizar por uma maior reflexo acerca da
medio e da avaliao no contexto regional, com o
propsito de melhor orientar seu impulso atual.
Para isso gostaramos de sugerir um conjunto
de dilemas expressados como opes, surgidos durante o Estudo Internacional que o Laboratrio LatinoAmericano realizou em 1997, e na observao da experincia de outros estudos semelhantes.
Queremos enfatizar que falamos de dilemas e
de opes. No estamos falando de antpodas ou contradies. Cada um destes dilemas e suas opes
podem ser interpretados como os extremos de um
contnuo, e no so necessariamente discretos entre si.
Ao falarmos de dilemas, estamos nos referindo a um conjunto de perguntas, tenses e, conseqentemente, de suas opes, que emergem e demandam
ponderao e decises.
Na realidade, alguns destes dilemas esto interligados, de maneira que a postura que se adote a
respeito de uma opo poderia, em honra da coerncia intelectual, levar logicamente a uma postura similar a respeito de outra opo. Entretanto, vistos em
conjunto, embora estes dilemas ou opes possam
refletir um estilo ou sensibilidade, no cremos que possam constituir-se, neste momento, como modelos puros nos quais cada um possa identificar-se de maneira
consistente com um conjunto, em oposio a outro.
Por enquanto, acreditamos que a mensagem
que eles devem ser considerados ou confrontados, a
fim de que os estudos internacionais possam ser mais
frteis em seus propsitos.
Os estudos do Laboratrio tm um propsito
investigativo. Mas no se trata de uma investigao do
tipo fundamental, como poderiam ser os estudos em
universidades ou outros centros acadmicos. Trata-se
de estudos destinados a apoiar e facilitar a formulao
e a implementao da poltica educacional dos pases-membros.
Correndo o risco de simplificar algo complexo,
mas consciente de que o contexto deste seminrio
no permite ir alm de seu mero enunciado, postulamos os seguintes dilemas, que se apresentam como
opes, para facilitar uma viso de conjunto:
1. Avaliao do sistema e/ou avaliao do
aluno;
2. A relao entre teoria, medio, interpretao e poltica educacional;
3. Objetivos de polticas e/ou objetivos dos
itens dos estudos;
4. A dimenso lgico-matemtica como prognstico das finalidades do sistema;
5. Perspectiva psicomtrica e/ou perspectiva
edumtrica;
6. Perspectiva linear e/ou perspectiva
sistmica;
s dilemas
Entretanto, em vez de nos concentrarmos nas

qualidades e possibilidades dos estudos internacionais,
gostaramos de aceitar a orientao do documento de
trabalho, em seu convite reflexo e criao de agendas abertas para o futuro.
Considerando que na Amrica Latina todos os
pases j tm ou j instalaram sistemas de medio e
de avaliao, podemos afirmar que a etapa de
134
O professor Plomp deu nfase s possibilidades abertas pelos estudos internacionais. Concordamos com os pontos de vista por ele expostos. Efetivamente, cremos que este tipo de estudo tem mltiplas
possibilidades e, apenas com o propsito de reforar o
que j foi mencionado, permitimo-nos repeti-las. Os
estudos internacionais:
a) produzem descries comparativas que funcionam como um espelho onde cada pas
possa "ver" a si mesmo de uma maneira
diferente, ao olhar-se em comparao com
outros;
b) estabelecem referncias em matrias especficas;
c) facilitam o monitoramento ou o acompanhamento dos processos em diferentes nveis
do sistema mediante a constituio de sries histricas;
d) produzem informaes que permitem interpretar as diferenas observadas entre os
sistemas educacionais;
e) facilitam os estudos de diferenas e de
recorrncias entre pases.
A estes elementos j mencionados, poderamos acrescentar outros, prprios das redes
conversacionais, como o Laboratrio, tais como:
f) facilitar os processos de integrao
supranacional (M. H. Guimares de Castro
e M. I. Pestana, 1996);
g) dar origem aos processos de formao, aos
processos de implementao;
h) avanar por meio de acordos, em face de
sua vinculao com a poltica educacional;
i) melhorar as possibilidades de financiamento dos sistemas por seu impacto e sua
vinculao com os meios de comunicao
de massa.
Em resumo, estes estudos, graas s suas
contribuies em termos de informao e anlise, abrem
possibilidades, tanto no plano da poltica educacional,
como no da gesto dos sistemas, da pesquisa e da
comunicao social.
7. Avaliao do homogneo e/ou avaliao

do diverso;
8. Objetivos das disciplinas e/ou objetivos
transversais (holsticos);
9. Objetivos dominantes (nicos) e/ou objetivos alternativos;
10. Conhecimento e/ou competncias e habilidades;
11. Globalidade e/ou enfoque local.
implementao da poltica educacional encontra-se

interrompido.
A teoria, a interpretao e a formulao de
polticas encontram-se atrasadas em relao ao desenvolvimento das bases empricas, a ponto de se poder dizer que a falta de desenvolvimento terico faz
com que a vinculao entre dado ou indicador e medida de polticas seja inexistente ou incoerente.
Para exemplificar este ponto, consideremos
algumas das medidas de poltica mais favorecidas atualmente quando se quer melhorar a qualidade da educao. So elas: a reduo das jornadas nas escolas,
o aumento do gasto pblico e a reduo do nmero de
alunos por professor.
Se nos apoiarmos, por exemplo, nos resultados do estudo TIMSS, podemos ver que Cingapura,
primeira no ranking do TIMSS sob diferentes perspectivas, mantm uma alta porcentagem de seus alunos
em escolas com dupla ou tripla jornada; ou que, apesar de ter um gasto pblico muito inferior ao dos pases europeus e outros asiticos comparveis, tem um
alto lugar no ranking de leitura (Postlewhaite, Ross
1996).
A Coria, uma das primeiras do ranking do
estudo TIMSS, tende a manter um elevado nmero de
alunos por professor (Delanoi, 1997).
Quer isto dizer que se deva aumentar as jornadas, baixar o gasto pblico, ou aumentar o nmero
de alunos por professor? No esta necessariamente
a concluso. A concluso que os dados devem ser
analisados e interpretados de maneira excepcionalmente cuidadosa antes que se convertam em polticas a
serem adotadas pelos vrios pases. Vendo por um
prisma ligeiramente diferente, Ken Ross (1997) analisou a questo sob o nome de "falcia ecolgica". A
questo deste dilema est em que, entre o aumento
das bases empricas, a crescente complexidade das
mesmas e as medidas de poltica, gerou-se um vazio
terico e interpretativo, que necessrio preencher.
1. Avaliao do sistema (prestao de contas

accountability) e/ou avaliao do aluno
Esta uma distino (e uma deciso pendente) que, por ser evidente, nem sempre se esclarece. A
avaliao que os organismos realizam, como o Laboratrio ou o IEA, ou mesmo os sistemas nacionais de
medio, a avaliao dos sistemas educacionais e
no a avaliao dos alunos.
compreensvel que neste plano, por vrias
razes, exista uma certa confuso. Uma delas a histria, pois a avaliao comeou como uma avaliao
dos alunos em classe, por parte dos professores. Outra que a nfase atual sobre a aprendizagem no
discurso da "avaliao da aprendizagem" tende a
manter uma ambigidade em relao ao objeto da avaliao. Embora sejam os alunos os que respondem a
provas e questionrios, na realidade no so os alunos
que so avaliados: o que se avalia o rendimento do
sistema, por meio das respostas dos alunos. Ento,
as interrogaes dos estudos deveriam consistentemente orientar-se, no s pessoas que so os alunos, mas ao sistema no qual esto inseridos estes
alunos.
Dentro desta perspectiva, as comparaes so
referentes aos sistemas e no a populaes. Se levarmos em conta que estamos avaliando sistemas em
funo de populaes, teremos uma variedade de tipos de estudos como aspectos da vinculao dos sistemas em relao s populaes.
3. A orientao da poltica e/ou a orientao dos itens

dos estudos (correspondncia entre a poltica e os itens)
2. Teoria, medio, interpretao e poltica educacional
A orientao das polticas educacionais est

em plena mudana e diversificao. Passamos de uma
situao de reproduo do passado e construo da
nao a uma grande diversidade de orientaes, que
vinculam a educao a temas como o trabalho, os problemas sociais, a situao ambiental, a criatividade, o
desenvolvimento pessoal, as preocupaes locais, a
globalizao. Ou, com um olhar mais limitado, ao interior dos objetivos das disciplinas, ela vinculada, por
exemplo, identificao, definio e profundidade
do tratamento dos temas ambientais nos programas
de cincias.
Neste contexto de mudana das orientaes
de poltica mudana que aumenta medida que sobe
Como mencionado anteriormente, o fato de

haver medio e avaliao parece estar quase universalmente aceito. O dilema no se encontra a, mas a
partir desse ponto. So muitos os estudos que foram
desenvolvidos recentemente. Jamais, na histria da
educao, foram acumuladas com metodologias cada
vez mais sofisticadas e de maneira mais sistemtica
tantas informaes relativas ao funcionamento dos sistemas e aos usurios dos mesmos. Entretanto, muito
embora as bases empricas continuem crescendo em
tamanho, sofisticao e complexidade, parece que a
vinculao entre elas e o planejamento e a
135
de grau o nvel escolar em que se aplica a medio

difcil manter a correspondncia e as prioridades entre
os itens selecionados e as orientaes das polticas.
A situao se torna mais complexa quando pretendemos medir e comparar um mesmo sistema em dois
momentos de tempo diferentes, pois bem conhecido
o provrbio que diz que, "se voc quiser medir a mudana, no mude a vara (o instrumento) com que
mede", o que implica que os itens no devam ser mudados.
dos procedimentos das provas buscando utiliz-los no

mais somente como elementos de discriminao mas,
tambm, como instrumentos de retroalimentao para
fins educacionais. Um exemplo disso a difuso de
fac-smiles de provas e a difuso de itens pela Internet,
o que tem por objetivo aumentar o caudal informativo e
reduzir a dimenso surpresa/segredo na aplicao das
provas.
Em outro plano, o desenvolvimento de modelos orientados para a referncia a critrio, como os
modelos tipo Rasch, Lisrel ou os da Teoria de Resposta ao Item, facilita a articulao psicomtrica e
edumtrica, bem como a articulao de referncias a
norma e critrio.
4. A dimenso lgico-matemtica como preditora de

xito do sistema
Presenciamos atualmente uma situao na
qual h uma tendncia de privilegiar a dimenso lgico-matemtica, por diversos motivos. Por um lado,
aparece como elemento discriminador quando se quer
selecionar por competncias para a produo; igualmente, quando se pensa nas competncias para o
desenvolvimento cientfico e tecnolgico. Por outro lado,
aparece como a linguagem privilegiada na corrente
curricular que favorece o enfoque da resoluo de problemas.
Aqui, porm, novamente nos encontramos com
o dilema de que os objetivos dos sistemas educacionais se abrem constantemente a outras dimenses,
nas quais as competncias exigidas so de ordem
muito diferente da lgica matemtica. Estas competncias, para sermos sensveis ao que foi sugerido por
outros autores como H. Garner, H. Maturana, ou
Goleman, encontram-se enraizadas em outros planos,
como o cinestsico, o emocional, o espacial, o
interpessoal, o intrapessoal ou o comunicacional.
A dominao exercida pela dimenso lgicomatemtica apresenta um dilema que, se no for resolvido, pode ter efeitos empobrecedores e
discriminatrios, justamente contrrios aos previstos
na poltica educacional de um pas.
6. Perspectiva linear e perspectiva sistmica
5. Perspectiva psicomtrica e perspectiva edumtrica
7. A avaliao do homogneo e a avaliao do diverso
Num passado recente, a medio (em especial os modelos com referncia norma) foi o principal
procedimento para aferir (assess) os resultados de rendimento na maioria dos sistemas nacionais e internacionais de avaliao. As idias de Bloom e de Schriver
sobre o papel formativo da avaliao e, tambm, os
avanos recentes no plano da psicologia cognitiva
(Garner, Steinberg) tm sido confrontados pela nfase
objetiva e discriminatria (seletiva) da avaliao vista
pela perspectiva psicomtrica.
De fato, podemos observar que est se desenvolvendo atualmente uma tendncia, na medio e
na avaliao, que busca meios para modificar o papel
At agora, a avaliao de diversos sistemas

era realizada mediante a aplicao de provas que continham itens comuns. Para comparar, avalia-se o que
h em comum. O mesmo ocorre com os sistemas
nacionais, que tm a preocupao de avaliar o que
existe de comum em seus pases.
Entretanto, mais uma vez nos encontramos
com um movimento nas polticas educacionais que vai
em sentido contrrio. A orientao predominante nas
reformas curriculares atuais consiste em que o espao local esteja cada vez mais representado. Igualmente, os pases com populaes indgenas esto
institucionalizando a multi(inter)culturalidade e as ati-
136
Os paradigmas atuais da pesquisa cientfica,

nos mbitos sociais e biolgicos, apontam para a perspectiva de variveis multivariadas ou fatores no relacionados de maneira causal ou linear com seus efeitos.
Este tipo de relao de fatores foi denominada articulao "sistmica", contrastando com a mais tradicional relao causal das cincias naturais.
Por outro lado, a medio, na perspectiva da
psicologia, tem buscado relaes lineares a partir das
quais se possam predizer condutas sociais. A teoria
da medio, ao ser aplicada educao, foi fortemente influenciada por esta perspectiva linear de prognstico. Entretanto, medida que avanamos com uma
viso cada vez mais complexa dos processos educacionais, mais necessrio se torna poder distinguir as
pesquisas orientadas para a busca de relaes causais e lineares, daquelas que se orientam rumo a uma
viso analgica ou sistmica capaz de incorporar diferentes configuraes, como as ecolgicas, as sociais
e as culturais. Damos especial nfase s culturais,
pois elas tm um enorme potencial para complicar as
relaes causais e lineares.
textos bem delimitados, como o do ensino de Matemtica, alm dos especialistas em Matemtica ou em
ensino de Matemtica, so numerosos os grupos chamados para manifestar sua opinio muitas vezes contrria sobre o assunto, como, por exemplo, as associaes de pais num pas como os Estados Unidos,
onde se encontra a liderana exercida pelo National
Council of Teachers of Mathematics (NCTM) do movimento de standards em Matemtica.
vidades bilnges na educao. Este fato, porm, dificilmente captado pelos sistemas de avaliao.
Para fazer frente a este dilema, o de poder dar
conta do diverso nos sistemas de avaliao centrados
no homogneo, particularmente nos contextos de
multi(inter)culturalidade, o Laboratrio Latino-Americano criou um grupo de trabalho com os pases interessados.
8. Objetivos das disciplinas e objetivos transversais

(holsticos)
10. Conhecimentos e/ou competncias e habilidades
Os estudos internacionais de carter avaliativo

at agora focalizaram principalmente os rendimentos
nas disciplinas (Matemtica, Cincias, Linguagem,
Leitura, etc.) em detrimento dos objetivos de carter
transversal. Entretanto, uma das tendncias prioritrias
no atual desenvolvimento curricular, numa regio como
a Amrica Latina, o desenvolvimento de objetivos e
competncias de tipo transversal, distribudos ao longo das diferentes disciplinas.
A preocupao com o valorativo, as dimenses
culturais particulares, a auto-estima, o desenvolvimento da democracia, ou ainda preocupaes com a educao preventiva em relao a situaes sociais como
a Aids, ou o abuso de drogas, ou o meio ambiente so
as novas orientaes temticas que animam as mudanas curriculares atuais.
Para enfrentar este tipo de dilema, o Laboratrio, igual ao que ocorreu com o dilema anterior, criou
grupos de trabalho para refletir sobre as implicaes e
mudanas metodolgicas necessrias para enfocar a
avaliao dos temas transversais.
Este dilema talvez seja o mais trabalhado e

conhecido. Outras das tendncias claras na educao
em nvel mundial referem-se mudana generalizada
na nfase curricular, partindo dos contedos conceituais
enciclopdicos, rumo ao desenvolvimento de matrias
com contedos mais vinculados a atividades ou aplicaes prticas. Este processo se orienta, ento, no
a acumular dados e conhecimentos enciclopdicos nos
alunos, mas sim a desenvolver competncias e habilidades sobre um nmero menor de conhecimentos.
Este processo, porm, obstaculizado pelo
exerccio avaliativo. Esta dificuldade torna-se evidente
na observao de, pelo menos, duas tendncias persistentes. A primeira pode ser situada em nvel do prprio ensino, porquanto a identidade e fortaleza dos docentes decorre do domnio dos conhecimentos das
matrias que eles possuem e pelas quais so responsveis. Entretanto, alm de ser fonte de identidade, o
poder dos docentes na sociedade e na cultura escolar
advm de se manter vigente o valor desse domnio.
A segunda dificuldade prpria do campo da
avaliao. Ao observar as prticas dos sistemas de
avaliao podemos notar que foi gerado o que podemos denominar uma "cultura avaliativa". Esta cultura
est assentada sobre um conjunto de prticas de avaliao. No ethos avaliativo situam-se em lugar privilegiado, ou de domnio geral, as provas de mltipla escolha, cujo uso pe em destaque a dimenso de
memorizao do processo educacional. (Notemos que
neste plano, a cultura avaliativa complementa bem a
cultura docente). Face ao impacto da avaliao sobre
a orientao dos processos educacionais em classe,
enquanto no se puderem realizar outras prticas
avaliativas a um custo razovel esta prtica predominante atua em detrimento da transformao
curricular.
9. Objetivos nicos (dominantes) ou objetivos alternativos

em nvel supranacional
De certa maneira, este dilema est
correlacionado ao anterior. Ao medir os resultados de
diferentes sistemas educacionais com os mesmos
itens, tendemos a outorgar uma influncia e um peso
muito grandes a esses itens. Por seu intermdio
exercida grande presso, quando chega a hora de tomar decises quanto aos contedos curriculares que
devem ser ensinados nos diferentes sistemas educacionais. A seleo de itens nos estudos internacionais
no s tende a sacraliz-los mas, como conseqncia
lgica, sacraliza tambm os mtodos de ensino dos
pases que tm os melhores resultados nessas matrias. Esta possibilidade entra em tenso com o desenvolvimento de opes surgidas de outros contextos que
no tiveram tanto xito nos estudos internacionais, mas
que correspondem a lgicas nacionais particulares.
Isso, porm, no ocorre apenas em relao
s orientaes gerais de poltica. At mesmo em con-
11. Globalizao e/ou enfoque local

Os estudos internacionais se do bem com a
globalidade. Entretanto, vemos tambm que existe um
movimento mundial para o desenvolvimento local da
educao e para a adaptao dos contedos a essas
137
realidades. Embora isto tenha sido indicado com freqncia como um problema, em termos tericos no
deveria haver contradio.
Na prtica, a ao e o trabalho humano so
sempre locais. O que varia no a localizao da ao,
e sim o seu alcance. O tema est, no no locus, mas
no alcance, que varivel de acordo com vrios
parmetros, sendo que o menor deles no o uso da
Internet nas escolas.
O dilema, em nossa opinio, no est no locus,
e sim nos contedos da globalizao e da natureza da
competitividade. Quer dizer, por um lado, o dilema est
no que vai ser posto nos contedos da globalizao,
no sentido de saber se vo ser caracterizados predominantemente como processos pertencentes ao mbito econmico e financeiro, e, conseqentemente, com
um carter reducionista e dominante, ou, pelo contrrio, se tero uma dimenso holstica, diversificadora e
flexvel.
Por outro lado, h a questo da natureza da
competitividade, se ela interpretada como uma atividade dinamizadora pelo seu contedo de rivalidade, de
depredao e de negao dos outros, ou se ser situada no plano da cooperao e da complementao.
Do ponto de vista educacional, o tipo de interpretao ou a construo conceitual que se faa da
globalizao e da natureza da competitividade ter
certamente um grande impacto sobre a gerao dos
novos programas curriculares. Quanto metodologia
da relao entre o enfoque global e o local, consideramos que um marco conceitual desenvolvido pelo IEA,
que estabelece a associao entre currculo intentado
e o macro; entre currculo implementado e o meso e
entre currculo conseguido e o micro, apresenta uma
pista que pode ser frtil para avanar na anlise deste
dilema.
oncluso
A avaliao conseguiu situar-se em um lugar

estratgico na criao e implementao das polticas
educacionais. Conseguiu tal coisa por vrios motivos,
o mais importante dos quais talvez tenha sido o de
poder tornar visvel algo que at agora havia sido invisvel, a saber, um resultado do processo educativo, permitindo gerar um novo tipo de poltica educacional
centrada precisamente nesse resultado.
Concluindo, gostaramos de destacar que nos
encontramos em um momento privilegiado quanto s
possibilidades dos estudos internacionais e sua utilidade para os sistemas nacionais, tanto pelas novas
oportunidades de reflexo e de investigao que devem salvaguardar os nveis de complexidade dos processos educacionais e ao mesmo tempo, quanto manter um nvel de comunicabilidade necessrio com os
nveis de responsabilidade poltica, os meios de comunicao de massa.
Cremos que, finalmente, um lugar privilegiado,
que esteja em condies de cumprir os requisitos de
complexidade e de comunicabilidade so as redes
conversacionais do tipo do Laboratrio Latino-Americano de Avaliao da Qualidade da Educao, que
permitem os intercmbios entre responsveis de sistemas com o propsito de avanar comparativamente,
identificando sucessos, mas tambm, compartindo, em
confiana, as vicissitudes e o que se deve evitar nesta
nova etapa.
138
E STATSTICAS EDUCAIONAIS
NA AMRICA LATINA E NO CARIBE:
RESUMO DOS RESULTADOS
R. W. McMeekin*
Um estudo financiado pela Fundao Ford e
executado pela Oficina Regional da Unesco para la
Educacin en Amrica Latina y el Caribe (Orealc)
examinou o estado em que se encontram as
estatsticas educacionais na regio. Resumimos a
seguir os pontos principais apurados.
O estado das estatsticas educacionais na
Amrica Latina e no Caribe melhorou visivelmente nos
ltimos anos, mas ainda subsistem srios problemas.
Os pases esto conseguindo proporcionar
estatsticas educacionais com muito mais sucesso que
at uma dcada atrs. Receberam bastante assistncia
externa para melhorar suas estatsticas educacionais,
seus indicadores e sistemas de informao para a
administrao (embora isso tenha sido menos eficiente
do que se esperava). A tecnologia disponvel atravs
dessa assistncia foi de grande ajuda e as estatsticas
so hoje mais oportunas e acessveis, podem ser
analisadas com maior facilidade e contm menos erros.
Entretanto, no existe uma compilao de
conhecimentos consensuais a respeito do que constitui
um bom sistema de estatsticas educacionais, nem
uma equipe de consultores especializados aos quais
as agncias e os pases pudessem recorrer.
Foram encontradas prticas inovadoras em
vrios pases: por exemplo, o novo sistema de
informao sobre a Educao no Brasil, o poderoso
sistema de mapas escolares do Paraguai, os
experimentos efetuados em Mendoza com registros
individuais dos estudantes e o extenso conjunto de
indicadores de eficincia dos fluxos de alunos na
Nicargua. Existe tambm uma conscincia crescente
sobre a importncia das estatsticas, dos indicadores
e dos sistemas de informao para a administrao.
Alguns grupos sub-regionais, como o Mercosul e a
Organizacin de Estados Caribeos Orientales (OECS),
esto tomando a iniciativa de estabelecer estatsticas
e sistemas de indicadores comparveis, e os pases
do Convnio Andrs Bello j manifestaram interesse
na questo.
possvel identificar trs grupos principais de
pases, em termos do grau de desenvolvimento e
sofisticao de suas estatsticas educacionais. Embora

os limites entre eles no sejam ntidos, existem trs
grupos bastante claros de pases, cada um com
necessidades distintas:
Pases grandes e sofisticados (com
freqncia, pases federais) que contam com sistemas
de estatsticas educacionais bem desenvolvidos
(embora alguns destes somente tenham feito
mudanas importantes recentemente): Argentina,
Brasil, Chile e Mxico, dentro da amostra de pases
estudados;
Pases pobres que esto bastante atrasados; e
Um grande grupo "intermedirio" no qual se
observam importantes melhoras, mas em que ainda
existem problemas srios: Equador, Jamaica, Paraguai,
Uruguai e outros.
H diversos tipos de problemas que afetam os
sistemas de estatsticas educacionais: tcnicos,
institucionais e outros.
roblemas tcnicos
Em muitos pases h uma carncia de dadoschave, por exemplo, com respeito matrcula por srie
e por idade dos alunos. Tambm existe uma medio
ou estimativa inadequada de variveis como a
repetncia.
Existem problemas conceituais (especialmente em relao medio de fluxos de alunos e
sua eficincia).
Com freqncia, existe uma discrepncia
entre os perodos de tempo a que se referem a matrcula,
o gasto e a populao por grupo etrio.
Observa-se uma falta de definies e
terminologias claras e consistentes. Existe a
necessidade de se elaborar um glossrio por consenso
dos termos de estatstica educacional. H tambm
srias fraquezas em categorias completas de
*Oficina Regional da Unesco para la Educacin en Amrica Latina y el Caribe (Orealc)/Chile.
139
estatstica, tais como os dados financeiros ou as

informaes sobre o aproveitamento dos estudantes,
que sero discutidos mais adiante.
roblemas institucionais
O distanciamento das unidades de estatstica

educacional das outras fontes de informao e do local
de tomada de decises; a falta de contato com outras
entidades para obter dados para indicadores; as
pessoas responsveis pela adoo de decises no
fazem uso de estatsticas educacionais porque no
existe uma cultura de basear as decises sobre dados
e anlises. A necessidade de indicadores educacionais
somente est sendo reconhecida recentemente. Existe
a tendncia de que certos temas especiais, como
custos e finanas setoriais, sejam tratados por
especialistas que no fazem parte do sistema de
estatsticas educacionais habitual.
A utilizao de estatsticas e indicadores
educacionais muito dbil. At mesmo quando isso
possa ser devido, em parte, insuficiente qualidade
das estatsticas disponveis (o que faz com que as
pessoas responsveis por adotar decises no faam
uso delas), tambm existe uma subutilizao de
informaes que j esto disponveis.
A descentralizao dos sistemas educacionais, no apenas nos sistemas federais como
tambm em pases que esto descentralizando ou
desconcentrando a administrao de seu sistema, pode
complicar o processo de coletar, analisar e utilizar as
estatsticas educacionais (mas tambm pode
proporcionar valiosas oportunidades para mudar as
velhas prticas e melhorar a utilidade das estatsticas
educacionais na gesto do setor).
No existe nenhum foro para o intercmbio
de informaes entre os pases em relao a
estatsticas e indicadores educacionais (exceto em
casos especiais como a OCDE e o Mercosul).
Falta de liderana regional: o Sistema de
Informacin Regional (Siri) da Unesco/Santiago fez
alguns avanos em termos de coletar e publicar dados
analisados em nvel regional, mas no conta com os
recursos necessrios para proporcionar assistncia
tcnica ou orientao para estabelecer normas e
prticas slidas. Nenhuma outra instituio assumiu
um papel de liderana.
papel da assistncia internacional para

melhorar as estatsticas educacionais
Como j foi mencionado, tem havido muitos

projetos ou componentes de projetos que propuseram
melhorar as estatsticas educacionais, os indicadores
e os sistemas de informao para a administrao.
Praticamente todos os pases, na amostra de 14 pases
estudados, receberam alguma assistncia para este
fim. Isto aumentou consideravelmente a disponibilidade
de tecnologia, mas no proporcionou uma orientao
eficaz sobre o desenvolvimento de estatsticas,
indicadores ou sistemas de informao plenamente
adequados.
Este estudo surgiu em funo de uma pesquisa
da coordenao da assistncia educao, onde se
apurou que tem havido uma notvel falta de coordenao
entre as organizaes internacionais sobre questes
relacionadas com as estatsticas educacionais em nvel
regional.
Os pases vem as organizaes internacionais como entidades que solicitam informaes,
com freqncia, de maneira duplicada ou baseada em
conceitos e definies diferentes.
Os esforos para proporcionar orientao e
assistncia em nvel regional ou sub-regional tm sido
at agora de utilidade limitada: a reunio da Unesco
em Quito, em janeiro de 1995, e o recente encontro
utros problemas e questes
Existe a necessidade de se contar com um

conjunto slido e consensual de categorias de
estatsticas e indicadores. Este estudo prope um
conjunto de oito categorias: 1. Contexto; 2. Estudantes
e participao; 3. Docentes e demais pessoal; 4.
140
Escolas e insumos no-docentes; 5. Eficincia interna

(repetncia, transio, taxas de sobrevivncia); 6.
Eficincia externa (taxas de ingresso e emprego por
nvel educacional obtido e taxas de rendimento
econmico); 7. Custos e finanas do setor; e 8.
Aproveitamento dos estudantes medido em termos de
resultados do aprendizado.
H importantes categorias de estatsticas e
indicadores que so especialmente fracas ou, em
alguns casos, esto totalmente ausentes das
estatsticas educacionais "usuais". Foram
encontradas insuficincias-chave em: a) indicadores de
eficincia interna, especialmente em torno da
repetncia; b) indicadores de "eficincia externa" ou
resultados no mercado de trabalho; c) indicadores de
custos e finanas do setor; d) indicadores de qualidade
e aprendizagem dos estudantes.
Fazendo um corte por todas as categorias,
existem grandes debilidades nas reas da educao
pr-primria e praticamente em toda informao
referente ao nvel universitrio.
importante fazer distino entre: 1. o
planejamento de indicadores e sistemas de informao
para uso nacional em seqncia a reformas e
melhoramento da gesto, e 2. a criao de indicadores
para fins de comparaes internacionais. possvel
que possam sobrepor-se, mas so essencialmente
diferentes.
regional sobre custos e finanas do setor em

Montevidu, em maro de 1997, mostraram que existia
uma ampla brecha entre as recomendaes oferecidas
e as necessidades concretas dos pases participantes.
Tambm h falta de comunicao e
coordenao entre os especialistas de organismos
internacionais e a sua prpria percepo das
necessidades e realidades, de um lado, e as
necessidades tal como so percebidas pelos
especialistas dos pases, de outro.
O Centro Interamericano de Enseanza
Estadstica (Cienes), da Organizao dos Estados
Americanos, tem um mandato para dar capacitao,
mas atualmente no conta com capacidade tcnica
sobre o tema das estatsticas educacionais. Ao que
parece, o Cienes no dispor de oramento para 1998.
O Celade desenvolveu um modelo que vincula
dados censitrios e educacionais, a fim de fornecer
uma base para o planejamento fsico e o mapeamento
escolar. Isto precisa ser difundido de maneira mais
ampla.
Existe no Cepal uma unidade que trabalha com
pesquisas domiciliares, que est interessada em
utilizar variveis educacionais das pesquisas para
produzir indicadores teis.
O grupo de pequenos pases que formam a
Organizacin de Estados Caribeos Orientales tem
trabalhado em conjunto para desenvolver um sistema
comum de estatsticas e indicadores educacionais. O
organismo, alm de assistncia bilateral GTZ, tem
proporcionado assistncia modesta, mas importante.
Em geral, tem havido uma profuso de
atividades destinadas a melhorar as estatsticas
educacionais, respaldadas ao menos parcialmente por
doadores internacionais. Entretanto, tem faltado
coerncia a estas mltiplas atividades e elas no
promoveram um acordo em nvel regional sobre
assuntos-chave, nem tampouco a criao de
estatsticas e indicadores compatveis.
trabalho (e de sua forma de trabalhar) poderia ser

utilizado de maneira progressiva na Amrica Latina e
no Caribe, de acordo com o nvel de desenvolvimento e
sofisticao de suas estatsticas educacionais,
especialmente em reas como os indicadores de
custos e finanas do setor. Pases como Espanha,
Portugal e Mxico conseguiram cumprir as exigncias
do sistema OCDE.
Na regio africana, a Associao para o
Desenvolvimento da Educao Africana (Adea) e seu
Grupo de Trabalho sobre Estatsticas Educacionais
(WGES) deram nfase ao desenvolvimento de
capacidades nacionais. Um programa para fortalecer
os Sistemas Nacionales de Informacin Estadstica
sobre la Educacin (Nesis) permitiu que os pases
participassem da anlise de mdulos-padro, com a
finalidade de promover a criao de sistemas
compatveis. Foi desenvolvido um "Perfil" tipo de
estatsticas e indicadores educacionais para os pases
da regio. O modelo de desenvolvimento de
capacidades da Adea/WGES/Nesis poderia ser
utilizado no grupo de pases da Amrica Latina e do
Caribe cujos sistemas de estatsticas educacionais so
menos desenvolvidos.
onjunto de indicadores sugeridos
Sobre a base do que apurou, sobre o estado

das estatsticas e os indicadores educacionais nos
pases da regio da Amrica Latina e do Caribe e os
modelos de sistemas de indicadores educacionais,
tanto dentro como fora da regio, o estudo prope uma
lista de indicadores potenciais. No h dados
disponveis para completar a totalidade destes
indicadores em todos os pases de forma imediata;
entretanto, a juzo do autor, muitos pases esto em
condies de fornecer os dados necessrios e seria
vivel implementar o sistema na maioria dos pases da
regio dentro de um prazo razovel.
A lista que se segue apresentada como um
ponto de partida, sugerido para estabelecer um conjunto
comum de indicadores para a Amrica Latina e o
Caribe, reconhecendo-se que pode haver opinies
distintas e que alguns observadores podero
recomendar mudanas na lista. Uma discusso mais
completa dos indicadores sugeridos para a comparao
internacional bsica encontra-se no corpo do informe.
spectos apurados sobre as experincias

realizadas em outras regies
Ainda no h acordo em nvel mundial no que

se refere a um sistema de classificao da Educao.
A Clasificacin Internacional Normativa de la Educacin
(Cine), da Unesco, tem sido criticada por no incorporar
definies claras e operacionais. Uma verso revisada
da Cine ser apresentada Conferncia-Geral da
Unesco, em outubro/novembro de 1997.
O sistema de indicadores da OCDE foi
evoluindo durante cerca de dez anos e hoje um
sistema altamente desenvolvido. Reflete os interesses
e as necessidades de seus pases-membros. Teria de
ser adaptado para ser transformado num sistema que
possa ser adotado satisfatoriamente pelos pases da
Amrica Latina e do Caribe. Grande parte de seu
1. Contexto
Populao, taxa mdia de crescimento da
populao e populao escolar (entre 5 e 24 anos de
idade, ou a maior aproximao possvel que for vivel)
141
como porcentagem da populao total.

Produto interno bruto per capita e taxa anual
mdia de crescimento do PIB per capita durante os
ltimos cinco anos ou mais.
Taxas de analfabetismo, total e por gnero,
na populao de 15 anos de idade e mais (com
indicaes por pas sobre os critrios de analfabetismo
que foram aplicados).
Mdia de anos de escolaridade alcanada,
entre a populao de 15 e mais anos de idade, em
total e por gnero, estrutura do sistema educacional e
idade oficial de incio da educao escolar.
primrio em escolas de turnos mltiplos.

Insumos
Durao do ano escolar em horas, horas
curriculares dedicadas ao idioma nacional,
matemtica, s cincias naturais e sociais.
Nmero mdio de livros de texto disposio
de cada aluno, em escolas pblicas e privadas, em
zonas urbanas e rurais.
5. Eficincia interna
Taxas de repetncia, por nvel de ensino.
Taxas de evaso escolar, por nvel de ensino.
2. Alunos e participao
Taxas brutas de matrcula por nvel, inclusive
tercirio, por gnero (e por regio urbana/rural, se
possvel).
Taxas lquidas de matrcula por nvel, por
gnero (e por regio urbana/rural, se possvel).
Taxas de transio entre os nveis primrio e
o secundrio inferior e entre o secundrio inferior e o
superior (Cite 1 a 2 e Cite 2 a 3).
Taxa de transio entre os nveis secundrio
(Cite 3) e o tercirio.
6. Eficincia externa
Mdia do ingresso de pessoas empregadas
segundo o nvel de educao, por gnero;
Taxas de emprego dentro da fora de
trabalho, segundo o nvel de educao alcanado, por
gnero;
Taxas de rendimento econmico, social e
privado por nveis educacionais principais (separando
a educao vocacional/tcnica da educao secundria
geral, se possvel), por gnero.
3. Pessoal: docentes, diretores de escola e outros
Gastos totais, pblicos e privados em

Educao como porcentagem do PIB;
Gastos pblicos em Educao, como
porcentagem do gasto pblico total;
Gastos por nvel de ensino e por fonte de
financiamento pblico, privado e misto;
Gastos pblicos por aluno por ano (somente
gastos correntes; gastos correntes e de capital) por
nvel de ensino;
Gastos correntes e de capital.
8. Resultados da educao: aprendizagem dos

estudantes
Porcentagem de alunos que atingem o nvel
de aprovao exigido nas provas de idioma nacional:
ao final, ou perto do final do ciclo primrio e ao final do
ciclo secundrio "bsico" ou inferior, por gnero.
Porcentagem de alunos que atingem o nvel
de aprovao nas provas de matemtica: ao final, ou
perto do final do ciclo primrio e ao final do ciclo
secundrio "bsico" ou inferior, por gnero.
4. Escolas e insumos no-docentes

Estabelecimentos
Nmero e porcentagem de estabelecimentos
por nvel de ensino, por fonte de financiamento e por
localizao urbana/rural.
Porcentagem de estabelecimentos de nvel
142
7. Custos e finanas do setor educacional
Total de docentes e porcentagem dos que

ensinam em escolas pblicas e privadas e em reas
urbanas e rurais.
Total de docentes em aula e relao entre
docentes em aula e o total do pessoal. Porcentagem
de docentes que cumprem as normas nacionais para
o ensino total, pblico e privado, e urbano e rural.
Razo entre alunos e o total de docentes
por nvel de ensino (excludo o tercirio), total, pblico
e privado, urbano e rural.
Mdia de remunerao de docentes (medida
em algum ponto acordado, como, por exemplo, depois
de dez anos de experincia, incluindo remunerao
bsica e complementos) como porcentagem do PIB
per capita.
grupos sub-regionais de pases tambm devem receber

encorajamento e apoio.
Qualquer que seja o projeto de um sistema
mundial de indicadores a que se chegue, provvel
que continuem existindo estatsticas e indicadores
adicionais de que os pases da Amrica Latina e do
Caribe necessitem para guiar suas polticas e os planos
para o setor. Estes poderiam agregar-se ao modelo
bsico e levar criao de um Perfil Estatstico da
Educao na Amrica Latina e no Caribe, que reflita as
necessidades, as prioridades e o nvel de
desenvolvimento dos pases da regio.
Alguns dos pases escolhidos para o Projeto
Piloto podero ter dificuldades para cumprir as normas
da OCDE com referncia confiabilidade e preciso
dos dados e o controle de qualidade, como tambm
para proporcionar os dados exigidos para os indicadores
de custos e finanas, os resultados do mercado de
trabalho e os rendimentos cognitivos. Isto ser ainda
mais difcil para os pases que se encontram nos grupos
menos adiantados e desenvolvidos.
Os esforos para ajudar os pases a melhorar
seus sistemas nacionais com a finalidade de permitir
que participem dos sistemas de Indicadores
Educacionais Mundiais traro a necessidade de
fortalecer as capacidades, o que por sua vez vai exigir
recursos. Estes esforos sero mais eficazes medida
que existir um conjunto consensual de informaes que
os guie, como parece ser a perspectiva. A assistncia
externa, tanto das principais instituies de assistncia
financeira multilaterais e bilaterais como da Oficina
Regional para la Educacin da Unesco ser um
elemento essencial.
oncluses e recomendaes
Duas comunicaes recentes so de grande

importncia para o futuro das estatsticas e indicadores
educacionais na Amrica Latina e no Caribe. Primeiro,
o diretor-geral da Unesco anunciou a criao de um
novo Instituto Internacional de Estatsticas da Unesco.
Segundo, a Unesco e a OCDE esto colaborando no
apoio a um programa piloto cuja finalidade estabelecer
as bases de um sistema de "Indicadores Educacionais
Mundiais". Vrios pases da Amrica Latina e do Caribe
sero convidados para participar, neste sistema.
Estas iniciativas parecem pressagiar: 1. um
interesse crescente no fortalecimento das estatsticas
e indicadores educacionais em nvel mundial; 2. a
adoo, pela Unesco, de um papel de maior liderana
no assunto; e, 3. a formao de um consenso a respeito
do sistema de indicadores desenvolvido pelo Projeto
Ines da OCDE, com referncia ao contedo e s
especificaes tcnicas de um sistema de indicadores
comum.
Embora estas iniciativas sejam muito positivas,
os esforos para melhorar as estatsticas e indicadores
educacionais na Amrica Latina e no Caribe vo
continuar enfrentando uma srie de desafios. O
exerccio de um papel de liderana por parte do novo
Instituto de Estatstica vai exigir um delicado equilbrio
entre a firmeza, de um lado, e uma cuidadosa
diplomacia, de outro.
O Projeto Piloto para a Criao de Indicadores
Educacionais Mundiais proporcionar uma base muito
necessria para o consenso sobre o contedo de um
sistema de indicadores, alm de uma valiosa
compilao de trabalho tcnico e conceitual
desenvolvido durante um perodo de dez anos e com
grande custo, pelos pases da OCDE. Cabe formular
vrias observaes:
Seria conveniente envolver os pases (e os
Escritrios Regionais da Unesco) em decises sobre
o projeto desde suas etapas iniciais. As primeiras
comunicaes indicam que isto j est sendo
encaminhado.
Mesmo com vrios dos pases mais
adiantados da regio participando do projeto piloto, os
demais pases ficariam sem uma base para o consenso
em um momento crtico. Seria conveniente divulgar
informaes sobre o projeto piloto a um grupo mais
amplo de pases; para a Amrica Latina e o Caribe,
esta tarefa poderia recair logicamente sobre o escritrio
da Unesco/Santiago.
Os pases da regio do Mercosul (que inclui
alguns dos pases mais adiantados da Amrica Latina)
j deram incio a um esforo para criar um sistema
comum de indicadores para a sub-regio. Isto deve ser
respeitado e apoiado. Esforos semelhantes de outros
BEST Universities of Asia (The). Asiaweek, Hong Kong,

v. 23, n. 20, 1997.
CHAMPY, James. Reengineering management. New
York : Harper Collins, 1995.
DEWEY, J. Democracy and education. New York :
MacMillan, 1916.
GREAT BRITAIN. Office for Standards in Education.
OFSTED and the new school's inspection system.
Disponvel na Internet (http://www.coi.gov.uk/coi/
depts/depts.htm).
INTERNATIONAL INSTITUTE FOR MANAGEMENT
DEVELOPMENT. World competitiveness yearbook.
1997. Disponvel na Internet (http:/www.imdch/wcy/
over.hum).
143
INTERNATIONAL LABOUR ORGANIZATION. Yearbook

of labour statistics 1996. Genve, 1997.
OFFICE OF THE NATIONAL PRIVATE SCHOOL

COMMISSION. A manual to evaluate private school
quality. Ed. rev. Bangkok, 1996.
KARMEL, Peter. Desirable outcome: Australian

education policy in the nineties, William Walker
oration, 3 July 1995. Journal of Higher Education
Policy and Management, v. 18, n. 1, 1996.
______. Guidelines for development and quality

assurance. Bangkok, 1997.
ROSS, Kenneth N. Research and policy : a complex
mix. IIEP Newsletter, v. 15, n. 1, Jan./Mar. 1997.
SIRITRANGSRI, Pinsuda. A study on educational reform
in New Zealand : a paper presented to ONEC.
Bangkok, 1997.
NANANUKUL, Surasak et. al. QC manual : basic

principle of working quality in Japan and Thailand.
Cpia mimeografada.
SRISUCHAI, Setasak. Application of strategic

management and TQM in large enterprises .
Bangkok, 1992.
NONGMAK, Chamrat. Private school accreditation :

development guideline to promote the role of private
schools. Bangkok, 1995.
THAILAND. Ministry of Education. Department of

vocational education and ISSO 9000. Bangkok,
1996.
OFFICE OF THE NATIONAL EDUCATION

COMMISSION. Educational investment in Thailand.
Bangkok, 1997.
THAILAND. Ministry of Industry. Standards of industrial

products ISO: 1994. Bangkok, 1996.
UNESCO. Statistical yearbook 1995. Lanham, MD :
Brenan, 1996.
OFFICE OF THE NATIONAL PRIMARY EDUCATION

COMMISSION. A manual for the use of standard
criteria in primary schools. Bangkok, 1995.
WORLD Education League : Who's top? The

Economist, 29 Mar. 1997.
144
PROJETO INSTITUCIONAL DO
SISTEMA NACIONAL DE AVALIAO
EDUCACIONAL DA TAILNDIA
Nongram Setapanich*
Com relao ao desempenho econmico, polticas macroeconmicas prudentes apoiaram um rpido crescimento econmico e a estabilidade dos preos na Tailndia durante a ltima dcada. Entretanto,
a partir do incio de 1997, o pas passou a experimentar uma crise econmica, devida a lderes polticos incompetentes, polticas e desempenhos econmicos
inadequados dentro do pas, bem como ataques externos moeda e intensa concorrncia.
Esta crise contribuiu tambm para a m qualidade, como resultado da educao inadequada do povo
tailands, que ser descrita neste trabalho.
ntroduo
Este trabalho dever apresentar um projeto

institucional de um sistema nacional de avaliao, utilizando a Tailndia como caso proposto, para iluminar
a questo. Ser dada informao sobre antecedentes
e sobre a condio da educao tailandesa, bem como
sobre os problemas da avaliao em educao, para
ilustrar as tendncias em direo ao desenvolvimento
de um sistema de avaliao. Alm disso, sero apresentados conceitos e prticas de avaliao em outros
setores e nos pases desenvolvidos, em sua aplicao
na Tailndia.
ntecedentes em educao: educao

como fator crucial para o
desenvolvimento de um pas
A educao vista como fator primordial para

o desenvolvimento econmico e social na Tailndia,
assim como um mecanismo importante para o desenvolvimento das qualidades humanas ao seu potencial
pleno. Esta viso consistente com a viso comum
em todo o mundo, em meio corrente da globalizao,
em que a competio econmica extremamente acirrada. Para vencer na concorrncia do mundo de hoje,
so extremamente necessrios o conhecimento e o
crebro dos indivduos, adquiridos atravs da educao e da aprendizagem.
A educao, como fator para o desenvolvimento de bons seres humanos, tambm considerada
como aspecto de fortalecimento da democracia, de
construo de famlias e comunidades slidas, e de
contribuio para a proteo do ambiente, que dever
resultar em desenvolvimento sustentvel e em uma
sociedade em paz.
Por conseguinte, a tendncia de desenvolvimento na Tailndia a de promoo da educao e de
aprendizagem contnua por toda a vida. Esta tendn-
nformao geral: antecedentes
A Tailndia est localizada no corao do continente do Sudeste da sia, com uma populao de 60
milhes de habitantes (dados de 1996), que vive em
um clima quente e bastante mido. Ainda que a maioria da populao seja tailandesa, o pas tem uma variedade de grupos minoritrios, entre os quais, os mais
numerosos so os chineses. Em termos de religio, a
maioria da populao tailandesa formada de budistas.
Em 1996, 57,3% da populao geral participavam da fora de trabalho, enquanto que 18,8% eram
formados de indivduos com mais de 13 anos de idade,
que no participavam da fora de trabalho. Os 23,9%
restantes tinham ainda menos de 13 anos. Entre a
populao empregada, 50,4% trabalhavam no setor
agrcola; 13,9%, na indstria; 12,7%, no comrcio;
11,7%, no setor de servios; 6,2%, em construo e
3,6%, no setor de transportes.
*Nongram Setapanich, doutora em Educao Comparada, secretria-geral adjunta da ONEC, onde anteriormente desempenhou o cargo de diretora do
Education System Developmet Office. Publicou artigos em peridicos e relatrios sobre avaliao da educao, onde se destacam as seguintes obras:
Evaluation System of National Quality and Standards (1997) e An Evaluation of the Sixth National Education Development Plan: a policy paper (1994).
145
cia fica claramente refletida nos oito planos, o Plano

Nacional Econmico e o Plano de Desenvolvimento
Social, alm do Plano Nacional de Desenvolvimento
Educacional, cujos maiores objetivos incluem o fornecimento de "educao para todos" de boa qualidade,
atravs da mobilizao "de tudo para a educao",
assim como a expanso da educao tailandesa, fortalecendo os potenciais individuais e nacionais para
autoconfiana e estabilizao econmica na economia
global.
istema educacional e administrao na

Tailndia
De acordo com o Esquema Nacional de Educao de 1992, o sistema educacional tailands cobre
tanto a educao em sistemas relacionados escola
quanto o processo de aprendizagem constante, durante todo o perodo da vida dos indivduos.
A educao dentro do sistema relacionado com
a escola fornecida por instituies educacionais, que
se caracterizam por um sistema de classes e sries,
utilizando currculos especficos para distintos nveis e
tipos de educao. O sistema escolar divide-se em
quatro nveis: educao pr-escolar, de um a trs anos
de idade, educao primria, durante seis anos, educao secundria, dividida entre trs anos iniciais e
trs anos de escola secundria superior, e educao
superior, que cobre de quatro a seis anos, para o grau
de bacharel, e dois anos para os graus de mestrado e
doutorado.
O processo de aprendizagem contnua, ao longo de toda a vida, diz respeito auto-aprendizagem a
partir de vrias fontes de conhecimento e ambientes,
relacionados a formas de vida que existam naturalmente
ou modificadas, para expanso da prpria aprendizagem. No apenas esse processo de aprendizagem
complementa a educao formal, mas corrige tambm
a dependncia excessiva da educao formal, oferecendo oportunidades para educao constante, atravs da aprendizagem em comunidade e da utilizao
das tecnologias de informao e dos meios de comunicao de massa.
Os programas de educao no formal so
tambm cruciais para o desenvolvimento de uma sociedade da aprendizagem, tanto em termos do sistema
relacionado escola, utilizando currculos equivalentes aos da educao formal, quanto o sistema informal, ou de auto-aprendizagem, a partir de uma variedade de fontes de aprendizagem.
Em termos administrativos, h muitos ministrios e agncias que fornecem educao. Os princi-
ducao na Tailndia, em comparao

com outros pases da sia
Como j foi mencionado anteriormente, a educao vista como instrumento crucial para o desenvolvimento dos recursos humanos, considerados muito importantes para todos os outros aspectos do desenvolvimento, bem como para o fortalecimento da
competitividade da Tailndia em relao a outros pases, em meio corrente da globalizao. A evidncia
emprica demonstra de forma consistente que os povos dos pases mais desenvolvidos so melhor educados do que os dos menos desenvolvidos. Portanto, a
comparao da educao entre uma variedade de pases dever possibilitar um quadro sobre a condio
da educao tailandesa, em meio a este mundo competitivo.
O nvel de educao do total da populao pode
melhor refletir a qualidade do povo tailands. Constatase que a mdia de anos de educao da populao da
Tailndia, em comparao com os pases vizinhos da
sia, menor do que na Malsia, em Cingapura, na
Coria e no Japo (ver Grfico 1).
146
pais ministrios, com responsabilidade direta pela educao, so o Ministrio da Educao, que fornece praticamente todos os nveis e tipos de educao para o
grupo maior de aprendizes; o Ministrio de Assuntos
Universitrios, responsvel principalmente pela educao superior; e o Ministrio do Interior, responsvel pelas
escolas municipais, bem como pelas de Muang Pattaya
e as da rea metropolitana de Bangcoc, que oferecem
educao bsica do jardim de infncia at o nvel secundrio inferior. Alm disso, h seis outros ministrios que oferecem educao, especificamente para atender s necessidades de suas especialidades, enquanto que o Escritrio da Comisso Nacional de Educao a entidade responsvel pela formulao e pelo
planejamento da poltica educacional geral.
No nvel de departamentos, existem aproximadamente 54 departamentos que fornecem educao,
para um total de 50 mil escolas ou mais. Como conseqncia do nmero muito grande de agncias e instituies que fornecem educao, inevitvel a variao
da qualidade educacional e de seus padres; assim,
obviamente necessria uma avaliao da qualidade da
educao, para a obteno dos padres exigidos.
Grfico 1 Anos de escolaridade da populao
O mesmo verdadeiro para o nmero de anos de educao da fora de trabalho tailandesa, que fica
tambm atrs do indicador correspondente de outros pases (ver Grfico 2).
Grfico 2 Educao da fora de trabalho
Com relao mo-de-obra nos campos de cincia e tecnologia, constata-se que o nmero de cientistas e
de engenheiros por 1.000 habitantes relativamente pequeno na Tailndia (ver Grfico 3).
Grfico 3 Nmero de cientistas e engenheiros por 1.000
147
Em termos de qualidade, o Terceiro Estudo Internacional em Matemtica e Cincias, realizado pela

International Association for the Evaluation of the Educational Achievement (IEA), demonstrou que as pontuaes de
desempenho dos alunos tailandeses so inferiores aos de outros pases da sia, que participaram do estudo da
IEA, que incluem Cingapura, Japo, Coria do Sul e Hongcong (ver Grfico 4).
Grfico 4 Pontuaes de desempenho em Matemtica e Cincias
643
650
607
607
600
605
599
571
565
550
522 522 525
500
M ate m tica
C i ncia
450
0
2 4
3 3
4 24
20 21
1 1
C in gapura C oria Japo H ong co ng Tailndia
Ainda, a classificao das 50 universidades da sia, realizada pela Asiaweek, apesar de alguns problemas
quanto a sistemas de medio e indicadores, revelou que as universidades tailandesas ficaram no grupo inferior, em
comparao a outras universidades da sia (ver Grfico 5).
Grfico 5 Classificao de Universidade da Asiaweek
87.52
77.38
72.01
64.25
61.40
47.63
21.63
Jap o
H o ng co ng C in g ap ura M alsia
11
C o ria
Tail nd ia
16
36 44
estrutura e administrao. Alm disso, a crise econmica deste ano e a prevalncia dos governos fracos no
pas mostram uma evidncia da baixa qualidade da
populao tailandesa, como resultado da m educao.
Portanto, preciso melhorar e atualizar a educao na Tailndia, e para isto no bastar apenas
oferecer uma educao superior e mais extensa. So
tambm extremamente necessrias melhorias de qualidade, e essas melhorias no podero ser realizadas
sem uma avaliao adequada, para revelar as falhas
existentes, que precisam ser revistas e aprimoradas.
A condio inferior da educao na Tailndia,

tanto em termos quantitativos quanto qualitativos, deve
representar alguma contribuio para o nvel inferior de
competitividade do pas na economia global. Como se
pode observar, no Anurio sobre Competitividade Mundial , publicado pelo International Institute for
Management Development (IMD), que realiza a classificao de 46 pases de todo o mundo quanto
competitividade, utilizando dados e opinies de lderes
do setor empresarial de vrioss pases, a Tailndia foi
classificada abaixo de outros pases em 1997, em termos de recursos humanos, cincias e tecnologia, infra-
148
100
90
80
70
60
50
40
30
20
10
prprios critrios, utilizando o mesmo mtodo que o

do ONPEC. A avaliao realizada principalmente pela
autoridade provincial, sob o controle do Departamento,
que, por sua vez, no realiza nenhuma atividade de
acompanhamento ou de verificao, dada a sua condio de problemas com falta de pessoal qualificado e
ausncia das habilidades adequadas para avaliao.
Nas escolas, verifica-se a falta de apoios, incluindo-se
a apoio financeiro e interesse da parte dos administradores centrais e dos professores-chefes, em relao
avaliao escolar.
O Office of the National Private Education
Commission (subordinada ao Ministrio de Educao)
lanou um projeto para credenciamento de escolas
particulares. O projeto foi desenvolvido atravs da criao de critrios padronizados para auto-avaliao nas
escolas, antes da realizao da inspeo de
credenciamento. Os indicadores includos nos critrios consistem daqueles relacionados filosofia e poltica escolares, ensino e aprendizagem, atividades estudantis, administrao de pessoal, administrao financeira, relaes com as comunidades, edifcios e instalaes, alm da eficcia da escola. O resultado foi a
participao e o credenciamento de apenas 14 escolas particulares atravs deste projeto.
Em 1986, Office of the National Private
Education Commission fez uma reviso dos critrios
de credenciamento, e implementou um novo procedimento para credenciamento em 1987. Trs etapas foram envolvidas nesse procedimento, com a seleo e
verificao de 300 escolas. Entre as etapas, incluemse: 1) estabelecimento pela diretoria da escola da sua
misso, para obteno do acordo para desenvolvimento futuro; 2) implementao e fornecimento de apoio,
para chegar aos objetivos acordados, de acordo com a
misso da escola; 3) preparao de um relatrio de
progresso.
Os componentes includos na misso da escola so: a) perfil da escola, contendo informaes
sobre sua histria e suas caractersticas, como tamanho, nmero de professores, alunos e edifcios, filosofia e currculo escolares; b) funo central da escola,
como desenvolvimento e aplicao de currculos,
gerenciamento e administrao, utilizao de recursos,
controle e avaliao; c) plano estratgico para aprimoramento escolar e regras ou diretrizes escolares para
prticas de alunos e de professores.
O relatrio de progresso dever ser preparado
de modo a expressar os resultados da implementao,
de acordo com a misso da escola. Alm disso, sero
informadas auditorias internas, referentes qualidade
da escola, aspectos financeiros e administrativos. O
grupo de auditoria inclui pessoal da escola nomeado
para isso, alm de um auditor profissional.
O Office of the National Private Education
Comission fornecer tambm, sempre que solicitado
pela escola, auditoria externa.
sistema de avaliao educacional na

Tailndia
Uma avaliao educacional sistemtica algo

quase inexistente na Tailndia. At o momento, no
existe uma agncia nacional que seja responsvel pela
avaliao da qualidade e dos padres da educao.
Cada agncia meramente realiza e desenvolve a sua
prpria avaliao e os seus prprios mtodos, sem
continuidade adequada, confiabilidade ou eficincia, e
algumas delas so descritas neste trabalho.
O Office of the National Primary Education
(ONPEC) responsvel por mais de 40 mil escolas,
subordinadas ao Ministrio da Educao, usadas para
avaliao da qualidade e dos padres escolares, atravs de vrios Escritrios Nacionais Provinciais Primrios, para selecionar e premiar (em termos de admirao) as escolas de melhor desempenho nas suas provncias. Os critrios de seleo cobrem os desempenhos das escolas nas reas de administrao geral,
aspectos acadmicos, controle do corpo discente,
servios escolares e relaes escola-comunidade.
Entretanto, faltou um acompanhamento para verificao do bom entendimento dos critrios pelas escolas
desde o ano de 1995, quando este mtodo de avaliao foi empregado, para finalmente ser descontinuado,
devido fragilidade e falta de validade do resultado
da seleo. O ONPEC atualmente est analisando e
melhorando os critrios padronizados para o seu prprio sistema.
O Bangkok Metropolitan Educational Office
responsvel por 400 escolas, subordinadas ao Ministrio do Interior, e desenvolveu critrios padronizados
para a auto-avaliao das escolas, e que deveriam ser
apresentados ao Escritrio. Os critrios de avaliao
incluem insumos, processos e indicadores de resultados. Estes critrios so tambm utilizados para avaliao das escolas pelos supervisores educacionais.
Constatou-se uma enorme variao entre os resultados obtidos a partir da auto-avaliao da escola e das
avaliaes realizadas por supervisores. Os casos de
desempenho positivo jamais deixam de ser informados pelas escolas, uma vez que a idia a de que
quaisquer relatrios negativos poderiam prejudic-las.
Por outro lado, esses relatrios escolares no esto
de acordo com a realidade, de forma expressa pelos
supervisores; assim sendo, o Escritrio est atualmente
em fase de reviso e reconsiderao dos critrios e
dos mtodos de avaliao. Apesar disso, observa-se
que as atividades de avaliao so bastante inadequadas, sendo de uma forma geral ignoradas pelo pessoal
envolvido.
O Department of Secondary Education (subordinado ao Ministrio da Educao) executa avaliaes
para selecionar e premiar escolas com base nos seus
149
150
edificaes e instalaes, pesquisa, avaliao e elaborao de relatrios.

As Ratchamankhala Technological Institutions
(subordinadas ao Ministrio de Educao) no dispem
de atividades especficas para monitorizao e avaliao. At agora, s foram acompanhados projetos e a
situao de emprego dos formados. A avaliao da
qualidade recebe apoio e promoo insuficientes.
Apesar de tudo o que foi mencionado, a garantia da qualidade vem atingindo um nvel de ateno
crescente, sendo este aspecto cada vez mais popular
entre os rgos dedicados educao. Assim, um plano com vistas introduo da ISO 9000 dever comear a ser implementado nessas instituies, para
enfatizar o desenvolvimento e a qualidade da educao.
O Ministrio de Assuntos Universitrios, responsvel pela educao superior, costumava acompanhar projetos implementados pelas vrias universidades sob o seu controle; este acompanhamento no
funciona bem, devido cooperao inadequada entre
as universidades, no que se refere ao fornecimento das
informaes solicitadas ao ministrio. Ainda, o ministrio carece de pessoal e de oramento para a avaliao, o que gera o atraso e a inadequao da atividade.
Entretanto, foram empreendidos esforos para
o desenvolvimento da qualidade, atravs de
credenciamento institucional e profissional sem avaliao suficiente. Com a tendncia da globalizao, a
avaliao de qualidade e a garantia de qualidade vmse tornando cada vez mais exigidas. Destarte, existe
a preocupao para formular e implementar a poltica
de controle da qualidade e da garantia da qualidade
entre vrias universidades.
O ministrio props trs componentes para a
garantia da qualidade, que incluem: controle da qualidade interna, focalizando vrios fatores, que afetam a
qualidade dos formandos; auditoria externa de qualidade, realizada pelo comit nomeado pelo ministrio; e
avaliao da qualidade, como mecanismo para auditoria de qualidade, centrado na eficcia e na eficincia
do controle da qualidade interna de cada universidade.
O Office of the National Education Commission
(ONEC) um rgo de planejamento e de poltica, alm
de realizar pesquisas e avaliaes, para orientao do
ministrio em aspectos educacionais. Como rgo
central, este escritrio executa a coordenao com
todas as outras agncias ligadas educao, para
implementao do Plano Nacional de Desenvolvimento da Educao. Durante o processo, e aps a
implementao do Plano, preciso que sejam realizadas avaliaes formativas e somativas, para a sugesto de recomendaes quanto a polticas, para reviso
do Plano e para prosseguir com a formulao de polticas para o Plano subseqente. As questes includas
na avaliao referem-se principalmente igualdade, qualidade e eficincia. De forma geral, a avaliao realizada utilizando o processo que aparece no Grfico 6.
Atualmente, o processo de garantia de qualidade na escola particular encontra-se na fase de reviso dos critrios de avaliao que, com freqncia,
realizada como resultado de remanejamento do secretrio-geral, o que desta forma contribui para uma garantia da qualidade escolar que no tem consistncia.
O Departament of Vocational Education (subordinado ao Ministrio de Educao) avalia universidades, com a finalidade de selecionar e premiar as
que mais se distingam, empregando os seus prprios
critrios, quanto a padres. A principal tarefa do departamento hoje desenvolver a garantia de qualidade nas
universidades vocacionais, aplicando as normas da
International Standards Organization (ISO 9000) ao sistema educacional. Esse desenvolvimento ocorreu atravs de um projeto piloto implementado em uma das
universidades vocacionais: o corpo docente foi treinado para obter conhecimento e entendimento sobre
como aplicar a ISO 9000 para o desenvolvimento da
educao vocacional. A implementao deste projeto
vem-se revelando como sendo bastante satisfatria, e
o departamento tem inteno de estend-lo a outras
universidades.
Alm disso, o departamento avalia tambm os
projetos implementados de acordo com o Plano
Qinqenal de Desenvolvimento da Educao Nacional, ainda que as amostras em estudo sejam ainda
muito pequenas, e existam problemas, devido
inadequao de pessoal, oramento e apoio administrativo.
O Officce of Rajabhat Institute Council (subordinado ao Ministrio da Educao), responsvel pelas
instituies dedicadas ao treinamento de professores,
raramente executa avaliaes significativas, limitandose ao acompanhamento da implementao dos projetos e do emprego do oramento. No so realizadas
de modo consistente quaisquer avaliaes diretas do
treinamento de professores; apenas pesquisas ocasionais foram realizadas, sobre aspectos como a qualidade do trabalho dos funcionrios das Rajabhat Teacher
Training Institutions, alm do acompanhamento da condio de emprego dos formados. O conselho enfrenta
tambm os mesmos problemas que os outros departamentos, como o fato da falta de pessoal de avaliao
e outros meios de apoio.
Apesar do problema, Rajabhat percebeu a necessidade de garantia de qualidade, e apoiou o treinamento do seu pessoal, ministrado por especialistas
estrangeiros nas reas de Gesto da Qualidade Total
e ISO 9000. Com base nos conceitos e nas prticas
desses mtodos, foram ressaltados fatores que afetam a qualidade da educao atravs de um processo
de brainstorming realizado entre as instituies
Rajabhat, como estrutura para o desenvolvimento da
qualidade. Esses fatores incluem a filosofia das instituies Rajabhat, currculo, pessoal, corpo discente,
instruo, atividades estudantis, recursos de aprendizagem, administrao, finanas, pessoal administrativo,
Grfico 6 Processo de avaliao do desenvolvimento geral da educao na Tailndia
ONEC
Ministrios
Departamentos
Escritrios
Subprovinciais
Escritrios
Provinciais
Avaliao externa de um
desenvolvimento geral,
realizada pelos rgos
centrais
Escolas
Ausncia de avaliao interna
enviar questionrios
devolver questionrios preenchidos
Como est representado no Grfico 6, o ONEC

envia questionrios a vrios ministrios e departamentos responsveis pelo fornecimento da educao. Estes questionrios so, ento, encaminhados aos escritrios provinciais e subprovinciais de cada departamento, antes de chegarem s escolas, que so responsveis pela obteno de dados e por enviar os questionrios preenchidos de volta ao ONEC, atravs de
uma variedade de canais. As informaes constantes
dos questionrios so ento examinadas e analisadas
de forma a gerarem um quadro geral do desenvolvimento
da educao no pas.
Alm disso, o ONEC executa tambm algumas avaliaes especficas de projetos focalizando
questes importantes de poltica, que so principalmente avaliaes externas, como as j mencionadas
anteriormente. Portanto, raro serem empregadas avaliaes internas nas escolas e nas instituies de educao. Na verdade, este tipo de avaliao externa tende a criar conflitos entre as instituies de educao,
quando os seus resultados se revelam como sendo
negativos. Alm disso, a ausncia de avaliaes internas no estimula a coleta de dados pelas escolas,
uma vez que esses dados no so usados para o seu
prprio benefcio. Assim, ficam sem saber por que devem obter dados para os outros.
Em resumo, as avaliaes na rea de educao so realizadas de uma forma dispersa e rara, entre as vrias agncias: algumas delas no efetuaram
nenhuma avaliao em 3 ou 4 anos. Ainda mais, no
h muita conscincia do que sejam a essncia e os
pontos fortes da avaliao. As concluses de avaliaes negativas, ainda que verdadeiras, no so aceitas, e verifica-se insuficincia de apoio para a avaliao, tanto em termos de oramento quanto de pessoal. Junte-se a isso o fato de que a maior parte das
avaliaes conduzida externamente por rgos centrais, enquanto que as avaliaes internas e a utilizao dos dados raramente acontecem no nvel das es-
colas, o que contribui para a ineficincia das melhorias

da qualidade. Por conseguinte, realmente necessrio, na Tailndia, o desenvolvimento de um processo
sistemtico de avaliao.
rojeto desenvolvido do sistema de

avaliao educacional
Para o desenvolvimento de um sistema mais

organizado de avaliao educacional, foi realizada uma
anlise dos conceitos e prticas de avaliao em outros setores e outros pases, segundo a forma apresentada abaixo.
valiao de qualidade nos setores

empresarial e industrial
No setor empresarial e privado, o fato de que a

avaliao uma etapa crucial no processo de
gerenciamento bem aceito, como aparece no Grfico 7. Para um desempenho bem-sucedido, preciso
serem estabelecidos uma meta clara e um plano para
avanar em direo a esta meta. Em seguida, vem a
implementao do plano. Durante esta fase, preciso
que sejam realizadas atividades de monitorizao e de
avaliao, para verificar se o plano est sendo realmente seguido, e se a meta est sendo atingida. Caso
no seja este o caso, os problemas e os obstculos
surgidos devero ser investigados e eliminados, ou
ento a meta ter de ser ajustada, para conformar-se
com a verdadeira realidade e para avanar em direo
a melhores aprimoramentos.
151
Grfico 7 Avaliao como etapa necessria no processo de gesto
Planejar
Metas e
Objetivos
Necessrios
Implementar
Resultado
ou
Produto
de reengenharia, tambm muito exigida uma avaliao constante.

Ao longo dos ltimos anos, vem-se verificando
uma intensa concorrncia na economia global, o que
torna o controle da qualidade com vistas obteno
de padres comuns crucial para o desenvolvimento industrial. A Inglaterra lder no estabelecimento desses padres, para a garantia da qualidade padro desejada. Esse tipo de prtica foi estendido para outros
pases, em especial os da Comunidade Europia. Organizaes industriais de vrios pases reuniram-se
para a criao de uma organizao chamada ISO, para
o desenvolvimento de padres de qualidade que promovam o comrcio internacional. Estes padres tornaram-se objeto de acordo e prtica internacionais no
comrcio por todo o mundo. Para vender produtos industriais no mercado mundial, preciso atender s
normas ISO.
Em concluso, o crescimento industrial excede outros setores, como resultado do controle da qualidade e dos padres atravs da avaliao, que includa como parte integrante do processo de gesto. Na
realizao das avaliaes, as empresas precisam considerar as suas metas e os seus objetivos, os vrios
problemas e erros surgidos, e comparar o seu desempenho ao de outras empresas rivais. Alm disso, a avaliao tem o poder de ressaltar as empresas e o pessoal com bom desempenho de outros no to capazes. Essa discriminao, se utilizada de forma adequada, incentivando os melhores e os mais capazes,
tornar-se- motivao para desempenhos melhores e
mais eficazes. Alm do mais, a avaliao gera excelentes lies e um processo de aprendizagem contnuo, a partir do sucesso e do fracasso, que benfico
para maiores desenvolvimentos e melhorias.
Com base na avaliao de qualidade executada no setor industrial, h dois tipos de avaliao que
vm do controle da qualidade: 1) avaliao interna dentro das empresas, para alcanar as metas propostas,
e 2) avaliao externa, como garantia para a qualidade
No setor industrial, o controle da qualidade

atravs da avaliao foi includo no processo de produo desde a Segunda Guerra Mundial. No incio, era
realizada uma amostragem aleatria dos produtos, para
a verificao de que a qualidade estava atendendo aos
parmetros exigidos. Posteriormente, verificou-se um
desenvolvimento extraordinrio na avaliao e no controle da qualidade.
O controle da qualidade de Deming representa uma inovao nas ltimas dcadas. Em vez de focalizar os produtos finais, d-se mais ateno ao processo de produo e gesto. Acredita-se que um
bom controle do processo gere produtos de boa qualidade, e que a avaliao seja um aspecto-chave para o
controle da qualidade no processo de gesto. De acordo com Deming, a avaliao contnua e consistente
dever contribuir para o controle da qualidade e para a
garantia da qualidade.
O conceito de Deming sobre o controle da qualidade no foi muito bem aceito nos Estados Unidos,
mas foi aplicado, com sucesso, no Japo. Este conceito de controle da qualidade foi modificado para gesto da qualidade total (TQM) nas empresas japonesas, levando cada trabalhador a exercer uma funo
no aprimoramento da sua vida profissional, para a produo de bens que possam levar satisfao dos clientes. A aplicao de TQM representou uma contribuio crucial para a promoo dos produtos japoneses,
desde os menos populares aos mais procurados no
mercado internacional.
O conceito de reengenharia, de Hammer e
Champy, fornece um outro modelo de aprimoramentos
de qualidade. Este processo de reengenharia exige um
novo pensar sobre as principais tarefas numa empresa; o redesenho do processo de trabalho, para torn-lo
mais curto e mais eficaz; introduo de novos instrumentos, para empregar a tecnologia mais moderna e
mais eficaz no processo de trabalho; e o retreinamento,
para equipar o pessoal com conhecimentos e habilidades para o trabalho no sistema renovado. No processo
152
Avaliar
padro. Ademais, so relatados os resultados da avaliao para o pblico, como fator de proteo do consumidor.
inspecionar a instituio a qualquer momento e sem

notificao prvia, para garantir que ela continue eficiente, e que efetivamente atenda qualidade padro.
Enquanto isso, as prprias associaes de
credenciamento so tambm avaliadas por rgos tanto
pblicos quanto privados. O rgo no-pblico que avalia
as associaes de credenciamento a Comisso de
Reconhecimento de Credenciamento Ps-Secundrio,
para a manuteno da variedade e da qualidade. No
caso do rgo pblico, os governos federal e estaduais
observam as associaes de credenciamento, para
verificar o adequado desempenho de suas funes, com
qualidade confivel, e de acordo com critrios padronizados estabelecidos.
Na Austrlia, que se beneficia em muito da
educao, uma vez que esta pode ser considerada inclusive como um de seus principais produtos de exportao, a qualidade da educao bastante reconhecida por muitos dos pases da sia. Esta qualidade obtida atravs de avaliaes consistentes de resultados e de produtos, medidas em termos de desempenho acadmico e da qualidade de trabalho dos
indivduos formados pelo sistema. As avaliaes so
efetuadas em carter regular, sendo os resultados divulgados, com a finalidade de prestao de contas junto ao pblico. Ainda, os resultados da avaliao so
usados para sugerir recomendaes referentes poltica educacional, para aprimoramentos e desenvolvimentos futuros.
No caso da Nova Zelndia, verificou-se uma
reforma bastante clara, passando o pas de um tipo de
administrao centralizada da educao para a
descentralizao. Como resultado desta reforma, a
poltica formulada pela Autoridade Central pode ser
traduzida diretamente e implementada pelas escolas
e pela comunidade, sem que seja necessrio passar
atravs de uma linha administrativa longa e cheia de
percalos, como era feito no passado.
Em meio ao processo de reforma, foram
efetuadas avaliaes de verificao e de equilbrio, e
tanto as avaliaes internas quanto as externas ficaram integradas no processo de reforma. A avaliao
interna inclui dois nveis, o nvel da escola e o nvel
ministerial. No nvel da escola, alm da verificao
mtua, entre diretores, professores e alunos, a diretoria escolar tem a funo de avaliar a prpria escola. No
nvel ministerial, o Ministrio da Educao responsvel pela avaliao dos desempenhos das escolas de
modo geral, de acordo com as Diretrizes Nacionais de
Educao.
No caso da avaliao externa, um Education
Review Office (ERO), que um rgo autnomo fora
da esfera de controle do ministrio, avalia as escolas,
verificando se desempenharam ou no os seus deveres, da forma expressa na misso da escola e nas
Diretrizes Nacionais de Educao.
Na Inglaterra, foi criado um Office for Standards
in Education (OFSTED), chefiado pelo inspetor-chefe
de Sua Majestade e o seu pessoal (Her Majesty
Inspectors ou HMI), para acompanhar a qualidade e os
padres de qualidade. Como rgo autnomo, inde-
valiao da qualidade da educao nos

pases desenvolvidos
Examinando-se a literatura, verifica-se que a

avaliao educacional, em busca da garantia da qualidade e de melhorias de qualidade, recebe grande nfase em alguns dos principais pases desenvolvidos,
como os Estados Unidos, a Austrlia, a Nova Zelndia
e a Inglaterra.
Nos Estados Unidos, j foram realizadas tentativas de solucionar a crise da educao, que um
fator impeditivo para a sua competitividade com outros
pases desenvolvidos. Essas tentativas so expressas
pela promulgao de "Metas 2000: Lei da Educao
na Amrica", para a preparao de todos os americanos para a entrada no novo milnio atravs da melhoria
da educao americana, para se equiparar a padres
de nvel mundial.
Para chegar s metas 2000, foram indicados
dois rgos para acompanhar a implementao de
acordo com as metas: O Painel Nacional de Metas de
Educao, responsvel pela orientao do Presidente
e do Congresso em questes ligadas educao, e o
Conselho Nacional de Padres de Educao e Aprimoramento, responsvel pelo estabelecimento e pela
monitorizao de padres e critrios de educao, bem
como pela aprovao dos critrios desenvolvidos voluntariamente por cada um dos Estados.
O credenciamento americano de qualidade
mais ntido no nvel da educao superior, tendo sido
estabelecido pelas Associaes Regionais de
Credenciamento Institucional, e pelas Agncias Nacionais de Credenciamento Institucional e Especializado. O processo de credenciamento feito em colaborao entre a associao de credenciamento e a instituio, na determinao de critrios padronizados. A
instituio precisa solicitar o credenciamento associao; tendo sido aceita a solicitao, a instituio
precisa efetuar auto-avaliaes de maneira consistente, para acompanhar e verificar se executou as funes de acordo com os planos institucionais, para o
atendimento dos objetivos necessrios. A avaliao
tem a participao de todas as pessoas envolvidas,
entre corpo docente, pessoal administrativo, pessoal
de apoio e corpo discente.
O relatrio da auto-avaliao enviado associao de credenciamento, que por sua vez dever
visitar e avaliar a instituio. Normalmente, o resultado
do credenciamento ter validade de cinco a dez anos.
Entretanto, a associao de credenciamento poder
153
educao para o desenvolvimento de recursos humanos, que possam contribuir para o desenvolvimento
nacional. Tudo isso tambm verdadeiro na Tailndia,
que precisa efetivamente desenvolver a qualidade de
sua populao e os seus potenciais, para expandir a
competitividade do pas em relao a outros pases, e
em todos os aspectos do desenvolvimento.
Apesar de todos os esforos, o sistema educacional na Tailndia no dispe de um rgo principal,
que seja responsvel pela avaliao, pela qualidade nacional da educao e dos seus padres. Verifica-se tambm que o sistema de avaliao existente inadequado, tanto em termos de qualidade quanto de quantidade,
o que gera feedback igualmente no apropriado para o
desenvolvimento nacional da educao.
Por isso, preciso que seja desenvolvido uma
estrutura sistemtica de avaliao, com base no conceito e na prtica analisada em outros setores e em
outros pases, para que possam ser solucionados os
problemas existentes, assim como para que seja possvel adquirir um mecanismo para aprimoramento e
desenvolvimento educacionais.
necessrio desenvolver diretrizes e padres
nacionais de educao, em todos os nveis, sendo indispensvel executar-se uma avaliao de qualidade,
para garantir que essas diretrizes e padres sejam atendidos. Tudo isto dever partir de esforos de colaborao, empreendidos entre os vrios rgos relacionados, que, como rgos implementadores, incluindo
vrios ministrios e departamentos responsveis pela
educao e por instituies de educao, devem tomar parte no desenvolvimento de padres, bem como
na implementao e na avaliao de seu prprio desempenho de acordo com eles. O rgo diretamente
responsvel pelo desenvolvimento de padres e diretrizes, bem como pela garantia da qualidade baseada
em nveis acordados, dever ter carter central e autnomo, fora da linha de controle dos rgos de
implementao. Este rgo dever promover e apoiar
a avaliao interna nas instituies de educao atravs de vrios canais, como, por exemplo, o fornecimento de treinamento e de financiamento parcial para
esta atividade. No caso da avaliao externa, ser oferecido apoio ao setor privado bem como s associaes acadmicas e profissionais, para a inspeo e a
avaliao das instituies de educao.
Os inspetores privados devero ser treinados
e registrados como inspetores qualificados, para estarem aptos para a avaliao de escolas de educao
pr-universitria, como o caso dos inspetores independentes registrados na Inglaterra. A inspeo escolar ser realizada atravs de licitaes efetuadas entre
inspetores privados registrados, que devero estudar
antecedentes sobre a escola e preparar planos de inspeo antes de procederem inspeo das escolas.
Os relatrios de inspeo resultantes devero ser apresentados ao rgo central responsvel, s escolas e
sistema de avaliao educacional

proposto na Tailndia
A partir da anlise realizada acima, verifica-se

que a educao assume um papel crucial na construo do futuro de uma nao. Por isso, vrios pases
vm empreendendo os maiores esforos para fornecer
154
pendente do Ministrio da Educao, este escritrio

tem a possibilidade de executar as suas funes sem
parcialidades e preconceitos.
O estabelecimento do OFSTED introduziu um
sistema novo de inspeo escolar e modificou as funes dos HMI, de fornecedores diretos de inspeo
escolar para o desenvolvimento de padres nacionais
de educao e apoio a inspetores privados independentes para desempenharem essa funo para todas
as escolas, de acordo com um ciclo de quatro anos.
Estes inspetores privados tm de ser treinados e
registrados, para serem qualificados para inspeo
escolar, contratada atravs de licitaes. O resultado
da inspeo informado ao OFSTED e escola e
comunidade, com a finalidade de prestao de contas
e de dar informaes de volta ao sistema, para o desenvolvimento de melhorias. Quando so encontrados
problemas srios como resultado da inspeo escolar,
o OFSTED aplica medidas especiais na escola, que,
por sua vez, fica responsvel pela formulao e pela
implementao de um plano operacional para melhoramentos. Durante a fase de implementao do plano,
a escola e a comunidade executa avaliao e
monitorizao internas, enquanto que a inspeo externa realizada pelo OFSTED, para verificar se a escola melhorou de acordo com o plano.
Aparentemente, o novo sistema de inspeo
est funcionando muito bem. As concluses da inspeo so aceitveis, e so consideradas benficas para
as escolas e partes relacionadas a ela, aprimorando a
qualidade da educao.
Em concluso, a prtica na rea de melhorias
de qualidade atingidas atravs da avaliao da qualidade e do padro da educao nos pases mencionados
acima baseia-se em conceitos relacionados ao valor
pelo investimento, prestao de contas, liberdade acadmica, administrao descentralizada e participao
de todos os envolvidos durante todo o processo de planejamento e monitorizao e avaliao, tanto internas
quanto externas, com mtodo transparente de verificao e equilbrio, com base no qual os rgos de avaliao so tambm avaliados por outros beneficirios.
Esses conceitos e prtica de avaliao tm impactos
significativos sobre o planejamento, oramento e administrao, em relao a metas necessrias relacionadas a melhoramentos e eficincia na rea de qualidade.
comunidades envolvidas, para que seja dado feedback

para maiores aprimoramentos e desenvolvimentos posteriores de poltica.
No caso da educao superior, ser oferecido
apoio s associaes acadmicas e profissionais, para
credenciamento de instituies de educao superior,
como o que acontece nos EUA.
Ainda dever ser empregado um mtodo de
verificao e equilbrio que seja transparente; este
mtodo poder ser desenvolvido, dando-se a possibilidade s instituies inspecionadas de apresentarem
suas queixas e reclamaes ao rgo central, encarregado da qualidade e dos padres de educao, que
dever verificar os desempenhos de inspeo dos inspetores registrados e das associaes de inspeo.
Sero tambm realizadas avaliaes ocasionais, por
rgos independentes contratados, para verificao da
qualidade e da eficcia de todas as partes envolvidas
na inspeo educacional.
Com base no conceito acima, ser criado um
Instituto Nacional para a Avaliao da Qualidade e dos
Padres de Educao no ONEC, que ser preparado
para se tornar rgo independente, posteriormente.
Esta instituio ser responsvel pelo novo sistema
de avaliao.
Instituto Nacional para a Avaliao da

Qualidade e dos Padres de Educao
Este instituto dever desenvolver e promover o

sistema de avaliao educacional, de acordo com a
poltica recentemente proposta e aprovada pelo Gabinete de Ministros. Esta poltica abrange:
O sistema de avaliao educacional, que incluir:
1. Avaliao Interna nas escolas e nas instituies de educao, aplicando o processo de avaliao orientado para a administrao, e utilizado na Gesto da Qualidade Total ou nas normas ISO 9000.
2. Avaliao Externa, executada pelo Instituto, aplicando o modelo OFSTED para a inspeo escolar executada por inspetores registrados privados
para a educao pr-universitria, e o modelo dos EUA,
para o credenciamento das instituies de educao
superior, por associaes acadmicas e profissionais.
A estrutura organizacional. O instituto trabalhar de acordo com a orientao da Comisso Nacional de Educao, havendo nele dez grupos de trabalho, como aparece no Grfico 8.
Grfico 8 Estrutura organizacional

do Instituto Nacional para Avaliao da Qualidade e dos Padres de Educao
O Instituto
1. Desenvolvimento de
Padres
5. Secundrio
8. Educao
Superior
2. Inspetor
Registrado
6. Treinamento
Vocacional
3. Pr-Primrio
7. Instituio
Privada
9. Outros
rgos
10. Administrao
155
4. Primrio
O Grupo de Trabalho sobre Padres ser responsvel pelo desenvolvimento de pesquisa, para o desenvolvimento de Padres Nacionais de Educao que
possam ser comparados aos padres de nvel mundial.
O Grupo de Trabalho sobre Inspetores
Registrados ser responsvel por selecionar, desenvolver e registrar inspetores independentes privados qualificados, bem como por supervisionar se as inspees
executadas pelos inspetores atendem qualidade e
aos padres exigidos.
Os Grupos de Trabalho 3 a 9 sero responsveis pela promoo de avaliao interna nos vrios nveis de instituies e rgos de educao.
O Grupo de Administrao ser responsvel
pela administrao geral, em apoio a todas as atividades descritas acima.
Processo de Implementao. A implementao
dever incluir as etapas abaixo (Grfico 9):
Grfico 9 Etapas do processo de implementao
2
Apresentao da poltica de Padres
Nacionais de Educao Comisso
Nacional de Educao
Pesquisa para o desenvolvimento dos Padres

Nacionais de Educao
4
Avaliao interna
3
Aprovao dos Padres
Nacionais de Educao
5
Avaliao externa
As etapas para a avaliao interna executadas pelas instituies e rgos de educao podero incluir o
seguinte (Grfico 10):
1. Preparao da
avaliao interna
4. Preparao dos
documentos
necessrios
7. Monitorizao e
avaliao
2. Comparao com
a ISO 9000/GQT
5. Preparao
de manuais de
qualidade
8. Aprimoramento/
ajuste da
implementao/
documentos
156
3. Projeto de controle de qualidade
6. Implementao
9. Solicitao de
avaliao externa
Grfico 10 Etapas da avaliao interna
No caso da avaliao externa, sero as seguintes etapas (Grfico 11):

Grfico 11 Etapas da avaliao externa
1. Estabelecimento de
critrios de avaliao
4. Execuo da
avaliao
2. Desenvolvimento e
seleo de avaliadores
externos
6. Apresentao Comisso
Nacional de Educao,
Gabinete e ao Congresso
5. Preparao do
relatrio
oncluso
Sendo a educao uma das chaves para o desenvolvimento da qualidade humana, considerada como
primordial para o desenvolvimento nacional e para a
competitividade mundial, de suma importncia a gerao de educao de qualidade. Desta forma, a garantia da qualidade e a avaliao tornaram-se uma questo crucial no fornecimento de educao de boa qualidade aos povos de vrios pases. A avaliao no deve
ser limitada a testes e medies, como era o conceito
do passado, mas uma parte significativa do
gerenciamento. Este tipo de avaliao dever incluir
tanto a avaliao externa quanto interna, sendo executada por todas as instituies e rgos de educao,
como parte integrante do processo de gesto, para
chegar s metas e objetivos exigidos. Outrossim, dever ser bem-vinda a participao no processo de todas as partes envolvidas, sendo os resultados da avaliao informados e verificados pelo pblico, com fins
de prestao de contas. Ainda, as concluses derivadas da avaliao devero ser utilizadas para sugerir
aprimoramentos de qualidade e maiores recomendaes para o desenvolvimento educacional. Este sistema de avaliao dever ser desenvolvido por um rgo
que seja independente e autnomo, para permitir flexibilidade, eficcia e avaliao imparcial. Todas essas
prticas tornaro a avaliao educacional mais significativa, contando com o valor pelo investimento, a prestao de contas, a liberdade acadmica, a administrao descentralizada e a participao, para chegar a
obter impactos significativos sobre o planejamento, a
elaborao de oramentos e a administrao, com vistas a uma melhor qualidade e eficincia da educao.
3. Determinao de
contratos para
avaliao externa
BEST universities of Asia (The). Asiaweek, Hong Kong,

v. 23, n. 20, 1997.
CHAMPY, James. Reengineering management. New
York : Harper Collins, 1995.
DEWEY, J. Democracy and education. New York :
MacMillan, 1916. 434p.
GREAT BRITAIN. Office for Standards in Education.
OFSTED and the new school's inspection system.
Disponvel na Internet (http://www.coi.gov.uk/coi/
depts/depts.htm).
INTERNATIONAL INSTITUTE FOR MANAGEMENT
DEVELOPMENT. World competitiveness yearbook,
1997. Disponvel na Internet (http://www.imdch/wcy/
over.hum).
INTERNATIONAL LABOUR ORGANIZATION. Yearbook
of labour statistics 1995. Genve, 1996.
KARMEL, Peter. Desirable outcome - australian
education policy in the nineties, William Walker
oration, 3 July 1995. Journal of Higher Education
Policy and Management, v. 18, n. 1, 1996.
NANANUKUL, Surasak et al. QC manual : basic
principle of working quality in Japan and Thailand.
Cpia mimeografada.
157
NONGMAK, Chamrat. Private school accreditation :

development guideline to promote the role of private
schools. Bangkok, 1995.
SIRITRANGSRI, Pinsuda. A study on education reform

in New Zealand : a paper presented to ONEC.
Bangkok, 1997.
OFFICE OF THE NATIONAL EDUCATION

COMMISSION. Educational investment in Thailand.
Bangkok, 1997.
SRISUCHAI, Setasak. Application of strategic

management and TQM in large enterprises .
Bangkok, 1992.
OFFICE OF THE NATIONAL PRIMARY EDUCATION

COMMISSION. A manual for the use of standard
criteria in primary schools. Bangkok, 1995.
THAILAND. Ministry of Education. Department of

Vocational Education and ISO 9000. Bangkok, 1996.
THAILAND. Ministry of Industry. Standards of Industrial Products ISO : 1994. Bangkok, 1996.
OFFICE OF THE NATIONAL PRIVATE SCHOOL

COMMISSION. A manual to evaluate private school
quality. Ed. rev. Bangkok, 1996.
UNESCO. Statistical Yearbook 1995. Lanham, MD:

Brenan, 1996.
________. Guidelines for development and quality

assurance. Bangkok, 1997.
WORLD Education League : Whos Top? T he

Economist, 29 de maro de 1997.
ROSS, Kenneth N. Research and policy : a complex

mix. IIEP Newsletter, v. 15, n. 1, Jan./Mar. 1997.
158
PAPEL DOS MEIOS DE

COMUNICAO NA DIVULGAO DOS
RESULTADOS DA AVALIAO
Demcrito Rocha Dummar*

Minha primeira observao passa pelo registro de que no sou um professor. Sou um jornalista de
batente, sem especializao nas digresses sobre o
tema deste Seminrio. Minha presena ao lado de especialistas confirma a inteno multidisciplinar dos
seus organizadores, um dos caminhos para a democratizao da avaliao no Pas.
Hoje, pela manh, fiz uma pergunta ao Dr.
House, consagrado conhecedor internacional do tema
e presena imprescindvel ao sucesso da presente iniciativa. Confesso que j imaginava o resultado da resposta e a fiz, de certa forma, para pautar o teor inicial
de minhas colocaes: "Dr. House, h dificuldade de
difuso das avaliaes dos resultados educacionais?
Para essa dificuldade quem contribui mais, os especialistas ou os meios de comunicao generalistas?"
"Os meios de comunicao", respondeu ele, "distorcem
e comprometem os nossos trabalhos. o que
comumente mais acontece."
Eu j esperava que ele fizesse essa crtica aos
meios. Como comunicadores da imprensa leiga (no
confundir com imprensa especializada), somos conscientes dos crescentes desafios temticos no mbito
do conhecimento especializado ou cientfico e de nossas proporcionais falibilidades. A partir delas, no entanto, que tentamos ampliar o nosso "crculo de pautas" e assuntos, para atender s exigncias de um
pblico de interesses cada vez mais diversificados. No
imaginava, confesso, que especialistas no se inserissem como co-autores de um mesmo drama.
Gostaria de abordar a partir de agora trs aspectos que justificariam essa dificuldade de comunicao.
A primeira, passa pelas observaes do educador Howard Gardner em seu livro Anatomia das Lideranas, no qual ele afirma que h dois tipos de lderes em nossa sociedade: os lderes generalistas, que
tm discursos para as grandes audincias e que
potencializam, modernamente, com fluncia, seus pontos de vista atravs dos meios de comunicao impressos e eletrnicos, e os lderes de domnios do conhecimento, que tm discursos circunscritos a audi-
ncias mais restritas, a audincias de especialistas.

Essa interlocuo de especialistas complexa, quando diante da imprensa no especializada. Utilizando
linguagem acadmica, hermtica, esses profissionais
no so preparados para sintetizar conceitos, a fim de
atenderem a audincias maiores, nos noticirios de
televiso, por exemplo. Continuam falando no ritmo que
o fazem com seus interlocutores tradicionais. Eis a
primeira grande dificuldade.
A segunda dificuldade est no fato de as lideranas acadmicas no motivarem os jornais a abrirem novas pautas para atender s suas especialidades. A conferencista que me antecedeu colocou a
questo da Aids, quando a maioria dos jornais brasileiros cuidou bem do assunto, recentemente. Seria mrito dessas lideranas acadmicas? Creio que no. Esse
mrito cabe mais a prpria sociedade, que est mais
atenta questo da Aids. Eu trago um exemplo para
os senhores de como O Povo, que se edita no Nordeste, cuidou do assunto por ocasio do Dia Mundial de
Combate Aids: primeira pgina com uma enorme ilustrao, o suplemento "Cincia & Sade", o caderno
feminino "Delas", alm da capa do suplemento de cultura e variedades "Vida & Arte", todos em coro. No h
um talento especial dos jornalistas, tampouco Fortaleza tem uma incidncia da doena em nveis superiores
a outras capitais brasileiras. Acredito que os jornalistas esto envolvidos nessa problemtica tanto quanto
os especialistas, pois a Aids ultrapassou o crculo restrito destes. Por que o mesmo no ocorre com outras
enfermidades que atingem um universo bem maior de
pessoas, como o caso dos pacientes portadores de
alzheimer? Ou por que grande destaque no dado a
certas especialidades na rea de educao? Ou ainda, por que os especialistas desse setor admitem trafegar exclusivamente em torno das questes de matrculas, de repetncia, de salrios, de exames vestibulares e meia dzia a mais de temas batidos? Eis uma
dificuldade e um desafio que atinge a todos: como poderamos sensibilizar um jornal como O Globo, voltado
para grandes audincias, a tratar permanentemente a
avaliao na educao, na intensidade que o assunto
requer?
*Jornalista, presidente do jornal O Povo e da Fundao Demcrito Rocha, de Fortaleza-CE.
159
H, tambm, uma terceira dificuldade que foi

bem expressa pelo Dr. Barry MacGaw, quando demonstrou sua experincia na Austrlia. Mesmo sendo um
pas com tradio em avaliao educacional, persiste
uma tenso latente entre as pessoas e as instituies
que patrocinam as pesquisas e a divulgao dos resultados. Como superar a dificuldade no relacionamento,
quando setores de comunicao social dos governos
no tm interesse em divulgar amplamente as deficincias registradas pelos avaliadores? Como proteger
essa informao e faz-la chegar aos jornais, criandose uma tradio de difuso, quando, em certos momentos, os prprios financiadores preferem
subdimension-las, quando no, desqualific-las, por
desatenderem aos seus ndices de eficincia diante
da opinio pblica? Se circunstncias como essas
ocorrem na Austrlia, como super-las em pases
menos aculturados para a transparncia dessa misso? E como super-las, se as polticas de comunicao social do setor pblico vo ficando restritas aos
comerciais de 30 segundos na TV, seja no Brasil ou
em pases mais desenvolvidos? Peo perdo por fazer
tantas indagaes. Entretanto, se uma das funes
bsicas do jornalista perguntar, isso me redime parcialmente.
Aproveitando os minutos que me restam, seria oportuno repassar-lhes um rpido panorama sob o
prisma dos veculos de comunicao impressa. Esses
veculos esto muito conscientes de suas novas misses. A questo do papel ou do fim do papel na era
digital, bem como a globalizao da comunicao,
contribuiu para que editores desenvolvessem novos formatos de linguagem e estudassem a busca de novos
desafios. o caso da "Universidade Aberta do Nordes-
te", um projeto de educao a distncia por meio de

jornais, gerado a partir do Cear, h mais de uma dcada. Em parceria com as universidades pblicas, foram desenvolvidos 43 cursos de extenso. A ltima
experincia, atravs do curso "Marketing para Todos",
teve 17 mil alunos inscritos. Isso demonstra uma nova
aptido aberta dos jornais, aliada a uma necessidade
de capacitao da sociedade, na qual o cidado tem
de estar bem informado e mais preparado para as novas relaes de trabalho e de vida.
Outra coisa tambm interessante e isso a
faz parte da questo da globalizao: de qualquer ponto do Pas, produtores de conhecimento podem atuar
em nvel nacional, como ser o caso da Gazeta Mercantil, que veicular esse mesmo curso para seus milhares de leitores do eixo Rio-So Paulo. Este relato
foi apenas para sinalizar que os jornais brasileiros esto maduros para vivncias na rea da educao. Uma
aproximao precisa ser feita. Os professores especialistas em avaliao precisam tornar-se lderes do processo de comunicao e conquistar espaos nas pginas de opinio dos jornais brasileiros. Sou um leitor
assduo da professora Teresa Penafirme, mediante uma
publicao especializada da Fundao Cesgranrio. A
professora uma jornalista nata e um exemplo na arte
da boa comunicao, altura dos melhores textos brasileiros. Falo na professora Teresa, mas me dirijo a
todos os mestres que tm a misso de democratizar a
avaliao educacional no Brasil. preciso tirar esse
assunto dos crculos de especialistas e lev-los a todos os pais, alunos, amigos da educao, diretores e
professores das escolas pblicas e particulares. Avaliar preciso.
160
S EMINRIO INTERNACIONAL
DE AVALIAO EDUCACIONAL:
DOCUMENTO DE TRABALHO
dade da avaliao na atualidade obriga as autoridades

educacionais a explorar novas vias de atuao, a refletir sobre as experincias realizadas e a extrair, a partir
delas, suas prprias concluses. Um dos procedimentos mais frutferos para levar a cabo essa reflexo consiste precisamente em contrastar as prprias idias e
iniciativas com as de outros pases. O debate internacional proporciona uma oportunidade inigualvel para
aumentar nosso conhecimento acerca da maneira de
resolver os problemas que encontramos no mbito nacional e como melhorar nossa prtica.
No momento de empreender esta tarefa comparativa, a participao dos organismos internacionais
especialmente valiosa. Adotar uma perspectiva
supranacional permite lanar uma luz diferente sobre
as experincias locais e analis-las partindo de novos
pontos de vista. Talvez seja neste tipo de exerccio que
melhor se aprecie a contribuio que estes organismos podem dar ao conhecimento e melhoria da atividade educacional em diversos contextos nacionais.
A Oficina Internacional de Educacin da
Unesco tem sempre dedicado boa parte de seus esforos promoo do debate internacional sobre os assuntos educacionais, fomentando a compreenso entre os pases e tentando tirar o maior proveito possvel
da comparao entre situaes diferentes. Sendo esse
seu principal objetivo, colabora habitualmente na organizao de atividades com importncia internacional e
comparativa, oferecendo para isso sua experincia,
suas redes de especialistas e seus canais de comunicao. Neste caso concreto, respondeu favoravelmente solicitao feita pelas autoridades educacionais
brasileiras para organizar um encontro que permita
analisar e comparar as experincias desenvolvidas por
diversos pases no mbito da avaliao educacional.
De acordo com os motivos e intenes expostos, o Seminrio Internacional de Avaliao Educacional, que ser realizado no Rio de Janeiro em dezembro
de 1997, tem por objetivo explorar e analisar os novos
desafios e as tendncias que se vislumbram nesse
mbito, permitindo s autoridades brasileiras confrontar sua experincia com a de outros pases. Assim,
trata-se de estabelecer um debate internacional contando com a participao de destacados especialistas
procedentes de diversos pases e regies mundiais,
mas sem perder de vista a perspectiva especificamente brasileira, a servio da qual foi concebido o encontro. O grau de xito da reunio dever ser estimado
m debate internacional, partindo de uma

perspectiva brasileira
A exemplo do que ocorre num crescente nmero de pases, o Ministrio da Educao e do Desporto do Brasil (MEC) incluiu entre seus objetivos
prioritrios para os prximos anos a melhoria de qualidade da educao. Os desafios cientficos,
tecnolgicos e econmicos que experimentam nossas
sociedades, a forte demanda social que reclama uma
educao mais ampla e completa, a necessidade de
utilizar mais adequadamente possvel os recursos, escassos por natureza, e a presso em favor de um desenvolvimento sustentvel e eqitativo convertem esse
objetivo numa exigncia incontestvel qual os poderes pblicos devem dar resposta. Em diversos foros
internacionais, foi salientado que o principal desafio dos
sistemas educacionais contemporneos no mais
apenas proporcionar educao a todos os cidados,
mas, tambm, assegurar que esta seja de qualidade.
Entre os fatores que podem contribuir para a
melhoria qualitativa da educao, a avaliao do sistema educacional e de seus componentes ocupa um lugar de destaque. Na realidade, a adoo de medidas
voltadas para a melhoria da atividade educacional somente pode assentar-se sobre uma informao rigorosa, contrastada e equilibrada. A avaliao permite obter e difundir essa informao, convertendo-se assim
num poderoso instrumento de conhecimento, de valorizao e, em ltima instncia, de mudana. No de
estranhar que, neste contexto, tenha-se chegado a afirmar que ela constitui um recurso de primeira ordem a
servio de um novo estilo de fazer poltica e de conduo dos sistemas educacionais.
Em concordncia com essas premissas, o Ministrio brasileiro vem desenvolvendo j h alguns anos
uma srie de programas de avaliao, que compreendem diversos nveis educacionais, como a Educao
Bsica, as universidades e os cursos de graduao e
ps-graduao. As iniciativas empreendidas at o momento permitiram articular uma linha de trabalho promissora, constituir novas equipes de profissionais e
adquirir uma valiosa experincia acerca das possibilidades e limitaes do uso da avaliao no mbito educacional.
Entretanto, apesar dos avanos alcanados
neste terreno, a rpida evoluo por que passa a ativi-
161
medida que o debate internacional contribua para o

enriquecimento da experincia desenvolvida nestes ltimos anos no Brasil.
ma reflexo sobre as novas tendncias

da avaliao educacional
Como foi mencionado acima, as instituies

organizadoras do Seminrio querem propiciar uma reflexo sobre as principais tendncias que se notam
hoje em dia quando se trata de avaliar a atividade educacional. Falar de novas tendncias supe realizar uma
explorao do passado recente e uma anlise da situao atual, com os olhos no futuro. Este exerccio
especialmente necessrio quando nos defrontamos
com um campo em plena fase de renovao.
Na realidade, embora a avaliao propriamente dita conte com uma longa tradio, que remonta s
origens histricas da psicometria e da pedagogia experimental, durante as duas ltimas dcadas, registrou um processo rpido e decidido de expanso, sendo produzidas mudanas importantes no modo como
concebida, nos mtodos que utiliza e na maneira
como se organiza institucionalmente. Como conseqncia deste conjunto de transformaes, passou por
uma completa renovao, a tal ponto que a avaliao
educacional atual apenas se assemelha atividade desenvolvida sob essa denominao no incio dos anos 70.
Um dos aspectos em que melhor se aprecia a
mudana produzida na tarefa de avaliar a sua utilizao sistemtica para obter informaes vlidas acerca
dos diferentes setores da educao, e no apenas do
aprendizado conseguido, pelos alunos. De acordo com
uma imagem sugestiva freqentemente utilizada,
como se sua expanso tivesse sido produzida mediante a colonizao progressiva de campos vizinhos.
Tendo comeado pela preocupao com o aprendizado dos alunos, a ateno foi se deslocando para os
professores, o currculo, os programas de interveno,
os centros e a prpria administrao da educao. Em
resumo, pode-se dizer que, hoje em dia, o conjunto do
sistema educacional objeto da avaliao.
Logicamente, essa ampliao do foco de ateno e sua aplicao s novas realidades obrigou a reconsiderar em profundidade os conceitos e as categorias tericas utilizadas, a revisar os mtodos e os procedimentos habitualmente aplicados, a procurar os
modelos institucionais e organizacionais mais adequados para cumprir suas novas funes e a explorar os
mecanismos mais eficazes para difundir e utilizar a
informao obtida. Neste campo, como em tantos outros, no existem normas universais consagradas pela
tradio, mas apenas tendncias mais ou menos
a) O que e como avaliar

O primeiro dos temas que sero abordados
pelo Seminrio refere-se aos contedos e mtodos da
avaliao ou, dito de outro modo, s questes de "o
que" e "como" avaliar. Sem pretender esgotar nem tratar de maneira exaustiva um assunto que se caracteriza por sua amplitude, foram selecionados alguns dos
mbitos e enfoques metodolgicos que mais preocupam atualmente os especialistas e as autoridades educacionais.
Em primeiro lugar, o seminrio dedicar ateno avaliao dos resultados educacionais. Embora
a aferio do rendimento escolar, realizada geralmente
atravs da anlise dos resultados acadmicos dos alunos, tenha sido objeto de permanente preocupao,
as circunstncias atuais obrigam-nos a revisar nossos
pressupostos tradicionais. Por um lado, os avanos
da psicologia e da pedagogia obrigam-nos a reconsiderar o que entendemos por resultados educacionais,
prestando ateno ao desenvolvimento de capacidades de vrias ordens (atitudes, habilidades nocognitivas, valores). Por outro lado, a exigncia democrtica de justia e eqidade na aferio obriga-nos a
levar em considerao as condies iniciais dos alunos e das escolas, e no somente seus resultados
finais.
De acordo com essas novas colocaes, o
seminrio pretende contribuir para a reflexo acerca
162
promissoras, de cuja anlise devero ser extrados os

critrios aplicveis em cada caso concreto.
De acordo com estas premissas, a reflexo
que o Seminrio quer promover sobre o significado de
se avaliar um sistema educacional e os meios mais
apropriados para levar a cabo tal tarefa deve basear-se
na identificao dos principais desafios com que atualmente se defronta e no estudo das tendncias que se
vislumbram no panorama internacional. A partir da apresentao de idias e experincias pelos vrios expositores convidados de diversos pases, a parte central da
reunio consiste precisamente no debate, no contraste de opinies e na reflexo compartilhada entre todos
os participantes, com a inteno de se chegar a compreender melhor as caractersticas que esta tarefa certamente complexa apresenta no momento atual e extrair-se algumas orientaes para a prtica.
Entre os possveis temas que um encontro com
estas caractersticas poderia abordar, foram selecionados trs de especial relevncia nas circunstncias
atuais. Cada um deles abarca um mbito de reflexo
com significado prprio e com importantes implicaes
para o planejamento, a organizao e o funcionamento
dos sistemas nacionais de avaliao educacional. Mais
que um repertrio de solues, esses temas constituem uma fonte de perguntas e de questes abertas, s
quais ser necessrio responder no futuro prximo.
dos seguintes pontos: que capacidades devem ser

objeto de avaliao; como se pode combinar a aferio
dos resultados acadmicos com a de outras dimenses educacionais no estritamente cognitivas; com
que procedimentos contamos para realizar essa tarefa; que implicaes tem a pesquisa psicopedaggica
recente sobre a avaliao dos resultados da educao. Igualmente se prope debater: como devem ser
consideradas as condies iniciais dos alunos e das
escolas, na aferio de seus resultados; que sentido
tem a introduo do conceito de valor agregado na avaliao; que possibilidades oferece e com que modelos
contamos para aplic-lo na prtica.
Em segundo lugar, as pesquisas recentes sobre os fatores que contribuem para a melhoria da qualidade da educao coincidem em conceder um papel
central escola. Se bem que no se possa menosprezar o efeito produzido pelas polticas nacionais ou locais adotadas, a melhoria qualitativa se dirime, em ltima anlise, em cada instituio educacional. Vem
da a crescente importncia que se atribui avaliao
dos centros educacionais como instrumento de melhoria
da educao. Em consonncia com esta premissa, o
seminrio pretende abordar diversas questes acerca
das funes especficas da avaliao das escolas: quais
so elas, que papel desempenham na avaliao do sistema educacional, como podem e devem ser
complementadas as iniciativas avaliadoras de carter
interno e externo, ou qual o papel das autoridades
educacionais e das prprias escolas na avaliao
institucional.
Em terceiro lugar, preciso reconhecer a importncia que esto adquirindo alguns mtodos e instrumentos, na hora de avaliar os sistemas educacionais. Entre todos eles, vale a pena nos determos especialmente em dois, pelo interesse que despertam e
a expanso que registram no momento atual: o primeiro consiste na comparao internacional dos resultados da educao, tarefa da qual participam diversas
organizaes e associaes internacionais e que j
tem dado lugar realizao de um nmero crescente
de estudos nos ltimos anos; o segundo consiste na
utilizao de indicadores da educao, entendidos como
uma ferramenta capaz de proporcionar informaes
significativas e coerentes que permitem aferir o estado
e a situao dos sistemas educacionais.
Como contribuio para a reflexo internacional acerca destes assuntos, o seminrio pretende debater as possibilidades e as limitaes da comparao internacional dos resultados da educao, as condies que devem ser atendidas pelos estudos empreendidos para assegurar uma comparao justa, o interesse que pode ter para os pases a participao nessas iniciativas e como podem ser combinadas as agendas nacionais e internacionais de avaliao. Por outro
lado, o seminrio quer tambm estimular o debate sobre as possibilidades e limitaes dos indicadores educacionais, as condies que devem ser cumpridas, o
uso que se pode e deve fazer dos mesmos, ou como e

em que medida podem contribuir para o conhecimento
e a melhoria da educao.
b) Como organizar institucionalmente um sistema de

avaliao
O segundo tema a ser abordado pelo seminrio refere-se aos diversos modelos institucionais existentes e aos critrios adotados em diferentes contextos nacionais para organizar e operacionalizar sistemas de avaliao educacional. Tambm neste bloco
de questes foram selecionados alguns aspectos de
especial relevncia, com o propsito de focalizar a discusso em torno deles.
Um primeiro objeto de reflexo consiste no tipo
de dependncia institucional mantida pelos rgos responsveis pela avaliao em relao s autoridades
polticas e s administraes educacionais. Enquanto
alguns pases adotam a forma de agncias ministeriais, com um ou outro tipo de dependncia orgnica em
relao ao governo, em outros, esses rgos possuem maior autonomia institucional, seja porque dependem do poder legislativo, seja por estarem situados
fora do poder poltico. A adoo de um ou outro modelo varia em funo do contexto e das tradies de cada
pas, bem como da fora e da autonomia das associaes profissionais. O modelo institucional escolhido
tambm condiciona bastante o grau de independncia
com que atuam os avaliadores no desempenho de suas
atividades.
Partindo desta perspectiva, o seminrio se prope a debater as vantagens e os inconvenientes que
oferecem os principais modelos institucionais em funo de seu contexto particular; como o necessrio
suporte poltico pode ser combinado avaliao com
efetiva independncia dos rgos responsveis pela
mesma; que papel desempenham os poderes polticos, as administraes educacionais, os principais
interessados e os prprios avaliadores na definio dos
objetivos da avaliao e ainda perante quem os rgos
de avaliao devem responder pelo seu trabalho.
Um segundo objeto de reflexo diz respeito s
implicaes que tm os processos de descentralizao
atualmente em implantao sobre a organizao e o
funcionamento dos organismos de avaliao. Embora
o termo descentralizao se refira a realidades muito
diversas, no h dvida de que os processos a ele associados obrigam-nos a reconsiderar as maneiras tradicionais de administrao e conduo dos sistemas
educacionais. Em tais circunstncias, a avaliao passa a ter maior importncia, embora tambm tenha que
adaptar suas caractersticas institucionais s novas
atribuies de competncias em matria educacional.
Dentro deste ponto de vista, o seminrio pretende estimular a reflexo sobre a forma de
163
compatibilizar-se a avaliao do conjunto do sistema

educacional como um todo com a atribuio de competncias existente no mesmo, a influncia do modelo
de organizao poltica do Estado sobre a dependncia institucional do sistema de avaliao e, ainda, quem
pode tomar quais decises com relao s atividades
a serem desenvolvidas.
que esta pode razoavelmente esperar daquela; que

mecanismos formais e informais podem ser utilizados
para difundir eficazmente os resultados da avaliao;
que papel podem desempenhar nesse trabalho os intermedirios da informao; quem so os que podem
atuar como tais intermedirios e quais so os principais usos da avaliao no processo de construo de
polticas educacionais e na melhoria da prtica escolar.
c) Como utilizar as informaes da avaliao
ma agenda de trabalho aberta para o

futuro
Como facilmente se pode verificar, os temas

selecionados para estruturar o seminrio constituem
apenas uma pequena amostra dos desafios e das tendncias que hoje enfrenta a avaliao educacional.
Embora os organizadores tenham tentado escolher algumas questes de especial relevncia, no tiveram a
pretenso de esgotar o repertrio de perguntas ainda
sem resposta. Neste, como em outros campos, necessrio continuar desenvolvendo um trabalho de ensaio, reflexo e debate, o nico capaz de proporcionar
respostas para as numerosas questes levantadas.
Para levar a cabo esta tarefa, as iniciativas empreendidas pelas autoridades nacionais podem e devem ser complementadas estreitamente com as que
so realizadas pelos organismos internacionais. A
agenda de trabalho aberta para o futuro ampla e no
faz sentido abord-la em direes divergentes. necessrio explorar as possibilidades oferecidas pelo intercmbio de experincias e pela cooperao, que sempre do resultados mais frutferos que o isolamento.
Afinal de contas, os pases que decidiram estimular a avaliao educacional enfrentam problemas semelhantes.
De acordo com estes pressupostos, um dos
resultados do seminrio, embora no seja o principal,
consistir em ir perfilando de maneira mais precisa as
possveis aes de cooperao internacional que podem ser integradas numa agenda de trabalho para o
futuro. Como linhas gerais dessa agenda, que devero
ir se concretizando progressivamente, destacam-se
trs tipos de aes de especial importncia nas circunstncias atuais.
Em primeiro lugar, necessrio estimular programas conjuntos de pesquisa no mbito da avaliao
educacional. Embora em alguns pases sejam desenvolvidos importantes projetos de pesquisa, a superao das fronteiras nacionais permite adotar novas perspectivas e explorar solues diferentes. A experincia
incentivada neste sentido nos ltimos anos pela Unio
Europia um exemplo de como a constituio de
redes de pesquisadores em avaliao pode contribuir
poderosamente para a criao e divulgao do conhe-
164
O terceiro dos temas selecionados para

estruturar o seminrio refere-se ao tratamento e usos
da informao proporcionada pela avaliao. Embora a
concepo estritamente utilitria, que deixa os resultados da avaliao ao servio imediato da tomada de
decises, venha dando lugar a outra mais abrangente,
que admite a existncia de vias indiretas de influncia,
a relao existente entre a avaliao e a construo
de polticas continua a ser objeto de um interesse muito
grande. A correta difuso dos resultados da avaliao
preocupa mais do que nunca os patrocinadores da avaliao, bem como os prprios avaliadores. A busca de
novos modos para a divulgao das informaes recebe crescente ateno, tanto por razes de exigncia
democrtica como por uma questo de simples eficcia. O papel dos intermedirios da informao, que
pem os avaliadores e os patrocinadores da avaliao
em contato com seus pblicos, revalorizado por aqueles que acreditam estar realizando um trabalho importante ao traduzir os resultados da avaliao em conhecimento utilizvel. Em suma, os fluxos de informao
associados atividade avaliadora, os usos que se fazem da mesma e o impacto que pode ter sobre a poltica e a prtica educacional aparecem reiteradamente
na agenda atual da avaliao.
Por outro lado, a utilizao da avaliao educacional nos pases em desenvolvimento suscita algumas questes especficas que vale a pena considerar.
Com o desejo de contribuir para um debate necessrio
sobre o papel mais adequado, a viabilidade e a utilidade da atividade da avaliao nesse contexto particular,
o seminrio abordar algumas reflexes sobre o sentido da avaliao nesse contexto concreto, o papel que
deve desempenhar em relao satisfao das necessidades urgentes de escolarizao bsica, o lugar
que deve ocupar no seio das estratgias de melhoria
do ensino, que subsdio pode trazer especificamente
para os pases em desenvolvimento e como deve ser
concebida a fim de contribuir para esse objetivo
socioeconmico.
Um simples seminrio no pode aspirar resolver tantos assuntos, de tanta transcendncia, mas pode
contribuir para esclarecer alguns deles mediante uma
reflexo compartilhada. As principais questes que o
seminrio pretende abordar neste sentido so: o que a
avaliao pode proporcionar poltica educacional e o
cimento neste campo. Num outro ponto de vista, os

projetos internacionais de avaliao, como os patrocinados pela IEA, a OCDE ou OREALC-Unesco, proporcionam uma ocasio inestimvel para serem explorados novos enfoques e mtodos aplicveis a diversas
realidades e contextos nacionais. O seminrio pode
contribuir para identificar algumas linhas de pesquisa
que convenha reforar ou incluir nas agendas nacionais e internacionais dos prximos anos.
Em segundo lugar, necessrio continuar incentivando o intercmbio e a cooperao neste campo. A implantao de sistemas nacionais de avaliao
da educao uma experincia ainda recente para
muitos pases, e sobre ela imprescindvel que todos
continuem aprendendo. Pelas caractersticas prprias
deste mbito de atuao, os ensinamentos tero de
ser freqentemente buscados alm das fronteiras nacionais, mediante o contraste, a comparao, a transferncia crtica e controlada de conhecimentos. Encontros como este seminrio constituem uma ocasio privilegiada para reunir os responsveis e os especialistas envolvidos no desenvolvimento destes novos sistemas, com o objetivo de refletir em conjunto sobre os
problemas que devem ser resolvidos e esboar algumas solues para os mesmos. Em alguns casos, a
realizao de reunies de carter regional pode contribuir para reforar experincias ainda incipientes, mediante a adoo de programas conjuntos de atuao.
Em terceiro lugar, necessrio continuar melhorando a formao dos profissionais que trabalham
neste campo. A situao atual deixa claro que existem setores reduzidos de especialistas altamente qualificados, mas que ainda faltam tcnicos em nmero
suficiente e que sejam bem formados para enfrentar as
crescentes demandas de avaliao. Ademais, convm
reexaminar o componente relativo avaliao dentro
dos programas de formao inicial e continuada do professorado. Quando tanto se fala da necessidade de
promover uma cultura da avaliao, torna-se pertinente perguntar quais devem ser os contedos formativos
que se orientam nessa direo. Visto que a experincia e o saber em matria de avaliao esto espalhados internacionalmente, a cooperao internacional
muito conveniente. Por esse motivo, a agenda de trabalho do futuro deve reservar um espao para as tarefas de formao.
Por ltimo, convm reservar tambm um lugar
especfico nesta agenda do futuro para dar respostas
s necessidades especficas dos pases em desenvolvimento. Tanto no que se refere gerao e difuso de
conhecimento como s atividades de intercmbio e
cooperao internacional e s tarefas de formao, este
grupo de pases deve ocupar um papel relevante, se
no quisermos que fiquem marginalizados das novas
tendncias que se vm observando nos pases desenvolvidos. Sem que isso suponha, de alguma forma, uma
assimilao mimtica ou a criao de uma nova dependncia, necessrio contribuir para gerar naqueles pases os elementos de reflexo, as competncias
profissionais e os modos de organizao que permitam extrair o mximo de valor possvel da avaliao,
mediante uma adaptao inteligente a suas prioridades, suas agendas e suas necessidades. As decises,
que os organismos internacionais venham a tomar para
continuar trabalhando neste campo nos prximos anos,
devero levar em conta esta situao especfica e
integr-la a seus respectivos planos de ao.
Muito embora esta formulao de intenes
possa parecer demasiado ambiciosa, convm voltar a
insistir no realismo que deve presidir a realizao do
seminrio. Os desafios enfrentados pelos sistemas
educacionais no mbito da avaliao exigem um trabalho cooperativo e gradual, que s pode ser desenvolvido mediante passos sucessivos. Este seminrio quer
contribuir para esse avano geral, ainda que seja realizando apenas uma modesta contribuio.
Rio de Janeiro, dezembro de 1997.
165

Anais Do Seminário Internacional PDF

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Anais Do Seminário Internacional PDF

Hochgeladen von

Copyright:

Verfügbare Formate

ANAIS DO SEMINRIO INTERNACIONAL

Coordenador: Alejandro Tiana

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Nacional de Educacin a Distancia (UNED)/Espanha

MEC / INEP / Unesco

Os conceitos e opinies emitidos so de exclusiva responsabilidade dos seus autores.

Dados Internacionais de Catalogao na Fonte (CIP)

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Lista de Siglas ...........................................................................................................................................

O Sistema de Avaliao Brasileiro

Educao para Todos:

O Potencial dos Estudos Comparativos Internacionais

Os Indicadores Educacionais da OCDE:

Avaliao de Alunos e Aprendizagem para uma Sociedade em Mudana

Abordagens de Valor Agregado para a Auto-Avaliao Escolar no Reino Unido

Avaliao por Dilogos:

Avaliao do Sistema Educativo:

Avaliao e Monitoramento dos Estabelecimentos Escolares

Arranjos Institucionais para Avaliao

Como Pode a Avaliao Contribuir para a Poltica Educacional?

Estatsticas Educacionais na Amrica Latina e no Caribe:

O Projeto Institucional do Sistema Nacional de Avaliao Educacional

O Papel dos Meios de Comunicao na Divulgao dos Resultados da Avaliao

Documento de Trabalho: Seminrio Internacional de Avaliao Educacional ...................................

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Onze Dilemas com que se Defrontam os Estudos Internacionais:

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Na dcada de 90, especialmente nos ltimos

Maria Helena Guimares de Castro

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

ISO International Standards Organization

SIEd Sistema Integrado de Informaes

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

TIMMS Third International Mathematics and

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Maria Helena Guimares de Castro*

rena bsica que deve ser considerada: enquanto na

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Escolar de 1989 e do Censo Populacional de 1991,

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Ensino Mdio (ENEM), a partir de 1998. Este exame

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

Junto com nossos colegas e amigos do Ministrio da Educao e do Desporto, assumimos a

*Jorge Werthein o representante da Unesco no Brasil e o coordenador do Programa Unesco/Mercosul.

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

do Pas, est sendo realizado este ano, pela primeira

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

menso territorial e de grandes desigualdades

ntecedentes e breve histrico

Primeiramente, necessrio contextualizar o

O SAEB nasceu caracterizado por uma necessidade permanente de articulao e de construo

O arcabouo do SAEB resultado de uma

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

da de deciso mais coletiva, pois o objeto do SAEB

oferta de oportunidades semelhante gera resultados

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

As dimenses contexto, processo e insumos

se a examinar contedos que cobrem praticamente todo

ANAIS DO SEMINRIO INTERNACIONAL DE AVALIAO EDUCACIONAL

O esquema amostral de amostras