Heraldo Vianna - Textos e Reflexões

ESTUDOS EM AVALIAO EDUCACIONAL
ISSN 0103-6831
CONTRIBUIES DE HERALDO VIANNA

PARA A AVALIAO EDUCACIONAL
FUNDAO CARLOS CHAGAS

AF miolo_EAE_60.indd 1
V.25 N.60 NMERO ESPECIAL | DEZEMBRO 2014
5/29/15 3:37 PM
ESTUDOS EM AVALIAO EDUCACIONAL N. 2 JUL./DEZ. 1990

Fundao Carlos Chagas So Paulo
Semestral
A partir de 2006 passa a ser QUADRIMESTRAL
ISSN 0103-6831
e-ISSN 1984-932X
1. Avaliao 2. Polticas Educacionais 3. Qualidade do Ensino
I. Fundao Carlos Chagas II. Departamento de Pesquisas
Educacionais/FCC
INDEXADO EM
BAMP Biblioteca Ana Maria Poppovic (Brasil, FCC)
www.fcc.org.br
BBE Bibliografia Brasileira de Educao (Brasil, Cibec/Inep/MEC)
http://pergamum.inep.gov.br/pergamum/biblioteca/index.php?resolution2=1024_1
Clase Citas Latinoamericanas en Ciencias Sociales y Humanidades (Mxico, Unam)
http://biblat.unam.mx/
Edubase Faculdade de Educao (Brasil, Unicamp)
http://143.106.58.49/fae/default.htm
Educ@ Publicaes on-line de Educao (Brasil, FCC)
http://educa.fcc.org.br/scielo.php
e-Revistas Plataforma Open Access de Revistas Cientficas Electrnicas Espaolas y
Latinoamericana (Espanha)
http://www.erevistas.csic.es/
Google Scholar
http://scholar.google.com.br/
Iresie ndice de Revistas de Educacin Superior e Investigacin Educativa (Mxico, Cesu-Unam)
http://www.iisue.unam.mx/iresie/
Latindex Sistema Regional de Informacin en Lnea para Revistas Cientficas de Amrica
Latina, en Caribe, Espaa y Portugal (Mxico, Unam)
http://www.latindex.unam.mx
VERSO eletrnica
VERSO IMPRESSa
http://publicacoes.fcc.org.br
Dezembro de 2014
Tiragem: 300 exemplares
e-mails
eae@fcc.org.br (contato)
publicacoesfcc@fcc.org.br (aquisio e assinaturas)
5/29/15 3:37 PM
ESTudos em avaliao educacional

Peridico da Fundao Carlos Chagas criado em 1990 sucedendo Educao
e Seleo (1980-1989). Publica trabalhos originais relacionados educao,
com perspectiva avaliativa, apresentados sob forma de relatos de pesquisa,
ensaios tericos, revises crticas, artigos e resenhas.
As normas para a publicao de artigos e resenhas esto no final do volume.
A revista no se responsabiliza pelos conceitos emitidos em matrias assinadas.
Direitos autorais reservados: reproduo integral de artigos apenas com autorizao
especfica; citao parcial permitida com referncia completa fonte.
COMIt EDITORIAL
Glucia Torres Franco Novaes (Coordenadora)
Adriana Bauer
Bernardete A. Gatti
Clarilza Prado de Sousa
Glria Maria Santos Pereira Lima
Marialva Rossi Tavares
Nelson A. Simo Gimenes
Vandr Gomes da Silva
CONSELHO EDITORIAL
Dalton Francisco de Andrade
Naura Syria Carapeto Ferreira
(Universidade Federal de Santa Catarina,
(Universidade Tuiuti do Paran, Curitiba,
Florianpolis, Santa Catarina, Brasil)
Paran, Brasil)
Fernando Lang da Silveira
Ncia Maria Bessa
(Universidade Federal do Rio Grande do Sul,
(Pontifcia Universidade Catlica do
Porto Alegre, Rio Grande do Sul, Brasil)
Rio de Janeiro, Rio de Janeiro,
Heraldo Marelim Vianna In memoriam
Rio de Janeiro, Brasil)
(Fundao Carlos Chagas, So Paulo,
Nigel Pelham de Leighton Brooke
So Paulo, Brasil)
(Universidade Federal de Minas Gerais,
Jos Francisco Soares
Belo Horizonte, Minas Gerais, Brasil)
(Universidade Federal de Minas Gerais,
Robert Verhine
Belo Horizonte, Minas Gerais, Brasil)
(Universidade Federal da Bahia,
Lina Ktia Mesquita de Oliveira
Salvador, Bahia, Brasil)
(Universidade Federal de Juiz de Fora,
Sandra Zkia Sousa
Juiz de fora, Minas Gerais, Brasil)
(Universidade de So Paulo, So Paulo,
Luzia Marta Bellini
So Paulo, Brasil)
(Universidade Estadual de Maring,
Srgio Vasconcellos de Luna
Maring, Paran, Brasil)
(Pontifcia Universidade Catlica de So Paulo,
Maria Ins Gomes de S Pestana
So Paulo, So Paulo, Brasil)
(Instituto Nacional de Estudos e Pesquisas
Yara Lcia Esposito
Educacionais Ansio Teixeira, Braslia,
(Fundao Carlos Chagas, So Paulo,
Distrito Federal, Brasil)
So Paulo, Brasil)
COORDENAO DE EDIES
REVISO ESTATSTICA
Adlia Maria Mariano da Silva Ferreira
Miriam Bizzocchi
assistente de edies
Camila Maria Camargo de Oliveira
secretria de edies
Camila de Castro Costa
PADRONIZAO BIBLIOGRFICA
Biblioteca Ana Maria Poppovic
Raquel da Cunha Valle

PROJETO GRFICO
e diagramao
Gustavo Piqueira | Casa Rex
IMPRESSo
Forma Certa Solues
Grficas Personalizadas
5/29/15 3:37 PM
5/29/15 3:37 PM
sumRIO
AS CONTRIBUIES DE HERALDO VIANNA
PARA A AVALIAO EDUCACIONAL
Apresentao .................................................................................. 7
Avaliao educacional: teoria e histria

Avaliao educacional: uma perspectiva histrica ...................................14
Medida da qualidade em educao:
apresentao de um modelo .............................................................................36
Avaliao de programas educacionais: duas questes..........................44
Fundamentos de um programa de avaliao educacional...................56
Avaliao educacional: formao do avaliador

Avaliao educacional:
problemas gerais e formao do avaliador ................................................. 74
Avaliao e o avaliador educacional: depoimento...................................86
Instrumentos de Avaliao EDUCACIONAL

Qualificao tcnica e construo
de instrumentos de medida educacional....................................................106
Natureza das medidas educacionais ............................................................ 1 1 8
Validade de construto em testes educacionais ...................................... 136
Aplicao de critrios de correo em provas de redao................ 154
Reflexes sobre a prtica avaliativa

Avaliando a avaliao: da prtica pesquisa ........................................... 170
A prtica da avaliao educacional:
algumas colocaes metodolgicas .............................................................178
Avaliaes nacionais em larga escala:
anlises e propostas............................................................................................... 196
Avaliao educacional: vivncia e reflexo .............................................. 234
5/29/15 3:37 PM
Heraldo M. Vianna,
acervo da Fundao Carlos Chagas
Est. Aval. Educ., So Paulo, v. 25, n. 60, p. 7-11, n. especial, dez. 2014
5/29/15 3:37 PM
apresentao
A revista Estudos em Avaliao Educacional, em seu nmero 60,

apresenta uma homenagem ao seu idealizador, Heraldo Marelim
Vianna, educador e pesquisador que desenvolveu sua carreira na
Fundao Carlos Chagas. Editor deste peridico desde sua criao, em 1990, at sua aposentadoria, em 2008, foi um dos autores
brasileiros que mais se dedicaram ao tema da avaliao educacional, quando esse ainda era muito incipiente no pas. Foi, tambm, criador e editor da revista Educao e Seleo, igualmente
publicada pela Fundao Carlos Chagas, entre 1980 e 1989.
Com graduao em Geografia e Histria, pela Universidade
Estadual do Rio de Janeiro (UERJ), e em Direito, pela Universidade Federal do Rio de Janeiro (UFRJ), fez especializaes nos Estados Unidos e na Frana, no campo da Educao, pela University
of Michigan Ann Arbor, e em Pedagogia, pelo Centre International
Dtudes Pdagogiques. Mestre e Doutor em Educao, pela Michigan
State University e Pontifcia Universidade Catlica de So Paulo,
respectivamente, atuou como pesquisador no Departamento
de Pesquisas Educacionais da Fundao Carlos Chagas de 1970 a
2007, tendo exercido cargos de gesto nesse departamento e no
setor de testes e concursos. Foi membro do Conselho Estadual
5/29/15 3:37 PM
de Educao de So Paulo, no perodo de 1997 a 2000, e prestou

assessoria para o desenvolvimento de importantes avaliaes de
sistemas educacionais, tais como a dos estados de Minas Gerais
e Paran, e para o Exame Nacional de Cursos, por exemplo. A pedido do Ministrio da Educao, desenvolveu, no final dos anos
1980, avaliaes de rendimento educacional com alunos de escolas privadas e pblicas envolvendo um nmero considervel de
estudantes em diferentes regies do pas, tarefa quase herclea
naqueles tempos em que as informaes educacionais eram desatualizadas e pouco robustas. Foram trabalhos que permitiram antever importantes polticas de avaliao, como o Sistema de Avaliao da Educao Bsica (Saeb), por exemplo. Foi responsvel,
tambm, pelo desenvolvimento de avaliaes inovadoras, como
The International Assessment of Educational Progress (IEAP), avaliao
em cincias e matemtica envolvendo alunos de vinte pases,
e Avaliao de habilidades de vida.
Sua obra envolve mais de 60 artigos e 15 livros sobre educao, sendo fortemente voltada para a avaliao educacional.
Sua preocupao constante era oferecer aos educadores brasileiros elementos tericos, contextualizados historicamente, para
a compreenso do desenvolvimento desse campo de estudos.
Muitos de seus artigos iniciais so voltados para aspectos psicomtricos, ou seja, sobre como elaborar e tratar os resultados
de aplicaes de instrumentos de avaliao. Com a criao de
Estudos em Avaliao Educacional, passou a escrever artigos mais
centrados na disseminao das teorias e modelos que embasam as avaliaes de programas e sistemas educacionais. Alguns
textos visaram a difundir resultados de avaliaes realizadas no
Brasil, outros ofereceram reflexes pertinentes e atuais sobre os
impasses e problemas que envolvem a avaliao educacional.
Neste ano de 2014, a Fundao Carlos Chagas completa
50 anos de existncia e, naturalmente, almeja homenagear
aqueles que lutaram pela construo de sua slida reputao de
instituio inovadora, competente e sria. No poderia deixar
de resgatar a contribuio de Heraldo Marelim Vianna. Surgiu,
assim, a ideia de reeditar alguns de seus textos. Para a composio de Estudos em Avaliao Educacional n 60 foram selecionados
14 artigos do autor, publicados em peridicos da Fundao
Carlos Chagas, especificamente Cadernos de Pesquisa, Estudos em
Avaliao Educacional, Educao e Seleo e Textos FCC. Os artigos
5/29/15 3:37 PM
esto separados por temas: teoria e histria da avaliao educacional; formao do avaliador; instrumentos de avaliao; e
reflexes sobre a prtica avaliativa.
Em Avaliao educacional: teoria e histria so apresentados quatro textos. O primeiro, Avaliao educacional: uma
perspectiva histrica, de 1995, discorre sobre o desenvolvimento da avaliao educacional nos Estados Unidos e na Inglaterra, e, posteriormente, no Brasil. O texto apresenta autores e
conceitos importantes para interessados na rea. A seguir, em
Medida da qualidade em educao: apresentao de um modelo, de 1990, Heraldo Vianna discute o conceito de qualidade
em educao, suas implicaes e relaes com a responsabilizao educacional. No terceiro artigo deste segmento, Avaliao
de programas educacionais: duas questes, de 2005, o autor
discute aspectos da validade em avaliao de programas, apontando as diferenas entre esse tipo de avaliao e a avaliao de
desempenho, destacando o aspecto democrtico desse processo e ressaltando a importncia da disseminao dos resultados
para seu efetivo impacto. Em Fundamentos de um programa
de avaliao educacional, de 2003, o autor reflete sobre aspectos que envolvem a definio de uma poltica de avaliao
do sistema educacional brasileiro, considerando a diversidade
socioeconmica e cultural dos alunos, os problemas para a
disseminao dos resultados e as necessidades envolvidas no
planejamento escolar e na tomada de decises.
A segunda parte, Avaliao educacional: formao do
avaliador, composta por apenas dois textos, mas que traduzem
as condies mais relevantes a serem consideradas quando o foco
quem desenvolve a avaliao. Em Avaliao educacional:
problemas gerais e formao do avaliador, de 1982, Vianna
discorre sobre a complexidade crescente do campo da avaliao educacional e suas consequncias para a formao do
avaliador. Dentre os aspectos discutidos esto os modelos tericos desenvolvidos por alguns autores, as diferenas e semelhanas entre pesquisa e avaliao educacional e as funes
do avaliador educacional. Em Avaliao e o avaliador educacional: depoimento, de 1999, Heraldo relata as experincias
vivenciadas por ele no campo avaliativo e as reflexes que suscitaram, sobretudo quanto s necessidades na sua formao e
na reviso de seus posicionamentos.
5/29/15 3:37 PM
Um terceiro grupo de textos refere-se a Instrumentos de

avaliao educacional. Em Qualificao tcnica e construo
de instrumentos de medida educacional, de 1984, Vianna trata

dos problemas tcnicos que frequentemente so observados entre instrumentos de medida do rendimento escolar utilizados
no meio educacional. Para solucionar o problema, sugere modelos de anlise de medidas e tpicos para formao de educadores
que abordem o tema. Em Natureza das medidas educacionais,
de 1984, o autor trata das dificuldades inerentes mensurao
de variveis educacionais, das medidas possveis (atributos,
efeitos) e das diferentes formas de medi-las (escalas nominais,
ordinais, intervalares e de razo), bem como reflete sobre as divergncias quanto ao significado e interpretao das medidas.
O texto Validade de construto em testes educacionais, de 1983,
de interesse muito atual, tendo em vista que muitos testes educacionais visam a medir processos mentais complexos. O artigo
apresenta metodologias diversificadas para validao de testes e
de teorias, diferenciando os conceitos de fidedignidade e validade. H, tambm, um texto sobre Aplicao de critrios de correo em provas de redao, de 1978, que discorre sobre mtodo
de validao do treinamento de professores para correo desse
tipo de prova em vestibulares.
Finalmente, uma quarta parte trata de Reflexes sobre
a prtica avaliativa. Em Avaliando a avaliao: da prtica
pesquisa, de 1992, Vianna faz uma retrospectiva do desenvolvimento da avaliao no Brasil e destaca a importncia de se
criar uma cultura da avaliao aliada pesquisa, de forma a lhe
dar credibilidade. Em seguida, o artigo A prtica da avaliao
educacional: algumas colocaes metodolgicas, de 1989, discute as diferenas entre medir e avaliar, destacando que medir
com fidedignidade no significa realizar uma boa avaliao, pois
preciso haver preciso e validade de diferentes tipos. Em Avaliaes nacionais em larga escala: anlises e propostas, de 2003,
Heraldo analisa avaliaes que abrangem grande nmero de pessoas, tais como vestibulares e as avaliaes sistmicas desencadeadas no Brasil a partir dos anos 1990, e constri um interessante panorama do desenvolvimento da cultura avaliativa no pas.
O ltimo texto selecionado para este nmero especial de Estudos
em Avaliao Educacional Avaliao educacional: vivncia e reflexo, publicado em 1998. Bastante crtico, Vianna questiona
10
5/29/15 3:37 PM
o uso de metodologias sofisticadas de anlise que dificultam

o entendimento dos resultados pelos maiores interessados professores e alunos , ressalta a necessidade do uso conjunto de
tcnicas qualitativas e quantitativas que apresentem preciso
e validade nos seus mtodos e resultados, bem como ressalta a
responsabilidade pblica do avaliador na elaborao de modelos
avaliativos robustos e factveis, que respondam s necessidades
dos atores educacionais envolvidos.
A obra de Heraldo Marelim Vianna vasta e pode gerar outras publicaes temticas. Com este nmero ensejamos convidar o leitor a conhecer e refletir sobre os pressupostos tericos e
metodolgicos que envolvem a avaliao educacional, as necessidades de formao e de reviso das prticas avaliativas, a
fim de contribuir para o debate frente maior complexidade e
aos desafios atuais da realidade educacional.
Muito devo a esse pesquisador, com quem trabalhei desde que me formei bacharel em Psicologia, na Pontifcia Universidade Catlica de So Paulo (PUC-SP). Como bolsista nos
projetos de avaliao, com ele aprendi, primeiramente, a
gostar dos nmeros e das tcnicas estatsticas e psicomtricas; depois, ao nos depararmos com a complexidade da educao brasileira, foi inevitvel a incorporao de tcnicas mais
qualitativas, que permitissem captar sutilezas e dar aprofundamento a hipteses e pistas. Como assistente de pesquisa e
pesquisadora do Departamento de Pesquisas, participei com
o Prof. Heraldo de programas de avaliao de diferentes portes, enfoques e finalidades. Sinto-me honrada em homenage-lo como organizadora deste nmero especial de Estudos
em Avaliao Educacional, esperando contribuir para a formao de novas geraes de avaliadores, que prezem o rigor
e a qualidade como sempre o fez esse educador.
Glucia Torres Franco Novaes
Editora de Estudos em Avaliao Educacional
11
5/29/15 3:37 PM
12
5/29/15 3:37 PM
AvaliacAo
educacional:
teoria
e histOria
13
5/29/15 3:37 PM
AVALIAO EDUCACIONAL:
UMA PERSPECTIVA HISTRICA1
1 Artigo publicado na
revista Estudos em
Avaliao Educacional,
So Paulo, n. 12, p. 7-24,
jul./dez. 1995.
2 Alguns desses novos

currculos em Matemtica
(Mathematics Study Group
MSG), em Fsica (Physical
Science Study Committee
PSSC), em Qumica (Chemical
Bond Approach CBA) e em
Biologia (Biological Study
Committee BSC), entre
outros, foram traduzidos
e adaptados ao contexto
nacional pela Fundao
Brasileira para o Ensino de
Cincias (FUNBEC) e no
Centro de Treinamento de
Professores de Cincias
(CECISP), graas aos
esforos dos professores
Isaas Raw, Myrian Krasilchik
e Norma Maria Cleffi, com a
colaborao de professores
brasileiros, no incio da
dcada de 60.
14
1. INTRODUO
A pesquisa e a avaliao tm um significado especial no delineamento do processo decisrio em educao. A pesquisa, inicialmente, e, depois, a avaliao, especialmente a avaliao de
programas, projetos e produtos, passaram a ter uma dimenso
maior a partir do sculo XX, sofrendo ambas pesquisa e avaliao a influncia de diferentes cincias, como por exemplo, a
psicologia, a psicometria, a sociologia, a antropologia, a etnografia e a economia, entre outras, de determinaram novos enfoques
metodolgicos com base em vrios posicionamentos tericos.
A avaliao, aps o trauma provocado pela constatao
da deficincia tecnolgica associada carncia educacional,
no mundo ocidental, especialmente nos Estados Unidos, com
o lanamento do Sputnik, no dia 4 de outubro de 1957, tornou-se
impositiva. H todo um esforo no sentido de recuperar o tempo
educacional que fora perdido, sendo criados novos currculos,
e a avaliao passou a ter papel de relevncia no desenvolvimento de novas estratgias de ensino2.
A literatura sobre avaliao educacional, a partir dos
anos 60, cresce enormemente. Surgem novos posicionamentos
5/29/15 3:37 PM
tericos e novas propostas de atividades prticas, que enriquecem e tornam complexo o campo da avaliao. Algumas
questes fundamentais so levantadas, com profundas implicaes na sua teoria e na sua prtica. justo, portanto, que,
inicialmente, seja discutida a sua evoluo histrica a partir
da perspectiva norte-americana, em cujo contexto se desenvolveram numerosos e importantes trabalhos, em particular
em decorrncia da ao seminal de Ralph W. Tyler. Outras
fontes, entretanto, tambm sero indicadas, especialmente
inglesas e, subsidiariamente, trabalhos de autores nacionais,
ainda que a produo terica destes ltimos seja bastante reduzida no seu aspecto quantitativo.
1.1. Avaliao educacional

nos Estados Unidos: um esboo
A sociedade norte-americana sofreu grandes transformaes

estruturais em decorrncia do impacto advindo da Revoluo
Industrial e, a exemplo do que ocorreu na Inglaterra, o poder
pblico passou a discutir diferentes programas sociais, inclusive de natureza educacional. A avaliao nos Estados Unidos
possui uma tradio de quase dois sculos, ainda que o seu momento mais intenso tenha ocorrido a partir da dcada de 1960.
tambm nesse perodo que a avaliao comea a se definir
como uma profisso estruturada. A fim de chegar a essa situao,
a avaliao atravessou diferentes momentos, conforme Madaus,
Stufflebeam e Scriven (1993).
A avaliao associada ao processo educativo sempre existiu
sob diferentes formas (Worthen; Sanders, 1987), mas somente
adquire uma natureza formal quando Horace Mann (1845) inicia a prtica da coleta de dados para a fundamentao de decises de polticas pblicas que afetam a educao. A avaliao,
aos poucos, comea a desenvolver procedimentos ainda utilizados nos dias de hoje, como o survey, e instrumentos objetivos
padronizados. Alm disso, determinadas prticas ainda persistem, porque baseadas na obteno de escores dos alunos como
principal elemento para a avaliao da eficincia de programas
educacionais, alis, trao caracterstico das avaliaes realizadas no atual contexto brasileiro (1995).
15
5/29/15 3:37 PM
Houve, nessa poca, como mostram Madaus et al. (1993),

uma politizao dos dados obtidos atravs de provas escritas,
que foram usados para comparar escolas e promover o afastamento de diretores que se opunham ao programa de eliminao
de castigos fsicos que ento existiam, e cuja supresso era defendida por Samuel G. Howe e Horace Mann. A primeira avaliao
propriamente dita somente teve lugar bem mais tarde, no final
do sculo XIX, entre 1887 e 1898, quando Joseph Rice procurou
verificar a influncia do tempo dedicado a exerccios (drill) no
processo de alfabetizao (spelling) em diferentes unidades escolares. Ainda que esse trabalho de Rice tenha tido uma grande repercusso na poca e levado muitos professores a mudarem seus
procedimentos de alfabetizao, na verdade, o maior impacto
desta avaliao estava no seu carter experimentalista e quantitativo, procedimento at ento indito ainda segundo o destaque de Madaus et al. (1993). Rice, de certa forma, antecipou-se a
ideias sobre pesquisa experimental em educao que somente
seriam defendidas na segunda metade do sculo XX, a partir dos
anos 50, por Lindquist (1953) e Campbell e Stanley (1963).
Os trinta primeiros anos da vida social norte-americana
no sculo XX sofreram a influncia de trs elementos desenvolvidos em princpio para o gerenciamento industrial: sistematizao, padronizao e eficincia, que acabaram por afetar a totalidade da sociedade, inclusive na rea educacional.
A comunidade educacional como um todo passa, ento a preocupar-se com o desenvolvimento de uma metodologia que
permitisse medir a eficincia dos seus professores, a construir
instrumentos e a definir padres que possibilitassem a mensurao do grau de eficincia das suas escolas e dos diversos
sistemas educacionais, seguindo, assim, no campo da educao, os procedimentos que empresrios procuravam implantar
no mundo da indstria. Aproximadamente quase cem anos
depois, a educao brasileira, muitas vezes por influncia de
agncias financiadoras externas, comea a se preocupar com
os mesmos problemas ligados diretamente ao processo de gerenciamento das instituies educacionais, conforme poder-se- observar no item final do presente trabalho.
O grande passo na evoluo da avaliao educacional foi
dado por E. L. Thorndike, nos princpios do sculo XX, ao desenvolver toda uma fundamentao terica sobre a possiblidade de
16
5/29/15 3:37 PM
medir mudanas nos seres humanos (Worthen; Sanders, 1987).

A partir desse momento, todo um aparato tecnolgico desenvolvido para a medida de capacidades humanas e a avaliao,
em consequncia, passa a ter o significado de medida (testing),
concepo que ainda prevalece em amplos setores educacionais,
inclusive fora dos Estados Unidos, como no Brasil.
Madaus, Stufflebeam e Scriven (1993) mostram claramente que essa a poca do survey, que emprega diferentes
critrios (taxa de evaso, taxa de aprovao) para medir a eficincia da escola e/ou professor. O uso do survey leva, naturalmente, ao desenvolvimento de diversos tipos de testes objetivos nas vrias reas curriculares. Esses testes, por sua vez,
eram referenciados a objetivos e deram origem aos testes
referenciados a normas, sendo, nesse caso, a porcentagem
de alunos aprovados nos testes o critrio adotado para julgar
a eficincia da escola/professor. Alm disso, nesta mesma
poca, h quase um sculo, que comeam a surgir testes normativos, elaborados por importantes cientistas educacionais,
como foi o caso de Edward Thorndike, com vistas ao desenvolvimento de um instrumental que possibilitasse a comparao entre sistemas. Os testes padronizados, bastante caractersticos da cultura educacional norte-americana, mas
que, felizmente, ainda no chegaram ao meio educacional
brasileiro, surgiram logo aps o conflito mundial de 1914/18
e passaram a ser usados, equivocadamente, na determinao
da eficincia de programas educacionais e na apresentao
de diagnsticos relativos a currculos e sistemas educacionais,
alm de servirem, tambm, para a tomada de decises sobre
o desempenho escolar dos alunos.
Avaliao e medida por meio de testes confundem-se nessa
poca e ainda continuam a se confundir nos dias atuais-; por
outro lado, comeam a surgir instituies especializadas na realizao de surveys na rea educacional. Estas instituies constituram o embrio que geraria futuros e importantes centros
educacionais, criados nos anos 60 e 70, nas universidades, com o
objetivo de realizaram trabalhos avaliativos em diferentes reas,
inclusive na educacional. Os surveys, inicialmente, eram locais,
limitados aos school districts, ainda segundo Madaus et al. (1993).
No decorrer dos anos 50 e 60 que comeam a surgir efetivamente nos Estados Unidos os primeiros estudos de currculo a nvel
17
5/29/15 3:37 PM
nacional. Os problemas passam a ser considerados no apenas

em funo do interesse local, mas levando em conta o contexto
nacional, com uma audincia bem mais ampla do que aquela
dos school districts. E, assim, por via de consequncia, complexos
problemas ligados epistemologia da pesquisa/avaliao educacional comeam a ser discutidos por educadores e avaliadores,
que, entre outros aspectos, passam a se preocupar com a questo da generalizabilidade das suas concluses, como mostram
Madaus et al. (1993) e Norris (1993).
A influncia de Ralph W. Tyler durante o perodo de 1930
a 1945 foi considervel e, assim, com justa razo, passou a ser
considerado o verdadeiro iniciador da avaliao educacional.
A sua ao foi bastante ampla, influindo na educao em geral,
especialmente em assuntos ligados teoria, construo e implementao de currculos, que procurou conceituar como um
conjunto de experincias educacionais diversificadas que deveriam ser planejadas de forma a levar os alunos concretizao
de determinados objetivos. A avaliao educacional, cujo termo
foi por ele criado, objetivaria que professores aprimorassem seus
cursos e os instrumentos de medida que construssem pudessem
verificar a congruncia entre os contedos curriculares e as capacidades desenvolvidas.
A sociedade norte-americana depois do trmino da Segunda Guerra Mundial (1939-45) atravessou um perodo bastante
crtico, envolvendo problemas econmicos e sociais (racismo/
segregacionismo). Houve, por outro lado, como decorrncia da
chamada guerra fria, resultante do conflito ideolgico-maniquesta entre o capitalismo ocidental e o socialismo real do leste
europeu, a criao de um grande complexo militar-industrial
que atuaria intensamente na vida americana por largo tempo
at o incio dos anos 90, com a crise que levaria desagregao
da Unio Sovitica. Apesar da crise socioeconmica, especialmente no perodo inicial, entre 1946 e 1957, importantes transformaes ocorreram na educao americana.
O problema da avaliao educacional foi bastante discutido, somas considerveis de dados foram levantadas, mas quase
no foram utilizadas para a soluo de problemas, como ressaltaram Madaus et al. (1993). nesse perodo que ocorre o desenvolvimento da teoria clssica dos testes e o surgimento de
novas abordagens sobre avaliao educacional, como uma rea-
18
5/29/15 3:37 PM
o ao modelo proposto por Tyler. importante destacar, nesse

perodo, o aparecimento de uma instituio atuante at os dias
fluentes e que serviu de modelo para a criao de outros rgos
semelhantes nos seus objetivos: o Educational Testing Service
ETS (1947), por inspirao de vrios educadores, destacando-se E. F. Lindquist e Ralph W. Tyler. O ETS, a partir de sua
criao, passaria a ter influncia decisiva no desenvolvimento
de testes (padronizados) e em amplos programas de avaliao,
como o National Assessment of Educational Progress (NAEP) e
o International Assessment of Educational Progress (IAEP). A
proliferao dos testes, nem sempre construdos segundo princpios claros e bem definidos cientificamente, levou algumas instituies representativas (American Psychological Association APA,
American Educational Research Association AERA, National Committee
on Measurement in Education NCME, sobretudo) a estabelecerem
recomendaes para a construo de testes psicolgicos e
tcnicas de diagnstico (1954) e para a elaborao de testes
de rendimento escolar (1955), o que nem sempre seguido,
inclusive no Brasil, que desconhece essas recomendaes,
salvo as excees de sempre; mais tarde, aps sucessivas revises, essas mesmas recomendaes se transformaram em
padres (standards) a serem seguidos na rea de construo
dos vrios instrumentos psicomtricos.
A avaliao educacional nos princpios dos anos 60, nos
Estados Unidos, comea a incidir sobre grandes projetos de
currculos financiados com o apoio federal, surgindo, nesse
momento histrico, a figura do avaliador como um profissional com atividades especficas at ento exercidas por educadores com formao generalista. o incio de uma poca de
especializao que ainda no chegou ao contexto brasileiro
em que as universidades comeam a se preocupar com a
formao especfica de recursos humanos efetivamente qualificados para os trabalhos de avaliao.
Apesar do envolvimento das melhores cabeas pensantes
na rea educacional e dos grandes fundos alocados a mltiplos
projetos, os resultados das avaliaes durante a dcada de 60,
ainda que realizados com grande rigor tcnico, no se revelaram plenamente satisfatrios e surgiram diversas reaes.
nesse contexto que o Teachers College Record publica importante artigo de Cronbach (1963) criticando a situao e pro-
19
5/29/15 3:37 PM
pondo novos caminhos para a prtica da avaliao, conforme

veremos. Apesar da advertncia de Cronbach de que a avaliao da eficcia de um currculo se deveria processar ao longo
de sua estruturao e no depois de sua concluso, o impacto
das suas ideias no foi imediato, mas levou especialistas a
discutirem detidamente seus problemas profissionais, como
mostraram Worthen e Sanders (1987).
O trabalho de Cronbach Course Improvement through
Evaluation (1963) levantou importantes questes metodolgicas, inclusive a relacionada com a anlise direta dos resultados dos itens em substituio anlise concentrada em
escores globais, alm de abordar outros problemas de natureza
conceitual que continuam vlidos na atualidade e mostrar
as limitaes das avaliaes post-hoc no desenvolvimento de
currculos, conforme foi referido anteriormente. Esse artigo mostra os fundamentos bsicos da prtica da avaliao
e abre novas e estimulantes perspectivas para o trabalho do
avaliador no seu dia a dia como profissional.
O contexto poltico decorrente, inicialmente, da administrao John Kennedy e, a seguir, aps 1963, da gesto Lyndon
Johnson, em que houve uma grande preocupao com os reflexos das desigualdades sociais na diferenciao das oportunidades educacionais, passa a determinar um grande esforo no
sentido de criar novas condies na rea educacional, surgindo,
por influncia de Robert Kennedy, o conceito de responsabilidade
em educao (accountability), a fim de evitar possveis desperdcios
dos recursos financeiros concedidos aos programas curriculares e a suas avaliaes, na rea da educao compensatria.
A avaliao deixa, nesse novo contexto, de ser apenas um trabalho terico de alguns educadores, transformando-se numa prtica constante, que, em muitos casos, assume um carter quase
obsessivo na cultura educacional norte-americana.
A aprovao de importante lei sobre educao elementar e secundria Elementary and Secondary Education Act
(ESEA), em 1965, vai gerar um novo quadro que favorecer
a pesquisa e a avaliao educacional, tendo em vista a imposio
legal de que todos os projetos financiados deveriam ser obrigatoriamente avaliados (Worthen; Sanders, 1987), o que obrigou
os educadores a dedicarem grandes esforos para a avaliao de
suas atividades e a elaborao de relatrios passou a ser uma
20
5/29/15 3:37 PM
prtica habitual, no controle da qualidade do ensino e dos investimentos feitos em educao.

A situao criada aps 1965 mostrou que os educadores
norte-americanos no estavam preparados para os grandes desafios da avaliao, como, alis, ainda no esto suficientemente
preparados os educadores brasileiros para o enfrentamento dos
grandes problemas da avaliao de hoje (1995), havendo muito
teorizao abstrata sobre o assunto, mas pouca realizao prtica. Professores norte-americanos, sob o impacto do ESEA em
1965, improvisaram-se em avaliadores. Worthen e Sanders (1987)
mostraram que mesmo aqueles que tinham alguma expertise tcnica no tinham treinamento suficiente em planejamento, medidas e estatsticas, quadro que, no momento, ocorre no Brasil.
Isso produziu avaliaes bastante comprometidas, que pouco
serviram para avaliar a efetiva eficincia dos sistemas educacionais, seus currculos e programas.
A prtica generalizada da avaliao mostrou que muitos
instrumentos e estratgias utilizadas em avaliao no eram adequados aos propsitos definidos, ficando, inclusive, caracterizada
a inadequao do emprego de testes padronizados na avaliao
de programas, conforme a discusso de Madaus et al. (1993). Essa
insatisfao acabou tendo efeitos positivos. Novas teorias sobre
avaliao comeam a despontar e todo um trabalho de reformulao da prtica da avaliao empreendido, destacando-se as figuras exponenciais de M. Scriven (1967), R. Stake (1967)
e D. Stufflebeam (1971), cujos trabalhos vo dar uma nova dimenso metodolgica avaliao educacional. A avaliao de
alguns programas de impacto, como o Head Start e o Sesame
Street, criados com objetivo de eliminar desequilbrios educacionais decorrentes da origem social e racial, geram, na verdade,
acentuadas controvrsias, conforme a colocao de Madaus, Airasian e Kellaghan (1980), sobretudo face ao baixo desempenho
das crianas urbanas das reas de periferia. A avaliao desses
e de outros programas sociais teve um grande impacto social,
ao apresentar resultados pouco promissores, e serviu para aprofundar as crticas a muitos procedimentos ento em uso e possibilitou o desenvolvimento de novas metodologias.
A partir dos anos 70, a avaliao educacional torna-se um
campo profissional definido, exigindo especializao aprofundada, com a excluso de improvisaes supostamente tcnicas, mas
21
5/29/15 3:37 PM
pouco slidas conceitualmente, num campo em que atuavam

diferentes profissionais, inclusive administradores. A avaliao,
pelo menos no contexto norte-americano, deixa de ser uma terra de ningum. Simultaneamente, surgem importantes revistas
especializadas, algumas de alta qualidade tcnica, associando
avaliao e polticas pblicas, avaliao e planejamento, entre
outras, permitindo, assim, a disseminao de novas ideias, a formulao de teorias e modelos, e sobretudo, a divulgao de importantes estudos.
A literatura sobre avaliao educacional distinta da bibliografia sobre testes e medidas torna-se copiosa e algumas
universidades, como por exemplo, a de Illinois (Urbana), a de
Stanford (Palo Alto, Califrnia) e a Western Michigan University
(Kalamazoo, MI), entre outras, desenvolvem intensos programas de formao de avaliadores, ressaltando-se, ainda, o trabalho de Ben S. Bloom em Chicago e o de W. James Popham,
na University of Califrnia (UCLA). Alm disso, numerosos centros de avaliao foram disseminados por todo o territrio
norte-americano, conforme o longo elenco de instituies
apresentado por Madaus et al. (1993).
Apesar dos avanos e de todo aparato tcnico desenvolvido,
a rea da avaliao ainda no est exaurida em todas as suas
potencialidades, novas perspectivas de ao esto sendo abertas
e a radicalizao positivismo/quantitativo em relao ao fenomenolgico/qualitativo menos radical, sendo as divergncias
porventura ainda subsistentes na verdade um reflexo de diferenas ideolgicas e menos conflitos metodolgicos, conforme
ressaltam Madaus et al. (1993).
Finalmente, aps a longa exposio sobre a avaliao
na perspectiva norte-americana, queremos ressaltar que,
hoje, nos Estados Unidos, h uma grande preocupao com
a qualidade dos trabalhos de avaliao, tendo sido fixados
padres a serem seguidos conforme o posicionamento do Joint
Committee on Standards for Educational Evaluation, coordenado por
D. Stufflebeam. Ainda que a avaliao educacional, suas teorias e
modelos deem margem a grandes controvrsias, , sem dvida,
um campo dinmico, em constante transformao para atendimento das mltiplas exigncias da qualidade em educao.
22
5/29/15 3:37 PM
1.2. Avaliao educacional na Inglaterra:

algumas experincias
A avaliao educacional na Inglaterra surge em meados do sculo XIX, integrando um programa social maior com vistas eficincia nacional. A educao, na concepo inglesa, considerada
como elemento indiscutivelmente essencial para alcanar essa
eficincia. As pesquisas (e a avaliao) na rea educacional, inicialmente, desenvolvem uma linha ligada a mtodos estatsticos
e tcnica de survey, como ocorreu tambm nos Estados Unidos,
contribuindo, assim, para o desenvolvimento de uma tecnologia:
a psicometria, que mais tarde, seria duramente criticada por
muitos educadores ingleses.
Os trabalhos realizados por F. Galton, K. Pearson, C. Spearman
e C. Burt, entre outros, na Inglaterra, contriburam para que a
psicometria tivesse influncia considervel na avaliao educacional, em especial na construo de instrumentos de medidas
psicolgicas e do rendimento escolar. A utilizao da teoria dos
erros e a aplicao da noo de distribuio normal no estudo
da variabilidade das diferenas individuais concorreu para gerar
reaes justificadas ao uso da psicometria da avaliao3. Isso contribuiu para que novos caminhos se abrissem para a explorao
de diversos aspectos da avaliao educacional. Entretanto, apesar dessas reaes adversas tradio psicomtrica, a Inglaterra,
a partir da dcada de 50, realizou importantes trabalhos sobre
a alfabetizao e a aprendizagem da leitura, contribuindo, desse
modo, para o delineamento de novas metodologias experimentais e o desenvolvimento da teoria dos testes (Norris, 1993).
A teoria do desenvolvimento econmico, pleno emprego
e segurana nacional, inspirada em concepes apresentadas por
Keynes, teve amplas repercusses na definio das polticas pblicas da educao inglesa. Houve, naquele momento histrico,
uma preocupao especial com os problemas relativos qualidade dos estudantes que, em grande nmero, procuravam cursos
de cincias aplicadas e tecnologias, e, concomitantemente, um
profundo interesse na formao de professores de cincias destinados s escolas secundrias. A partir do iderio econmico de
Keynes, que em grande parte fundamenta o capitalismo posterior
guerra de 1939-45, inclusive nos Estados Unidos, os educadores
ingleses passaram a considerar a relao entre mo de obra tecnicamente qualificada pelo processo educacional e o crescimento
3 Para um estudo detalhado

da influncia da Psicometria
na evoluo das medidas
educacionais ver J. Rust
e S. Golombok. Modern
Psychometrics The Science
of Psychological Assessment.
London: Routledge, 1992.
23
5/29/15 3:37 PM
econmico/segurana nacional/e desenvolvimento tecnolgico. A

Inglaterra, por outro lado, constatou a inteira obsolescncia dos
currculos de suas escolas, o que tinha grande impacto nos programas que visavam formao de mo de obra qualificada. A
mudana desse quadro se impunha, a fim de proporcionar recursos humanos qualificados capazes de garantir o crescimento
econmico. educao caberia essa tarefa, ainda que as transformaes no sistema educacional no pudessem ser imediatas,
tendo em vista a impossibilidade de o governo ingls influir diretamente em uma estrutura altamente descentralizada.
Havia, desde meados da dcada de 50, uma conscincia
de que a Inglaterra no estava desenvolvendo capacidades e
formando cientistas da mesma forma como outros pases industrializados. A partir de 1962, graas associao do Governo com a Fundao Nuffield, instituio de carter privado,
iniciaram-se atividades para a reformulao dos currculos e a
formao de professores de cincias. A avaliao, no incio dos
anos 60, estava mais ligada pesquisa educacional e os responsveis pelo Projeto Nuffield revelaram uma certa relutncia em
aceitar a ideia de uma avaliao do Projeto, conforme Norris
(1993); porquanto, argumentavam, o interesse maior estava na
mudana de atitudes dos estudantes em relao cincia e
no na medida de possveis ganhos de conhecimento fatual. A
qualidade do Projeto, na viso da Fundao Nuffield, era bastante clara e para uma concluso a respeito do valor desse empreendimento o Projeto dependeria, apenas, de informaes
das escolas que o utilizavam, das crticas que seriam oferecidas e do conhecimento dos problemas constatados durante
sua execuo.
Ainda que uma avaliao externa tenha sido afastada, em
virtude da impossibilidade de estabelecer comparaes entre o
Projeto Nuffield e outros tipos de abordagem curricular, uma avaliao estava sendo feita na realidade, via informaes, crticas
e anlise dos problemas, conforme foi apontado. Uma avaliao
do tipo que se tornaria bastante utilizado por amplos segmentos
educacionais ingleses: a avaliao qualitativa. Ou seja, uma avaliao no-quantitativa, na tradio psicomtrica, mas uma avaliao igualmente vlida do ponto de vista cientfico. Isso ocorreu
na parte de cincias do Projeto, na de lnguas (francs).
A National Foudation for Educational Research (1964) reali-
24
5/29/15 3:37 PM
zou uma avaliao baseada em testes e questionrios, a fim de

obter dados psicomtricos e sociomtricos, com estudos comparativos de vrios grupos. Apesar da pouca repercusso dos resultados na comunidade educacional o que ocorre com bastante
frequncia, inclusive, ou sobretudo, no Brasil , ficou evidenciada
a coexistncia do quantitativo e do qualitativo no contexto educacional ingls, tendncia que ainda hoje existe, apesar da falsa
imagem divulgada por alguns de que haveria uma total dominncia da pesquisa e da avaliao qualitativa, simplesmente.
A partir de 1966, ainda segundo o trabalho desenvolvido
por Norris (1993), iniciaram-se estudos avaliativos sobre os Projetos Nuffield (cincias e matemtica) por intermdio dos Schools
Council, agncia autnoma fundada pelo governo central e governos locais. Algumas colocaes do projeto avaliativo so extremamente importantes do ponto de vista metodolgico. Assim,
a avaliao era vista no apenas como uma medida dos resultados do projeto, mas como parte integrante do prprio projeto
de construo do currculo, segundo a perspectiva apresentada
por Cronbach (1963), A avaliao, por outro lado, em relao ao
currculo no deveria ser vista como uma simples apresentao
de meros exerccios para que um produto final fosse avaliado,
mas, na verdade, a avaliao consistiria na coleta e no uso de informaes que possibilitariam decises sobre as diferentes fases
do desenvolvimento de um programa educacional.
Ao destacarem as relaes entre avaliao e tomada de
decises, as diretrizes estabelecidas para os Schools Council
deixaram perfeitamente claro os momentos em que a avaliao educacional poderia emprestar sua contribuio: 1) nas
decises sobre o contedo dos cursos e relativas aos mtodos
a empregar para o seu ensino; 2) nas decises sobre as necessidades dos alunos; e 3) nas decises concernentes ao
treinamento de professores.
O projeto do Schools Council, ainda segundo Norris (1993),
destaca a participao dos avaliadores, muitas vezes apenas
professores, e no necessariamente especialistas no campo da
avaliao, desde o incio dos trabalhos avaliativos e acentua a
concepo de uma avaliao para tomada de decises, aspecto que expresso na maioria das diferentes abordagens sobre
avaliao desenvolvidas na Inglaterra, e que merece especial
destaque no modelo de Stufflebeam, nos Estados Unidos. A
25
5/29/15 3:37 PM
4 Uma apresentao
detalhada da evoluo
histrica da avaliao na
Inglaterra e suas mais recentes
experincias de avaliao de
programas acha-se em Norris
(1993), captulos 2, 4, 5 e 6.
avaliao, na viso do Schools Council, responsabilidade de

um grupo de avaliadores, que nem sempre so avaliadores profissionais, e no de apenas um nico indivduo.
Avaliao educacional (evaluation avaliao de programa/
assessment avaliao do rendimento escolar) um assunto altamente controvertido na Inglaterra, apresentando tendncias
vrias que quase sempre se opem avaliao somativa, apegando-se mais do tipo individualizada. A avaliao tambm
entra em choque com um dos mitos caros educao inglesa a
autonomia dos professores. Observa-se, ainda, que vrias abordagens tm um contedo sociolgico, refletindo uma posio
aceita por expressivo nmero de educadores. Os que seguem
essa linha mostram a existncia de uma correlao entre o socialmente carente e o rendimento escolar, advogando que os
responsveis pela educao devem apresentar uma discriminao positiva a favor daqueles que se acham nessa situao. Essa
tese parece-nos de certa forma enviesada, pois, na realidade, a
correlao no se limita ao carente, ela simplesmente existe, independentemente da condio social, tornando-se, entretanto,
evidente entre os mais desfavorecidos economicamente4.
1.3. Avaliao Educacional no Brasil (1960-95)
As atividades de avaliao educacional no Brasil so bastante escassas, ainda que, no momento atual (1995), a temtica venha
sendo verbalizada pelo Ministrio da Educao, que tem apresentado ideias, s vezes bastante discutveis, sobre a seleo para
o acesso ao 3 grau de ensino e relativas avaliao institucional
por intermdio de uma avaliao do rendimento acadmico ao
trmino dos cursos de graduao.
A avaliao educacional, conforme ser discutido, mesmo
quando a nvel de sistema, no contexto brasileiro, baseia-se, fundamentalmente, no rendimento escolar, ainda que haja uma coleta
simultnea de dados socioeconmicos e de variveis ligadas ao ensino, ao professor e escola, em alguns casos. As pesquisas e estudos de avaliao apresentados nesse item em discusso no visam
a uma reviso da literatura e nem incluem trabalhos acadmicos,
quase sempre relacionados a pr-requisitos da ps-graduao universitria, como, por exemplo, os mencionados por Luckesi (1991);
26
5/29/15 3:37 PM
na verdade, objetivam mostrar alguns projetos que tiveram, ou

ainda esto tendo, certo impacto nas escolas, especialmente nas
de 1 grau, sem, entretanto, a pretenso de exaurir o assunto, que,
sem dvida, merece ser submetido a uma meta-avaliao.
A evoluo da avaliao educacional no Brasil com o objetivo de verificar a eficincia de professores, currculos, programas
e sistemas, alm de possibilitar a identificao de diferentes
tendncias, sobretudo quanto ao desempenho educacional, entre outros aspectos, como seria desejvel (Vianna, 1992), ainda
est para ser pesquisada e analisada. A partir da dcada de 60,
e ao longo dos anos seguintes, pode-se constatar que alguma
coisa importante comeou a ser realizada, ainda que de forma
algo incipiente, mas revelando um esforo para proceder de
acordo com orientao metodolgica, especialmente com base
em fontes norte-americanas.
A avaliao no contexto educacional brasileiro quase
sempre promovida por rgos governamentais a nvel federal
Ministrio da Educao ou a nvel estadual, atravs das Secretarias de Estado, que, por falta de estrutura, muitas vezes solicitam
a colaborao de outras instituies, universidades ou fundaes pblicas e privadas. Ao contrrio do que ocorre nos Estados
Unidos, em que as universidades assumem a iniciativa de projetos de avaliao, ainda que com financiamento externo, ou o
que se passa na Inglaterra, em que fundaes privadas, contratadas para prestao de servios, realizam pesquisas e avaliao, a
nossa situao como ser apresentado, bastante diversa.
A FUNBEC Fundao Brasileira para o Ensino de Cincias, ao iniciar um programa de novos currculos em Fsica,
Matemtica, Qumica, Biologia e Geocincias, nos anos 60 e 70,
comeou, igualmente, uma avaliao de seus programas, contando, para esse fim, com a expertise de Hulda Grobman, na
rea da Biologia. Essa atividade pioneira, entretanto, no teve
continuidade em outras instituies, perdendo-se essa rara
oportunidade para o desenvolvimento de know-how e a formao de capacitaes na rea de avaliao.
A Fundao Getlio Vargas, igualmente em meados da dcada de 60, iniciou importante programa de avaliao somativa
no Rio de Janeiro, desenvolvendo um instrumento para avaliar
a capacitao de crianas ao trmino do 1 grau na rede oficial,
inspirando-se no teste Iowa Basic Skills. O projeto obteve a cola-
27
5/29/15 3:37 PM
borao de Anne Anastasi, Frederick Davis e Robert L. Ebel, que

contriburam para a formao de especialistas brasileiros, ministrando cursos de treinamento em 1965. Razes diversas, inclusive uma radical e abrupta alterao curricular, no antigo Estado
da Guanabara (Rio de Janeiro), sem uma prvia avaliao da nova
proposta de currculo, provocou a descontinuidade do programa
e a consequente disperso dos grupos de trabalho, que passaram
a atuar em outras atividades, muitas vezes estranhas avaliao.
Ao longo dos anos 70 e na dcada de 80, face ao processo de massificao das instituies de ensino, especialmente
no 3 grau, houve certa intensificao de estudos ligados ao
acesso ao ensino superior, sobretudo os relacionados a aspectos psicomtricos dos instrumentos de medida e anlise de
dados socioeconmicos, como pode ser observado em algumas
publicaes, especialmente em Educao e Seleo (1980-89)
e a partir de 1990, em Estudos em Avaliao Educacional,
ainda que esta revista tenha modificado a orientao editorial
da anterior, passando a privilegiar problemas ligados avaliao em geral, sem se deter, prioritariamente, na problemtica
da seleo para a Universidade. A dcada de 70 apresentou,
igualmente, interesse, ainda que terico, na rea da avaliao
de programas, com a tentativa de disseminao do modelo
CIPP contexto, input, processo e produto desenvolvido por
Daniel Stufflebeam e Egon Guba. Alguns poucos trabalhos foram realizados nessa linha metodolgica, mas, tambm, no
tiveram prosseguimento, sendo um momento transitrio,
como habitualmente ocorre na rea educacional brasileira.
O Programa de Expanso e Melhoria do Ensino no Meio
Rural do Nordeste Brasileiro EDURURAL , planejado em
1977, na parte referente a estudos e avaliao, esteve a cargo da
Fundao Cearense de Pesquisa, que se ocupou de aspectos
institucionais, e da Fundao Carlos Chagas, que centrou suas
atividades na avaliao do rendimento escolar (Gatti; Vianna;
Davis, 1991). O projeto, com financiamento do Banco Mundial,
coletou dados nos anos de 1981, 1983 e 1985, nos Estados do
Cear, Piau e Pernambuco, por intermdio de provas de Portugus e Matemtica, aplicadas a crianas de 2 e 4 sries do
Ensino Fundamental, em 603 escolas rurais. Alm da qualidade
do ensino da escola rural, o projeto EDURURAL realizou seis
estudos de caso sobre a atuao dessas escolas nos limites das
28
5/29/15 3:37 PM
relaes socioeconomicoculturais locais.

O EDURURAL no se limitou a coletar dados sobre o rendimento escolar em Portugus e Matemtica nas 2s e 4s sries
de escolas rurais, que, alis, mostraram que as crianas daqueles Estados do Nordeste apresentavam uma aprendizagem dos
conceitos bsicos visivelmente prejudicada, nessas escolas de
ensino multisseriado bastante precrio (Gatti, 1993). Incluiu,
tambm, no seu projeto, a avaliao de diversas variveis, como
as condies das escolas, perfil dos professores, impacto do treinamento e condies da famlia, entre outras.
Os seis estudos etnogrficos realizados nos trs Estados
possibilitaram identificar algumas razes explicativas para o
baixo rendimento das crianas nas duas reas curriculares:
rotatividade dos professores, influncia poltica na designao
de professores, inconstncia na distribuio de livros, material
e merenda, que feita, igualmente, tendo em vista consideraes polticas, baixos salrios, condies precrias das escolas multisseriadas, infraestrutura curricular deficiente, pouco
tempo dedicado ao ensino durante o dia (2.00 a 2.30 horas/dia),
frequncia irregular dos alunos, doenas das crianas, condies familiares, dificuldade de acesso escola, ensino baseado
na memorizao sem significado e passividade induzida do
aluno, entre outros fatores, conforme foi caracterizado com
realismo esse estado de coisas por Gatti (1994). Um quadro bastante dramtico do Nordeste rural, refletido pela situao igualmente trgica de seu ensino, que a avaliao revelou.
Quase no final da dcada de 80, foi iniciado um amplo programa de avaliao do rendimento de alunos de escolas de 1
grau da Rede Pblica em todo o Pas, por iniciativa do Instituto
Nacional de Estudos e Pesquisas Educacionais INEP. Inicialmente, em 1987, essa avaliao (Vianna; Gatti, 1988; Vianna,
1989a; Vianna, 1989b; Gatti; Vianna; Davis, 1991; Gatti, 1993)
objetivou identificar, na diversidade do quadro educacional brasileiro, pontos curriculares crticos; verificar o desempenho em
aspectos cognitivos bsicos de alunos de 1, 2, 3, 5 e 7 sries;
e subsidiar os professores para uma recuperao de seus alunos
em aspectos bsicos do currculo escolar. Essa avaliao, ao final,
abrangeu uma amostra de 27.455 alunos de 238 escolas em 69
cidades de vrios Estados da Federao existentes poca, inclusive no ento Territrio do Amap. O projeto teve seus desdobra-
29
5/29/15 3:37 PM
mentos, com novas avaliaes, a pedido da Secretaria de Estado da Educao do Paran, envolvendo, inicialmente, alunos
de 2 e 4 sries de escolas de sete cidades (Vianna; Gatti, 1988)
e depois, uma amostra de alunos de escolas oficiais de 22 outras
cidades (Vianna, 1991), com os mesmos objetivos dos trabalhos
propostos pelo INEP.
As avaliaes a nvel estadual promovidas pelo Instituto
Nacional de Estudos e Pesquisas Educacionais INEP visavam a fornecer s Secretarias de Estado da Educao um conjunto de informaes sobre as deficincias da aprendizagem
escolar; por outro lado, os projetos procuravam criar, tambm,
condies para que as prprias Secretarias tivessem uma efetiva participao nos assuntos pertinentes avaliao do rendimento, assim como se envolvessem, ainda, em projetos outros
relacionados a programas, sistemas e materiais didticos (Gatti,
1994). As concluses do projeto, que mostraram aspectos crticos
do ensino de 1 grau em quase 70 cidades das diversas regies
geogrficas do pas, no podem ser, entretanto, generalizadas,
tendo em vista a natureza da amostra, um segmento estatisticamente pouco representativo do universo escolar a nvel de 1
grau, e a falta de equalizao (equating) dos instrumentos. O interessante, e digno de ser destacado, que esse projeto, iniciado
em 1987, mais tarde, em 1991, realizaria pela primeira vez uma
avaliao de escolas do sistema privado de ensino, mostrando a relao entre condio social e rendimento escolar. O estudo, entretanto, ao comparar o desempenho da escoa privada
com o dos alunos das escolas pblicas, revelou que nem sempre
a escola privada um mar de excelncia e a escola pblica tambm nem sempre to ruim quanto se julga, aprioristicamente.
Ainda na dcada de 80, um novo projeto de avaliao a nvel
nacional foi realizado por intermdio da Secretaria de Ensino do
2 Grau, do Ministrio da Educao, com apoio do Banco Mundial
e a colaborao cientfica da Fundao Carlos Chagas, sobre
o desempenho escolar de alunos da 3 srie do Ensino Mdio
(Vianna, 1991). A partir de uma amostra de 3.972 sujeitos de escolas tcnicas federais, escolas estaduais, escolas particulares,
escolas oficiais e particulares com habilitao magistrio e escolas de formao profissional industrial (SENAI), nas cidades de
Fortaleza, Salvador, So Paulo e Curitiba, o projeto identificou
variveis sobre escolaridade e a influncia de fatores socioecon-
30
5/29/15 3:37 PM
micos. Esse estudo, que no fundo de avaliao do rendimento

escolar, apresentou resultados surpreendentes, que eram conhecidos mas no constatados, sobre o alto desempenho das escolas
tcnicas federais em relao s demais escolas, sem, entretanto,
pesquisar as razes desse desempenho.
O Ministrio da Educao, utilizando a competncia tcnica
do INEP, no incio de 1990, iniciou a implantao de um Sistema Nacional de Avaliao da Educao Bsica SAEB, com
o objetivo de qualificar os resultados obtidos pelo sistema educacional de ensino pblico, criar e consolidar competncias
para a avaliao do sistema educacional (Pestana, 1992), realizando um trabalho cooperativo entre o MEC e as Secretarias de
Estado da Educao. A proposta do SAEB adotou um modelo de
estudo de fluxo e de produtividade da UNESCO, com vistas a estudar questes relacionadas com a gesto escolar, competncia
docente, custo-aluno direto e indireto e rendimento escolar, com
base em uma metodologia de amostras relacionadas (Waiselfisz,
1991), estando em vias de sofrer radical transformao em sua metodologia e nos procedimentos de amostragem, na avaliao do
segundo semestre de 1995.
A Avaliao da Jornada nica em So Paulo, realizada
no segundo semestre de 1992, visou a verificar os efeitos da
implantao da Jornada nica no Ciclo Bsico, a partir de 1988,
em escolas da Grande So Paulo. Ou seja, a avaliao procurou
saber, conforme o destaque de Gatti (1992), se o Ciclo Bsico/
Jornada nica causou algum impacto, algum diferencial no
desempenho e no desenvolvimento intelectual das crianas; se
houve diferenciais no desenvolvimento de habilidades bsicas
que devem ser adquiridas, e se ocorreram alteraes na relao
aprovao/reprovao/ e evaso.
A partir de 1992, a Secretaria de Educao do Estado de Minas
Gerais iniciou a Avaliao do Sistema Estadual de Ensino de
Minas Gerais5, envolvendo nesse ano a populao de estudantes
do Ciclo Bsico de Alfabetizao e os da 8 srie. Os trabalhos prosseguiram em 1993 com a avaliao da 5 srie do Ensino Fundamental, da 2 srie do Ensino Mdio e das 3/4 sries da Habilitao
Magistrio. Ao todo, cerca de 930.000 estudantes foram avaliados
externamente nesses dois anos, sendo levantados dados sobre o
desempenho escolar em reas curriculares, informaes socioeconmicas dos alunos, atitudes em relao cincia (2 srie do
5 O artigo de Maria Alba de

Souza, na revista Estudos em
So Paulo, n. 12, 1995,
oferece uma viso bastante
detalhada do programa de
avaliao de Minas Gerais
no perodo de 1992-95.
31
5/29/15 3:37 PM
Ensino Mdio), dados relacionados escola, incluindo elementos

sobre os vrios currculos, e informaes relativas formao das
futuras professoras da escola de Ensino Fundamental (alunas das
3/4 sries da Habilitao Magistrio). O programa de avaliao do
sistema de ensino de Minas Gerais, integrante de um programa de
qualidade da escola, com apoio financeiro do Banco Mundial, teve
prosseguimento em 1994, com a repetio do processo nas escolas avaliadas em 1992 e a incluso de escolas da rede municipal
de ensino, abrangendo, no caso, o sistema em 414 municpios. O
processo de avaliao em Minas Gerais j comeou a produzir seus
primeiros resultados, sobretudo em modificaes curriculares e na
disseminao de centros de atualizao de professores em 53 diferentes pontos do Estado (Vianna, 1992), alm da autonomia administrativa e financeira, estando em vias a implantao da autonomia pedaggica, em um processo de qualidade da escola que tem
como um de seus pontos centrais a avaliao.
Um programa de avaliao foi realizado em 1991 sobre o
Desempenho da Rede Pblica Escolar do Estado de Pernambuco na rea da Linguagem, em crianas de 1 a 4
srie, o que possibilitou Secretaria de Educao do Estado,
segundo Buarque et al. (1992), a reviso dos contedos programticos das Propostas Curriculares, redirecionamento dos
contedos nos programas de capacitao de docentes, acompanhamento das classes de alfabetizao e o desenvolvimento
de um programa de pesquisas.
A nvel internacional, no perodo de 1990/92, houve uma
avaliao do desempenho de crianas de 13 anos em Matemtica e Cincias, nas cidades de So Paulo e Fortaleza, como
parte integrante do projeto da International Assessment of
Educational Progress IAEP, com a participao de 20 pases,
sob a coordenao do Educational Testing Service (Princeton, New
Jersey) e o financiamento da National Science Foundation NSF.
A parte relativa ao Brasil ficou sob a responsabilidade da
Fundao Carlos Chagas, visando o projeto a analisar o desempenho dos estudantes nos vrios pases participantes e a
identificar tipos de ambientes culturais e prticas educacionais
associadas a um alto desempenho (Vianna, 1992). Alm das provas de Matemtica e Cincias foram desenvolvidos trs outros
instrumentos questionrio do aluno, da escola e dos pais , a
fim de explorar variveis associadas ao desempenho educacional
32
5/29/15 3:37 PM
e proporcionar um contexto que possibilitasse compreender os

resultados da avaliao. O desempenho das crianas brasileiras,
lamentavelmente, foi bastante comprometido, refletindo, assim, a conhecida crise do nosso sistema de ensino da escola de 1
grau. Esse tipo de avaliao costuma, no entanto, com justa razo, ser criticado por vrios educadores, sobretudo na Inglaterra,
tendo em vista a diversidade curricular, os objetivos do ensino,
as metodologias empregadas, entre outros fatores, e inclusive o
prprio contexto cultural, em termos sociolgicos.
A anlise dos vrios projetos de avaliao, segundo demonstrou Gatti (1994), evidencia que nem sempre possvel a adoo
de um delineamento experimental, que possibilite comparar diferenas de tratamentos; as amostras, muitas vezes, so bastante
comprometidas, tendo em vista a carncia de estatsticas bsicas
confiveis, os procedimentos de aplicao dos instrumentos e coleta de dados nem sempre so merecedores de confiana, apesar das
orientaes e dos treinamentos a que so submetidos os aplicadores; e a adoo de modelos de avaliao que nem sempre se ajustam ao nosso contexto socioeducacional, havendo necessidade,
portanto, de uma adaptao realidade brasileira. Esses e outros
problemas como, por exemplo, a falta de elementos experientes
em avaliao educacional fazem com que, em muitos casos, o
avaliador responsvel tome decises que, em princpio, fogem
ortodoxia doutrinria, mas que resultam da sua experincia e do
seu bom senso, face ao imprevisto das situaes que surgem, sobretudo em pases que no possuem uma tradio de avaliao no seu
sistema educacional, como o caso do Brasil, e em que a realidade
bem diferente da teoria.
A anlise da produo cientfica sobre avaliao educacional publicada em Cadernos de Pesquisa, no perodo de 20 anos
(Vianna, 1992) mostra que o tema de interesse dos educadores, sendo essa produo bastante diversificada e revelando uma
grande preocupao metodolgica na abordagem dos vrios
assuntos, sobretudo na rea de rendimento escolar, educao
de adultos, treinamento e formao de professores, temas dominantes no contexto da educao brasileira, pelo menos no
momento atual. Observa-se, tambm, nesses artigos e ensaios, um
destaque em relao ao emprego de metodologias qualitativas,
especialmente estudo de casos, ainda que sejam bastante reduzidos os trabalhos tericos sobre essas metodologias por autores
33
5/29/15 3:37 PM
nacionais, que se apoiam quase sempre na fundamentao de

tericos estrangeiros, sobretudo norte-americanos e ingleses.
A partir dessa anlise (Vianna, 1992), percebe-se, entretanto, que
j h uma conscincia da importncia da avaliao e que a sua
prtica, apesar de inspirada em outros contextos, e partindo de
modelos adaptados nossa realidade, mas nem sempre de forma
cientificamente rigorosa, est comeando a criar uma cultura da
avaliao na sociedade brasileira.
REFERNCIAS BIBLIOGRFICAS
BUARQUE, Lair L. et al. Avaliao do desempenho da rede pblica escolar do
estado de Pernambuco na rea de linguagem. Estudos em Avaliao Educacional,
So Paulo, n. 5, p. 95-106, 1992.
CAMPBELL, D. T.; STANLEY, J. C. Experimental and quasi-experimental designs
for research on teaching. In: GAGE, N. L. (Ed.). Handbook of research on teaching.
Chicago, IL: Rand McNally, 1963. p. 171246.
CRONBACH, L. J. Course improvement through evaluation. Teachers College
Record, n. 64, p. 672-683, 1963.
GATTI, Bernardete A. O rendimento escolar em distintos setores da sociedade.
Estudos em Avaliao Educacional, So Paulo, n. 7, p. 95-112, 1993.
______. Avaliao da jornada nica em So Paulo. Estudos em Avaliao
Educacional, So Paulo, n. 5, p. 85-89, 1992.
______. Avaliao educacional no Brasil: - experincias, problemas,
recomendaes. Estudos em Avaliao Educacional, So Paulo, n. 10, p. 67-80, 1994.
GATTI, Bernardete A.; VIANNA, Heraldo M.; DAVIS, Claudia. Problemas
e impasses da avaliao de projetos e sistemas educacionais: dois casos
brasileiros. Estudos em Avaliao Educacional, So Paulo, n. 4, p. 07-26, 1991.
LINDQUIST, E. F. Design and analysis of experiments in Psychology and Education.
Boston, Houghton Mifflin, 1953.
LUCKESI, Cipriano C. Avaliao dos resultados da aprendizagem escolar: a prtica
atual e sua compreenso nas concepes pedaggicas. 1991. Tese (Doutorado)
Pontifcia Universidade Catlica de So Paulo, So Paulo, 1991.
MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School effectiveness:
a reassessment of the evidence. New York: McGraw-Hill Book, 1980.
MADAUS, G. F.; STUFFLEBEAM, D. L.; SCRIVEN, M. S. Program evaluation: a
historical overwiew. In: MADAUS, G. F. et al. (Ed.). Evaluation Models: viewpoints
on educational and human services evaluation. Boston: Kluwer-Nijhoff, 1993.
NORRIS, N. Understanding educational evaluation. London: Kogan Page, 1993.
34
5/29/15 3:37 PM
PESTANA, Maria Ins G. de S. O Sistema Nacional de Avaliao da Educao

Bsica. Estudos em Avaliao Educacional, So Paulo, n. 5, p. 81-84, 1992.
SCRIVEN, Michael. The methodology of evaluation: perspectives of curriculum
evaluation. Chicago: Rand McNally, 1967. (AERA. Monograph, n.1).
STAKE, Robert E. The countenance of educational evaluation. Teachers College
Record, v. 68, n. 7, p. 523-540. 1967.
STUFFLEBEAM, Daniel L. The relevance of the CIPP Evaluation Model for Educational
Accountability. Journal of Research and Development in Education, v. 5, n. 1, p. 19-25. 1971.
VIANNA, Heraldo M. Avaliao do rendimento de alunos de escolas de 1 grau
da rede pblica: um estudo em 20 cidades. Educao e Seleo, So Paulo, n. 19,
p. 33-98, 1989a.
______. Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica:
um estudo em 39 cidades. Educao e Seleo, So Paulo, n. 20, p. 5-56, 1989b.
______. Rendimento de alunos das 2 e 4 sries das escolas oficiais do estado do
Paran: um estudo avaliativo. So Paulo: Fundao Carlos Chagas, 1991.
Relatrio de pesquisa.
______ Avaliao do rendimento escolar de alunos da 3 srie do 2 grau: subsdios
para uma discusso. Estudos em Avaliao Educacional, So Paulo, n. 3, 1991.
______. Avaliao do desempenho em matemtica e cincias: uma experincia
em So Paulo e em Fortaleza. Estudos em Avaliao Educacional, So Paulo, n. 5,
p. 9-14 , 1992a.
______. Avaliando a avaliao: da prtica pesquisa. Estudos em Avaliao
Educacional, So Paulo, n. 5, p. 55-64, 1992b.
______. Avaliao do ciclo bsico de alfabetizao em Minas Gerais. Estudos em
Avaliao Educacional, So Paulo, n. 5, p. 91-94, 1992c.
______. Avaliao Educacional nos Cadernos de Pesquisa. Cadernos de Pesquisa,
So Paulo, n. 80, p. 100-105, 1992d.
VIANNA, Heraldo M.; ANTUNES, Ana Lcia; SOUZA, Maria Alba de. Desenvolvimento
de um programa de avaliao do sistema estadual de ensino: o exemplo de Minas
Gerais. Estudos em Avaliao Educacional, So Paulo, n. 8, p. 5-37, 1993.
VIANNA, H. M.; FRANCO, Glucia T. Avaliao do rendimento de alunos de
escolas do 1 grau da rede privada: pontos crticos e convergncia. Estudos em
Avaliao Educacional, So Paulo, n. 7, p. 113-132, 1993.
VIANNA, Heraldo M.; GATTI, Bernardete A. Avaliao do rendimento de alunos
de escolas de 1 grau da rede pblica: uma aplicao experimental em 10
cidades. Educao e Seleo, So Paulo, n. 17, p. 5-52, jan./jun. 1988a.
______. Avaliao do rendimento de alunos de 2 e 4 sries de escolas oficiais
do estado do Paran. Educao e Seleo, So Paulo, n. 18, p. 5-62, 1988b.
WAISELFISZ, Jlio J. O Sistema Nacional de Avaliao Educacional de 1 Grau.
Estudos em Avaliao Educacional, So Paulo, n. 4, p. 65-72, 1991.
WORTHEN, B. R.; SANDERS, J. R. Educational Evaluation: alternative approaches
and practical guidelines. New York, London: Longman, 1987.
35
5/29/15 3:37 PM
MEDIDA DA QUALIDADE
EM EDUCAO:
APRESENTAO
DE UM MODELO1
1 Artigo publicado na revista

Estudos em Avaliao
Educacional, So Paulo, n. 2,
p. 99-104, jul./dez. 1990.
36
O problema da qualidade em educao uma preocupao da

sociedade como um todo. Subjacentemente, o conceito de responsabilidade educacional educational accountability permeia
essa inquietao, ou seja, havendo pessoal qualificado, condies
materiais, instrumental instrucional, metodologias e estratgias
adequadas, a educao formal deveria ser, necessariamente, de
boa qualidade. Isso, entretanto, nem sempre ocorre, pois uma
complexa rede de variveis atua no processo e cria um quadro
de elementos interferentes que determinam nveis diversos de
excelncia educacional.
Algumas indagaes surgem de imediato: como conceituar
qualidade em educao? Ser possvel uma definio operacional
de qualidade em educao a fim de mensur-la com adequao?
O problema precisa ser analisado e discutido com a participao
da comunidade educacional e de elementos da sociedade. A medida da qualidade em educao, entretanto, no pode ficar restrita apenas ao desempenho escolar, necessita, tambm, verificar
outras variveis que se associam e condicionam o rendimento
escolar. O que as crianas fazem na escola, o que os professores
procuram transmitir aos seus alunos e o que os livros didticos
5/29/15 3:37 PM
apresentam refletem expectativas culturais e educacionais na sociedade, bem como seus valores e seus objetivos sociais e econmicos. Assim, impositivo verificar em que medida a interao
dessas variveis contribui para a qualidade da educao.
necessrio reiterar que a avaliao da qualidade da educao no se limita apenas verificao do rendimento escolar,
que um momento na caracterizao dessa qualidade. O desempenho dos estudantes em pesquisas da qualidade da educao
melhor compreendido e interpretado quando se levantam informaes sobre o tipo de ensino que recebem, os procedimentos que vivenciam em sala de aula e no colgio, e ainda sobre
as caractersticas ambientais da famlia que determinam o seu
comportamento. Assim, a pesquisa sobre a qualidade da educao precisa caracterizar o contexto nacional em que o processo
educacional se desenvolve, identificar criticamente os fatores
no diretamente ligados escola que afetam a educao e analisar
a ao da escola em termos de entrada, processo e produto.
A avaliao da qualidade da educao deve, necessariamente,
partir de uma anlise do contexto nacional, envolvendo as caractersticas da populao, os seus valores culturais, os investimentos
financeiros em educao e a organizao das escolas. As caractersticas da populao no se devem limitar a estatsticas demogrficas, mas apresentar e discutir os vrios nveis de educao,
o processo de transformao da economia e a composio da fora de trabalho, assim como suas tendncias. Os valores culturais
da sociedade precisam ser identificados, destacando-se, particularmente, a problemtica da maior ou menor valorizao da
educao, o papel da educao no desenvolvimento individual
e na formao profissional, as oportunidades educacionais oferecidas pela sociedade e o grau de universalizao da educao;
alm disso, problemas cruciais como o do status do professor na
sociedade e a responsabilidade da famlia na educao necessitam tambm ser considerados. Os investimentos financeiros em
educao no podem deixar de ser considerados como uma das
importantes variveis que influenciam na qualidade da educao,
juntamente com a alocao de recursos humanos qualificados
para a rea educacional. Finalmente, no quadro do contexto nacional, a avaliao da qualidade da educao deve considerar a
organizao do sistema escolar, identificando os diversos tipos
de escola, os graus de centralizao administrativa, a influncia
37
5/29/15 3:37 PM
do processo de seletividade social na escola e a organizao do

sistema de avaliao, que, dependendo da sua filosofia e da sua
estruturao, pode criar diferentes tipos de impedimentos, com
amplas repercusses sociais.
A criana, e mesmo o adolescente, na maioria dos casos,
passa um tempo extremamente reduzido na escola; desse
modo, a fim de avaliar a qualidade da sua educao, fundamental que sejam considerados os fatores no diretamente ligados
escola, que compreendero, entre outros aspectos, o status
socioeconmico da famlia, o nvel de educao dos pais, os
recursos educacionais no lar, o interesse e a participao dos
pais no processo educacional, as atividades educacionais fora
da escola, as atividades de lazer e sociais (televiso, esportes e
interao de grupos) e, ainda, uma anlise das atitudes e das
aspiraes dos estudantes.
A investigao sobre a qualidade da educao envolve,
naturalmente, uma discusso aprofundada da varivel escola,
que, no presente modelo, deve sofrer uma abordagem em
termos de entrada, processo e produto. A partir dessa perspectiva, para a configurao do fator entrada, desejvel a
identificao e anlise das variveis tamanho e tipo de escola;
extenso do ano letivo e da jornada escolar; tamanho, caractersticas e experincia do pessoal docente; qualidade das instalaes escolares; organizao dos programas escolares; e,
finalmente, a participao dos pais na vida escolar.
A parte do modelo mais diretamente relacionada sala de
aula, ao que ensinado e como ensinado, no seu conjunto,
engloba a varivel processo, que se centra na avaliao do
currculo e das prticas instrucionais. A avaliao do currculo
visa, particularmente, a anlise dos objetivos e dos contedos programticos, procurando identificar em que medida
so destacados fatos, conceitos e/ou habilidades complexas.
Ainda na varivel processo, o conjunto das prticas instrucionais procura identificar o tipo de instruo ministrada (em
grandes e pequenos grupos e/ou instruo programada); a
ocorrncia de aulas expositivas, demonstraes e/ou discusses; o uso de material didtico (impressos e equipamentos);
a natureza das tarefas a serem realizadas em casa; e, finalmente, a crtica das prticas docimolgicas, ou seja, a anlise
do planejamento e da execuo da avaliao escolar.
38
5/29/15 3:37 PM
O presente modelo completa-se com a avaliao da varivel

produto, concentrada no desempenho escolar e na formao de
atitudes associadas ao processo educacional, momento em que
sero empregados diferentes instrumentos de mensurao escolar, inclusive, testes de escolaridade e questionrios de atitudes.
Um projeto de avaliao da qualidade da educao, dessa
forma, deve relacionar o desempenho dos estudantes a contextos culturais e a prticas educacionais associadas ao rendimento escolar. Surge, assim, um grave problema a ser discutido a
validade dos instrumentos, particularmente a validade dos testes de escolaridade.
O uso de testes sem a observncia da teoria das medidas contribui para que sejam negligenciadas importantes caractersticas
dos instrumentos aplicados mensurao dos atributos humanos. Diferentes testes possuem diferentes virtudes e no existe
um teste que seja o melhor para todos os propsitos. Um teste
sempre construdo com uma determinada finalidade, no havendo, portanto, um nico instrumento que seja capaz de medir
de modo globalizado as diferentes dimenses do homem. Assim,
ao construir um teste, necessrio que se identifique o objetivo do instrumento e em que situao concreta ser utilizado.
Um teste para uso em sala de aula, com a finalidade de promover
uma avaliao formativa, no tem, certamente, as mesmas caractersticas de um outro empregado para fins de seleo, quando se
processa uma avaliao somativa. Um teste serve, ainda, para um
determinado contexto e para um fim especifico, no tendo a
mesma utilidade em outros contextos e para outros fins.
As questes relativas validade dos testes educacionais so
complexas e, frequentemente, sujeitas a controvrsias, que, entretanto, precisam ser enfrentadas a fim de solucionar os problemas
relativos construo dos instrumentos de medida, sua anlise
emprica e ao julgamento do seu valor como elementos capazes de
medirem, eficientemente, os atributos definidos no planejamento.
O processo de avaliao de um teste possui uma lgica prpria,
ressaltando-se, entretanto, que a validao de um teste depende
do uso que dele se pretenda fazer. Um teste nunca possui um
nico e exclusivo objetivo; desse modo, no se pode assegurar
que um teste seja vlido em termos gerais. A validao de um
instrumento de medida educacional est, pois, relacionada com
a interpretao que ao mesmo se pretenda dar.
39
5/29/15 3:37 PM
A validade de um instrumento de medida est associada

concretizao dos seus objetivos. Assim, no caso especfico
de um teste de desempenho escolar, a validade positivada na
medida em que esse instrumento realiza aquilo a que se propuseram seus construtores. O conceito de validade, entretanto,
multifacetado, no sendo possvel dizer, a priori, se um teste
ou no vlido: um teste pode ser vlido para um currculo e no
o ser para outro; um teste pode ser vlido para um grupo, mas
no para outro. A validade no , pois, um atributo que se possa
apresentar em termos gerais; sempre especfica a um instrumento, a um curso, a um currculo, a um professor e a um grupo
de indivduos com caractersticas bem definidas.
O processo de validao presta-se a diferentes interpretaes
muitas vezes conflitantes entre si, sendo necessrio, por conseguinte, maiores esclarecimentos sobre sua natureza. Valida-se
no propriamente o teste mas a interpretao dos dados decorrentes de um procedimento especfico. Um mesmo teste pode
ser usado para diferentes fins e a cada aplicao do instrumento
pode corresponder, portanto, uma interpretao dos resultados.
Ora, considerando que cada interpretao tem seu prprio grau
de validade, no possvel afirmar que um teste vlido em
geral, pois a validade sempre especfica. Um teste, em sntese,
possui muitas validades; consequentemente, h necessidade de
aprofundar e estender os estudos de validao para que se possa
determinar as diversas dimenses da sua validade.
O problema da validao dos instrumentos deve receber tratamento prioritrio no processo investigativo da qualidade da
educao, conforme a anlise anterior. O uso indiscriminado de
instrumentos de avaliao pode levar a concluses inteiramente falaciosas, com amplas repercusses. Nesse momento, cabem
algumas indagaes referentes ao contexto educacional brasileiro: os instrumentos usados para fins de avaliao educacional
possuem validade empiricamente verificada? Os instrumentos
usados pelos professores possuem validade curricular? Os instrumentos empregados no dia a dia da escola possuem validade de
contedo? E, finalmente, uma pergunta dolorosa: os altos ndices de reprovao nas primeiras sries do 1 grau no decorreriam
em parte da falta de validade dos instrumentos usados na avaliao? So questes que precisariam ser respondidas no processo de
investigao da qualidade da educao.
40
5/29/15 3:37 PM
ANEXO
Medida da Qualidade em Educao
Esquema de um modelo
1.0. CONTEXTO NACIONAL

1.1. Caractersticas da populao
1.1.1. Estatsticas demogrficas
1.1.2. Nveis de educao
1.1.3. Transformaes da economia
1.1.4. Fora de trabalho
1.2. Valores culturais
1.2.1. Valorizao da educao
1.2.2. Desenvolvimento individual
1.2.3. Formao profissional
1.2.4. Oportunidades educacionais
1.2.5. Universalizao da educao
1.2.6. Status do professor
1.2.7. Responsabilidade da famlia na educao
1.3. Investimentos financeiros
1.3.1. Alocao de recursos humanos
1.4. Organizao da escola
1.4.1. Tipos de escola
1.4.2. Centralizao administrativa
1.4.3. Seletividade social
1.4.4. Sistema de avaliao
2.0. FATORES NO DIRETAMENTE LIGADOS ESCOLA
2.1. Status socioeconmico da famlia
2.2. Nvel de educao dos pais
2.3. Recursos educacionais no lar
2.4. Participao dos pais no processo educacional
2.5. Atividades educacionais fora da escola
2.6. Atividade de lazer e sociais
2.7. Atitudes e aspiraes dos estudantes
3.0. ESCOLA
3.1. Entrada
3.1.1. Tamanho e tipo da escola
3.1.2. Extenso do ano letivo e da jornada escolar
3.1.3. Tamanho, caractersticas e experincia do corpo docente
5/29/15 3:37 PM
Qualidade das instalaes escolares

Organizao dos programas escolares
3.1.6. Participao dos pais na vida escolar
3.2. Processo
3.2.1. Currculo
3.2.1.1. Anlise de objetivos e contedos programticos
3.2.2. Prticas instrucionais
3.2.2.1. Tipos de instruo
3.2.2.2. Aulas expositivas, demonstraes e/ou discusses
3.2.2.3. Uso de material didtico
3.2.2.4. Tarefas de casa
3.2.2.5. Avaliao escolar
3.3. Produto
3.3.1. Desempenho escolar
3.3.2. Formao de atitudes
3.1.4.
3.1.5.
42
5/29/15 3:37 PM
5/29/15 3:37 PM
Avaliao de
Programas Educacionais:
duas questes1
Program and project evaluation is a human activity that

is as old as mankind. It is used to make choices and decisions.
It motivates change. It is used to develop understanding.
It is used to justify investments of resources. In many ways
program and project evaluation has been and will continue
to be embedded in human cognition and behavior.
It is fair to say that every program or project
evaluation is unique in many ways and consequently
that the practice of evaluation is complex.
James R. Sanders2

Estudos em Avaliao
Educacional, v. 16, n. 32,
p. 43-55, jul./dez. 2005.
2 In: Kellaghan e
Stufflebeam (2003).
44
1. Introduo
A avaliao educacional, no contexto brasileiro, comeou a
desenvolver-se tardiamente, em meados dos anos 60, ainda que
com a quase total centralizao nos processos de medida, situao esta que subsiste nos tempos atuais. Apesar desse relativo
desenvolvimento, foi ignorado, por alguns segmentos, o fundamento terico da avaliao; a subjacente teoria da avaliao em
5/29/15 3:37 PM
que se baseia a ao avaliativa, aspecto este que ser ressaltado

no presente trabalho. foroso reconhecer, entretanto, que j
se desenvolveu relativo domnio na avaliao da aprendizagem,
na avaliao de competncias, na avaliao para fins de seleo
e na avaliao de atitudes, comeando a ocorrer, no momento
fluente, maior domnio da avaliao institucional. Observa-se,
quando alguns relatrios so examinados, que a avaliao de
programas ainda no est adequadamente definida em todas
as suas dimenses, sendo, muitas vezes, confundida com a frequentemente chamada avaliao do desempenho.
A literatura existente sobre avaliao de programas ressalta diferentes aspectos, como a sua relevncia social, as questes
tcnicas relacionadas com os diversos tipos de validade, a importncia da disseminao dos resultados e seus efeitos, entre outras
consideraes que so abordadas por diferentes autores, inclusive
na importante obra editada por Kellaghan e Stufflebeam (2003).
Os objetivos do presente artigo limitam-se, entretanto, a duas questes que se referem natureza do processo de avaliao e ao que se
espera dos esforos desenvolvidos em uma avaliao de programa.
2. Avaliao de Programas:
um processo democrtico
O problema da avaliao como um processo democrtico foi
discutido com bastante amplitude por House e Howe (2003)
e permite consideraes relativas a esse assunto nem sempre
explorado por tericos e praticantes da avaliao. O trabalho
de avaliar uma atividade de equipe e, como tal, pressupe
uma ao sem conflitos internos, visando a garantir a validade das concluses a que a equipe possa chegar na consecuo
dos seus objetivos. bom destacar que toda avaliao, inclusive a de programas, tem inserido em seu contexto interesses
de diferentes pessoas que refletem diversidade de valores, vrias vises de mundo e, consequentemente, posicionamentos
diversos, traduzidos, por vezes, em situaes de conflito, que
fragilizam a equipe e perturbam o andamento dos trabalhos.
Seria bom lembrar, nesse momento, que, segundo Merleau-Ponty (2004), ... Cada ser um s, e ningum pode dispensar os outros... No h vida em grupo que nos livre do peso
45
5/29/15 3:37 PM
3 Entende-se como
audincias (stakeholders, em
ingls) todas e quaisquer
pessoas envolvidas ou
afetadas pela avaliao:
estudantes, pais/
responsveis, professores,
administradores, orientadores,
psiclogos, associaes
de pais e mestres, futuros
empregadores, membros da
comunidade e outros que
tomem decises que afetem a
educao do estudante.
46
de ns mesmos, que nos dispense de ter uma opinio... Fica

configurada, dessa forma, a responsabilidade do avaliador na
conduo de uma equipe de especialistas, com pluralidade de
pensares, que procura avaliar um programa.
Assim, como deixam perfeitamente claro House e Howe
(2003), fundamental que se considere quais os interesses, valores e vises das vrias audincias3 em relao ao programa a ser
avaliado. Ressalte-se, entretanto, que somente sero levados em
conta os interesses, os valores e as vises que so efetivamente
importantes para o programa.
A avaliao, conforme o destaque anterior, um trabalho
de grupo, que exige a integrao dos seus diversos elementos.
Podem ocorrer, entretanto, distores no pensar e no agir de
alguns elementos que impedem a integrao do grupo, por ausncia de um dilogo fluente e aberto que conduza a decises
sensatas e adequadas situao. Ainda que difcil, deve-se levar
a equipe de avaliao a um consenso, que vai possibilitar ao
grupo agir de forma coesa, com a superao de conflitos.
importante ressaltar o papel do avaliador como elemento
aglutinante do grupo, numa avaliao realizada segundo a perspectiva democrtica, sendo a ele vedada a sua identificao, ainda
que no explcita, com subgrupos que possam vir a surgir na equipe. A ocorrncia desses subgrupos deve ser evitada de forma enftica, impondo-se, ainda, por outro lado, que os possveis desequilbrios no grupo, gerados por manifestaes de autointeresse, sejam
igualmente controlados, em respeito ao objetivo maior do projeto.
A avaliao de programas, segundo a perspectiva democrtica, pressupe a participao das vrias audincias no desenvolvimento da sua estrutura. Esse aspecto exige, necessariamente,
que sejam definidas por antecipao as regras e os procedimentos para esse fim. Isso significa a realizao de reunies prvias,
organizadas de acordo com as caractersticas das audincias,
para que elas possam manifestar suas preocupaes e suas ideias
relativamente avaliao e ao respectivo projeto, por via de um
processo de interao destitudo de formalismos. As audincias,
portanto, participam das deliberaes relativas ao projeto e, no
decorrer dessas reunies interativas, o avaliador responsvel
pela equipe procura identificar os reais interesses do grupo, levado-o a uma ao reflexiva. Durante essas reunies, para fins de
deliberao, o avaliador que lidera a equipe pode testar a consis-
5/29/15 3:37 PM
tncia dos critrios adotados no projeto de avaliao e, ao longo

de sua realizao, comprovar, igualmente, a coerncia dos dados
parcialmente coletados, para que, ao trmino dos trabalhos, sejam vlidas as concluses acerca do programa avaliado.
3. Elementos resultantes
de uma avaliao de programas
A indagao sobre quais seriam os elementos que resultariam das
vrias aes em uma avaliao de programa admite mltiplas respostas, se considerarmos o grande nmero de modelos existentes,
como pode ser constatado na obra de Madaus et al. (1993); desse
modo, para responder questo inicialmente proposta, o presente
artigo se basear em trabalho de Stake (1973), que teve larga repercusso e, decorridos mais de trinta anos, ainda pode servir de
orientao para aqueles que se dedicam avaliao de programas.
A expectativa, segundo o ponto de vista a ser seguido, de
que o relatrio da avaliao apresente os objetivos definidos
em razo das informaes coletadas nas reunies interativas
com as audincias interessadas. Algumas informaes so significativas para certos grupos de pessoas, mas essas mesmas informaes no atendem aos interesses de outros segmentos das
audincias consultadas. O que importa aos responsveis pela
formulao do programa pode no corresponder aos aspectos
que so de interesse imediato dos pais de alunos, por exemplo.
Assim, fundamental ter em mente a especificidade dos vrios
grupos integrantes das audincias, na fase de elaborao de
relatrios parciais, no decorrer do processo de avaliao e no
momento de estruturao do relatrio final.
O documento de disseminao dos resultados da avaliao
deve ter um carter eminentemente descritivo e levar em considerao o pblico a que se destina. Ele pode no ser de interesse
imediato para os que participaram da implementao do programa no seu dia a dia (professores, tcnicos escolares, administradores, entre outros), mas ser de grande valia para pesquisadores
educacionais e especialistas em avaliao; desse modo, fica definido que na divulgao dos dados de uma avaliao de programa, para que ela tenha impacto, necessrio que a cada tipo de
audincia corresponda um relatrio especfico, variando de um
47
5/29/15 3:37 PM
relatrio tcnico para especialistas, com as suas complexidades

estatsticas, quando for o caso, a um folheto de divulgao dos
elementos mais representativos para a sociedade.
Ao ser caracterizada a avaliao como um processo democrtico, foi reiterada a necessidade de reunies interativas com
as diversas audincias, ao longo do seu processo. claro que
essas reunies se devem caracterizar por um intercmbio de
ideias seminais, que fundamentaro o processo de avaliao.
A avaliao no um produto que nasce feito e definido em
todas as suas caractersticas, ele se constri com base na troca
de pontos de vista, que geram discusses que passam a integrar
todo o processo. igualmente necessrio aproveitar a temtica
desses diversos falares que enriquecem a avaliao e que necessitam ser registrados. Essas discusses, s vezes, so anteriores
ao programa e, com grande frequncia, outras ocorrem aps
a sua implantao. O avaliador, nesse caso, ver-se- obrigado a
fazer suposies a respeito do programa, submetendo as suas
consideraes a rigorosa anlise do grupo. As discusses ocorridas constituem um acervo a preservar e so sempre teis, inclusive no caso de futuras avaliaes.
A metodologia de uma avaliao apresenta elementos caracterizados por Stake (1973) como antecedentes que devem ser
documentados nos diversos relatrios apresentados s audincias. necessrio que se detalhe a especificao do programa
de avaliao, apresentando s audincias os elementos seguintes: 1) o que o programa e em que consiste; 2) o que ocorreu
durante a sua implementao (em sala, em laboratrios ou em
outros locais); 3) o que foi tentado, ainda que no tenha sido
bem sucedido; e, finalmente, 4) os dados do resultado do programa. Ao relatrio incorporam-se tambm outros importantes
subsdios, como: 1) aquilo que se pretendeu e 2) o que foi efetivamente constatado, acrescentando-se outros elementos que,
eventualmente, possam ser teis para a formulao de juzos
de valor pela equipe de avaliao. Entre os elementos caracterizados por Stake (1973) como antecedentes, incluem-se ainda:
1) dados demogrficos e escolares dos estudantes; 2) caractersticas gerais e profissionais dos professores; 3) contedos do
currculo; 4) material utilizado durante a instruo; 5) descrio
fsica da instituio; 6) organizao da escola; e 7) anlise do contexto da comunidade em que o programa se desenvolveu.
48
5/29/15 3:37 PM
Ainda dentro da linha apresentada por Stake (1973), a avaliao de programa se preocupa em medir diferentes dimenses,
envolvendo habilidades, compreenso e capacidade de interpretar conceitos, por exemplo, cujos resultados devem ser apresentados e interpretados nos relatrios parciais e no documento
final. Essas mensuraes, ocorridas em diferentes momentos da
avaliao do programa, procuram apresentar as suas consequncias, ou seja, os seus resultados. Alm desses resultados, muitas
vezes, no decorrer do projeto, so verificadas atitudes e habilidades motoras. necessrio que se ressalte, quanto s mensuraes,
que elas no podem ficar restritas ao esquema bastante simplista do pr e ps-teste, devendo, ao contrrio, ser adotado um esquema de avaliao formativa.
O relatrio de avaliao apresenta, dessa forma, os efeitos
do programa em relao aos alunos, porm no fica restrito a
esse segmento. Oferece, tambm, informaes relacionadas ao
impacto sofrido pelos professores e pela prpria instituio em
que o programa est sendo aplicado. Essas informaes devem
ser levantadas por intermdio de mltiplas coletas, com o uso de
diferentes tipos de instrumentos, e no podem ficar limitadas
aplicao de um nico teste, questionrio ou a um simples julgamento de professores, como ocorre em frequentes avaliaes.
Ao apresentar o relatrio, necessrio que o avaliador
responsvel pela equipe de trabalho insira uma descrio da
filosofia que serviu de base para a definio e estruturao do
programa que est sendo objeto da avaliao ou, resumindo,
a fundamentao terica do programa, que no pode ser desconhecida pelos que avaliam, mas muitas vezes ignorada por
quem implementa o projeto. preciso levar em conta, por outro
lado, que existem diferentes posicionamentos filosficos em relao educao, sendo necessrio que se caracterize, no documento de disseminao da avaliao, qual a filosofia que serviu
de base para a definio e a construo do programa.
O avaliador, ao considerar o conjunto das atividades que
sero empreendidas pela sua equipe, necessita considerar o
corpo do programa na sua inteireza e identificar os aspectos
que tero maior destaque pela importncia no todo a ser avaliado. Nem tudo incorporado ao conjunto das preocupaes
do avaliador. H aspectos que, por seu significado, configuram
realmente o programa e, assim, merecem ser considerados; so
49
5/29/15 3:37 PM
4 Para uma anlise dos

mtodos sociomtricos
e sua fundamentao,
ver Merleau-Ponty (1990).
50
partes que, por serem essenciais ao programa, vo exercer influncia no seu xito.
Stake (1973), com razo, chama a ateno para o fato de que
o avaliador no deve procurar identificar, na anlise do programa, objetivos referentes a comportamentos. A sua preocupao
centra-se, especialmente, nos objetivos da instituio que adotou
o programa, nos dos pais/responsveis em relao ao programa,
assim como nos objetivos dos alunos, dos professores e nos objetivos que por ventura outros membros da instituio interessados no programa possam ter. Esses objetivos so considerados
durante o transcurso da avaliao, e as vrias audincias ficaro
a par desses objetivos surgidos aos poucos e identificados no decorrer do processo de avaliao. preciso ficar claro, portanto,
que a avaliao no parte de objetivos, mas os vai identificando
no decorrer do processo.
A necessidade de coletar informaes ao longo da avaliao
encarecida por Stake (1973), que, entre outras informaes,
destaca as que se referem 1) a procedimentos instrucionais,
2) a estratgias de ensino adotadas, e 3) a diferentes meios
(e multimeios) empregados pelos professores. Esses elementos
podem ser levantados por intermdio de entrevistas e pela utilizao das mltiplas tcnicas de observao (Vianna, 2000). Ao serem realizadas as observaes necessrio que se caracterizem
os elementos que comprovam o efetivo desempenho dos professores e dos alunos em sala de aula. Alm do mais, importante
que, por intermdio da observao, seja constatada a interao
professor/aluno, a ser objeto de anlise pela equipe.
Ao realizar a avaliao, alm das caractersticas ligadas ao
nvel de competncia dos alunos, precisa ser considerada a sua situao social, varivel esta que pode concorrer para explicar o desempenho escolar. A situao social, segundo Stake (1973), pode
ser apresentada sob a forma de um sociograma4, sendo til esse
dado para mostrar os diferentes tipos de contato social, caso se
realizem avaliaes sucessivas. Outro aspecto a considerar refere-se ao contexto social, ou seja, relao entre a comunidade e a
escola. Ambas devem ser apresentadas com o mximo de detalhes
para que, na hiptese de comparaes e generalizaes, o avaliador possa decidir sobre a efetividade desses procedimentos.
preciso atentar para o fato de que, ao ser adotado o esquema ora apresentado, com base na orientao de Robert L.
5/29/15 3:37 PM
Stake, imprescindvel a fixao e definio de padres para

que se possa fazer julgamento de valor sobre a qualidade efetiva
do programa. Ao serem definidos esses padres devem ser levados em conta valores, crenas e mltiplas exigncias sociais em
relao aos vrios tipos de aprendizagem e s diferentes situaes da escola. reconhecidamente sabido por todos que se dedicam avaliao que esses padres so difceis de estabelecer.
Assim, tomando-se uma situao hipottica: avaliao de um
programa de Matemtica ou um outro de Literatura Brasileira
para o ensino mdio, seria certamente necessria uma consulta
significativa para saber a opinio de professores universitrios
e de professores atuantes nos dois ltimos anos do ensino bsico, a fim de que seja possvel estabelecer padres de qualidade
relevantes para a programao educacional dessas duas reas
curriculares. Ressalte-se, entretanto, que, nessa situao, nem
sempre possvel chegar a um resultado consensual, mas o empreendimento precisa ser tentado.
Qual o impacto do programa? Uma avaliao procura determinar em que medida o programa teve algum significado
para escola e para o sistema ao possibilitar outras experincias
e mudanas de comportamento. Um novo programa, no dizer
de Stake, deve oferecer oportunidades para que modificaes sociais igualmente ocorram. Por exemplo, qual o impacto da visita
dos alunos da 8 srie de uma escola estadual Bienal do Livro?
Qual o impacto das palestras de professores universitrios sobre
a importncia da teoria da relatividade em um novo programa
de fsica para os alunos de uma escola de ensino mdio? Qual o
impacto provocado nas primeiras sries do ensino fundamental em decorrncia da introduo de um programa sobre a arte
de contar estrias para professoras? Ou seja, o programa a ser
avaliado proporcionou novas oportunidades aos alunos? Houve,
realmente, alguma mudana nos alunos, nos professores e na
prpria escola? Sem dvida, essas so importantes indagaes a
serem propostas pelo avaliador ao iniciar o seu trabalho, conforme as colocaes de Stake (1973).
Um programa, em princpio, deve proporcionar ganhos aos
alunos. Muitas vezes, entretanto, os avaliadores se decepcionam
porque os ganhos esperados so reduzidos. Uma primeira explicao para o problema estaria, muito possivelmente, na ausncia de instrumentos capazes de constatar diferenas nos diversos
51
5/29/15 3:37 PM
tipos de ganhos no transcurso de um programa. Os instrumentos ora empregados podem ser vlidos para a medida de diferentes tipos de atitudes e a identificao de diversos nveis de
desempenho, mas no refletem, necessariamente, o impacto dos
programas. Essa uma problemtica bastante sria, porquanto,
salvo as excees de sempre, poucas ou raras so as instituies
que se dedicam a criar instrumentos sensveis medida do impacto provocado pelo desenvolvimento de um programa; consequentemente, como atesta Stake (1973), difcil apresentar um
quadro completo do que est efetivamente ocorrendo no mbito
das instituies educacionais.
A caracterizao dos efeitos de um programa outro aspecto a considerar. Algo acontece, sem sombra de dvida, nas
salas de aula, algo alm do tradicional detalhamento dos programas curriculares e das possveis expectativas de professores,
mas esse algo apresenta dificuldades para a tarefa do avaliador,
mesmo que seja um profissional bastante experimentado em
seu mtier. Um caminho provvel para tentar identificar alguma
coisa sobre esse algo desconhecido, que todos sabem existir,
segundo a colocao de Stake (1973), estaria em analisar as
habituais crticas aos programas educacionais; os comentrios,
muitas vezes azedos, sobre as metodologias utilizadas; e, ainda,
as crticas ao material didtico empregado, entre outros aspectos. Uma outra alternativa possvel, proposta por Stake (1973),
consistiria em fazer uma anlise dos dados de diferentes pesquisas educacionais, dados estes que permitiro ao avaliador
identificar variveis teis para a avaliao e para a soluo de
seus possveis problemas.
Todo projeto de avaliao tem um custo que no apenas
financeiro, mas que precisa ser estimado e o seu oramento
controlado, tendo em vista solicitaes e novas ideias que possam gerar despesas no previstas. Outros custos existem, como
os de pessoal, considerando que uma avaliao de programa
exige uma equipe capacitada, cujo custo nem sempre possvel traduzir em termos quantitativos, mas que no deixa de ser
um custo, e que a avaliao de programas demanda um tempo
razoavelmente longo para a sua concretizao. Por outro lado,
h o custo relativo ao aluno, que se v envolvido numa atividade nem sempre interessante para ele. A sua participao significa horas extras de trabalho, aumento de tenso e a conscin-
52
5/29/15 3:37 PM
cia de que est sendo observado por um estranho ao seu grupo,

e por mais que se tente explicar que a avaliao do programa,
o aluno sempre acredita ser o objeto imediato da avaliao.
Todo esse custo deve ser ponderado, conforme o destaque de
Stake (1973), vindo a constituir-se em uma varivel cujo valor,
no final, nem sempre pode ser estimado com preciso.
Ao ser realizada a avaliao de um programa imprescindvel que se estabeleam os vnculos que possam existir entre
aquilo que foi pretendido e o que foi realmente observado.
A anlise dessa convergncia vai mostrar ao avaliador se pode
considerar como aceitvel ou no essa ocorrncia. Nesse ponto, o avaliador se coloca diante de uma grande interrogao:
o que causa realmente o qu? ou, em outras palavras, quais
as aes que correspondem a determinados resultados? Fica
claro que h necessidade de estudar de que modo as coisas
variam simultaneamente, a fim de que se possa estabelecer
relaes de causa e efeito. A partir dessas relaes, comparaes podem ser feitas; atente-se, entretanto, para o fato de que
a covarincia muitas vezes pouco frequente, ainda que no
seja impossvel de ocorrer.
Avaliar est associado a julgamentos de valor e sobre isso
parece haver razovel consenso, na medida em que possvel chegar a um consenso no campo da educao. Algumas
indagaes novamente se impem, como fez Stake (1973):
qual o valor do programa? qual o valor das informaes coletadas? ou, qual o valor dos objetivos do programa? Ao fazer
uma avaliao de programa, o avaliador procura estabelecer,
primeiramente, questes de mrito e, a seguir, apresentar os
problemas que foram revelados no decorrer do processo de
avaliao. Reitere-se, mais uma vez, que na avaliao de programas no se visa a chegar a uma posio consensual, o que
quase impossvel, considerando que alunos, professores e
administradores podem ter vises inteiramente diferentes
sobre um mesmo objeto; assim, a partir de mltiplas fontes,
com as mais variadas percepes, o avaliador v-se na contingncia de apresentar juzos de valor que nem sempre coincidem
com os que foram manifestados por outras pessoas. A relevncia
de uma avaliao, consequentemente, vai decorrer do bom senso do avaliador, da sua expertise e da sua capacidade de interagir
com diferentes audincias interessadas5.
5 Para uma viso mais ampla

da avaliao de programas em
pases com larga experincia
nessa atividade, ver os artigos
de Jean A. King, Alice Dignard
e John M. Owen, em Kellaghan
e Stufflebeam, 2003, v. II,
p.721-768, que tratam da
temtica, respectivamente,
nos Estados Unidos,
no Canad e na Austrlia.
53
5/29/15 3:37 PM
4. Consideraes finais
As partes envolvidas na avaliao de um programa precisam partir, necessariamente, de um processo de negociao, conforme
destaque anterior, a fim de que os seus interesses sejam definidos
e a avaliao possa atingir os objetivos propostos. A negociao
vai possibilitar que os grupos envolvidos, atendendo dinmica
de um processo democrtico, definam suas concordncias e eliminem possveis situaes de conflito, prejudiciais ao trabalho.
O impacto de um programa de avaliao est diretamente
ligado ao sucesso da disseminao dos resultados. Uma poltica de divulgao dos resultados precisa considerar os diferentes
grupos interessados para que, em funo de suas caractersticas, possam ser selecionadas as informaes que correspondem
diversidade dos vrios interesses. Assim, a validade de uma
avaliao depende grandemente da disseminao criteriosa das
informaes para as vrias audincias.
Ao finalizar o presente artigo, importante destacar a criao
da memria do projeto, atividade que no pode ser desprezada em
nenhum momento do seu processo de gerenciamento. As avaliaes repetem-se ao longo do tempo e a documentao referente a
atividades anteriores pode contribuir para evitar que sejam duplicados trabalhos antes definidos, planejados, desenvolvidos e concretizados. O material para a realizao de novas avaliaes pode,
assim, ser aprimorado luz de experincias anteriores.
5. Referncias bibliogrficas
HOUSE, E. R.; HOWE, K. R. Deliberative democratic evaluation. In: KELLAGHAN,
T.; STUFFLEBEAM, D. L. (Ed.) International handbook of educational evaluation.
Boston: Kluwer Academic, 2003. v. II. p. 79.
KELLAGHAN, T.; STUFFLEBEAM, D. L. (Ed.) International Handbook of Educational
Evaluation. Boston: Kluwer Academic, 2003. v. II, section 8, p. 699.
MADAUS, G. et al. Evaluation models: viewpoints on education and human
services evaluation. Boston: Kluwer-Nijhoff, 1993.
MERLEAU-PONTY, M. Conversas: 1948. So Paulo: Martins Fontes, 2004. p. 50.
______. Merleau-Ponty na Sorbonne: resumo de cursos, filosofia e linguagem.
Campinas: Papirus, 1990.
54
5/29/15 3:37 PM
STAKE, Robert L. Evaluation design, instrumentation, data collection, and

analyses of data. In: WORTHEN, Blaine R.; SANDERS, James R. (Ed.) Educational
evaluation: theory and practice. Worthington, Ohio: Charles A. Jones, 1973.
VIANNA, Heraldo M. Pesquisa em educao: a observao. Braslia: Plano, 2000.
55
5/29/15 3:37 PM
Fundamentos
de um Programa de
Avaliao Educacional1
Tudo aquilo que sei do mundo, mesmo por cincia, eu o sei a

partir de uma viso minha ou de uma experincia do mundo
sem a qual os smbolos da cincia no poderiam dizer nada.
Todo o universo da cincia construdo sobre o mundo vivido,
e se queremos pensar a prpria cincia com rigor, apreciar
exatamente seu sentido e seu alcance, precisamos primeiramente
despertar essa experincia do mundo da qual ela a expresso
segunda. A cincia no tem e no ter jamais o mesmo sentido
de ser que o mundo percebido, pela simples razo de que ela
uma determinao ou uma explicao dele.
A percepo no uma cincia do mundo, no nem mesmo um
ato, uma tomada de posio deliberada; ela o fundo sobre
o qual todos os atos se destacam e ela pressuposta por eles.
Maurice Merleau-Ponty2
Estudos em Avaliao
Educacional, n. 28, p. 33-37,
jul./dez. 2003.
2 MERLEAU-PONTY,
Maurice. Fenomenologia da
percepo. 2 ed. So Paulo:
Martins Fontes, 1999. p. 3-6
[Traduo de Carlos Alberto
Ribeiro de Moura].
56
As reflexes sobre avaliao, ora registradas, decorreram de experincias pessoais a partir de 1962 e se expandiram aps 1969,
compreendendo a publicao de livros e a elaborao de artigos,
5/29/15 3:37 PM
especialmente os publicados em Educao e Seleo (1980-1989) e

em Estudos em Avaliao Educacional (1990-2003), ambas edies
da Fundao Carlos Chagas, So Paulo, SP. Contriburam, tambm, na atualidade, com bastante intensidade, para a configurao dessas percepes, as discusses e o excelente material
gerado pelo Grupo de Trabajo sobre Estndares y Evaluacin del Preal,
sobre Las polticas de evaluacin de logros de aprendizaje en los sistemas educativos de Amrica Latina, no Foro de Discusin 20023, de que
participaram educadores da Argentina, Brasil, Chile, Colmbia,
Costa Rica, Equador, Estados Unidos, Guatemala, Honduras,
Mxico, Nicargua e Peru . As reflexes aqui consignadas procuram identificar aspectos da ao de avaliar, no conjunto das
prticas educacionais, e esperam levar a outros pensares capazes de uma definio dos marcos fundamentais de uma poltica
de avaliao no sistema educacional brasileiro.
Os elementos levantados nos vrios tipos de avaliao seja
de sala de aula ou de sistemas devem ser analisados por professores e tcnicos especializados nas vrias reas curriculares, a
fim de que sejam incorporados ao planejamento escolar e contribuam para o processo educacional. A avaliao no um valor
em si e no deve ficar restrita a um simples rito da burocracia
educacional, necessita integrar-se ao processo de transformao
do ensino/aprendizagem e contribuir, desse modo, ativamente,
para o processo de transformao dos educandos.
A expresso cultura da avaliao integra, atualmente, a
constelao de palavras tcnicas no mbito da comunidade educacional e aos poucos se vai tornado verdadeiro lugar comum,
quase que simples figura de retrica; no entanto, preciso que
essa expresso se liberte do seu carter de mero trusmo e se
transforme numa efetiva poltica de ao.
As questes relacionadas ao emprego nem sempre adequado
dos instrumentos de medida em avaliao educacional devem ser
dimensionadas a fim de que os resultados faam sentido e permitam a orientao das atividades docentes; assim, importante
que se aprofundem estudos ligados avaliao de processo com
o uso de instrumentos referenciados a critrio, como pea
fundamental das atividades de aprendizagem em sala de aula.
H que pensar em termos de unificao das vrias avaliaes em relao aos sistemas educacionais; contudo, fundamental que cada sistema considere a diversidade do seu espao
3 Ver: GRUPO DE TRABAJO

SOBRE ESTNDARES Y
EVALUACIN DEL PREAL
Foro de Discusin n 1.
Las polticas de evaluacin
de logros de aprendizaje en
los sistemas educativos de
Amrica Latina. Sntesis 1, 2, 3
y 4. Resumen Final. GRADE/
REAL. Foro de Discusin
2002. Disponvel em: http://
www.grade.org.pe/gtee-preal Seccin Foro.
57
5/29/15 3:37 PM
social, econmico e cultural, a fim de evitar interpretaes
comprometidas e que comparaes intra e entre sistemas no levem a colocaes destitudas de valor educacional ou que gerem
proposies falaciosas.
Os resultados das avaliaes no devem ser usados nica e exclusivamente para traduzir um certo desempenho escolar. A sua
utilizao implica servir de forma positiva na definio de novas
polticas pblicas, de projetos de implantao e modificao de currculos, de programas de formao continuada
dos docentes e, de maneira decisiva, na definio de elementos
para a tomada de decises que visem a provocar um impacto,

ou seja, mudanas no pensar e no agir dos integrantes do sistema.
A avaliao educacional no subsiste isoladamente, devendo
estar associada a outros programas, destacando-se, inicialmente, o de capacitao docente, em que a rea da avaliao deve
integrar, necessariamente, o conjunto das atividades que levam
formao de professores em quaisquer dos nveis de ensino; por outro lado, a avaliao precisa estar ligada pesquisa educacional
voltada para a realidade dos problemas educacionais relevantes.
A ltima dcada do sculo XX foi rica de avaliaes em
larga escala, no mbito internacional e nacional, neste ltimo
caso nos vrios nveis da administrao governamental; nessa
dcada que se inicia, comeo de um novo sculo, contemplando o passado, devemos nos perguntar: qual o impacto dessas
avaliaes? E se no houve efetivamente qualquer tipo de impacto, por mnimo que tenha sido, por que no ocorreu? Avaliao e crtica da avaliao (meta-avaliao) devem coexistir
em um projeto educacional bem estruturado.
A avaliao educacional no objetiva subsidiar, exclusivamente, a cpula administrativa; avaliao deve seguir-se um
trabalho bem planejado de difuso dos resultados e das suas
anlises, a fim de que a sociedade (interna e externa ao sistema)
acompanhe o trabalho institucional e possa julgar o seu mrito,
inclusive a eficincia transformadora da sua ao.
A partir do esprito de uma nova cultura da avaliao, alm
da difuso dos resultados, necessrio que se definam diretrizes
sobre como usar, produtivamente, esses resultados na melhoria
do processo de uma educao que seja eficiente e consequente,
evitando-se, desse modo, que os resultados fiquem restritos
a uma adjetivao pouco satisfatria.
58
5/29/15 3:37 PM
Uma poltica de estruturao de programas de avaliao

no pode ficar restrita ao mbito da escola, deve, necessariamente, abranger todos os nveis da hierarquia da administrao educacional, a partir das Secretarias de Estado, quando for o caso,
passando por outros nveis, inclusive tcnicos, at chegar sala
de aula e ao professor. A avaliao, consequentemente, no
uma ao isolada, integra toda a comunidade educacional e a
prpria sociedade.
A definio de uma poltica de avaliao educacional
demanda mltiplas consideraes, no se restringindo, apenas,
ao domnio do conhecimento e ao seu uso na prtica. preciso
considerar que, a par do conhecimento para um futuro desempenho, outras dimenses (sociais, culturais e at mesmo ticas)
devem ser necessariamente avaliadas e que o programa envolva
aspectos quantitativos e qualitativos, incluindo, se possvel, interesses, atitudes e valores.
Ao implementar um programa de avaliao h uma preocupao maior em organizar diferentes equipes para fins diversos:
administrar, elaborar manuais, construir instrumentos, elaborar
questionrios, definir logstica, orar despesas, processar dados, analisar informaes, elaborar relatrios; contudo, quase
sempre se omite a equipe responsvel pela disseminao dos
resultados, junto aos rgos centrais, s escolas, s famlias,
criando-se, assim, um vcuo nas comunicaes, talvez o responsvel maior pela ausncia de um efetivo impacto transformador.
Avaliaes internas so realizadas pelas unidades do sistema com frequncia s vezes modesta, e avaliaes externas so
promovidas por diferentes rgos oficiais, muitas vezes com a
colaborao de instituies privadas, havendo, entretanto, uma
falta de sincronia entre essas avaliaes, que no tm uma ao
efetiva na melhoria da educao. Aps sua aplicao, deixam as
avaliaes de utilizar o seu potencial energtico, entregando-se a uma verdadeira exausto, at que novo programa se realize,
igualmente sem maiores repercusses.
A avaliao no uma atividade em abstrato, que se realize, como muitas vezes ocorre na prtica, ignorando a diversidade dos currculos e a multiplicidade de metodologias de
ensino empregadas por professores com diferentes formaes (ou ausncia de qualquer formao pedaggica), alm
de posicionamentos diversos quanto s suas reas de atuao.
59
5/29/15 3:37 PM
importante que as avaliaes sejam discutidas por diferentes

segmentos sociais e os seus resultados examinados em funo
da diversidade das caractersticas sociais e em relao proposta poltica que define as linhas mestras da educao. A ausncia
dessas preocupaes pode comprometer a continuidade dos
programas de avaliao.
Um dos problemas a considerar em um programa de avaliao centra-se na capacitao tcnica daqueles que se propem
a concretizar o empreendimento. Os avaliadores nem sempre
dispem de uma formao especifica, abrangente da complexidade dos diferentes procedimentos avaliativos; executando, desse
modo, as suas atividades de maneira amadorstica e na base de
uma possvel experincia pessoal. o fazer por imitao ou o fazer pela reproduo de prticas tradicionais no ambiente escolar. H, assim, necessidade, talvez urgentssima, de formao de
quadros tcnicos, a partir de pessoas com experincia docente,
para que as avaliaes tenham prosseguimento e no fiquem restritas a uma existncia episdica sem maiores consequncias.
H que pensar nos projetos de avaliao para o ensino bsico no que dispem as Propostas Curriculares Nacionais (PCN),
em termos da realidade nacional vivenciada pelos professores.
Houve um grande esforo do governo federal, no caso especfico
do Brasil, em definir, s vezes com excesso de detalhes, o que se
propunha para o ensino fundamental e mdio. Entretanto, uma
pergunta se apresenta de imediato a quem se proponha a analisar
o que vem sendo efetivamente realizado: as avaliaes esto
realmente centradas nas propostas curriculares? A essa indagao segue-se outra: as propostas curriculares esto sendo efetivamente seguidas no pas? As propostas curriculares
deveriam ser os referenciais para as avaliaes, que definiriam
padres mnimos de desempenho, mas uma terceira pergunta se
apresenta: no seriam os livros didticos, na sua diversidade qualitativa, os verdadeiros referenciais no apenas para
a avaliao, mas para o prprio ensino?
As instituies educacionais, nos seus diversos nveis, ao

detalharem seus programas indicativos das disciplinas que integram o programa curricular, devem, em funo dos objetivos institucionais e as caractersticas educacionais, culturais e sociais
do seu corpo discente, definir, operacionalmente, cada um
dos conhecimentos associados s habilidades esperadas, a
60
5/29/15 3:37 PM
fim de que possam caracterizar o nvel de capacidade de cada

um e promover a acelerao dos que se acham em dficit com os
padres estabelecidos. Ao mesmo tempo, impe-se dar cincia da
situao aos interessados, inclusive famlia, para que participem da atividade docente. importante que a sociedade saiba a
que a escola se prope, em termos de competncias educacionais
e sociais necessrias, para a concretizao da cidadania.
Os padres para avaliao devem ser pontos de referncia para toda a populao e refletir as necessidades dessa populao, independentemente de etnia, nvel social e econmico,
evitando-se discriminaes que possam criar diferentes nveis
de cidados e acentuar ainda mais as desigualdades que marginalizam e estigmatizam os indivduos. Todos os seres humanos tm condies de realizar diversos tipos de aprendizagem
e estruturar novos comportamentos desejveis, limitando-se a
questo, na realidade ao timing de cada um, que varia em funo
de diferentes contingncias, como acentuaram Benjamin Bloom
e outros, na definio e estruturao de programas de mastery
learning (aprendizagem para o domnio).
A definio de padres ou parmetros educacionais
condiciona, certamente, o tipo de avaliao a realizar e as caractersticas dos instrumentos a empregar nos diversos momentos
do processo de aprendizagem que visa a formao e, simultaneamente, a transformao dos alunos. preciso ressaltar que esses
padres no se devem revestir de um carter esttico de permanncia no tempo; ao contrrio, devem ser revistos periodicamente, elaborados luz de experincias, modificados, quando
for o caso, e at mesmo suprimidos se no mais corresponderem realidade socioeducacional e no atenderem s exigncias
e necessidades da sociedade.
Ainda que a avaliao por critrio deva ser norma geral
para o ciclo inicial de formao, entre 7 e 14 anos de idade, e
instrumentos por norma possam ser usados nas demais fases,
inclusive nos cursos de nvel superior, ou que se faam combinar
em um nico instrumento a caracterstica de critrio e norma,
apesar de seus resultados serem mais complexos de interpretar,
queremos crer que, independentemente do aspecto formal dos
instrumentos, o importante, nessa fase das consideraes ora
oferecidas, chamar a ateno para a necessidade de eliminar
o carter coercitivo/punitivo atribudo avaliao, que sanciona
61
5/29/15 3:37 PM
alunos, impondo-lhes reprovaes nem sempre justificveis e,

s vezes, de forma indireta, solicitando que os estudantes de baixo desempenho, mesmo acima de um possvel mdia terica, se
afastem espontaneamente da instituio para no prejudicar
o prestgio que esta possa usufruir na sociedade, diante de um
possvel futuro fracasso do aluno, especialmente no acesso ao
ensino superior. O que realmente importa que a avaliao tenha um efetivo carter formativo e represente um plus que faa
diferena para melhor na vida do aluno; contudo, para que isso
ocorra, preciso um passo mais amplo no processo de formao continuada dos professores, preparando-os para um agir
diverso daquele consagrado pela tradio rotineira.
necessrio que no se superestime a questo da definio de parmetros e competncias desejadas. Ao lado disso,
e prioritariamente, imprescindvel que se estruture todo um
processo de formao continuada dos professores e do corpo
administrativo para que ambos recebam o embasamento necessrio concretizao satisfatria de uma tarefa que certamente
demanda grandes esforos de planejamento. So conhecidas as
deficincias profissionais, sobretudo numa poca de pouca
valorizao do magistrio e do pouco atrativo que ele representa para os mais talentosos. Alm do mais, ressaltemos a
imperiosidade do preparo de material didtico adequado
a diferentes situaes, a fim de superar possveis desvios ou
deficincias de aprendizagem e impedir, assim, que se consolidem situaes que mais tarde sero difceis de reverter.
A avaliao no deve utilizar critrios de classificao das
escolas (ranking), segundo o desempenho da instituio, para
fins de divulgao e conhecimento pblico das que poderiam
ser consideradas como sendo as melhores, em funo dos seus
resultados. As possveis e reduzidas vantagens do ranking no desenvolvimento de uma nova cultura da avaliao acabam por
ser superadas por uma problemtica bem mais complexa, que
a gerao de uma competitividade negativa no interior da
instituio. O insucesso em avaliaes pode resultar de numerosos fatores (sociais, econmicos e at mesmo culturais, como
no caso bem conhecido recentemente de escolas na Inglaterra,
aps a chamada era Thatcher) e no, necessariamente, de razes
pedaggicas associadas provvel ineficincia do magistrio.
O possvel insucesso, caso seja institucional, deve ser objeto de
62
5/29/15 3:37 PM
pesquisa, anlise e discusses dentro da prpria instituio,
com a participao efetiva e solidria da famlia, que tambm

integra o processo de avaliao.
Um problema a considerar na implantao de um programa de avaliao educacional centra-se na indagao sobre o que
fazer com os resultados obtidos. preciso considerar, por outro
lado, se esses resultados sero realmente compreendidos e absorvidos pelos vrios segmentos interessados. Certamente que h
necessidade do estabelecimento de relao dialgica entre todos
os participantes; por outro lado, deve-se pensar, igualmente, na
necessidade da formao de equipes tcnicas capazes de analisar os dados, identificar problemas e atentar para as implicaes
desses mesmos resultados na definio das polticas pblicas no
campo da educao. A sociedade, por sua vez, deve aperceber-se
do significado da avaliao e das lies que pode proporcionar
para toda a comunidade, mesmo para os segmentos que mantm
frgeis relaes com o mundo da educao.
A avaliao educacional em uma instituio ou em um sistema no deve resultar de decises individuais, mas refletir um
consenso em que diferentes atores professores, administradores, tcnicos, alunos e a prpria famlia, como intrprete da
sociedade procuram definir os objetivos e finalidades da avaliao, alm de outros pontos de relevncia, como o tipo de instrumento a utilizar, a definio de responsabilidades dos construtores de questes/itens, a estruturao de procedimentos
logsticos para a sua aplicao, a escolha de um tipo de escore
ou nota que faa sentido para o grupo avaliado e para a prpria
sociedade, alm, naturalmente, de definir os parmetros para a
anlise dos resultados e estabelecer os grupos responsveis por
sua interpretao; contudo, ainda que tudo isso e outros elementos mais sejam estabelecidos de forma criteriosa, preciso
colocar uma indagao relevante em toda e qualquer avaliao:
o que fazer com os resultados? Essa uma questo com inmeras implicaes, que precisam ser consideradas e amplamente
discutidas, a fim de evitar que os dados levantados no sejam
condenados ao silncio de um arquivo morto.
Uma questo que merece ser objeto de reflexo consiste na
relao entre o professor e o processo de avaliao. Qual o uso
que os professores fazem dos resultados das mltiplas avaliaes
a que seus alunos so expostos durante sucessivos anos letivos?
63
5/29/15 3:37 PM
necessrio sempre pensar na avaliao no contexto de um

processo formativo: a avaliao para orientar os procedimentos docentes; a avaliao para sugerir novas estratgias eficientes
de ensino que levem a uma aprendizagem que seja relevante
para o aluno como pessoa humana; a avaliao como um fator
de orientao de todo o processo docente, envolvendo no apenas
conhecimentos, mas incluindo o despertar de novos interesses e
a formao de valores; a avaliao como uma ponte que une professor e aluno visando a um processo interativo gerador de novas
aprendizagens; a avaliao como fator capaz de gerar elementos
que facilitem a superao dos problemas curriculares e que muitas vezes decorrem de conflitos entre a realidade da escola e o
contexto sociocultural em que a mesma se situa. A avaliao, enfim, deve ser um dilogo de todo o sistema com a sociedade
e do qual o professor participa, mostrando os resultados do seu
trabalho, inclusive reconhecendo possveis erros, mas, ao mesmo
tempo, procurando apresentar novas ideias para que a escola se revele uma instituio criativa que consegue superar os obstculos
da burocracia que muitas vezes a sufoca e envolve todo o sistema.
Existe uma necessidade imperativa de que sejam definidos
padres nacionais e regionais que funcionem como referenciais
orientadores para os diferentes tipos de avaliao; entretanto,
necessrio que esses padres ou parmetros no ignorem o carter vertiginoso das modificaes que os conhecimentos sofrem a
fim de que a escola no seja reprodutora de elementos obsoletos.
Ainda que a escola muitas vezes seja agncia revestida de grande conservadorismo, no pode ignorar as mudanas que ocorrem nas vrias dimenses da sociedade e permanecer apegada
a padres rgidos, inclusive quanto a procedimentos avaliativos.
Precisam ser geradas novas formas de avaliar o que demandar esprito criativo dos educadores , combinando elementos
quantitativos e qualitativos, com maior destaque para esses
ltimos, mas suplantando a dicotomia a que se sujeitam os avaliadores, que se restringem a instrumentos referenciados a critrios e a normas. Ressaltemos, contudo, que os padres antes referidos no devem ser obrigatoriamente consensuais, impondo-se
que na sua definio sejam consideradas as diversidades sociais,
econmicas e culturais.
As avaliaes, alm das caractersticas normais relacionadas
a diversos tipos de validade (contedo, preditiva e de construto),
64
5/29/15 3:37 PM
devem ter, necessariamente, validade consequencial. A expresso pode determinar controvrsias, necessitando, portanto, ser
plenamente esclarecida. A validade consequencial no se refere
a distines, prmios e/ou bnus, e muito menos a rankings e menos ainda a comparaes. fundamental que os resultados das
avaliaes cheguem aos alunos, aos pais, aos educadores e
a toda a comunidade educacional, no devendo ficar restrita
apenas aos policy-makers da administrao escolar. Os resultados

das avaliaes tm suas implicaes, no podendo ser tratados,
assim, como uma contabilidade educacional. A avaliao deve ter,
forosamente, consequncias, se pretendemos pensar em termos
da consolidao da chamada cultura da avaliao. A consequncia
a que nos referimos est relacionada a novas formas de pensar e
agir, demonstrando, assim, que os resultados de uma avaliao
fazem diferena e promovem o crescimento da pessoa como ser
humano e membro da sua sociedade. Esta sociedade, por sua vez,
no pode ficar distanciada do que ocorre na escola, indiferente
constatao dos resultados apresentados, que devem ser discutidos com racionalidade e definidos os caminhos para uma soluo
sensata dos problemas que essas avaliaes refletem.
Avaliar um agir que se reveste de complexidade, ainda que
quase todos professores e no-professores se sintam qualificados para expressar juzos de valor, cerne de todo processo avaliativo. Se ficarmos restritos ao campo educacional, rea de maior
interesse no caso presente, constatamos que quase todos temos
os nossos sistemas ideais de avaliao, mas que nem sempre resistem a uma anlise crtica mais aprofundada. A tendncia observada que tendemos a reproduzir processos de avaliao que nos
foram transmitidos por antigos professores, durante nossa formao acadmica. Isso pode significar alguns acertos, mas, na maioria das vezes, defrontamo-nos com desacertos. Por que? A resposta
muito possivelmente est relacionada formao dos professores ou mais exatamente ausncia de formao dos educadores
no campo da avaliao. As licenciaturas concentram-se mais nos
contedos substantivos do currculo das disciplinas, aos quais so
acrescentadas algumas informaes pedaggicas, sendo a avaliao de uma forma bastante simplista identificada apenas com a
verificao da aprendizagem. Impe-se uma nova orientao do
processo de formao dos professores a fim de atualizar a atual
gerao de educadores e, ao mesmo tempo, criar condies para
65
5/29/15 3:37 PM
4 DESCARTES, Ren
(1596-1650). Princpios da
Filosofia. Portugal: Porto
Editora, 1995. Coleo
Filosofia Textos. [Introduo
e comentrios de Isabel
Marcelino. Traduo de Isabel
Marcelino e Teresa Marcelino.]
66
que futuras geraes tenham conscincia de que ensinar, aprender e avaliar constituem um processo interativo contnuo.
A avaliao no pode ignorar as vrias dimenses do contexto escolar, tendo em vista a influncia que o mesmo tem, e
com destaque especial, na definio das diferentes propostas de
avaliao, cujo objetivo maior, no final, e sem que paire qualquer dvida, centra-se na melhoria do proceder educacional.
preciso atentar para o fato de que nesse momento crtico,
e no apenas para o professor ou para o avaliador, que todos
os envolvidos na ao educativa fazem diferentes opes sobre
como obter informaes compreensivas que permitam decises
individualizadas ou outros elementos que possibilitem amplas
generalizaes sobre os diferentes atores dessa complexa teia
que o ato de ensinar e educar. Alm disso, em funo desse
contexto em que a avaliao se concretiza que diversas opes
precisam ser definidas de uma forma consistente pelo professor/avaliador: avaliao por critrio ou norma; avaliao
formativa ou somativa; avaliao interna ou externa entre
outras questes igualmente possveis e relevantes para os procedimentos subsequentes da avaliao. No se pode deixar de levar
em conta que os elementos obtidos por intermdio das avaliaes devem ser, necessariamente, interpretados em funo do
contexto em que foram levantados, o mesmo ocorrendo com
a sua disseminao para os diferentes segmentos interessados
nesse tipo de conhecimento.
A educao, em razo do momento histrico, social e poltico, considera seus objetivos e define metas a concretizar, no havendo, destaque-se, um modelo nico e geral que sirva a todos os
povos e a diferentes culturas. H um ponto sobre o qual parece
haver algum consenso, certo grau de concordncia entre educadores dos vrios sistemas educacionais: a educao no visa a
proporcionar apenas conhecimento. O processo educacional
procura formar, tambm, outros tipos de saberes: o saber ser,
o saber fazer e, especialmente, o saber pensar, que implica,
entre outras dimenses, o compreender, o querer, o imaginar e
o sentir, como j acentuava Descartes no distante sculo XVII4.
E a esses saberes agregam-se, ainda, habilidades, interesses,
atitudes e, particularmente, valores. Tudo isso importante
e necessita ser considerado durante a avaliao formativa/contnua. Esse considerar leva-nos a um aspecto da avaliao que
5/29/15 3:37 PM
fundamental para todos os seres humanos: a autoavaliao, a

capacidade de alunos (e por que no dizer, professores, tambm)
se autoavaliarem, procedimento que leva ao autoconhecimento
e demonstra a conscincia que o indivduo tem de si mesmo.
As reflexes anteriormente apresentadas consideram de
modo subjacente o contexto brasileiro e a sua experincia, rica
em ensinamentos, em decorrncia dos inmeros projetos de
avaliao implementados a partir do final dos anos 80 e intensificados nos anos 90, por iniciativa de diferentes reas administrativas (federais, estaduais e municipais), alm de algumas
poucas de iniciativa da educao privada. Atualmente, possumos volumosa soma de dados sobre escolaridade e variveis
socioeconmicas; contudo, precisamos comear a pensar na
sua destinao, ainda que tardiamente, tendo em vista a multiplicidade de usurios possveis. Uma coisa certa, e reiteramos
mais uma vez, os elementos coletados no podem ser de uso exclusivo da burocracia educacional. impositivo que os muitos
interessados existentes manifestem suas vises e a compreenso
que tm dos mesmos. Nesse sentido, com o objetivo de analisar
a qualidade da educao e seus problemas, necessrio que se
realizem workshops, mesas redondas, palestras, debates e outras
atividades mais, com a participao de professores, familiares,
alunos e diferentes segmentos sociais para que se aquilatem
o valor e o significado dos seus resultados, demonstrando,
dessa forma, a sua compreenso e identificando, tambm, os
pontos crticos que por ventura se tenham manifestado. A partir
das informaes coletadas possvel definir projetos de pesquisa sobre aspectos relevantes, fugindo, assim, replicao de
outras investigaes e de temas j exaustivamente estudados em
pesquisas anteriores ou realizadas em outros contextos diversos
da nossa problemtica educacional. Alm de definir projetos,
importante que se discuta a prpria poltica de avaliao e se
tracem novas polticas, alm, tambm, de pensar a sua fundamentao terica e as estruturas que sustentam essas avaliaes.
Em todos esses aspectos, importante que se tente envolver universidades e outros centros de excelncia que se ocupam com a
questo da qualidade da avaliao.
As avaliaes de sistemas levantam um nmero considervel
de informaes que nem sempre so tratadas adequadamente.
necessrio que se decida a priori o que fazer com os dados, so-
67
5/29/15 3:37 PM
bretudo porque, tendo em vista o destino escolhido, a deciso tomada vai influenciar de modo considervel o planejamento da
prpria avaliao. Anteriormente, procuramos dar mais destaque avaliao formativa, ao desenvolvimento individualizado.
A estrutura dessa avaliao no ter as mesmas caractersticas de
uma avaliao baseada em normas, que consideram o desempenho do conjunto amostral, expresso por estatsticas descritivas.
significativo, por outro lado, que se identifiquem os diversos
segmentos da sociedade que utilizaro, com inteligncia, conhecimento de causa e bom senso, os elementos informativos da avaliao. Nem sempre os mais interessados dispem de formao
profissional adequada para um trabalho em profundidade e que
tenha ressonncia na comunidade acadmica. No caso especfico
do contexto brasileiro, reconhecemos que h interesse em divulgar resultados e, nesse sentido, relatrios tcnicos so publicados, ainda que com uma certa demora; por outro lado, as autoridades educacionais, a fim de acelerar o processo de disseminao
das informaes, utilizam-se dos vrios rgos da mdia visando
a fazer com que os dados cheguem aos vrios segmentos sociais.
Isso, entretanto, no basta, no suficiente, quando no se promovem estudos analticos que identifiquem pontos positivos
do ensino/aprendizagem e as defasagens que se constatam, sendo
estas bem mais importantes do que aqueles primeiros.
A ao de avaliar sempre provoca reaes, muitas das quais
com caractersticas negativistas, argumentando que apenas aspectos cognitivos so destacados, sem considerar outros aspectos que, por sua natureza, so, muitas vezes, mais importantes
do que o simplesmente aprendido. preciso no esquecer, contudo, que ao avaliar, implicitamente, tambm se est avaliando
algo mais, representado por habilidades, interesses e valores.
A avaliao, particularmente a que realizada em sala de aula,
sob responsabilidade direta do professor, mais importante,
sem dvida, porque no se restringe a um nico instrumento,
mas resulta, quase sempre, de muitos outros tipos de fazeres,
que englobam elementos qualitativos, incluindo entre essas
prticas as tcnicas de observao. No entanto, a avaliao sistmica, realizada em grande escala, pressupe, naturalmente,
procedimentos padronizados, no para fins de comparao,
como julgam muitos, mas para gerar um quadro isonmico
que d a todos as mesmas condies para demonstrar as capa-
68
5/29/15 3:37 PM
cidades de cada um por intermdio dos desempenhos especficos que lhes so solicitados. foroso reconhecer, contudo,
que os procedimentos de avaliao, por mais bem planejados e
refinados que sejam os seus instrumentos, nunca oferecem um
quadro completo da realidade do ensinar/aprender, pois nunca se conhece a realidade em toda a sua complexidade, assim
como, tambm, por melhores que sejam os indicadores sociais
os mesmos no conseguem refletir, com preciso absoluta, a
complexidade do mundo social. Sem a avaliao, entretanto,
impossvel formar percepes do processo educacional e da
influncia da ao educativa da escola-famlia-comunidade-aluno e professor.
necessria uma definio de vrios elementos indispensveis a uma avaliao que atenda a todos os requisitos tcnicos,
conforme registro anterior; desse modo, entre essas decises,
todas igualmente prioritrias, cumpre estabelecer se a avaliao
ser por norma ou por critrio. Se for por critrio, como seria realmente desejvel, temos de imediato um srio problema a solucionar: qual seria o ponto de corte a ser definido? Por outro
lado, mais um problema, igualmente importante, deve ser equacionado: quais os padres a serem estabelecidos? A respeito
dos critrios preciso considerar o fato de que esse estabelecimento parte de dados empricos; portanto, a posteriori, ou, ento,
a partir da experincia de professores da rea e/ou de especialistas
no campo da avaliao. preciso lembrar que, na elaborao de
provas referenciadas a critrios, foroso abranger amostras representativas de contedos e habilidades, que, supostamente,
deveriam ser desenvolvidas na escola. Ainda relativamente definio de critrios, estabelecidos a posteriori, isso no se constituir
em um grande problema se a metodologia empregada for a da
Teoria da Resposta ao Item (TRI), conhecida em nosso contexto
educacional graas ao seu uso no Sistema de Avaliao do Ensino Bsico Saeb5. bastante conhecido nos meios educacionais
que o problema da fixao de padres gera controvrsias, mas
uma situao que deve ser encarada e examinada, apesar da sua
complexidade. A definio de padres seria em mbito nacional
ou seriam definidos diferentes padres regionais, considerando
que, muitas vezes, a avaliao no possui carter censitrio, sendo
amostral, mas abrangendo uma geografia sociocultural bastante
diferenciada? Apesar da complexidade do problema, seria reco-
5 Seria interessante ler o

trabalho de Gregory J. Cizek
Introduction Achievement
Testing in U.S. Schools,
disponvel em:http://edex.
s3-us-west-2.amazonaws.com/
publication/pdfs/cizek_7.pdf,
especialmente a discusso
sobre testes referenciados
a normas e a critrio, para
maiores esclarecimentos
sobre o assunto.
69
5/29/15 3:37 PM
6 LOCKE, John
(1632-1704). Ensaios Acerca
do Entendimento Humano
(1690) Livro II As Ideias,
Captulo IX. So Paulo: Nova
Cultural, 1999. p.79-80.
70
mendvel a definio de padres de desempenho com suas habilidades em termos nacionais, conforme a amplitude espacial da
avaliao. Esses padres poderiam servir de orientao para professores, especialistas em currculo, administradores e pesquisadores, na definio de seus respectivos planejamentos e, inclusive,
no caso de pesquisas sobre aprendizagem e rendimento escolar.
Insistimos, reiteradas vezes, ao longo das presentes consideraes, que o documento ora apresentado procura traduzir a
nossa percepo sobre o problema da avaliao e seu possvel
impacto nos sistemas educacionais, refletindo-se, dessa forma,
a nossa preocupao com a chamada validade consequencial,
o impacto que toda essa sistemtica exerce nos sistemas de ensino. preciso, no trato dessas questes, evitar a implantao
de certos parmetros valorativos: classificaes, bnus para
os professores, vantagens para os alunos ou premiaes, hierarquizao das escolas, entre outros, que, no final, acabam por
dicotomizar os sistemas, as escolas e os prprios alunos em duas
categorias: os melhores e os piores. Isso determina a perda do
esprito de colaborao que deve existir, estabelecendo-se, em
oposio, um esprito competitivo entre sistemas, instituies
e alunado. evidente que esse tipo de consequncia deve ser
evitado e superado, quando existe. O importante que as propostas de avaliao sejam um reflexo da realidade educacional
e que possibilitem o autoconhecimento do sistema e o conhecimento do sistema pela comunidade social, que nele investir
em termos de recursos humanos e materiais. Uma avaliao que
tenha validade consequencial pode-se transformar, sem sombra
de dvida, em um processo de certificao de competncia.
Ao longo deste trabalho, procuramos pensar sobre os diferentes problemas ligados avaliao e suas possveis solues
a fim de que, aos poucos, mas de forma simples e clara, pudssemos traduzir as nossas percepes, conforme registramos no
incio do trabalho. perfeitamente aceitvel que, quando refletimos sobre o que se passa em nosso entendimento, acabamos
por gerar e, tambm, adquirir novos conhecimentos, conforme
a viso de Locke6. A nossa percepo, desse modo, resultou de
uma operao ativa e refletiu a ao do nosso pensamento, mostrando o entendimento que temos da avaliao e o significado
que lhe atribumos no processo educacional.
5/29/15 3:37 PM
5/29/15 3:37 PM
72
5/29/15 3:37 PM
AvaliacAo
educacional:
formacAo do
avaliador
73
5/29/15 3:37 PM
PROBLEMAS GERAIS
E FORMAO DO AVALIADOR1
revista Educao e
Seleo, n. 5,
p. 9-14, jan./jun. 1982.
74
1. INTRODUO
A importncia da avaliao educacional costuma ser ressaltada
por todos os que integram a comunidade acadmica. At poca
recente, entretanto, essa mesma avaliao limitava-se mensurao do desempenho escolar, ou, ento, era concebida segundo
um modelo simplista, baseado na apresentao de objetivos
comportamentais, construo e aplicao de instrumentos, anlise dos resultados e elaborao de um relatrio final. A avaliao
inclui, sem dvida, todos esses procedimentos, mas a eles no
se circunscreve, porque significaria limitar os seus objetivos, que
so bem mais amplos.
A avaliao, como rea de investigao cientfica, transformou-se numa atividade complexa. Inicialmente, todo o seu enfoque
centralizava-se no aluno e nos problemas de sua aprendizagem;
aos poucos, entretanto, sem se afastar desse interesse, modificou a sua orientao e passou do estudo de indivduos para o de
grupos, e destes para o de programas e materiais instrucionais;
na etapa atual, preocupa-se com a avaliao do prprio sistema
educacional. Se, primeiramente, o interesse maior estava relacionado com problemas de microavaliao, para usar expresso
5/29/15 3:37 PM
de Payne (1974); agora, sem abandonar estes ltimos, ocupa-se

com a investigao de questes de macroavaliao.
Alguns dos fatores que possivelmente contriburam para
esta modificao foram:
a) a tomada de conscincia de alguns educadores relativamente a problemas educacionais prioritrios educao
pr-escolar, educao de carentes, alfabetizao, evaso
escolar, treinamento de professores, entre outros , que
exigem pronta soluo, mas sobre os quais pouco ou
nada se sabe, por deficincia de informaes, que somente poderia ser superada por intermdio de pesquisas
e da avaliao educacional;
b) a insatisfao dos educadores quanto a currculos, programas, prticas de ensino e material didtico, impostos ao
contexto educacional sem maiores estudos sobre as peculiaridades do meio e da populao que sofre os seus efeitos;
c) a reserva de muitos educadores e administradores quanto qualidade do ensino em seus diferentes nveis.
Algumas explicaes tericas tm sido tentadas; contudo, percebe-se que, para a identificao das provveis
causas desse fenmeno, e estabelecimento de alternativas que possibilitem a teimada de decises, haveria necessidade de procedimentos sistemticos, representados
por trabalhos de avaliao;
d) a aplicao de grandes investimentos financeiros na rea
educacional, sem que estudos de avaliao de custos e
benefcios comprovem a sua influncia na promoo da
eficincia do processo instrucional.
Outros fatores possivelmente tambm concorreram para
que a avaliao merea, atualmente, grande ateno. E imperativo ressaltar que, justamente pela importncia da avaliao
educacional, nesse novo contexto, se deva desenvolver, tambm,
uma conscincia crtica, porque nem tudo o que apresentado
como avaliao, merece realmente essa caracterizao; por outro lado, apesar da avaliao ser vista sob um novo enfoque,
isso no significa que todos os seus problemas que so muitos
estejam completamente solucionados.
A avaliao, em muitos dos seus aspectos, ainda apresenta
deficincias (Stufflebeam et al.,1971) como:
75
5/29/15 3:37 PM
I. a
usncia de uma teoria perfeitamente estruturada e que
traduza um consenso entre educadores;
II. inexistncia de uma tipologia de informaes fundamentais para o processo decisrio;
III. insuficincia de instrumentos e planejamentos adequados
para a avaliao dos diversos fenmenos educacionais;
IV. falta de um sistema que possibilite a organizao, processamento e relatrio de informaes necessrias avaliao; e, finalmente,
V. carncia de elementos qualificados para a realizao das
complexas atividades que o processo de avaliao exige.
Apesar desses problemas, a avaliao educacional pode oferecer valiosas contribuies para a concretizao de mudanas
educacionais, que, na verdade, somente deveriam ser empreendidas quando baseadas em concluses de investigaes perfeitamente estruturadas, implementadas e analisadas.
2. Avaliao Educacional conceituao e definies

A avaliao educacional, como atividade cientfica, somente
surge na dcada de 40, com os trabalhos de Ralph W. Tyler, e
desenvolvem-se no perodo de 1960, graas, sobretudo, s contribuies de Lee J. Cronbach, Michael Scriven e Robert E. Stake,
entre outros. As vrias posies tericas desses autores, sobre
prioridades em avaliao educacional, concorrem para a formulao de diferentes definies desse campo.
A definio mais divulgada de avaliao a que identifica
esta ltima com o processo de medida. A disseminao dessa
concepo resultou, em parte, da divulgao, nos meios profissionais, de obras de cientistas com formao bsica no campo da
psicometria, como, por exemplo, Robert L. Thorndike e Robert L.
Ebel. O estudo das diferenas individuais, por sua vez, concorreu
para gerar a crena, bastante difundida, alis, de que avaliar em
educao medir os resultados do rendimento escolar. Assim,
avaliao e medida do rendimento so frequentemente usadas
como expresses intercambiveis, e refletem imprecises no emprego de palavras medir e avaliar.
76
5/29/15 3:37 PM
Medir uma operao de quantificao, em que se atribuem valores numricos, segundo critrios preestabelecidos,
a caractersticas dos indivduos, para estabelecer o quanto possuem das mesmas. O ndice quantitativo, obtido por intermdio
da medida, identifica o status do indivduo face caracterstica.
Relativamente avaliao, a medida um passo inicial, s vezes
bastante importante, mas no condio necessria, e nem suficiente, para que a avaliao se efetue. Eventualmente, a medida
pode levar avaliao, que, entretanto, ss e realiza quando so
expressos julgamentos de valor.
Avaliar determinar o valor de alguma coisa para um determinado fim. A avaliao educacional visa, pois, coleta de informaes para julgar o valor de um programa, produto, procedimento
ou objetivo (Worthen e Sanders, 1973); ou ainda, a julgar a utilidade potencial de abordagens alternativas para atingir a determinados propsitos. A avaliao refere-se, assim, a atividades
sistemticas ou formais para o estabelecimento do valor de fenmenos educacionais (Popham, 1975), quaisquer que sejam.
A avaliao, para alguns, um processo assistemtico, baseado na opinio de um especialista; um julgamento emitido por
um profissional. So comuns, na rea educacional, avaliaes
informais para a tomada de certas decises. Um livro adotado em vez de outro; uma metodologia de ensino empregada
em substituio a outra, apenas com base em avaliaes assistemticas e impressionistas. A chamada avaliao, nesses casos,
limita-se a uma escolha, com base em percepes, da que seria a
melhor alternativa. , pois, uma simples opo, sem fundamento cientfico. A avaliao, ao contrrio, decorre de um esforo
sistemtico para definies de critrios, em funo dos quais se
coletam informaes precisas para julgar o valor de cada alternativa apresentada. Avaliar , assim, emitir um julgamento de valor sobre a caracterstica focalizada, podendo esse valor basear-se,
parcial mas no exclusivamente, em dados quantitativos.
A Tyler (1942) coube a difuso da definio de avaliao
como um processo de comparao entre os dados do desempenho e os objetivos instrucionais preestabelecidos. Essa definio desfruta de grande aceitao nos meios-educacionais
e, com pequenas variaes, foi incorporada a alguns modelos tericos, como, por exemplo, o de Hammond (s.d.) e o de
Metfessel e Michael (1967).
77
5/29/15 3:37 PM
Stufflebeam et al. (1971) desenvolveram um modelo centralizado na ideia de que a avaliao deve permitir aos administradores a tomada de decises e, coerentemente, definiram
avaliao como o processo de identificar e coletar informaes
que permitam decidir entre vrias alternativas.
Outros tericos da avaliao educacional, juntamente com
as suas propostas de estratgias para a investigao avaliativa,
propuseram, tambm, definies que, em maior ou menor grau,
so aceitas por muitos praticantes da avaliao educacional.
Entre essas definies destacam-se a de Provus (1971), que apresenta a avaliao como um processo de comparao entre desempenho e padres, e a de Stake (1967), que a caracteriza como
descrio e julgamento de programas educacionais.
A avaliao, como campo emergente na rea educacional,
tem recebido contribuies provenientes de vrias fontes, entre
as quais se destacam as de Michael Scriven, que marcaram, profundamente, a teoria da avaliao educacional Scriven (1967)
concebe a avaliao como um levantamento sistemtico de
informaes e sua posterior anlise para fins de determinar o
valor de um fenmeno educacional. Essa definio, centralizada no problema do valor, influenciou o pensamento de grande
parte dos tericos e praticantes da avaliao educacional moderna, inclusive de alguns elementos que no se preocuparam em
detalhar e explicitar a questo, como foi o caso de Stufflebeam.
Analisada a conceituao estabelecida por este terico, verifica-se que tambm incluiu um julgamento de valor, ainda que no
o tenha explicitado, isso porque escolher essa ou aquela alternativa, isto , decidir, conforme estabeleceu Stufflebeam, julgar
o valor de uma ou de outra alternativa, optando pela melhor,
o que mostra que, na definio de Stufflebeam et al.(1971), est
implcito, tambm, um julgamento de valor.
3. Pesquisa e avaliao educacionais

Pesquisa e avaliao educacional, apesar de representarem
atividades diversas, so frequentemente confundidas. Existem, evidentemente, pontos de contato entre ambas so formas de investigao cientfica, usam instrumentos de medida,
analisam os dados sistematicamente, s vezes com o emprego
78
5/29/15 3:37 PM
das mesmas tcnicas, e muitos dos seus mtodos de ao apresentam grandes semelhanas , o que toma difcil a categorizao de atividades que sejam exclusivamente de um nico tipo
contudo, possuem, tambm, algumas diferenas substanciais,
que merecem ser destacadas.
1) A pesquisa visa a produzir novos conhecimentos, que
representem verdades importantes para a cincia, independentemente de sua aplicao prtica. A avaliao
procura julgar o valor ou a utilidade de um fenmeno, a
fim de tomar decises a seu respeito.
2) A pesquisa, com base na verificao emprica, procura a
verdade cientfica, sem julgar o mrito das relaes entre
variveis; ao contrrio, a avaliao julga a qualidade de
uma determinada relao entre variveis.
3) A pesquisa procura relacionar variveis ou fenmenos
para estabelecer leis;a avaliao, baseando-se numa escala de valores, descreve um fenmeno especfico.
4) A pesquisa, utilizando mtodos empricos ou outros mtodos, examina as relaes entre variveis pata obter um
conhecimento que seja generalizvel, isto , tenta generalizar os seus resultados para situaes comparveis e
quanto maior essa possibilidade, maior o seu significado
cientifico. A avaliao concentra-se num fenmeno especifico, procura estabelecer as relaes entre as variveis
mais relevantes, e no se preocupa com a possibilidade
de generalizar os resultados para outras situaes.
5) A pesquisa e a avaliao buscam o conhecimento para
melhor compreender os fenmenos educacionais, mas
usam esse conhecimento para fins diferentes. A pesquisa, partindo das informaes coletadas, visa a extrair
concluses; a avaliao centraliza o seu interesse em
tomar decises.
4. Modelos em avaliao educacional

A educao criticada, muitas vezes com veemncia, nos seus
fundamentos tericos, na sua estruturao e na sua prtica.
As decises tomadas, por presso dessas crticas, resultam de
posicionamentos nem sempre decorrentes de investigaes
79
5/29/15 3:37 PM
empricas, e geram novas crticas e insatisfaes, que atingem

a validade do prprio sistema educacional. A avaliao, nesse
contexto muitas vezes catico, tomou-se imperativa e exigiu
metodologia que possibilitassem a coleta de informaes para
decises fundamentadas.
Um esquema de planejamento frequentemente encontrado
em projetos de avaliao o baseado na anlise das diferenas
apresentada antes e aps o tratamento instrucional. Esta estratgia, ainda que til em certas condies, nem sempre fornece informaes detalhadas que permitam tomar decises complexas.
Outra opo estratgica, tambm amplamente utilizada em avaliao, a do planejamento experimental, que caracteriza a pesquisa emprica, mas que nem sempre suficientemente eficiente
para a avaliao de alguns fenmenos educacionais, tendo em
vista a circunstncia de que a avaliao se processa num quadro
natural, em que as situaes nem sempre so bem estruturadas
e, por isso, tomam-se difceis as condies de controle, exigidas
pelo planejamento experimental. Assim, tendo em vista esta
problemtica, vrios especialistas procuraram desenvolver novas estratgias para dar avaliao um sentido mais eficaz.
Os modelos tericos apresentados para a soluo dos problemas de avaliao educacional variam grandemente entre si,
destacando-se como os mais representativos os seguintes:
1. ALKIN, M. C. (1969) Evaluation theory development. Education
Comment, 2, 1.
2. CRONBACH, L. J. (1963) Course improvement through
evaluation. Teachers College Record, 64.
3. HAMMOND, D. L. (s.d.) Evaluation at the local level. Tuckson,
Arizona. EPIC Evaluation Center.
4. METFESSEL, N. S. e MICHAEL, W. B. (1967) A paradigm
involving multiple criterion measures for the evaluation
of the effectiveness of school programs. Educational and
Psychological Measurement, 27.
5. PROVUS, M. M. (1971) Discrepancy evaluation. Berkeley,
California. Mc Cutcham Publishers.
6. SCRIVEN, M.(1967) The methodology of evaluation, in
Stake, R. E. (Bd.) Curriculum evaluation. AERA monograph
series on evaluation n9 1.Chicago, Rand Mcnally.
7. STAKE, R.E. (1967) The countenance of educational
evaluation. Teacher College Record, 68.
80
5/29/15 3:37 PM
8. STUFFLEBEAM. D.L et al. (1971) Educational Evaluation
and decision making. Itasca, Illinois, F.E. Peacock.

9. T YLER, R. W. (1942) General statement on evaluation.
Journal of Educational Research,35.
As diferenas existentes entre os modelos decorrem do
fato de estabelecerem prioridades diversas para os problemas de avaliao educacional. Assim, como exemplificao, e
sem aprofundar a anlise de todos os modelos, anteriormente mencionados, observa-se que Tyler (1942) se concentra na
problemtica da convergncia entre desempenhos e objetivos instrucionais; Stake (1967) baseia-se na anlise de variveis antecedentes, intermedirias (transactions) e resultantes;
Stufflebeam (1971), atravs do exame do contexto - entrada
(input) processo e produto, visa a obter informaes que
permitiam a tomada de decises pelos administradores.
O avaliador educacional, ao selecionar determinado modelo
terico, para desenvolver um projeto, dever levar em considerao a natureza do problema a investigar, os recursos disponveis
e a sua prpria situao pessoal. Os modelos no se propem
a resolver todos os problemas que se apresentem ao avaliador;
objetivam, na verdade, permitir que o avaliador dimensione
adequadamente os seus projetos, para evitar que deficincias de
planejamento invalidem o processo e levem a falsas decises.
6. Funes do avaliador educacional

A avaliao educacional exige a participao de profissionais especialmente treinados, com experincia no trato de diferentes
problemas educacionais, e possuidores de capacitao especfica para o exerccio da funo. A avaliao educacional no deve
ser tarefa de responsabilidade exclusiva de professores, pois, em
geral, no seu treinamento profissional, apenas recebem informaes gerais sobre avaliao, as quais, na maioria das vezes, se
restringem tecnologia da construo de instrumentos para a
verificao do rendimento escolar.
O avaliador ou o meta-avaliador (avaliador de avaliaes)
deve ser um indivduo capaz de realizar um trabalho cientfico
altamente complexo, que pressupe habilitaes especialmente
81
5/29/15 3:37 PM
desenvolvidas. Sem pretender apresentar uma relao exaustiva dessas capacitaes, mas apenas considerando as funes
do avaliador numa situao real (Millman, 1975; Payne, 1974;
Worthen, 1975), pode-se estabelecer que, para realizar um trabalho consequente, o avaliador deve ser capaz de:
1. especificar informaes necessrias para o de senvolvimento de programas de avaliao;
2. localizar, ler e integrar informaes existentes na literatura tcnica de pesquisa, medidas e avaliao;
3. analisar possveis implicaes de avaliao anteriores relativamente avaliao que pretender realizar;
4. definir com preciso o objetivo da avaliao;
5. examinar, criticamente, estratgias de avaliao e selecionar a mais adequada para os fins da avaliao;
6. formular hipteses ou questes a serem verificadas ou
respondidas pela avaliao;
7. especificar os dados necessrios para verificar as hipteses
formuladas ou responder s questes propostas;
8. desenvolver planejamentos apropriados para a coleta de
dados que permitam examinar as hipteses ou responder s indagaes propostas;
9. selecionar amostras representativas da populao para
a qual os resultados das avaliaes sero generalizados;
10. aplicar o planejamento da avaliao e controlar os fatores que poderiam comprometer a sua validade;
11. identificar padres ou normas para julgar o valor do
fenmeno a ser avaliado;
12. transformar objetivos gerais em objetivos operacionais;
13. identificar classe de variveis para mensurar;
14. estabelecer critrios para selecionar e desenvolver instrumentos de medida;
15. determinar a validade dos instrumentos de medida
usados nas avaliaes;
16. usar mtodos adequados para o levantamento de dados;
17. controlar o desenvolvimento do programa e identificar
desvios de planejamento ou de procedimentos especficos;
18. selecionar e aplicar tcnicas estatsticas adequadas
anlise de dados;
19. descrever o planejamento da avaliao e os procedimentos de anlise em termos de processamento de dados, a
82
5/29/15 3:37 PM
20.
21.
22.
23.
24.
25.
fim de utilizar adequadamente o potencial dos equipamentos eletrnicos;

interpretar e estabelecer concluses fundamentadas a
partir da anlise dos dados coletados;
elaborar relatrios e discutir as implicaes dos resultados da avaliao;
apresentar concluses com base nos resultados da
avaliao;
proporcionar retroalimentao sobre o desempenho
do programa de avaliao para decises em caso de
sua possvel modificao futura;
demonstrar relaes interpessoais adequadas ao funcionamento do grupo de avaliao do grupo administrativo do programa;
administrar recursos humanos e materiais necessrios
implementao de programas de avaliao.
O comportamento apresentado no item 24 por muitos

(Millman, 1975) considerado como sendo o mais importante para
o xito de um programa. O trabalho de avaliao resulta, efetivamente, de um esforo conjunto de pessoas lideradas por um
especialista; assim sendo, as caractersticas de personalidade do
avaliador determinam o tipo de relacionamento do grupo e concorrem para o maior ou menor xito do trabalho, admitindo-se
como satisfatrios os demais comportamentos especficos do avaliador.
As complexas funes do avaliador educacional mostram
que o mesmo deve possuir grande maturidade e ampla experincia de ensino ou equivalente; por outro lado, exigem tambm
um treinamento profissional aprofundado, com especial nfase
em anlise estatstica, medidas e psicometria, mtodos de pesquisa, e planejamento de experimentos.
MILLMAM, Jason. Selecting educational researchers and evaluators. ETS. Princepton,
New Jersey: ERIC Clearing house on tests, measurement and evaluation, 1975.
15 p. (TM Report, 48).
PAYNE, David A. Toward a characterization of curriculum evaluation. In: PAYNE,
83
5/29/15 3:37 PM
David A. (Ed.). Curriculum evaluation. D.C. Heath: Lexington, Mass., 1974.

POPHAM, William J. Educational evaluation. Eaglewood Cliffs, New Jersey:
Prentice-Hall, 1975. 328 p
WAHLSTROM, M. W.; TRAUB, R. E. Evaluation du rendement scolaire:
documentation et informations pdagogiques. Paris: Unesco, 1972.
(Bulletin lnternational dducation, n. 184).
WORTHEN, Blaine R. Competencies for educational research and evaluation.
Educational Researcher, n. 4, v. 1, p. 13-16, Jan. 1975.
WORTHEN, Blaine R.; SANDERS, J. R. Educational evaluation: theory and practice.
Worthington, Ohio: Charles A. Jones, 1973. 372 p.
84
5/29/15 3:37 PM
5/29/15 3:37 PM
AVALIAO E O
AVALIADOR EDUCACIONAL:
DEPOIMENTO1
Uma experincia s faz sua interrupo quando est sendo dita.

E se no for dita , por assim dizer, no existente.
Hannah Arendt
revista Estudos em
n. 20, p. 183-205, jul./dez. 1999.
86
O presente trabalho visa a definir nossa posio em relao a

alguns problemas de avaliao educacional. Parece-nos impossvel uma discusso da totalidade das questes ligadas avaliao
educacional; desse modo, a argumentao ser feita a partir de
nossa vivncia nessa rea, especialmente no perodo que vai de
1962, quando, mais ou menos formalmente, iniciamos atividades
educacionais diretamente ligadas avaliao, ao ano de 1994,
em que comeamos a consignar nossas reflexes sobre o assunto, com vistas a registrar a compreenso que possumos dos diversos temas enfocados.
Ao trmino de nossa formao acadmica para o magistrio
(1952), depois de estudos sobre reas nem sempre relacionados
com a realidade do sistema educacional brasileiro, incluindo,
tambm, matrias pedaggicas, tnhamos uma noo bastante
5/29/15 3:37 PM
restrita do campo da avaliao, limitada, especificamente, ao

rendimento escolar. O assunto, apresentado como um simples
tpico da didtica geral, era transmitido no curto espao de
uma aula de cinquenta minutos, ao ser analisada a que to
da verificao da aprendizagem. Uma discusso bastante esquematizada da avaliao formal e informal era oferecida
sem uma anlise aprofundada dos seus fundamentos e de suas
implicaes, limitando-se, assim, a noes sumrias e gerais
sobre como proceder em sala de aula, usando reprodues simplificadas de experincias supostamente consagradas pela tradio pedaggica. Aps dez anos de atividades de magistrio,
em diferentes nveis de ensino, vimo-nos diante de um curso
formal de avaliao educacional (1962), ao qual chegamos com
algumas mudanas em nossos posicionamentos em decorrncia do ensaio de Ebel2 (1951) e, especialmente, dos vrios trabalhos da obra coletiva organizada e editada por Lindquist3
(1951), que nos deram uma viso mais consistente da avaliao, segundo uma perspectiva quantitativa. Essa abordagem
se consolidou com um curso em 1962, ministrado a partir do
manual de avaliao da Fora Area Norte-Americana (USAF),
que nos colocou em contato com o pensamento psicomtrico,
que, no nosso caso, se desenvolveria, inicialmente, com base
no pensamento de Guilford4 (1946) e Flanagan5 (1951), autores
de repercusso em diferentes setores da sociedade educacional norte-americana. O curso por ns frequentado no foi,
efetivamente, de avaliao educacional, em seu sentido mais
amplo, concentrou-se, apenas, em testes e medidas, especialmente na construo de instrumentos, na discusso de tipos
de validade e, sobretudo, na questo da fidedignidade, com
seus diferentes mtodos de clculo. Fomos, assim, introduzidos nos fundamentos estatsticos das medidas, o que nos
levou a procurar novos conhecimentos nessa rea por intermdio de Garrete6 (1962) e, posteriormente, utilizando a obra
de Guilford7 (1965), entre outras, num esforo de autodidatismo, como ocorre com bastante frequncia em nosso contexto
educacional, particularmente em assuntos relacionados com
a avaliao. Observamos que, decorridos mais de 30 anos da
realizao desse curso, sempre que se fala em curso/seminrio/treinamento sobre avaliao o entendimento que o mesmo incidir, obrigatoriamente, em tecnologia da construo
2 EBEL, R.L. Writing the test

Item. In: LINDQUIST, E. F. (Ed.)
Educational Measurement.
Washington, D.C.: American
Council on Education, 1951.
3 LINDQUIST, E. F. (Ed.)
Educational Measurement.
Washington, D.C.: American
4 GUILFORD, J.P. NES

standards for test evaluation.
Educacional and Psychological
Measurement, 6, 4, 1946,
p. 432 e segs.
5 FLANAGAN, J. C.
The use of comprehensive
rationales in test development.
Educacional and Psychological
Measurement, 11, 1951,
p. 151 e segs.
6 GARRETE, H. E. A
Estatstica na Psicologia e
na Educao. Trad. Eva Nick.
Rio de Janeiro: Fundo de
Cultura, 1946. 2 vol.
7 GUILFORD. J. P.
Fundamental Statistics
in Psychology and Education.
41 Edition. New York: McGrawHill Book Co., 1946.
87
5/29/15 3:37 PM
8 DUROST, W. N.;
PRESCOT, C. A. Essentials of
measurement for teachers.
New York: Harcourt,
Brace, and World, 1962.
9 DAVIS, F. B. Educational
Measurement, Washington,
DC. American Council
on Education, 1971.
88
de questes objetivas e organizao de testes, o que reflete

uma falsa concepo do que seja avaliao.
A partir desse curso, assumimos a responsabilidade de
orientar um programa de avaliao em uma academia militar
que ministrava cursos em nvel de 2 grau.
Alguma coisa aconteceu: as avaliaes, abrangendo todas
as reas do Ensino Mdio, passaram a ser mensais e no mais
bimestrais, procuramos capacitar professores na construo de
itens, introduzimos, ainda que de forma precria, por falta de
hard/software, um sistema de anlise estatstica das questes,
segundo a teoria clssica, e os resultados das provas (testes
objetivos) passaram a ser apresentados sob a forma de escores
padronizados em funo do desempenho do grupo, por intermdio de uma escala de estaninos, que foi criada por Flanagan
durante a Segunda Guerra Mundial (1939-1945), a partir da
curva normal modelo esse que, hoje reconhecemos, causou
enormes malefcios s cincias humanas, inclusive educao.
A metodologia do seu clculo foi a apresentada por Durost e
Prescott8 (1966) a qual, por sua simplicidade, permitia que alunos e professores situassem os desempenhos de cada sujeito
em relao ao grupo total. Isso representava um avano, ainda
que seja discutvel o modelo seguido, baseado em uma curva
de probabilidade para fenmenos aleatrios e relativos a um
grande nmero de indivduos.
A Fundao Getlio Vargas, no Rio de Janeiro, possua
um centro de estudos de avaliao, sob a superviso de Ruth
Schaeffer e a orientao tcnica de Ncia Maria Bessa, e nessa
poca (1965) promoveu a vinda de especialistas de fama mundial para que transmitissem suas experincias em avaliao.
Um deles, Frederick B. Davis ministrou curso sobre medidas,
do qual participamos que seguiu orientao tipicamente norte-americana: testes padronizados, seu uso e interpretao dos
resultados. Desta vez, entretanto, foi dado destaque a frmulas
punitivas para a tentativa de acerto casual, muitas vezes apresentadas por intermdio de sofisticao matemtica, mas que
em nada contribuem para a melhoria do processo de avaliao,
como hoje em dia reconhecido. Esse assunto, que parece preocupar a tantas pessoas no inteiramente identificadas com a
mensurao educacional, constou de um amplo ensaio escrito
pelo prprio Davis9 para o Educational Measurement na edio
5/29/15 3:37 PM
de 1951, organizada por Lindquist. Esse tema punio para

a tentativa de acerto casual foi suprimido da edio seguinte
responsabilidade de Thorndike10 (1971) por ser inteiramente
irrelevante, na nossa opinio. A presena nessa mesma poca,
na Fundao Getlio Vargas, de Anne Anastasi11, cujo livro bsico (1968)12 teria importncia em nossa formao terica, no
final de 1969, e o desenvolvimento por Ncia M. Bessa, em meados da dcada de 60, de um teste inspirado no lowa Basic Skills,
para ser utilizado no ento Estado da Guanabara, foram fundamentais para a nossa compreenso do processo de medida,
especialmente no que diz respeito: a complexidade das chamadas habilidades bsicas de crianas da Escola Fundamental. Ao
mesmo tempo em que adquirimos expertise nessa rea, no ano
de 1965 procuramos socializar esses conhecimentos atravs de
cursos de curta durao ministrados na Secretaria de Estado
da Educao do Estado de So Paulo e em diversas instituies
do Estado de Minas Gerais, orientando professores na elaborao de instrumentos objetivos/no-objetivos para uma avaliao do rendimento escolar que considerasse inclusive suas
implicaes sociais repetncia/evaso , evitando, assim, a
realizao de um trabalho quase sempre precrio e muitas vezes destitudo de fundamentao terica. As intensas atividades nessa rea, em diferentes regies, no perodo de 1965-67,
evidenciaram que a situao no diferia da que conhecramos
h 15 anos, ao terminarmos o curso de bacharelado exigido
para a prtica do magistrio.
O perodo seguinte, abrangendo os anos de 1967 a 1969, foi
marcante em virtude das experincias vivenciadas no exterior,
especialmente em Universidades norte-americanas e, em menor
grau, em instituies francesas. Se j conhecamos alguns trabalhos fundamentais da bibliografia norte-americana, passamos a
observar mais detalhadamente a prtica da avaliao em centros
universitrios. A Universidade de Michigan (Ann Arbor, Mich.),
por intermdio do English Language lnstitute (EU), em 1967, e sob a
orientao de John Upshur, proporcionaria um trabalho de especializao em medidas do domnio do ingls como segunda lngua
para estrangeiros. A partir do trabalho de Thorndike e Hagen12
(1961) , iniciamos estudos para uma maior fundamentao estatstica dos instrumentos de medida, graas a obra de Thorndike13
(1949) em que aborda grande variedade de problemas psicom-
10 THORNDIKE. R. L. C
Ed. Educational Measurement,
Washington, DC. American
11 ANASTASI, A. Psychological
Testing. Third Edition.
New York. The MacMillan
Co. 1968.
12 THORNDIKE, R. L.
e HAGEN, E. Measurement
and Evaluation in Psychology
and Education. New York:
John Wiley and Sons, 1961.
13 THORNDIKE, R. L.
Personnel Selection Test
and Measurement Techniques.
New York: John Wiley and
Sons, Inc., 1949.
89
5/29/15 3:37 PM
14 MIALLARET, G.; PHAM,

D. Statistique lusage des
ducateurs. Paris: Presses
Universitaires de France, 1967.
15 BARBUT, M.
Mathematiques des Sciences
Humaines. 2 vols. Paris:
Presses Universitaires
de France, 1967.
90
tricos ligados teoria clssica das medidas, especialmente

questo da validade preditiva, assunto raramente considerado
em nosso contexto, inclusive no processo de seleo de recursos
humanos para a Universidade. A experincia de Ann Arbor, junto ao ELI, serviu para mostrar que possvel dominar conceitos
estatsticos bsicos sem um envolvimento mais aprofundado da
anlise matemtica; contudo, para a compreenso da moderna
teoria dos testes e de sua fundamentao estatstica, uma formao quantitativa realmente indispensvel, a fim de compreender os diferentes modelos matemticos utilizados no estudo das
caractersticas humanas.
O ano de 1968 foi rico de novas experincias, que decorreram de estgio no Centre lnternational dtudes Pdagogiques (Svres,
Paris) e em um liceu-piloto na cidade de Toulouse, em situaes
bastante diferenciadas das que foram experimentadas no contexto norte-americano. Ambas as experincias foram, entretanto,
igualmente vlidas para a nossa formao na rea da avaliao,
ao longo de um processo que ainda se desenvolve a cada experincia vivenciada, geradora de conhecimentos que sempre se expandem e renovam. Assim, o avaliador, no dia a dia das suas atividades profissionais, vive contnua construo do conhecimento.
A experincia de Svres foi vlida porque possibilitou acesso a
outros centros educacionais e permitiu entrar em contato com
especialistas ligados anlise quantitativa de caractersticas humanas. Svres deu-nos a oportunidade de conhecer Miallaret e
Pham14 (1967) e Barbut15 (1967) que nos levaram a uma reflexo
sobre o alto nvel do preparo exigido na formao dos professores. Ambos os livros fogem orientao norte-americana, pois
demandam conhecimentos de matemtica avanada, como lgebra de matrizes, fazendo, assim, com que essas obras, destinadas a educadores, tenham, no nosso contexto educacional,
uma audincia bastante restrita, sobretudo no caso da obra
de Barbut, de grande importncia para a compreenso do fundamento matemtico de certos modelos usados em educao.
Os livros desses autores serviram para uma melhor compreenso do significado da linguagem matemtica na anlise de
problemas das cincias humanas e anteciparam, por outro
lado, situaes difceis com que nos depararamos, ao longo
dos anos, medida que novas perspectivas de conhecimento
tcnico surgiam em nossa vida profissional. A experincia de
5/29/15 3:37 PM
Toulouse, ao estabelecermos contatos com a cultura pedaggica dos liceus franceses, na parte relativa avaliao, mostrou
a independncia acadmica dos professores, a sua capacidade de
decidir sobre o futuro dos seus alunos, a severidade muitas vezes exagerada dos seus exames, que podem gerar frustraes,
como as decorrentes do clebre baccaleaurat, que foram parcialmente responsveis pelos acontecimentos de maio de 1968,
cujo significado no foi percebido por De Gaulle, ento presidente da Frana, que considerou tudo simplesmente um chienlit, mas
cujas razes penetravam na rea educacional e em um sistema de
avaliao que precisava ser renovado, corno deve ocorrer em toda
e qualquer estrutura educacional, segundo a nossa percepo.
Ainda no final de 1968, tivemos uma sequncia de novas
experincias que serviram para consolidar antigas vivncias e
proporcionar novas vises no campo da avaliao educacional, a
partir da realizao do Mestrado na Michigan State University (East
Lansing, Mich.), sob a orientao de Robert L. Ebel. As disciplinas do major Educational Research Methods, Testing and Grading,
Problems of Measurement, Quantitative Methods, Standardized Tests,
Advanced Quantitative Methods, Principies of Measurement e Psychological Testing foram a base para o domnio da parte substantiva
da avaliao educacional, segundo uma perspectiva eminentemente quantitativa, e que foi complementada por um minor que
fundamentou essa prtica, por intermdio de outros cursos, e
lhe deu significado: School Learning, Growth and Behavior, Philosophy
of Education e Problems of Higher Education. A experincia de uma universidade norte-americana marcante e, no nosso caso pessoal,
sentimos que, apesar de altamente competitiva e estressante, exerceu um papel formativo e consolidou antigos conhecimentos. Foi
importante, neste novo contexto, o papel de Robert L. Ebel, que nos
mostrou que avaliao no apenas anlise estatstica, a partir de
instrumentos construdos segundo os princpios da tecnologia, que
oferecem resultados fidedignos, mas uma atividade que envolve seres humanos e pode ter influncia sobre seus destinos, no plano da
realizao pessoal e profissional. Foi a partir desse momento que
comeamos a nos preocupar mais seriamente com certos conceitos carregados de abstrao, mas que constituem o cerne de toda a
avaliao: valores, critrios, objetivos, normas, significncia prtica, entre outros. A prpria avaliao pareceu-nos um conceito abstrato, como reconhecem Madaus, Scriven e Stufflebeam16 (1993).
16 MADAUS, G. F.; SCRIVEN,

M. S.; STUFFLEBEAM, D. F.
Evaluation Models Viewpoint
on Educacional and Human
Services Evaluation. Boston:
Kluver-Nijhoff Publishing, 1993.
91
5/29/15 3:37 PM
17 MEHRENS, A.; EBEL, R. L.

Principles of Educational
and Psychological
Measurement, a book of
selected reading.
Rand MacNally and Co.
Chicago, III. 1967.
18 MAGNUSSON, D. Test
Theory. Addison-Wesley
Publishing Co. Reading,
Mass. 1967.
92
A universidade norte-americana book-oriented, exigindo um grande volume de leituras em tempo relativamente

reduzido. Em alguns casos, a leitura de dois livros semanais
era uma situao comum; por outro lado, um nmero igualmente grande de artigos era includo entre as assigned readings, aspecto que, no nosso caso, merece destaque, por explicar
grande parte das influncias recebidas durante nossa formao profissional. Em um dos cursos de Robert L. Ebel Problems of Measurement tivemos oportunidade de ler alguns
autores clssicos na rea de medidas, como S. S. Stevens,
B. O. Baker, R. M. W. Travers e F. M. Lord (Teoria das medidas); E. F. Gardner, R. L. Ebel, F. M. Lord, W. H. Angoff, E. F.
Lindquist, R. T. Lenon (Normas); G. F. Kuder e M. W. Richardson,
P. J. Rulon, C. J. Hoyt, R. L. Ebel, L. J. Cronbach, E. D. Cureton, P.
Horst, F. M. Lord (Fidedignidade); C. I. Mosier, R. L. Ebel, H. O.
Gulliksen, L. J. Cronbach e P.E. Mehl, E.D. Cureton, D. T. Campbell e D. W. Fiske, L. Sechrist, P. E. Meehl e A. Rosen, R. B. Cattell
(Validade); J. C. Flanagan, A. P. Johnson, W. G. Findley, M. D.
Engelhart, M. W. Richardson, O. K. Buros e L. J. Cronbach (Anlise de Itens), cujos artigos foram publicados na antologia organizada por Mehrens e Ebel17. A excelncia deste material consolidou conceitos e deu-nos um embasamento terico, alm,
naturalmente, do domnio de um instrumental necessrio ao
trabalho que desenvolveramos aps nosso regresso ao Brasil, o
que realmente ocorreu, especialmente no perodo de 1970-86.
Ao discutirmos aspectos de nossa formao acadmica, especialmente em relao a influncias tericas, no poderamos
omitir o curso de W. A. Mehrens, que adotou como texto bsico o
livro de D. Magnusson, professor na Universidade de Estocolmo18.
A obra oferece uma viso bastante lcida da teoria clssica dos
testes, alm de ser uma excelente reviso da estatstica dos testes, em um nvel de matematizao suportvel. Outras leituras
foram igualmente exigidas, conforme a tradio universitria
norte-americana, obrigando-nos a uma imerso nas obras de
J. P. Guilford, G. A. Ferguson, H. Gulliksen, E. E. Ghiselli, R. L.
Thorndike, L. J. Cronbach, F. M. Lord, A. Anastasi e Q. N. Nemar.
Houve, portanto, um grande entrosamento entre os cursos ministrados por Ebel e Mehrens, contribuindo, assim, tendo em
vista a sua natureza quantitativa, para que nos aprofundssemos na psicometria associada teoria clssica dos instrumentos
5/29/15 3:37 PM
de medida, segundo nosso planejamento inicial e a expectativa

da instituio brasileira a que nos ligramos (Fundao Carlos
Chagas), quando regressssemos do exterior.
Ainda em relao nossa vivncia em uma instituio norte-americana, com auxlio da Fundao Ford, gostaramos de acentuar um aspecto importante ligado ao trabalho prtico, sempre
exigido, aos exerccios constantes, muitas vezes dirios, e cobrados para correo e comentrios, e as exposies orais, seguidas
de debates, com avaliaes, inclusive a controversa peer evaluation,
em alguns casos. A realizao de trabalhos, apresentados aos professores em blue books (cadernos padronizados para a realizao
de exerccios, comuns nas escolas americanas, inclusive na
high school e nos colleges), cria, naturalmente, um ambiente de
presso e competitividade, sobretudo considerando que muitas
avaliaes tinham os resultados expressos on the curve, ou seja,
em funo do desempenho do grupo. Tudo isso concorre para
alimentar o caldo de cultura de um dos elementos mais caros
sociedade americana, a valorizao do desempenho e o constante provar que, mesmo no sendo o primeiro, a pessoa se situa
no top, entre os melhores, os mais bem dotados e sucedidos, revelando, assim, um outro aspecto da vida social e intelectual da
prpria universidade: o culto da meritocracia. A experincia,
entretanto, foi extremamente vlida e a esse ambiente voltamos
em diferentes momentos, que, admitimos, foram sempre enriquecedores, quantitativa e qualitativamente, em nossas atividades profissionais.
Aps a experincia universitria norte-americana, e sem
uma fase de transio adaptativa nossa cultura, iniciamos atividades na Fundao Carlos Chagas no final de 1969, centradas
na seleo para a Universidade e na de recursos humanos qualificados, especialmente para agncias governamentais.
Enfrentamos uma situao indita, reflexo da massificao
do ensino e o consequente afluxo de grande nmero de estudantes s portas da universidade em busca no apenas do saber,
mas, sobretudo de uma qualificao profissional. Ao mesmo
tempo que procurvamos socializar conhecimentos e a expertise
desenvolvidos nos Estados Unidos, tnhamos que defender posies em uma controvrsia inteiramente sem sentido: a falsa
dicotomia prova discursiva versus prova objetiva.
Procuramos desenvolver competncia, inclusive entre profes-
93
5/29/15 3:37 PM
19 Acerto casual em
prova objetivas. O GLOBO,
04/09/73. A Seleo de
Candidatos atravs de Provas
Objetivas. Folha de So Paulo,
25/12/73. O que a prova de
redao realmente mede?
Folha de So Paulo, 19/10/75.
20 Emprego e caractersticas
de provas objetivas. Cincia
e Cultura, vol. 22, n 3, 1970.
Os vestibulares refletem toda
a problemtica da educao.
Mundo Econmico,
vol. IV, n 5, 1971.
21 Testes em Educao.
Editora IBRASA. So
Paulo. 1973. Los Testes em
La Educacin. Ediciones
Universidad de Navarra
SA. EUNSA. Pamplona,
Espanha. 1983.
94
sores universitrios, na construo de itens e no planejamento e

montagem de provas objetivas, que eram o instrumento adequado para enfrentar uma situao de exame de massa. Ainda que
ataques a esse procedimento fossem originrios de segmentos
conservadores da comunidade acadmica, havia repercusses na
sociedade, que acreditava na argumentao nem sempre consistente das autoridades. Isso levou-nos a escrever artigos para divulgao na mdia19 tentando equacionar o problema diante do
quadro revelado pela alta relao candidato/vaga no acesso ao ensino de 3 Graus, e a redigir trabalhos de carter tcnico para as
instituies que realizavam seus exames por intermdio da Fundao Carlos Chagas e para a prpria comunidade acadmica20.
As atividades na rea psicomtrica intensificaram-se a partir
do final de 71, com o aumento do nmero de instituies que passaram a integrar a Fundao Carlos Chagas, exigindo o deslocamento para diversos pontos do territrio nacional, especialmente
no Nordeste e no extremo Sul, a fim de participar de treinamentos
e realizar cursos regulares, em nvel de graduao (Faculdade de
Filosofia, Cincias e Letras de Araraquara, atualmente integrando
a Universidade Estadual de So Paulo) e em nvel de ps-graduao, na Universidade Federal do Rio de Janeiro, na rea de medidas
educacionais, o que resultou na publicao de um livro sobre o
assunto21 posteriormente editado, tambm, em espanhol.
A preocupao maior em Testes em Educao foi com aspectos ligados ao planejamento dos instrumentos de medida,
redao de objetivos instrucionais operacionais, tecnologia
da construo de questes objetivas e discursivas, ao problema da validade (curricular e preditiva), s questes ligadas
fidedignidade dos resultados e anlise de itens. Tudo isso em
linguagem acessvel a leitores sem maiores experincias com a
estatstica dos testes. Aos poucos, o problema da medida da capacidade de expresso escrita comeou a adquirir uma dimenso maior, inclusive com o apoio do Ministrio da Educao,
que, a partir de 1975, oficializou a sua utilizao nos exames
de acesso Universidade, com vistas a resguardar a lngua
nacional, problema analisado por alguns setores luz da segurana nacional. No nos esqueamos de que, poca, vivamos
em pleno regime militar (1964-85).
Ainda que convencidos da eficincia das provas objetivas na seleo de grande nmero de estudantes passamos a nos preocupar
5/29/15 3:37 PM
com o problema da medida da expresso escrita22 analisando experincias realizadas no exterior, especialmente no Educational
Testing Service - ETS, com particular destaque para o trabalho de
Godshalk, Swineford e Coffman23 realizando estudos empricos
sobre a fidedignidade dos corretores e dos resultados, inclusive usando vrios critrios, determinando a validade preditiva e
concorrente de provas objetivas na medida da expresso escrita,
e verificando, entre outros aspectos, as diversas contribuies
da pesquisa educacional para a compreenso dessa medida em
situao de exame de massa, como o rito de passagem do
vestibular. Todo o material escrito (artigos e pesquisas) foi
posteriormente publicado em forma de livro24.
Simultaneamente, outras atividades foram igualmente realizadas, como a anlise do possvel impacto dos testes sobre
o sistema educacional brasileiro25 tendo em vista a afirmao,
alis, no confirmada empiricamente, de que o exame vestibular estaria moldando, negativamente, o sistema de ensino
no Brasil. Alm disso, preocupava-nos, sobremodo, a falta de
formao tcnica dos professores em medidas educacionais,
motivando um paper que foi apresentado em seminrio internacional no Rio de Janeiro, em 197826.
O problema do acesso ao ensino superior recorrente na educao brasileira; desse modo, no final da dcada de 70, voltou a ser
discutido e processos alternativos foram propostos. Velhas questes provas objetivas versus provas dissertativas continuaram
a ser discutidas ad nauseam27 sem nenhuma comprovao, mas
apenas com base em opinies pessoais, idiossincrasias ou vieses
poltico-acadmicos. O mesmo assunto voltaria a ser discutido em
1986 e, novamente, tornaria a ser discutidas em 1995, sem maiores consequncias prticas. Ainda em 1986, analisamos o problema28 e voltamos ao assunto em um longo ensaio sobre as origens
do vestibular (1911), sua histria, sua legislao, suas inovaes e
retrocessos o ttulo do trabalho reflete a nossa posio sobre o assunto (Acesso Universidade caminhos da perplexidade), depois
do que passamos a nos dedicar quase inteiramente avaliao
educacional: inicialmente, na rea do rendimento escolar; mais
tarde, em estudos sobre aptides e, a seguir, na avaliao de programas e sistemas de ensino.
A intensa atividade na rea de seleo no nos impediu de
refletir sobre outros aspectos da avaliao, especialmente sobre
22 Medida da Expresso
Escrita. Didata, n 4, 1976.
Redao e medida da
expresso escrita: algumas
contribuies da pesquisa
educacional. Cadernos de
Pesquisa. So Paulo, Fundao
Carlos Chagas, n 19, 1976.
Flutuao de julgamentos em
provas de redao. Cadernos
de Pesquisa. So Paulo.
Fundao Carlos Chagas, n
19, 1976. Aplicao de critrios
de correo em provas de
redao. Cadernos de Pesquisa.
So Paulo, Fundao Carlos
Chagas, n 26, 1978. Medida
da Expresso Escrita e Prova
Objetiva: um estudo preliminar
de validade. Cadernos de
Pesquisa. So Paulo. Fundao
Comunicao e Expresso
no acesso a Universidade:
uma experincia diversificada.
Educao e Seleo. So
Paulo, Fundao Carlos
Chagas, n 4, 1981. Validade
de contedo de uma prova
de Comunicao e Expresso:
anlise de alguns problemas.
Educao e Seleo. So Paulo.
4, 1961. Redao e Medida da
Expresso Escrita: algumas
contribuies da pesquisa
educacional. Educao e
Seleo. So Paulo. Fundao
Dupla Correo em provas
de redao. In: Comunicao
e Expresso. IBRASA. So
Paulo. 1963. Provas e Testes no
Concurso Vestibular. Educao
e Seleo. So Paulo. Fundao
23 GODSHALK, F. L.;
SWINEFORD, F.; COFFMAN,
W. E. The measurement
of writing hability. College
Entrance Examination Board.
New York. 1966.
24 Comunicao e
Expresso problemas
tericos e prticos de
avaliao. IBRASA.
So Paulo. 1983.
25 Impacto dos testes sobre

os sistemas e objetivos
educacionais: a experincia
brasileira. Cadernos de
Pesquisa. So Paulo.
Fundao Carlos Chagas,
n 27, 1978, mais tarde
editado por Dockrell, W.B.
In: The lmpact of Tests in
Education. IAEA. Princeton,
New Jersey, 1980.
95
5/29/15 3:37 PM
26 Development of Technical
Competence of Teachers in
Educational Measurement
(paper). lnternational Council
on Education for Teaching. Rio
de Janeiro, 1978.
27 Processos alternativos
de seleo para ingresso no
ensino superior. Cadernos
de Pesquisa. So Paulo.
34, 1980. Acesso Universidade
reflexo sobre problemas
atuais. Educao e Seleo.
So Paulo. Fundao Carlos
Chagas, n 1, 1980.
28 Acesso a Universidade
Anlise de alguns modelos
alternativos de seleo.
Educao e Seleo. So
Paulo. Fundao Carlos
Chagas, n 13 1 1986. Acesso
Universidade Caminhos da
perplexidade. Educao e
Carlos Chagas, n 14. 1986.
Acesso Universidade um
estudo de validade. Educao
e Seleo. So Paulo.
n 15, 1987. Acesso
Universidade uma reflexo ao
longo do tempo. Educao e
29 A perspectiva das
medidas referenciadas
a critrio. Educao
e Seleo. So Paulo.
n 2, 1980. Medidas
referenciadas a critrio:
uma introduo. In:
A construo do projeto de
ensino e avaliao. Fundao
para o Desenvolvimento
da Educao FDE.
So Paulo, 1990.
30 Seleo para programas
de ps-graduao um
projeto transnacional.
Educao e Seleo.
Chagas. N 2, 1980.
31 Avaliao educacional
problemas gerais e formao
do avaliador. Educao e
Seleo. So Paulo,
n 5, 1982. Qualificao tcnica
e construo de instrumentos
de medida educacional.
Educao e Seleo. So
Chagas, n 10, 1984.
96
a avaliao formativa, para usar a feliz expresso cunhada por

M. Scriven, conforme veremos na exposio sobre a lgica da
avaliao. O grande drama do ensino brasileiro est na reprovao em vrias sries do 1 Grau, como demonstrou Srgio Costa
Ribeiro em vrios de seus trabalhos, alguns dos quais editados
por ns nas revistas Educao e Seleo (1980-89) e Estudos em
Avaliao Educacional (1990), da Fundao Carlos Chagas. As medidas referenciadas a critrio, revigoradas a partir dos trabalhos
de Glaser (1963) e por influncia de Ralph W. Tyler pareceram-nos o caminho adequado para evitar a situao constrangedora da reprovao, tendo em vista que esse tipo de medida exige
uma instruo individualizada e uma avaliao formativa. Chegamos a propor o uso de um coeficiente de verificao da sensibilidade ao processo instrucional29, mas a proposta no teve
maior repercusso junto queles que poderiam implementar o
projeto: os professores, por razes bvias, especialmente falta de
capacitao na rea de medidas e em avaliao.
O ano de 1980 foi rico em experincias pessoais, sobretudo pela participao em um programa internacional, coordenado por William Turnbull, ex-presidente do Educational Testing
Service ETS, com o envolvimento da American University of
Cairo, The Hong Kong Examinations Authority e a Fundao Carlos
Chagas30 para construir um instrumento destinado a avaliar a
aptido numrica e verbal de candidatos ps-graduao no
Brasil e no exterior. Seria um instrumento em quatro lnguas:
portugus, ingls, rabe e chins, em verses tecnicamente
equivalentes e que se inspirariam nos modelos do SAT (Scholastic
Aptitude Test) e do GRE (Graduate Record Examination), sem que
fossem, entretanto, uma simples reproduo desses instrumentos de comprovada validade preditiva. O projeto, infelizmente, aps a pr-testagem dos instrumentos, decorridos quase dois anos de intensos trabalhos, entrou em colapso, como
decorrncia do falecimento de seu coordenador e principal
elemento de ligao com as agncias financiadoras.
A participao neste projeto internacional e os trabalhos na
rea de seleo de recursos humanos evidenciaram a falta de elementos com expertise suficiente para o desenvolvimento de projetos nessas reas, levando-nos a abordar o assunto31 que de grande
complexidade, tendo em vista a inexistncia de centros especializados a avaliao educacional, infelizmente, no rea de habi-
5/29/15 3:37 PM
litao em nossas universidades que promovam uma formao

especfica para a realizao de diferentes atividades que pressupem, alm da experincia docente, conhecimentos diversificados, com profundo embasamento estatstico, mesmo para
a realizao de estudos qualitativos, como ocorre nos grandes
centros universitrios, como a Universidade de Illinois (Urbana),
no programa de ps-graduao dirigido por Robert Stake.
Procuramos divulgar, ainda em 1982, o pensamento de
dois personagens fundamentais na evoluo terica e na prtica da avaliao educacional: Tyler e Cronbach32. O primeiro,
na dcada de 40, lanou os fundamentos da avaliao educacional; Cronbach, preocupou-se com a fundamentao terica de sua prtica. Acreditamos que no teramos chegado
ao ponto em que nos encontramos se no fosse a colaborao desses dois cientistas sociais, complementada, mais tarde, pela contribuio de outros, como Scriven, Stufflebeam,
Stake e Guba, nas suas obras bastante diversificadas.
Ao considerar o perodo de 1983-84, constatamos que nossas preocupaes se diferenciaram consideravelmente, envolvendo problemas psicomtricos relacionados com a validade
de construto em testes educacionais, seguindo, assim, a linha
de Lee J. Cronbach, e com a validade de critrio33. Nesse ano
de 1983, na Pontifcia Universidade Catlica do Rio de janeiro
(PUC-RJ), realizou-se um seminrio que nos permitiu um contato maior com Robert E. Stake, que nos autorizou a traduo de
dois de seus papers: um, sobre estudo de caso; outro, a respeito de
problemas epistemolgicos na pesquisa qualitativa/naturalista.
Assim, convivemos com o quantitativo e o qualitativo sem
maiores traumas, pois julgamos ser inteiramente falsa essa dicotomia que pretende opor uma outra34.
A partir de 1986, comeamos a nos envolver mais diretamente com o problema da avaliao do rendimento escolar nas
escolas de 1 e 2 graus, desenvolvendo projetos financiados pelo
Instituto Nacional de Estudos e Pesquisas Educacionais INEP35
pelo Banco Mundial e pela Secretaria de Estado da Educao do
Paran evidente que uma avaliao abrangendo 69 cidades dispersas pelos vrios Estados do Brasil acaba por mexer com a comunidade educacional, sobretudo tendo em vista a falsa concepo do carter punitivo da avaliao. Algumas reaes revelaram
preocupao com aspectos tcnicos, numa reao tpica de cris-
algumas ideias precursoras.
Educao e Seleo. So
Chagas, n 6, 1982.
33 Validade de construto
em testes educacionais.
Educao e Seleo. So
Chagas, n8, 1983.
34 STAKE, Robert E.
Estudo de caso em pesquisa
e avaliao educacional.
Educao e Seleo. So
Chagas, n 7, 1983. Robert E
Stake. Pesquisa qualitativa/
naturalista: questes
epistemolgicas. Educao e
35 Avaliao do Rendimento
de Alunos de Escola do
1Grau da Rede Pblica: uma
aplicao experimental em 10
cidades. Educao e Seleo.
Chagas, n 17,1988. Avaliao
do Rendimento dos Alunos
de 2 e 4 sries de Escolas
Oficiais do Estado do Paran.
Educao e Seleo. So
Paulo, Fundao Carlos
Chagas, n18, 1988. Avaliao
do Rendimento de Alunos de
Escolas do 1 grau da Rede
Pblica: um estudo em 39
cidades. Educao e Seleo.
Chagas, n 20, 1989.
97
5/29/15 3:37 PM
36 A prtica da Avaliao
Educacional: algumas
colocaes metodolgicas.
Cadernos de Pesquisa,
n 69. So Paulo.
37 Avaliao Institucional: a
Universidade (texto proposto
para discusso). Estudos em
n 1, So Paulo. Fundao
Carlos Chagas, 1990.
38 Medida da Qualidade em
Educao apresentao
de um modelo. Estudos em
n2. So Paulo. Fundao
Carlos Chagas. 1990.
39 Avaliao do Rendimento
Escolar de Alunos da 3 srie
do 2 Grau subsdios para
uma discusso. Estudos em
n 3. So Paulo. Fundao
98
to-novo que se apega ortodoxia, antes objeto de contestao

pelos recm-conversos. Vimo-nos obrigados, assim, a produzir
um documento36 discutindo objetivos, amostragem e tratamento estatstico dos dados, sobretudo a questo de saber quando
NO usar certa tecnologia, especialmente tendo em vista o real
destinatrio da avaliao/pesquisa o professor em sala de aula.
Ainda que no fosse inteno aumentar o nosso espao de
atividades na rea da avaliao, envolvemo-nos, por breve momento, com a avaliao institucional - rea pouco desenvolvida
entre ns, apesar da importncia dos trabalhos realizados pela
Universidade Nacional de Braslia (lsaura Belloni) e pela Pontifcia
Universidade Catlica de So Paulo (Ana Maria Saul), entre outros.
A discusso girou, sobretudo, a partir de um texto por ns elaborado sobre a quem caberia a responsabilidade dessa avaliao37.
A participao em projetos internacionais levou-nos a considerar o problema da qualidade em educao38 procurando,
inclusive, uma forma operacional de medi-la, considerando o
contexto em que o processo educacional se desenvolve, as variveis no diretamente ligadas escola, mas que afetam a educao, e a ao da escola em termos de entrada, processo e produto.
O modelo apresentado procurou demonstrar que o desempenho
escolar (e a formao de atitudes) um dos produtos apenas, no se
justificando, assim, a concentrao de trabalhos de avaliao unicamente nesse aspecto, como est ocorrendo no Brasil.
Apesar da existncia de um nmero grande de relatrios, h
carncia de informaes sobre aspectos relacionados ao desempenho escolar no final do 2 Grau, ou melhor, os dados coletados nos
chamados concursos vestibulares poderiam preencher essa lacuna, mas no so estudados, repousam no cemitrio de dados dos
arquivos institucionais, ou, o que mais grave, no arquivo morto
de rgos oficiais. A necessidade de informaes urgentes, por solicitao do Ministrio da Educao (MEC) Secretaria de Ensino
do 2 Grau, com apoio financeiro do Banco Mundial, fez com que
nos envolvssemos na avaliao de alunos de sries terminais39
na rede pblica e privada, em quatro grandes capitais, verificando as relaes entre rendimento escolar e diferentes variveis
socioeconmicas. A avaliao, entre outros aspectos, mostrou
que, quando h recursos humanos qualificados, condies materiais, metodologia adequada, recursos didticos e interesse, entre
outros aspectos, accountability , possvel um ensino eficien-
5/29/15 3:37 PM
te nas escolas pblicas, tendo o estudante condies de realizar

uma boa aprendizagem, como foi observado nas escolas tcnicas.
A avaliao, por outro lado, evidenciou a falcia do mito da excelncia da escola privada, mostrando, ao contrrio, que a sua
suposta qualidade nem sempre verdadeira, sendo superada em
muitos casos pela escola pblica, desde que bem orientada40.
No decorrer de 1991, fizemos uma reanlise das avaliaes desenvolvidas e essa releitura permitiu-nos uma longa
reflexo sobre os fatores determinantes da reprovao e da
evaso nas primeiras sries do Ensino Bsico41. Ao ouvirmos
administradores e professores, positivamos a problemtica da
repetncia soma de mal-entendidos que leva muitos educadores a no se aperceberem de suas calamitosas implicaes,
inclusive financeiras, alm, naturalmente, das psicolgicas e
pedaggicas, e dos malefcios que determina. Vivenciamos a
experincia durante anos, na dcada de 80, ao realizarmos
estudos e avaliaes em mais de 300 escolas, abrangendo dezenas de cidades do Pas, conforme referncia anterior. Estes
estudos, analisados segundo uma perspectiva temporal, podem ser considerados o incio de outros mais sistemticos, desenvolvidos em nvel estadual, a partir do incio dos anos 90.
Ao mesmo tempo em que realizvamos diferentes trabalhos em nossa rea de concentrao, preocupvamo-nos com
o problema da meta-avaliao, procurando fazer uma anlise
crtica42 do que de mais representativo estava sendo feito no
pas, chegando a uma concluso de certa forma pessimista,
porquanto, em linhas gerais, situamos a avaliao em nosso
contexto educacional na fase da pr-histria, por sua preocupao com problemas nem sempre relevantes, limitada a aspectos
tpicos, sem maior aprofundamento das questes que interessam, efetivamente, aqueles que militam os professores , e
que deveriam ser os principais destinatrios no apenas das
avaliaes, mas, tambm, das pesquisas que se realizam na
rea da educao, pelo menos em termos tericos. Ambas, quase sempre, destinam-se a agncias financiadoras, atendendo
muitas vezes a exigncias meramente burocrticas. a avaliao pela avaliao, a pesquisa pela pesquisa, sem maiores consequncias prticas, provocadoras de mudanas no sistema de
ensino, nas prticas instrucionais, na elaborao de currculos
e na orientao do processo educacional, salvo, naturalmente,
40 Ver, tambm, para uma

discusso mais ampla desse
ponto, o artigo: Avaliao do
Rendimento de Alunos de
Escolas de 1 Grau da Rede
Privada Pontos Crticos e
Convergncias. Estudos em
Avaliao Educacional, n 7.
So Paulo, Fundao Carlos
Chagas, 1993.
41 Evaso, repetncia
e rendimento escolar
a realidade do sistema
educacional brasileiro.
Estudos em Avaliao
Educacional, n 4.
So Paulo. Fundao
42 Avaliando a avaliao: da prtica pesquisa. Estudos

em Avaliao Educacional,
n 5, So Paulo. Fundao
99
5/29/15 3:37 PM
43 Avaliao do Ciclo Bsico

de Alfabetizao em Minas
Gerais Estudos em Estudos
n5, So Paulo, Fundao
Desempenho dos Alunos do
CBA em Minas Gerais: anlise
dos resultados e identificao
de pontos crticos. Estudos
n 6, So Paulo, Fundao
Os alunos da 8 srie do
Ensino Fundamental em
Minas Gerais: desempenho
em redao (anlise
quantitativa). Estudos em
Avaliao Educacional, n 9.
Chagas, 1994. Atitude
em relao Cincia. Estudos
n 10. So Paulo, Fundao
44 Desenvolvimento de
um programa de avaliao
do Sistema Estadual de
Ensino: o exemplo de Minas
Gerais. Estudos em Avaliao
Educacional, n 8, So Paulo,
Fundao Carlos Chagas, 1993.
45 Ver Estudos em Avaliao
Educacional, n 2, 1990.
100
as excees habituais, como de praxe afirmar.

Iniciamos, a partir de 1991, junto Secretaria de Estado da
Educao de Minas Gerais, um amplo programa de avaliao do
sistema estadual de ensino43 no contexto de um conjunto de atividades ligadas a um programa de qualidade do ensino, parcialmente financiado pelo Banco Mundial. Aps a avaliao censitria
do Ciclo Bsico de Alfabetizao, prosseguimos avaliando outras
sries do Ensino Bsico (5 e 8) e, depois, a avaliao da 2 srie
do Ensino Mdio e da Habilitao Magistrio (3 e 4 sries). A avaliao, repetimos, estava inserida num conjunto de outras medidas ligadas autonomia administrativa, financeira e pedaggica.
Uma avaliao desse tipo somente faz sentido se objetiva mexer
efetivamente com o sistema, sua administrao e, especialmente,
com a sua pedagogia, implicando alteraes curriculares, a partir
da identificao de pontos crticos, alm de medidas efetivas para
a qualificao dos professores ligados ao ensino das primeiras sries. Apesar da expanso dos programas de avaliao em todo o
sistema brasileiro de ensino, nos seus vrios nveis no ser mais
um modismo imposto pelas agncias financiadoras? , o problema prioritrio, a nosso ver, centra-se, realmente, na qualificao
de professores, especialmente para o 1 Grau; depois, ento, a avaliao, em diferentes reas visando a aspectos diversos.
A revista Estudos em Avaliao Educacional, em seus nmeros 6 (1992) e 9 (1994), d uma ideia da complexidade da avaliao de sistemas de ensino, problema que nos levou a delinear
uma metodologia44 considerando aspectos tcnicos e oferecendo
orientaes prticas para a sua concretizao, partindo do modelo inicial que desenvolvemos para usar em um programa de
medida da qualidade da educao45.
A experincia desta avaliao demonstrou que o trabalho
baseado em populao, especialmente, e no por amostragem,
somente possvel se houver a colaborao total dos professores
identificado com os objetivos do trabalho, a aceitao do corpo
discente, consciente da importncia do trabalho para a melhoria da sua aprendizagem, e o envolvimento efetivo dos pais em
todas as fases do processo, inclusive na anlise dos dados e na
elaborao dos relatrios finais. O modelo proposto para Minas
Gerais foi, posteriormente, com as necessrias adaptaes, utilizado em So Paulo e no Paran, entre outros Estados.
Ao fazermos a reviso dos trabalhos publicados pela revista
5/29/15 3:37 PM
Cadernos de Pesquisa, ao longo de um perodo de 20 anos (1972-92)46,

verificamos que h um interesse geral sobre o assunto, especialmente em relao avaliao do rendimento escolar, e grande
preocupao metodolgica na abordagem dos diferentes problemas, no entanto, observamos, tambm, que somente a partir de
1973 as questes ligadas avaliao passaram a merecer um maior
enfoque terico e um interesse maior por metodologias qualitativas, sem, entretanto, um maior conhecimento dos fundamentos dessas mesmas metodologias, grosso modo. Tudo indica que
j possumos um material substancial a respeito da educao no
Brasil e que chegado o momento de uma ao direta, com vistas
alterao do presente panorama, que se revela bastante catico.
Ao longo do tempo, procuramos seguir uma linha de coerncia em relao ao que pensvamos e fazamos, sem, entretanto,
nos apegarmos a uma rgida ortodoxia, que, geralmente, conduz
a caminhos pouco frteis. A presente reviso do nosso pensamento e do trabalho concretizado aps 1962 levou-nos a consultar antigas anotaes e livros de autores que de uma forma ou de outra
contriburam para a nossa formao. Encontramos na contracapa
de um dos livros de Guilford47, autor que fortemente nos influenciou, uma citao por ns manuscrita em 1967, extrada de obra
que infelizmente no anotamos, e que reflete o pensamento positivista de William Thomson, Lord Kelvin (1824-1907), o grande
fsico ingls: I often say that when you can measure what you
are speaking about, and express it in numbers, you know something about it; but when you cannot measure it, when you cannot express it in numbers, your knowledge is of a meagre and unsatisfatory kind; it may be the beginning of know/edge, but you
have scarcely, in your thoughts, advanced to the stage of science,
whatever the matter may be (1883). A transcrio mostra o seu
posicionamento claramente positivista e, admitimos, orientou,
em grande parte, o nosso proceder, ainda que nunca tenhamos
confundido as reas bastante prximas da medida e da avaliao,
podendo ser aquela a medida o incio desta ltima, mas no
necessariamente, porquanto outras abordagens so igualmente
possveis para a anlise dos problemas da educao.
O certo que procuramos acompanhar a evoluo do pensamento docimolgico e reconhecemos, com Mislevy (1993)48
que ao longo dos anos algumas obras tiveram grande influncia:
An lntroduction to the Theory of Mental and Social Measurements, de
nos Cadernos de Pesquisa.
Cadernos de Pesquisa, n 89.
Chagas, fevereiro de 1992.
47 GUILFORD, J.P.
Fundamental Statistics in
Psychology and Education.
Mc Graw-Hill Book Co. Fourth
Edition. New York, 1965.
48 FREDERICKSEN, N.;
MISLEVY, R. J e BEJAR, I.I.
Test Theory for a New
Generation of Tests.
Laurence Erlbaum Associates.
Publishers; Hillsdale,
New Jersey, 1993.
101
5/29/15 3:37 PM
49 LORD, F.M.; NOVICK,

M.R. Statistical theories of
mental test scores. Reading,
M. A. Addison Wesley
Publishing Co. 1968.
50 CUBA, E. G. The Paradigm

Dialog. Newbury Park. Sage
Publications, California, 1990.
102
E. L. Thorndlke (1919); lnterpretation of Educational Measurements,

de T. L. Kelley (1927); Psychometric Methods, de J. P. Guilford
(1936); Probabilistic Models for Some lntelligence and Attainment
Tests, de G. Rasch (1960/80) e, particularmente, a obra capital
e verdadeiramente enciclopdica que a Statistical Theories of
Mental Test Scores, de F. M. Lord e M. R. Novick (1968), trabalho
em que colaborou Allan Birnbaum Some latent trait models
and their use in inferring an examinees hability Parte 5, caps. 17 e
segs. , apresentando a fundamentao da Teoria da Resposta
ao Item (Item Response Theory). Esses ltimos tericos contriburam para dar uma nova dimenso teoria das medidas educacionais (e psicolgicas), ajudaram a compreender a relao
que existe entre o nvel de habilidade dos sujeitos e o escore
obtido em um teste, sobretudo a partir de Rasch e outros mais
que aprofundaram essa nova viso, geralmente chamada de
teoria moderna dos testes, que complementa, mas no invalida, a teoria clssica, na linha de H. Gulliksen e outros.
A teoria das medidas, ao desenvolver-se, passou a exigir
certo nvel de sofisticao, que dificulta a compreenso daqueles que no tm, por exemplo, conforme dizem Lord e Novick
(1968)49 competncia moderada em clculo diferencial e integral, alm de familiaridade com a linguagem e a mecnica
bsica da estatstica matemtica. Isso tem contribudo para
dificultar o trabalho de muitos, entre os quais nos inclumos,
e afastado outros que se julgam incapazes de penetrar em um
campo reservado a alguns poucos eleitos. A sofisticao de certos tericos, sobretudo considerando o emprego cada vez mais
frequente da estatstica bayesiana em pesquisas educacionais e
psicolgicas, demonstra que a rea docimolgica est a exigir
novos talentos com capacitaes diferenciadas para acompanhar o desenvolvimento da Psicometria, o que temos procurado
fazer, apesar das nossas limitaes pessoais decorrentes de uma
formao predominantemente humanista.
Acreditamos que um avaliador se constri ao longo de sua
experincia profissional, que, no nosso caso particular, contribuiu para que no tivssemos uma viso maniquesta de
aceitao irrestrita ao positivismo e rejeio incondicional s
alternativas que o condenam: ps-positivismo, teoria crtica e
construtivismos50, que conflitam entre si, ainda que se unam na
sua oposio ao empirismo. A partir das nossas vivncias pessoais,
5/29/15 3:37 PM
quantitativo e qualitativo, objetivismo e subjetivismo, deixaram

de ser polos opostos, irreconciliveis, que no podem coexistir,
mas posicionamentos que se completam no exerccio da avaliao educacional, onde no devem existir Ormuz e Arim, mas
um pensamento suficientemente flexvel para adequar as vrias
metodologias diversidade das situaes. Por isso, sentimo-nos
gratos a autores como Stake, Guba e Lincoln, Stufflebeam, e at
mesmo aos radicais Parlett e Hamilton, entre outros, que nos
ajudaram a compreender o problema da avaliao educacional
e contriburam, juntamente com Tyler, Scriven e, particularmente, Cronbach, para a formao do nosso pensamento, preocupado com o mundo das realidades, sem cultivar mitos que
deformam a viso do avaliador, acentuando mais ainda os seus
vieses, que sempre existem.
103
5/29/15 3:37 PM
104
5/29/15 3:37 PM
Instrumentos
de AvaliacAo
EDUCACIONAL
105
5/29/15 3:37 PM
QUALIFICAO TCNICA
E CONSTRUO DE
INSTRUMENTOS
DE MEDIDA EDUCACIONAL1
1 Artigo publicado em
Educao e Seleo, n. 10,
p 43-49, jul./dez. 1984.
106
1. A mensurao educacional
problema geral
A anlise dos instrumentos de medida do rendimento escolar,
ora empregados em nosso meio educacional, revela diversos
nveis de qualidade tcnica. Ao lado de alguns poucos que realmente demonstram medir aquilo a que se propem, existe,
infelizmente, um nmero elevado de instrumentos que apresentam completa carncia de requisitos tcnicos. O problema da
qualidade desses instrumentos grave, sobretudo em virtude da
influncia que exercem no processo de aprendizagem.
Os instrumentos de medida, independentemente do seu
aspecto formal, mas desde que bem construdos, representam
um estmulo para o estudante e um desafio ao seu interesse e
sua curiosidade intelectual. fato reconhecido que os bons instrumentos de medida exercem una funo direcional, pois orientam o examinando sobre o que estudar e, mais importante ainda,
sobre como estudar. Entretanto, quando certos instrumentos de
medida so analisados observa-se que no orientam, mas sim
conduzem o estudante a adotar comportamentos sem grande
relevncia educacional, ou seja, estimulam a aprendizagem do
5/29/15 3:37 PM
efmero e do factual, e, assim, transformam-se num elemento

de frustao para o estudante, o qual, contrariamente ao que
se poderia acreditar, tem plena conscincia de no estar sendo
avaliado segundo as suas expectativas (Ebel, 1961).
Se h instrumentos de mensurao que no estimulam, no
orientam e no avaliam o progresso do estudante, qual seria,
ento, a razo de ser dessa anomalia? Este estado de coisas no
decorreria do tipo de instrumento construdo e, particularmente, do tipo de questo elaborada? A pergunta ociosa e j foi
respondida h mais de meio sculo atravs de pesquisas empricas. Existem boas provas de dissertao, assim como h bons
testes objetivos. O problema no se concentra neste ou naquele
tipo de prova, mas na ausncia do domnio da tecnologia dos
instrumentos de medida educacional. Alguns responsveis pela
elaborao de provas e exames simplesmente improvisam, quase
sempre de boa f, e, assim, praticam enganos que geram numerosos problemas na rea da mensurao educacional.
2. Os instrumentos e as medidas
educacionais problemas especficos
O exame de alguns problemas relacionados com o processo de
mensurao demonstra a falta de formao tcnica de muitos
construtores de instrumentos de medida. Apenas os problemas
mais significativos sero discutidos a seguir.
2.1. A maioria dos julgamentos sobre o rendimento
educacional subjetiva, ainda que muitos avaliadores
acreditem possuir padres absolutos de julgamento.
A carncia de fidedignidade dos julgamentos subjetivos acha-se demonstrada por copiosa literatura de pesquisas em educao. A soluo para o problema estaria na realizao de um
julgamento mdio por vrios examinadores; no trabalho cooperativo para a construo dos instrumentos de medida e,
particularmente, no desenvolvimento da compreenso de que
somente atravs do uso de padres relativos de julgamento,
com base no comportamento do grupo de examinados, que
constitui o sistema referencial, possvel um julgamento adequado do desempenho escolar.
107
5/29/15 3:37 PM
2.2. O trabalho de elaborao

dos instrumentos de medida quase sempre
realizado s pressas e sob presso.
H, implicitamente, um outro problema, que foge ao nosso campo de indagao, mas que no pode ser evitado, porque influi
no estado atual das medidas educacionais. O construtor de instrumentos de medidas, geralmente professor militante, v-se
obrigado a exercer mltiplas atividades desgastantes, fsica e
emocionalmente, e, assim, desconhece o lazer criativo, que lhe
permitiria considerar a problemtica do processo de orientar e
avaliar a aprendizagem. Desse modo, os instrumentos de medida so elaborados s pressas, em vspera de exame e, s vezes, na
prpria hora do exame, sendo, portanto, instrumentos defeituosos
e de m qualidade.
2.3. Os instrumentos ora empregados so
mal planejados e quase nunca possuem validade
de contedo, por no considerarem uma
amostra representativa de conhecimentos
e capacidades relevantes.
Um instrumento de medida, qualquer que seja o seu aspecto

formal, precisa ser adequadamente planejado. Um conjunto
de 50 itens nem sempre um teste, assim como uma dezena
de perguntas de resposta livre nem sempre constitui uma prova de dissertao. A ausncia de planejamento reflete-se em
interrogao sensatamente apresentadas pelos examinados:
o que mede esse teste? qual o objetivo desse exame? o que
pretende o professor com essas perguntas? Nem sempre possvel
responder, com sinceridade e sem subterfgios, a essas perguntas, que so justas e legtimas.
2.4. Um grande nmero de instrumentos
de medida enfatiza o trivial, o detalhe
irrelevante, sem considerar capacidades
educacionalmente importantes.
O importante, para alguns construtores de instrumentos de mensurao, , por exemplo, a data do descobrimento da Amrica,
por Colombo, e no as caractersticas do impacto que esse descobrimento teve sobre a evoluo da histria do mundo moderno. Saber o nome de quem escreveu a obra De Revolutionibus
108
5/29/15 3:37 PM
Orbium Coelestium mais relevante, felizmente para um nmero

reduzido de indivduos, do que compreender o significado da
revoluo coperniciana da cincia moderna. O conhecimento de
elementos factuais e especiosos, entretanto, no exclusivo de
um nico tipo de prova, parece ser uma tendncia geral no atual
estado dos instrumentos de medida.
2.5. A estruturao formal inadequada de muitos
instrumentos de medida no permite verificar
capacidades complexas, como a de anlise.
A deficincia formal muitas vezes considerada por alguns crticos como sendo apangio exclusivo dos itens objetivos. O argumento, ainda que sem apoio emprico, serve, frequentemente,
para justificar e defender os itens de dissertao. Nada mais errneo, pois, desde que bem elaborados, ambos os tipos de questo
podem medir capacidades complexas. H, na verdade, um problema tcnico na estruturao de itens para a mensurao de capacidades complexas, que, infelizmente, nem todos os construtores de
instrumentos conseguem solucionar satisfatoriamente.
A anlise crtica de textos de dissertao mostra que as
chamadas evidncias da capacidade de analisar nada mais so
do que exerccios de parfrases de manuais e livros didticos,
sem nenhuma originalidade e profundidade. Entretanto, um
tipo de comportamento que pode ser verificado atravs de dissertaes, desde que esse comportamento tenha sido desenvolvido durante o processo de aprendizagem. Ainda que bizarra,
a situao realmente existe; muitas vezes, procura-se verificar
comportamentos para os quais o examinando no recebeu
treinamento prvio.
O problema mais ou menos semelhante com relao aos
testes objetivos. A falta de qualificao tcnica de um construtor
de itens no lhe permitir elaborar uma unidade de informao
que exija demonstrao da capacidade de anlise. Entretanto,
a sua verificao possvel; assim, no caso de interpretao de
textos literrios ou cientficos (Diederich, 1955) pode-se exigir
que o examinando demonstre esse comportamento atravs da
capacidade de:
a) identificar objetivos e atitudes do autor do texto;
b) estabelecer a ideia principal do texto;
c) mencionar argumentos que apoiam a ideia principal;
109
5/29/15 3:37 PM
d) assinalar os pressupostos em que se baseiam as ideias

do texto;
e) indicar diferentes figuras de retrica;
f) criticar a organizao do texto;
g) julgar a importncia do texto;
h) avaliar o mrito (literrio ou cientfico) do texto.
2.6. Os instrumentos de medida nem sempre
so construdos com a observncia dos
princpios que devem orientar a sua construo.
Os defeitos de construo costumam ser mais aparente nos testes objetivos do que nos itens de dissertao. Entretanto, ao contrrio da crena geral, um bom item de dissertao coisa rara,
pois mais difcil de ser construdo do que um item objetivo,
sobretudo quando se pretende um instrumento de alta qualidade (Stanley, 1958).
Os itens objetivos, construdos sem a observncia de normas tcnicas, costumam apresentar os seguintes problemas:
a) desequilbrio na nfase relativa das dimenses comportamento-contedo, o que reflete ausncia de planejamento;
b) nmero reduzido de questes, o que demonstra despreocupao com os problemas de validade e fidedignidade;
c) distribuio defeituosa do ndice estimado de dificuldade, geralmente obedecendo a padres extremos de facilidade ou de dificuldade;
d) irrelevncia dos conhecimentos substantivos, inobservncia da tecnologia do item e erros grosseiros de edio;
e) favorecimento a padres regulares de respostas, em virtude da falta de uma distribuio equilibrada das alternativas corretas;
f) inconsistncias gramaticais, falta de homogeneidade e
plausibilidade das alternativas distratoras, o que favorece o acerto casual.
Os itens de dissertao tambm apresentam defeitos, ainda
que menos visveis para os no especialistas, mas que nem por
isso deixam de ser graves. Os vcios de construo mais frequentes so os seguintes:
I. proposio imprecisa dos temas ou das perguntas, caracterizada pela ausncia de determinantes explicativos
110
5/29/15 3:37 PM
dos comportamentos exigidos, o que demonstra falta de

planejamento;
II. emprego indiscriminado da dissertao para verificar
comportamentos que poderiam ser positivados por outros meios, o que traduz desconhecimento das vrias tcnicas de mensurao;
III. irrelevncia dos temas apresentados, que geralmente verificam comportamentos cognitivos simples;
IV. nmero reduzido de questes o que no permite um
exame compreensivo e nem garante a validade do instrumento;
V. ausncia de critrios pr-estabelecidos e de padres fixos
de correo, que assegurem a fidedignidade dos escores;
VI. influncia de efeitos de halo e consequente contaminao
dos escores, o que concorre para acentuar a subjetividade
dos julgamentos e diminuir a preciso dos resultados.
2.7. A maioria dos instrumentos de medida,
ora usados no ambiente escolar, visam
avaliao somativa e no influem na orientao
do processo de aprendizagem e nem informam com
preciso sobre os supostos ganhos educacionais.
O emprego de instrumentos de mensurao educacional limita-se, frequentemente, ao cumprimento de determinaes

administrativas, com a finalidade de dar uma nota e, aps
determinado perodo, aprovar ou reprovar, sem maiores preocupaes docimolgicas.
Os instrumentos nunca, ou quase nunca, so usados, por
exemplo, no incio de um curso ou de uma unidade, para fins de
determinar o que o aluno sabe e, sobretudo, o que no sabe ou o
comportamento que no possui, aspectos esses que permitiriam
ao professor estabelecer um plano de trabalho para orientao
da aprendizagem. No h pr-testes e os exames finais no tm
o carter de ps-testes, evidentemente; desse modo, fica o professor impossibilitado de verificar se houve ganhos reais atravs do
processo intencional da educao. Se os instrumentos de medida fossem adequadamente aplicados, poder-se-ia utilizar tcnica
apropriada (chi-quadrado) e, no caso, verificar a significncia da
diferena dos desempenhos e comprovar se a diferena resultou
de efetiva modificao do desempenho escolar.
111
5/29/15 3:37 PM
2.8. H um desconhecimento geral da influncia

exercida pelo tamanho do erro de amostragem
nos escores de um teste.
Um teste objetivo ou uma prova de dissertao uma amostra

de conhecimentos e/ou comportamentos possveis. Assim, qualquer que seja a forma do instrumento, a sua estruturao e faz
com base em uma amostra selecionada segundo critrios fixados pelo examinador. O uso de amostras decorre de limitaes
bvias, porquanto, no decorrer de um nico exame, impossvel
verificar o domnio de todos os conhecimentos e/ou a posse de
todos os comportamentos possveis.
Qualquer que seja o critrio de seleo da amostra, inclusive
no caso de uma amostra aleatria, comete-se um erro de amostragem. A magnitude desse erro est associada no representatividade da amostra. Exames no compreensivos, baseados num nmero
reduzido de questes ou de itens, geralmente possuem um erro
de amostragem grande. Um bom instrumento de medida procura
atenuar a influncia desse erro sobre o desempenho do estudante.
Os nicos erros, entretanto, que parecem preocupar so os
que resultam do ajustamento incorreto da chave de correo do
somatrio de escores ou de notas. H, assim, uma preocupao
maior com erros decorrentes de distraes, que na verdade so
enganos e podem ser evitados. Se houve enganos e as somas esto corretas, os resultados so considerados precisos, em que
pese a influncia do erro de amostragem.
2.9. A eficincia da maioria dos instrumentos
de medida aplicados em nosso meio educacional
no verificada pela anlise estatstica.
A mdia e a variabilidade do grupo (desvio padro) no so

determinadas; o grau de dificuldade e o poder discriminativo
(validade) dos itens ou questes no so estabelecidos; outros
elementos necessrios para a anlise do instrumento, como o
coeficiente de fidedignidade e o erro padro de medida, no so
calculados; entretanto, apesar de todas essas deficincias tcnicas, os instrumentos so aplicados e decises sobre o futuro dos
estudantes sero tomadas, enquanto que a maioria dos crticos
se preocupa com aspectos formais e ignora outras implicaes
mais profundas que resultam da carncia tecnolgica de alguns
instrumentos de medida.
112
5/29/15 3:37 PM
3. Diferentes modelos para

a mensurao educacional
Afirma-se algumas vezes, mas sem muita convico, que estaria
havendo, no momento, uma proliferao de testes objetivos,
sobretudo nas escolas de 1 e 2 graus. Acreditamos que no
constitua malefcio o uso de testes em qualquer dos nveis de
escolaridade, desde que os instrumentos sejam tecnicamente
idneos, usados com propriedade nos casos indicados e os resultados interpretados por pessoa qualificada.
Analisando-se alguns instrumentos atualmente empregados,
observa-se que o principal objetivo coletar dados para a organizao de uma rudimentar e discutvel contabilidade do rendimento escolar. Alm de no considerarem aspectos relevantes
para a mensurao escolar validade e fidedignidade , esses
instrumentos so inconsequentes, porque no informam ao aluno sobre o seu progresso e no possibilitam ao professor verificar a concretizao dos objetivos educacionais. deficincia na
construo dos testes e provas associa-se o desconhecimento de
tcnicas estatsticas elementares; desse modo, o desempenho individual no analisado em funo do comportamento do grupo (Laidlaw, 1965).
O estado atual das mensuraes educacionais simplesmente demonstra que, na escola, por falta de recursos humanos com
treinamento especializado, no esto sendo empregados diferentes modelos de mensurao para fins diversos, com evidentes
prejuzos para o aluno, o professor e a educao.
Quais os diferentes modelos que poderiam ser utilizados?
Testes de critrio, testes de predio e testes combinados (critrio e predio).
Os testes de critrio poderiam informar at que ponto os
objetivos de uma unidade (ou curso) foram realmente alcanados e, consequentemente, possibilitariam ao professor uma
orientao segura de unidades subsequentes (ou cursos), sem
defasagens no rendimento escolar, pois o teste de critrio, atravs da fixao de um nvel mnimo de competncia (o critrio),
procura determinar o domnio pelo aluno de pr-requisitos; assim, o estudante, informado de seu sucesso ou insucesso, tem
conscincia do seu progresso; o professor, por sua vez, pode organizar programas de recuperao para os que no obtiveram
xito e, por intermdio de mtodos e tcnicas especiais, levar
113
5/29/15 3:37 PM
o aluno a superar suas deficincias de aprendizagem e a acompanhar, sem maiores problemas, o desenvolvimento de outras
unidades ou cursos.
H necessidade de outro modelo o teste de predio a
fim de verificar o desempenho relativo do indivduo, comparando o seu rendimento com o do grupo. A funo desse modelo no
a de verificar objetivos e determinar deficincias individuais,
mas sim a de coletar informaes que possam levar tomada de
decises, como aprovao e orientao vocacional.
Ambos os testes critrio e predio se completam por suas
informaes; contudo, um terceiro modelo poderia ser construdo para obter os mesmos elementos que os outros proporcionam
isoladamente. Ainda que mais complexo, o teste combinado , na
verdade, um teste de predio sobreposto a um teste de critrio.
O teste combinado apresenta, inicialmente, um teste de
critrio, que inclui todos os objetivos a verificar. o quadro de
referncia para a elaborao de um teste mais extenso. Os itens
estabelecem o desempenho mnimo aceitvel, por isso so fceis, com um ndice 90%, porcentagem esperada de acertos.
A partir dos objetivos fixados, so elaborados novos itens
para a verificao de diferentes nveis de desempenho alm do
mnimo aceitvel. Os itens da parte de predio sofrem um aumento crescente de dificuldade, cuja amplitude deve variar entre 20% e 80%, a fim de discriminar os melhores. A correo do
teste combinado feita em dois momentos. Inicialmente, corrigida a parte relativa ao teste de critrio, no havendo escores,
mas apenas sucesso ou insucesso em alcanar o mnimo aceitvel.
Os que no foram bem sucedidos so submetidos a diferentes
formas de ensino de recuperao at que consigam atingir o critrio. Os bens sucedidos tm a segunda parte do teste (predio)
corrigida e so atribudos escores para fins vrios.
Os instrumentos aplicados em nossa escola no se enquadram no modelo critrio, ainda que estabeleam um desempenho mnimo a mdia 5 , porque o ensino no orientado
por objetivos e os instrumentos no seguem a mesma orientao;
por outro lado, quando o critrio (!) no atingido, as possibilidades de recuperao so mnimas, talvez um novo exame a
segunda poca , geralmente to duvidoso quanto os exames
anteriores, e a ameaa de uma reprovao pura e simples, com
a repetio de novo perodo letivo, cuja eficincia discutvel.
114
5/29/15 3:37 PM
Os mesmos testes tambm no podem ser considerados de predio, pois nem sempre possuem validade e quase nunca oferecem
resultados fidedignos. O que so? o que medem? o que permitem
avaliar? so questes difceis de elucidar no momento presente.
4. Qualificaes tcnicas do
construtor de instrumentos de medida
A verdadeira questo, no atual contexto educacional e no referente avaliao do rendimento escolar, centraliza-se no fato de
que muitos construtores de instrumentos de medida educacional no possuem a necessria formao tcnica para o exerccio
de uma atividade especfica que exige determinadas qualificaes. Utiliza-se, s vezes, de uma tecnologia sofisticada, mas desconhecem os seus fundamentos tericos.
As qualificaes necessrias para o domnio da construo
de instrumentos de medida educacional podem ser desenvolvidas
atravs do:
a) conhecimento das vantagens e das limitaes dos atuais
instrumentos de medida;
b) conhecimento de critrios para o julgamento da qualidade dos instrumentos e dos meios de obter evidncias
relacionadas com esses critrios;
c) conhecimento de como planejar um instrumento e elaborar diferentes tipos de itens ou questo;
d) conhecimento de como aplicar eficientemente os instrumentos de medida;
e) conhecimento de como interpretar corretamente os escores e outros elementos quantitativos.
5. Programas para o desenvolvimento

de competncias tcnicas
O desenvolvimento de competncias na rea de tecnologia dos
instrumentos de medida permitir garantir a validade do processo de avaliao educacional. Faz-se necessrio evoluir da atual fase
artesanal e ingressar na fase tcnica, em que princpios cientficos
empiricamente estabelecidos substituem o esprito amadorista.
115
5/29/15 3:37 PM
Um programa para esse fim poderia ser estruturado atravs:

a) da intensificao dos currculos, na rea de medidas
educacionais, para a formao de professores, nas Faculdades de Educao;
b) da criao e implementao de servios de avaliao nas
escolas de diferentes nveis, afim de:
1. orientar professores na construo de instrumentos
de avaliao;
2. definir objetivos educacionais relevantes e prioritrios;
3. organizar programas de avaliao formativa e somativa;
4. determinar a eficincia do ensino e diagnosticar pontos crticos;
5. controlar a qualidade dos instrumentos construdos;
6. interpretar os resultados da ap1caao dos instrumentos;
7. informar e orientar os estudantes sobre o seu desempenho escolar;
8. oferecer suporte administrativo para a elaborao e a
aplicao de instrumentos de medida;
c) da organizao de programas especiais de curta durao, nas instituies educacionais, para a discusso de
problemas, atravs de seminrios e trabalhos prticos.
6. Resumos
1. Os instrumentos de medida educacional, independentemente do seu aspecto formal, quando bem planejados e construdos, estimulam e orientam a aprendizagem do estudante.
2. Qualquer que seja o tipo de instrumento, necessrio o
domnio da tecnologia da sua construo, a fim de que
sejam meios vlidos de mensurao e fidedignos os resultados da sua aplicao.
3. O sistema de mensurao ora em prtica apresenta
problemas que revelam a inobservncia dos fundamentos tericos e dos princpios tecnolgicos que
orientam a elaborao de instrumentos usados num
programa de medidas.
116
5/29/15 3:37 PM
4. Apesar da existncia de diferentes modelos para men-
surao educacional, os mesmos no esto sendo utilizados em nenhum dos nveis de escolaridade.
5. Atravs de um treinamento especializado, possvel desenvolver capacitaes tcnicas a fim de permitir a introduo e a implementao de programas vlidos de
medidas educacionais.
CRONBACH, L. J. Essentials of psychological testing. 3th ed. New York: Harper
and Row, 1970.
DlEDERICH, P. B. - Making and using tests. English Journal. Illinois: NCTE, 1955.
EBEL, R. L. Improving the competence of teachers in educational measurement.
The Clearing House, New York, v. 36, n. 2, October 1961.
______. Essentials of educational measurement. Englewood Cliffs, N J:
Prentice-Hall, 1972.
ENGELHART, M. D. What to look for in a review of an achievement test.
Personnel and Guidance Journal, n. 42, p. 616-19, 1964.
KATZ, M. Selecting an achievement test: principles and procedures. Princeton:
Educational Testing Service, 1961.
LAIDLAW, W. J. Teacher-made test: models to serve specific needs. The Clearing
House, February 1965.
STANLEY, J. C. ABCs of test construction. National Educators Association Journal,
April 1958.
117
5/29/15 3:37 PM
NATUREZA DAS
MEDIDAS EDUCACIONAIS1
1. INTRODUO
A mensurao de variveis educacionais e seu tratamento quantitativo apresentam inmeras dificuldades. A falta de definio
precisa das variveis, a frequente impossibilidade de construir
instrumentos de mensurao adequados e, particularmente, a
divergncia quanto ao significado das medidas (Lorge, 1951), entre outros problemas, so elementos que concorrem para a configurao de uma situao complexa na rea educacional e bem
diferente da que resulta, por exemplo, das mensuraes fsicas.
p. 7-16, jan./jun. 1984.
118
2. Medida de atributos
Antes da discusso dos vrios nveis de medida, necessrio
considerar alguns aspectos especficos: que medir? o que
se mede efetivamente? as medidas educacionais so diretas?
A palavra medida empregada com diferentes significados
e aplicada para os fins mais diversos, podendo traduzir:
o ato ou processo de determinar a quantidade, durao ou
dimenso de uma coisa;
5/29/15 3:37 PM
o instrumento pelo qual o processo realizado;

as unidades em que os instrumentos so graduados;
os resultados do ato de medir (Jones, 1971).
Medir, no seu sentido mais amplo, segundo Stevens (1946),
atribuir nmeros a objetos ou acontecimentos segundo certas
regras. Esses nmeros, naturalmente, representam propriedades ou caractersticas. A definio de medida, conforme acentua
Kerlinger (1973), no faz referncia qualidade dos procedimentos de medida. importante que se compreenda que as medidas
educacionais envolvem, bsica e essencialmente, a mesma teoria
e os mesmos procedimentos gerais de outros tipos de medidas,
como as fsicas. Destaque-se, ainda, como enfatiza Kerlinger
(1973), que a definio de medida, nos termos apresentados e
desde que sejam definidas as regras, possibilita, teoricamente,
qualquer mensurao. Outro aspecto importante, que decorre
da definio de Stevens (1946), resulta da importncia de estabelecer com adequao as regras de medida, sem o que o processo
de medida ser invalidado.
pouco provvel que se chegue a um consenso sobre o exato
significado da palavra medida, considerando-se que o emprego de
mensuraes o mais variado possvel. Entretanto, quaisquer que
sejam as medidas, fsicas ou no fsicas, incluindo-se entre estas
as educacionais, psicolgicas, sociolgicas etc., elas se referem a
atributos, propriedades ou caractersticas dos objetos, conforme
destaque anterior, e so realizadas para obter informaes que
possibilitem inferncias sobre os objetos (Lorge, 1951; Jones, 1971).
Assim, no se mede um estudante, mas a sua capacidade (atributo), com a finalidade de descrever o seu rendimento escolar e prever o seu desempenho subsequente (Jones, 1971). Medir , portanto,
atribuir nmero a quantidades do atributo dos objetos, segundo
determinadas regras. Usando-se um sistema de nmeros, um certo atributo quantificado, mas o problema do de fcil soluo.
Alguns atributos podem ser facilmente medidos e, portanto, quantificados; outros, ao contrrio, especialmente os de interesse na
rea educacional rendimento escolar, habilidades, aptides,
atitudes etc. , por no possurem uma definio operacional precisa, so de difcil mensurao. Alm disso, a construo dos instrumentos de medida reveste-se de grande complexidade e nem
sempre realizada de forma inteiramente adequada (Jones, 1971).
119
5/29/15 3:37 PM
3. Medida dos efeitos

O interesse por diferentes conjuntos de atributos, na rea da
docimologia educacional, exige um nmero variado de procedimentos. Algumas medidas podem ser realizadas diretamente;
outras, entretanto, somente so obtidas indiretamente, por seus
efeitos, como o caso das medidas educacionais. Quando se aplica um instrumento para fins de medida do rendimento escolar,
pressupe-se que haja uma correspondncia entre os diferentes
nveis de desempenho e os diversos nveis de conhecimento, ou
seja, infere-se que ocorra uma relao entre o efeito (desempenho no teste) e o atributo mensurado (rendimento escolar).
As medidas, na rea das cincias do homem, so, muitas
vezes, indiretas, como ocorre no campo da educao, em que
so medidas propriedades, caractersticas, atributos dos indivduos. Pode-se dizer, com mais rigor, que, na realidade, se medem elementos indicativos das propriedades dos objetos ou das
caractersticas dos indivduos. Essas propriedades, na rea educacional, so inferidas a partir da observao de presumveis
indicadores dessas propriedades. Assim, para realizar medidas
educacionais, indispensvel o estabelecimento de definies
operacionais, que determinem os elementos indicadores dos
atributos a serem inferidos, ou seja, preciso que se estabeleam construtos (Kerlinger, 1973).
O problema, em qualquer tipo de mensurao, inclusive as
educacionais, centra-se na necessidade de especificar e controlar
as condies de observao, a fim de que fatores estranhos no
interfiram no processo e prejudiquem as inferncias. A especificao e o controle de variveis do comportamento humano, ao contrrio do que ocorre com as variveis fsicas, reveste-se de enorme
complexidade e, geralmente, a preciso dessas medidas afetada
por um componente o erro de medida , que resulta da impossibilidade de controlar todas as condies de observao. Acresce,
ainda, o fato de que as observaes esto sujeitas variabilidade
humana, fazendo-se necessria a aplicao de instrumentos adequadamente construdos, a fim de que o processo de medida no
seja deformado em decorrncia da influncia do erro.
120
5/29/15 3:37 PM
4. Nveis de Medidas
O processo de medida, conforme discusso no item anterior procura informaes sobre os atributos dos objetos. Essas informaes
decorrem dos numerais atribudos s caractersticas medidas e
dependem do tipo de escala utilizada. As escalas mais comumente empregadas apresentam-se em quatro nveis, que, a partir do
mais baixo, so: nominal, ordinal, intervalar e de razo.
4.1. Escala nominal
A escala nominal de medida a mais limitada, a mais primitiva

das escalas, no dizer de Stevens (1946), e sua natureza apenas
classificatria. So fixadas categorias bem definidas e delineadas, cujos elementos tm como propriedade fundamental a
equivalncia ou igualdade. Todos os elementos na mesma categoria so equivalentes (iguais) relativamente categoria (atributo)
medida (Armore, 1967). A relao de equivalncia reflexiva
(x = x para todo x), simtrica (se x = y, ento y = x) e transitiva (se
x = y e y = z, ento x = z) (Guilford, 1954; Siegel, 1975).
A partir de semelhanas e diferenas entre os objetos, todos
os que possuem algo em comum so includos numa classe ou categoria. Os elementos de uma categoria so equivalentes (iguais)
relativamente caracterstica mensurada e nenhuma outra informao proporcionada por essa escala, alm da equivalncia. Suponhamos os seguintes atributos: sexo, nacionalidade,
religio e ocupao. A classificao dos indivduos, segundo esses atributos, seria: sexo (feminino, masculino), nacionalidade
(brasileiro, chins, italiano etc.), religio (catlica, protestante,
esprita etc.) e ocupao (carpinteiro, motorista, pedreiro etc.).
As categorias podem receber nomes ou nmeros, mas esses
nmeros so apenas rtulos e somente servem para identificar os
indivduos numa classe. Os nmeros so usados sem que se pretenda a realizao de qualquer operao matemtica; por outro
lado, no refletem quantidades do atributo. O atributo sexo foi
categorizado em masculino e feminino. Algumas vezes atribui-se
0 (zero) ao sexo feminino e 1 (um) ao masculino. Qualquer outro
nmero tambm serviria, sem que isso implicasse a modificao
da natureza da classe ou categoria. A nica propriedade dos nmeros aplicvel a esse nvel de medida a da diferena, isto ,
quando a medida nominal, um nmero diferente do outro. Se
classe A atribudo o nmero 2 e classe B o nmero 3, isso
121
5/29/15 3:37 PM
apenas significa que A e B so diferentes quanto ao atributo

medido. Se somssemos 2 e 3, referentes s classes A e B, como
interpretar os resultados? Alm dessa limitao, os nmeros,
numa escala nominal, no permitem inferir sobre diferenas
na quantidade do atributo medido.
As categorias, na escala nominal, podem ser representadas
por qualquer smbolo, alm dos nmeros (cores, letras, desenhos
etc.). Se considerarmos mais detidamente esses smbolos, veremos que o seu significado restrito identificao dos sujeitos,
sendo sem sentido a sua aritmetizao com outros smbolos,
que so simples etiquetas.
A escala nominal , assim, o nvel mais baixo de mensurao e representa a fase inicial de operaes mais complexas
(Guilford, 1954). H, entretanto, quem no considere a classificao como uma medida, pois
o atributo, que serve de base para a classificao, no precisa ser interpretado em termos de grandeza;
a incluso de um elemento numa categoria no precisa
ser representada por um nmero (Jones, 1971).
Outros, ao contrrio, como o caso de Kerlinger (1973),
acreditam que desde que a definio de medida seja satisfeita
e os elementos categorizados possam ser contados e comparados, os procedimentos nominais so uma medida. A prpria
expresso escala nominal , tambm, contestada por alguns,
pois a palavra escala d ideia de um continuum que possui a propriedade da ordenao, o que no ocorre nas chamadas escalas
nominais. Se, entretanto, dermos ao termo escala o significado
de aquilo que discrimina, o emprego da expresso legtimo
(Guilford, 1965). Apesar das restries que possam ser feitas
escala nominal, sua importncia, conforme destaque anterior,
grande, tendo em vista que a categorizao constitui a base
de todos os tipos de mensurao (Guilford, 1965).
4.2. Escala ordinal
A escala ordinal ou escala de postos reflete a posio ou a importncia relativa da medida de um atributo. A escala ordinal apresenta duas propriedades: equivalncia e importncia relativa
(maior do que; menor do que). Sempre que a relao > for vlida
para todos os pares de classe, a escala ordinal (Siegel, I 975).
122
5/29/15 3:37 PM
A relao maior do que irreflexiva (no verdade que, para

qualquer x, se tenha x > x), assimtrica (se x > y, ento y l > x)
e transitiva (se x > y c y > z, ento x > z) (Guilford, 1954; Siegel,
1975). A principal condio a ser satisfeita para que se tenha uma
escala ordinal a da transitividade.
Sempre que um atributo existe em diferentes graus, possvel medi-lo numa escala ordinal. Os objetos so relacionados
uns aos outros e ordenados segundo a quantidade do atributo
que possuem. A ordem relativa dos grupos classificados representa um nvel mais elevado de medida. Enquanto a escala anterior, a nominal corresponde a uma classificao qualitativa,
a medida ordinal uma classificao quantitativa que possibilita comparaes entre grandezas. Os nmeros, entretanto, na
escala ordinal indicam posies, postos e nada mais; no indicam quantidades absolutas e tambm que os intervalos entre
os nmeros so iguais.
As relaes maior do que, menor do que e igual a,
nas escalas ordinais, ocorrem porque se supe que os indivduos ocupem uma posio no continuum que representa o atributo medido. A posio traduz a quantidade do atributo e informa a direo do continuum, o que permite dizer se a posio de
um objeto maior do que, menor do que ou igual posio de
outros objetos (Magnusson, 1967). Usa-se, portanto, a propriedade da ordenao. Se o nmero atribudo ao objeto. A maior
do que aquele que caracteriza B, isso significa que A possui
mais quantidade do atributo do que B. A essncia da escala
ordinal , como j se ressaltou, o conceito de maior do que.
A escala de dureza dos minerais um exemplo tpico de medida em nvel ordinal, conforme assinala Stevens (1946). Se o mineral A risca o mineral B, ento, aquele mais duro do que este.
Suponhamos que aos minerais A, B, C e D foram atribudos os
nmeros 8, 6, 4 e 2, respectivamente. Sabemos qual o mais duro
e qual o menos duro, mas no podemos afirmar que a diferena
entre a dureza de A e B igual diferena que existe entre a
dureza de C e D. Igualmente, nada possvel dizer sobre o nmero de vezes que um atributo maior ou menor do que o outro;
assim, no faz sentido afirmar que o mineral A quatro vezes
mais duro do que o mineral D, simplesmente porque o nmero
que expressa a dureza de um quatro vezes maior do que aquele
que expressa a dureza de outro mineral.
123
5/29/15 3:37 PM
Exemplificando na rea educacional dez estudantes foram

classificados segundo a sua habilidade numrica e receberam
posies que variaram de 1 (maior habilidade) a 10 (menor habilidade). O estudante que ocupa a posio 5 tem mais habilidade
do que os situados nas posies 7, 8 e 9 e menos habilidade do
que os localizados nas posies 4, 3 e 2. A escala ordinal indica as
relaes de maior do que (>) ou menor do que (<), alm da equivalncia (=), mas no informa sobre o quanto existe de diferena.
Quando se tem uma escala ordinal, os nmeros no permitem inferncias sobre a quantidade da diferena entre um
atributo e outro. Admitamos, para fins de argumentao, que
um grupo de estudantes foi classificado segundo o atributo habilidade mecnica. O estudante com mais habilidade recebeu a
posio 1, outro a posio 2 e assim sucessivamente. Quando se
consideram indivduos em posies adjacentes, suponhamos os
de posies 3, 4 e 5, as diferenas em habilidade mecnica podem ser grandes ou pequenas, mas a escala no inf9rma a esse
respeito. Por outro lado, as diferenas numa escala ordinal no
so necessariamente iguais.
Alm desses problemas, as posies numa escala ordinal
apresentam outro inconveniente: elas no so fixas, modificam-se e a sequncia dos nmeros se altera quando o nmero
de indivduos do grupo observado se modifica. Um grupo de
30 estudantes classificado segundo o atributo altura. Se a
esse grupo forem acrescentados outros estudantes, as posies
ocupadas pelos indivduos do grupo inicial muito possivelmente se modificaria.
A ordenao , pois, o aspecto fundamental da escala ordinal, que, entretanto, apresenta limitaes matemticas. No faz
sentido empregar as operaes aritmticas comuns aos nmeros ordinais. Assim, se numa distribuio de postos somarmos
o primeiro ao quinto sujeito, o resultado obtido no autoriza
qualquer comparao com o sexto colocado nessa ordenao.
A escala ordinal apresenta, ainda, duas outras deficincias que tm implicaes nas medidas educacionais. Primeiramente, as medidas ordinais no informam o desempenho dos
elementos como um todo. Suponhamos que quatro indivduos
foram ordenados segundo um determinado atributo e que no
houve empates nessa ordenao. Assim, temos os postos 1, 2,
3 e 4, que no dizem se o grupo, no seu conjunto, excelente,
124
5/29/15 3:37 PM
bom ou medocre, relativamente ao seu desempenho. Outra

deficincia das escalas ordinais refere-se ao fato de no proporcionarem informaes sobre a disperso dos desempenhos, ou
seja, a partir das posies impossvel estabelecer a diferena
entre os vrios postos e saber se a disperso entre eles, ou comparativamente a um outro grupo, grande ou pequena.
Os escores de testes de rendimento escolar so expressos
em escalas ordinais e por isso possuem grandes limitaes.
Admitamos que um grupo de 20 estudantes foi submetido a um
teste de escolaridade. Se esses alunos forem ordenados quanto
ao desempenho no teste, teremos as posies 1, 2, 3, .... 18, 19 e
20. Se tivermos outro grupo e o submetermos ao mesmo teste e
ordenarmos os resultados da mesma forma, teremos posies
semelhantes s primeiras. Quaisquer que sejam os grupos, as
posies sero sempre as mesmas e nada informaro sobre as
caractersticas do grupo e dos indivduos, que podem ocupar as
mesmas posies apesar de serem diferentes, ou as diferenas
entre posies adjacentes podem ser grandes ou pequenas, sem
que a escala assinale essa situao.
Ainda que no se possa dizer, rigorosamente, que a ordenao uma medida, muitos a consideram como tal. A medida exige que a grandeza de um atributo seja expressa por uma
unidade; entretanto, quando os objetos so ordenados segundo
um atributo, nada se pode afirmar sobre a diferena em unidade de magnitude do atributo. possvel admitir, contudo, que a
prpria posio seja uma unidade, ainda que conceitualmente
fraca, porque, muitas vezes, iguais diferenas de posio, como
j foi assinalado, podem estar associadas .a diferenas desiguais
na magnitude do atributo (Jones, 1971).
possvel, no caso da escala ordinal, usar qualquer simbologia, desde que expresse a posio dos indivduos em suas relaes uns com os outros. A informao que os nmeros oferecem,
conforme se viu, bem limitada, refletindo, exclusivamente, a
ideia de posio, sem permitir outras concluses. Seria inteiramente sem sentido qualquer operao com os nmeros de uma
escala ordinal, pois nenhuma outra informao seria acrescentada que j se possui (Guilford, 1965). As medidas educacionais,
psicolgicas, sociolgicas etc. so expressas, geralmente, numa
escala ordinal, salvo se alguns pressupostos forem admitidos e,
nesse caso, teremos, ento, escalas intervalares.
125
5/29/15 3:37 PM
4.3. Escala intervalar
Se alm de distinguir diferenas entre as qualidades do atributo

do objeto (medida ordinal), igualmente possvel estabelecer diferenas iguais entre essas propriedades, temos medidas numa
escala de intervalo. Numa escala de intervalo, uma unidade
definida e o nmero atribudo caracterstica do objeto igual
ao nmero de unidades equivalentes quantidade do atributo
que o objeto possui.
A escala intervalar, alm de refletir as propriedades da equivalncia e da importncia relativa, proporciona, tambm, uma
medida o intervalo (distncia) entre os valores da escala. a primeira escala verdadeiramente quantitativa e tem como principal
caracterstica a existncia de unidades ou intervalos constantes
(Armore, 1967; Siegel, 1975). s vezes, a referncia a intervalos
iguais pode levar falsa suposio de que existe um nmero igual
de pessoas ou objetos em cada ponto do continuum, mas, na verdade, o igual refere-se aos intervalos, independentemente do nmero de pessoas ou coisas em diferentes pontos da escala, conforme
Nunnaly (1967). A diferena entre os escores 80 e 85, num teste
de escolaridades, igual diferena entre 90 e 95, nesse mesmo
teste, ainda que essas diferenas possam ter outras implicaes.
A ocorrncia de unidades iguais, na escala intervalar, possibilita estabelecer a diferena entre a posio dos indivduos no
atributo medido e comparar diferenas diversas umas com as
outras. A medida do tempo (cronologia) e a de temperatura (escalas Centgrada e Fahrenheit) so exemplo de escalas de intervalo.
O tempo decorrido entre 1930 e 1940 foi igual ao que decorreu
entre 1960 e 1970. A diferena no atributo medido (tempo) a
mesma nos dois perodos, independentemente de sua localizao na escala. Admitamos que as temperaturas mdias, durante
trs dias, foram 18C, 23C e 33C. O segundo dia foi 5C mais
quente do que o primeiro. As temperaturas nos dois primeiros
dias foram mais semelhantes do que nos ltimos dois dias, dois
a primeira diferena (5 C) foi a metade da diferena da temperatura nos dois ltimos dias (10 C). As diferenas, numa escala
intervalar, possuem, portanto, significado.
O estabelecimento de razes entre medidas nesse tipo de
escala um procedimento que carece de sentido. No se pode
dizer que a temperatura de 40C representa duas vezes mais calor do que a temperatura de 20C ou que a variao de 30C para
126
5/29/15 3:37 PM
33C significou um aumento de 10% de calor. Isso decorre de

que o ponto zero na escala Centgrada foi fixado arbitrariamente e 0C no significa ausncia de calor.
A comparao entre a escala Kelvin, que possui um zero
absoluto, indicativo da ausncia de calor, e a escala Centgrada
mostra, perfeitamente, porque no se pode estabelecer razes
entre medidas numa escala intervalar. Admitamos os valores 0,
50 e 100 na escala Centgrada. Os valores correspondentes, na
escala Kelvin, so, respectivamente, 273, 323 e 373. Ambas as
escalas usam as mesmas unidades para as suas diferenas, assim
50C e 100C correspondem a 323K e 373K, entretanto, um
aumento de 50C corresponde ao fator 2, enquanto que na escala Kelvin esse fator 1,15. Isso decorre da posio do zero, que
diferente nas duas escalas (Minium, 1970).
As medidas na rea educacional so, basicamente, ordinais,
pois no indicam quantidades, mas ordens de posio dos indivduos. As escalas ordinais no possuem intervalos iguais e
nem zeros absolutos. A falta do zero absoluto na escala ordinal
no to grave quanto a falta de intervalos iguais, pois mesmo
no existindo o zero absoluto, possvel somar distncias desde
que os intervalos sejam iguais, conforme demonstra Kerlinger
(1973), no sendo possvel essa ocorrncia sem que haja intervalos iguais, pelo menos teoricamente. Na rea das cincias do
homem educao, sociologia, psicologia etc. a maioria das
escalas ordinais no pode ser considerada como possuindo intervalos iguais. Assim, se temos trs medidas do mesmo trao, e
essas medidas so substancialmente correlacionadas de modo linear, pode-se admitir que os intervalos sejam iguais (Kerlinger,
1973), numa viso pragmtica do problema. Essa pressuposio
vlida, pois quanto maior for a relao de linearidade, maior
ser, consequentemente, a possibilidade de serem os intervalos
iguais. Isso ocorre, geralmente, com os resultados de testes de
escolaridade, testes e inteligncia e escalas de atitudes. possvel que, ao considerar que as escalas ordinais tenham intervalos
iguais, ocorram distores e sejam introduzidos erros; contudo,
se a construo do instrumento for cuidadosa e, especialmente,
os resultados forem interpretados com as devidas cautelas, as
consequncias no tm amplas repercusses (Kerlinger, 1973).
A abordagem de Kerlinger (1973), nas suas linhas mais gerais, para transformar uma escala ordinal em escala intervalar,
127
5/29/15 3:37 PM
assemelha-se de Ghiselli (1964) e de Guilford (1954), baseando-se essas abordagens nos seguintes argumentos: 1) ainda que
os procedimentos de construo dos testes no garantam uma
escala de intervalo, pelo menos eles se aproximam do objetivo; 2) tratar os escores de um teste como medidas de intervalo
produz resultados teis, possibilitando-nos, assim, admitir que
temos uma escala de intervalo e agir como se tivssemos esse
tipo de escala, pois a anlise dos resultados, segundo essa tica,
permite ter confiana nos pressupostos estabelecidos. As escalas
de intervalo, conforme se ver, possuem inmeras vantagens sobras escalas ordinais, da a necessidade de expressar e interpretar os escores resultantes de testes como medidas de intervalo.
Os escores de um teste educacional, conforme discusso anterior so considerados como constituindo uma escala intervalar. Sem esse posicionamento, seria impossvel, dada a natureza
da sua escala (ordinal), estabelecer medidas de disperso, como,
por exemplo, a varincia e o desvio padro, que so indispensveis para a definio de normas e a verificao do funcionamento efetivo do teste como instrumento de medida educacional.
Os sujeitos com mesmo escore num teste educacional so
admitidos como possuindo igual capacidade. Um escore alto indica maior capacidade do que um escore baixo. Suponhamos, a
ttulo de exemplificao, os escores de trs estudantes 15, 20
e 30. possvel na escala intervalar, medir a diferena (distncia) entre qualquer par de escores. Assim, no caso considerado,
o segundo escore cinco pontos maior do que o primeiro e o
terceiro maior 10 pontos em relao ao segundo escore. Alm
disso, nessa escala, a razo entre os intervalos tem significado.
Consideremos os intervalos 5 e 10 entre o primeiro e o segundo
escore, e entre este e o ltimo escore. A razo entre os intervalos (2) indica que o terceiro escore (30) excede o segundo em
duas vezes mais o que o segundo excede o primeiro. Observa-se, dessa forma, que a escala intervalar, alm de especificar a
equivalncia, como na escala nominal, e a relao maior do
que, como na escala ordinal, especfica, tambm, a razo de
dois intervalos, quaisquer que sejam (Siegel, 1975).
Os escores dos testes de escolaridade, quando o nmero de
itens grande e a sua dificuldade bem distribuda, so tratados
como uma escala de intervalo, conforme considerao anterior, a fim de possibilitar comparaes inter e intraindivduos.
128
5/29/15 3:37 PM
Assim, tendo em vista a natureza da escala intervalar, no

possvel afirmar que um escore 60 representa duas vezes mais
conhecimento do que um escore 30, ou que as diferenas entre
os escores 60 e 50 e entre os escores 15 e 5 significam a mesma
diferena em rendimento escolar, ainda que essas diferenas
sejam numericamente iguais. Malgrado os numerosos esforos
na rea da mensurao de variveis educacionais, ainda no se
conseguiu construir instrumentos que apresentem os resultados inequivocamente expressos numa escala de intervalo.
A grande limitao da escala intervalar centra-se no fato de
no possuir um zero absoluto. O escore zero em um teste educacional no significa absoluta falta da capacidade medida por
um. instrumento. O ponto zero, na escala de intervalo, estabelecido de modo arbitrrio.
4.4. Escala de razo
A escala de razo, que um tipo particular de escala de intervalo, possui todas as propriedades da escala intervalar mais
o zero absoluto ou verdadeiro como origem. O zero absoluto
significa ausncia total do atributo mensurado. Graas ao zero
absoluto, a escala de razo proporciona uma medida do intervalo de um certo valor em relao ao zero absoluto. Isso tem
grande importncia, pois a razo entre dois valores da escala
significativa assim como tambm significativa a razo entre
dois intervalos dessa escala.
Quando a escala no possui um zero absoluto, a soma das
medidas no permite interpretaes adequadas, pois, nesse
caso, o valor numrico de uma medida representa uma distncia a partir de uma origem arbitrria e inclui uma constante,
geralmente de tamanho desconhecido, que representa a distncia da origem arbitrria ao zero absoluto. Assim, quando so
somadas duas dessas medidas, a soma inclui uma quantidade
igual a duas vezes a constante desconhecida. Entretanto, ainda
que a soma de duas medidas apresente dificuldades de interpretao, quando a escala no de razo, a mdia de duas ou mais
medidas pode ser interpretada do mesmo modo que as medidas
individuais (Jones, 1971).
A maioria das medidas fsicas temperatura na escala
Kelvin, comprimento, peso etc. forma escalas de razo. As medidas nessa escala, alm de refletirem diferenas na quantidade
129
5/29/15 3:37 PM
do atributo (escala de intervalo), mostram, tambm, quantas vezes a quantidade do atributo maior ou menor do que a quantidade do atributo de outro objeto.
O problema da mensurao de variveis educacionais em escalas de razo ainda no foi satisfatoriamente resolvido. O zero
num teste educacional no significa, necessariamente, ausncia
da capacidade mensurada, consequentemente, 75 itens respondidos corretamente no significam uma capacidade trs vezes
maior do que a capacidade representada por 25 itens tambm
respondidos corretamente (Guilford, 1954). Entretanto, os escores
dum teste podem ser considerados como formando uma escala de
razo desde que o nosso interesse se limite, exclusivamente, ao
nmero de itens respondidos corretamente. Isso no ocorre na
maioria das vezes, porque se procura, na verdade, dar um significado ao escore, que usado para indicar a posio do indivduo
numa escala de capacidade. E quando isso se verifica, as frequncias da distribuio perdem suas propriedades de razo.
130
5/29/15 3:37 PM
5. Caractersticas das vrias

escalas de medidas um resumo
Equivalncia
Os elementos so categorizados e
as categorias representadas por nmeros. Todos os elementos em uma
categoria so equivalentes (iguais).
O nmero de uma categoria maior
ou menor do que um outro nmero e nada diz sobre os atributos
dos elementos, salvo que so iguais
ou diferentes.
Escala
Nominal
Escala
Ordinal
Importncia relativa
grandeza relativa dos nmeros
A
atribudos aos elementos reflete a
quantidade do atributo possuda
pelo elemento, indica a relao maior
do que ou menor do que. Iguais diferenas entre os nmeros no significam iguais diferenas nas quantidades dos atributos dos elementos.
Proporciona uma medida do intervalo
(distncia) entre valores da escala
ma unidade de medida fundaU
mental para caracterizar essa escala;
desse modo, os nmeros, alm de
significarem ordenao, mostram
que diferenas iguais entre os nmeros refletem igual diferena na quantidade do atributo medido, ou seja, a
razo entre os intervalos da escala
significativa. O ponto zero arbitrrio e no reflete ausncia do atributo.
Escala
Intervalar
Escala
de Razo
Proporciona uma medida do intervalo

(distncia) de um dado valor a partir
do ponto zero verdadeiro.
s nmeros atribudos aos elemenO
tos possuem todas as propriedades
manifestas na escala intervalar, alm
do mais, a escala apresenta um zero
absoluto, que indica ausncia do atributo mensurado. As razes entre os
nmeros atribudos aos elementos
refletem razes entre as quantidades
dos atributos medidos. A razo entre
os valores da escala significativa.
131
5/29/15 3:37 PM
6. Problemas das medidas observao final

As discusses dos vrios nveis de medida partiram da colocao de Stevens (1946), em seu trabalho hoje considerado clssico.
O assunto no tranquilo, e muitos estatsticos e psicometristas no concordam com a sua tese central de que o nvel de
medida condicionaria as possveis manipulaes matemticas
e estatsticas dos nmeros que refletem o atributo medido.
Alguns radicalizaram o problema e desenvolveram uma fundamentao estatstica associada aos conceitos de Stevens. A
obra de Senders um exemplo tpico dessa posio e no seu
livro (1958), que tanta controvrsia provocou poca de sua
publicao, Senders declara, textualmente, que a organizao
do livro no a usual, pois no apresenta as medidas estatsticas na ordem convencional, mas sim na que determinada
pela escala de medidas, afirmando, ainda, que um nmero
crescente de estatsticas se toma disponvel quando se procede da escala nominal para a de razo. Outros, ao contrrio,
e so em grande nmero, negam a validade da teoria de que
uma escala de medida ditaria o tipo de procedimento a empregar, como mostram, por exemplo, Boneau (1961) e Anderson (1961) ao discutirem posies assumidas por Siegel (1975).
Lord, em nota bem-humorada (1953), mostrou ser possvel
manipular estatisticamente quaisquer nmeros, inclusive os
nmeros de camisas de jogadores de futebol (escala nominal).
O problema, conforme se verifica em Lord (1953), consistiria na
interpretao do significado dos resultados, pois mesmo operando com escalas nominais e ordinais os resultados possibilitam
uma interpretao rigorosa (Lord, 1954).
Algumas vezes, h, realmente, necessidade de categorizar
as escalas de medidas, a fim de compreender suas limitaes,
mas no se deve partir do pressuposto de que toda e qualquer
medida pode ser enquadrada em um esquema rgido escalas
nominais, ordinais, de intervalo e de razo e de que nada
existe fora dessa categorizao. Na verdade, existem tambm
outras escalas, que so variaes e combinaes das quatro escalas bsicas, mas que so de restrita importncia e sem maior
aplicao na rea educacional. No que diz respeito s medidas
educacionais (psicolgicas, sociolgicas etc.), uma posio rigidamente ortodoxa poderia conduzir a um caos, pois, conforme Burke (1953), as propriedades de um conjunto de nmeros
132
5/29/15 3:37 PM
como urna escala de medidas no deve ter nenhum efeito sobre

a escolha das tcnicas estatsticas para representar e interpretar os nmeros, posio esta que se ope de Senders (1953).
Vimos que os escores de um teste formam uma escala ordinal,
mas podem ser considerados como uma escala de intervalo e,
ainda, se limitarmos os objetivos, podem formar uma escala de
razo. No se pode dizer, portanto, que esses escores formem,
estritamente, uma escala ordinal ou de intervalo. H quem os
classifique como uma escala de quase intervalo (Glass e Stanley,
1970). O problema nuclear residiria, portanto, no uso e na interpretao dessas medidas. necessrio usar de bom-senso para
que as concluses extradas dos nmeros no violentem os princpios fundamentais da lgica.
ANDERSON, C. Scales and statistics: parametric and nonparametric.
Psychological Bulletin, Washington, v. 58, n. 4, p. 305-316, Jul. 1961.
ARMORE, S. J. Introduction to statistical analysis and inference for psychology
and education. New York: John Wiley and Sons, 1967.
BONEAU, C. A. A note on measurement scales and statistical tests.
American Psychologist, v. 16, n. 1, p. 160-261, may 1961.
BROWN, F. G. Principles of educational and psychological testing. Illinois:
The Dryden Press, 1970.
BURKE, C. J. Additive scales and statistics. Psychological Review,
v. 60, n. 1 p. 73-75, Jan. 1953.
GHISELLI, E. E. Theory of psychological measurement. New York:
McGraw-Hill Book, 1964.
GLASS, G. V.; STANLEY, J. C. Statistical methods in education and psychology.
Eaglewood Cliffs, New Jersey: Prentice-Hall, 1970.
GUlLFORD, J. P. Psychometric methods. New York: McGraw-Hill Book, 1954. ______.
Fundamental statistics in psychology and education. New York: McGraw-Hill, 1965.
JONES, L. V. The nature of measurement. In: THONDIKE, R. L. Educational
measurement. Washington, DC.: American Council on Education, 1971.
KERLINGER, F. M. Foundations of behavioral research. 2th ed. New York: Holt,
Rinehart and Winston, 1973.
LORD, F. M. On the statistical treatment of football numbers. American
Psychologist, Washington, DC., v. 8, n. 12, p. 750-751, Dec. 1953.
133
5/29/15 3:37 PM
______. Further comments on football numbers. American Psychologist, v. 9,

n. 6, p. 264-65, Jun. 1954.
LORGE I. The fundamental nature of measurement, In: LINDQUIST,
E. F. Educational Measurement. Washington, D C. American Council
on Education, 1951.
MAGNUSSON, D. Test theory. Reading, Mass: Addison-Wesley, 1967.
MINIUM, E. W. Statistical reasoning in psychology and education. New York: John
Wiley and Sons, 1970.
NUNNALLY, J. C. Psychometric Theory. New York: McGraw-Hill Book, 1967.
______. Test and measurement: assessment and prediction. New York:
McGraw-Hill Book, 1959.
SENDERS, V. L. comment on burkes additive scales and statistics.
Psychological Review, v. 60, p. 423-424, 1953.
______. Measurement and statistics. New York: Oxford University Press, 1958.
SIEGEL, S. Estatstica no paramtrica para as Cincias do Comportamento.
So Paulo: McGraw-Hill, 1975.
STEVENS, S. S. On the theory of scales of measurement. Science, n. 103,
p. 677-680, 1946.
134
5/29/15 3:37 PM
5/29/15 3:37 PM
VALIDADE DE CONSTRUTO
EM TESTES EDUCACIONAIS1
p. 35-44, jul./dez. 1983
2 Constructos so traos,
aptides ou caractersticas
supostamente existentes e
abstrados de uma variedade
de comportamentos
que tenham significado
educacional (ou psicolgico).
Assim, fluncia verbal,
rendimento escolar, aptido
mecnica, inteligncia,
motivao, agressividade,
entre outros, so constructos..
136
INTRODUO
O problema da validade de construto2 de grande relevncia
na rea educacional, tendo em vista o fato de que a avaliao
se vale, frequentemente, de construtos, que, aps sua definio operacional, so medidos por intermdio de testes. A validade de contedo e a validade de critrio (concorrente e preditiva), atributos exigidos dos bons testes de escolaridade, no
se preocupam, entretanto, com a compreenso dos construtos
que os testes medem; consequentemente, impe-se, conforme
acentua Brown (1970), uma nova abordagem para anlise dos
instrumentos de medida da aprendizagem escolar.
A validade de muitos instrumentos de medida , s
vezes, inferida, mas tal procedimento adotado revelia da
metodologia cientfica, no sendo, pois, um comportamento
justificvel. So necessrias provas insofismveis de que um
teste, construdo para determinado fim, efetiva mente vlido. Desse modo, se um teste visa a medir processos mentais
complexos, como ocorre inmeras vezes na rea educacional,
inclusive nos exames de acesso s universidades, indispensvel que existam provas irrefutveis de que os instrumentos
utilizados medem, efetivamente, o construto hipotetizado.
5/29/15 3:37 PM
A validade de construto possibilita determinar qual a caracterstica educacional que explica a varincia do teste ou, ento,
qual o significado do teste (Kerlinger, 1973). Um avaliador, desse
modo, poder fazer perguntas do tipo: o teste mede, efetivamente, a capacidade de expresso escrita? O teste um reflexo
do status socioeconmico dos estudantes avaliados? A indagao,
no caso, pretende esclarecer qual a proporo da varincia total do teste que decorre desses construtos: expresso escrita e
status socioeconmico. Ou, ainda, procura explicar as diferenas
individuais nos escores desse instrumento de medida. O interesse, na validao de construtos, centraliza-se na caracterstica ou
trao que est sendo medido, mais do que no prprio teste.
A verificao da validade de construto, sua lgica e metodologia foram amplamente estudadas por Cronbach e Meehl
(1955), que produziram documento fundamental para a compreenso desse tipo de validade, que de particular importncia
sempre que um instrumento deva ser interpretado como proporcionando medidas de um atributo ou qualidade que, presumivelmente, as pessoas possuem. Outro documento bsico para
o estudo do problema o ensaio de Campbell e Fiske (1959) sobre
validade convergente e discriminante. Ambos os trabalhos so
amplamente utilizados na fundamentao do presente estudo.
O CONCEITO DE VALIDADE DE CONSTRUTO

A validade de construto, ao contrrio da validade emprica, no
expressa em termos de um coeficiente quantitativo, conforme
ocorre no caso da validade preditiva e da validade concorrente.
O conceito de validade de construto, por sua vez, extremamente til para explicar a natureza dos instrumentos que medem traos para os quais no se possuem critrios externos.
Assim sendo, necessrio partir de uma varivel logicamente
definida. A varivel, como um construto lgico, inserida num
sistema de conceitos, cujas relaes so explicadas por uma teoria e a partir da qual certas consequncias prticas, sob determinadas condies, podem ser extradas e testadas (Magnusson,
1967). Se o resultado o que se esperava em uma srie de testes, o instrumento considerado como possuindo validade
de construto para a varivel testada. Assim, a constatao
137
5/29/15 3:37 PM
da validade de construto resulta do acmulo, por diferentes

meios, de vrias provas, que precisam ser analisadas em todos
os seus detalhes, a fim de constatar, entre outros aspectos,
quais as variveis com as quais os escores do teste se correlacionam, quais os tipos de itens que integram o teste, o grau
de estabilidade dos escores sob condies as mais variadas e o
grau de homogeneidade do teste, com vistas a ter elementos
que possam esclarecer o significado do instrumento.
A compreenso de um instrumento que mede determinado
construto ganha nova dimenso quando se conhece o grau de relacionamento com outros construtos. Exemplificando, os escores
de um teste especialmente construdo para medir rendimento
escolar adquire novo sentido quando se estabelece o seu grau
de associao com outros construtos, como inteligncia e
criatividade. A validade de construto possibilita determinar se
o teste a melhor medida de algo diferente do que foi pretendido medir ou, ento, se fornece elementos que no possuem
efetiva consequncia no processo de avaliao.
AS TEORIAS EDUCACIONAIS E
A LGICA DA VALIDADE DE CONSTRUTO
comum em educao (e em psicologia) o desenvolvimento
de sistemas unificados de princpios, definies, postulados
e observaes, para explicar o relacionamento entre variveis
(Sax, 1980), ou seja, o desenvolvimento de teorias educacionais,
a partir das quais so construdos instrumentos para a mensurao de um determinado trao ou caracterstica. Somente por
intermdio da constatao da validade de construto desses
instrumentos que se pode confirmar o significado dessas caractersticas ou traos apresentados pela teoria. E para alcanar
esse objetivo, necessrio se faz a aplicao dos procedimentos
clssicos do mtodo dedutivo: teoria; deduo, hiptese, experimentao e, finalmente, dados que confirmem ou neguem a
hiptese, ou seja, o construto.
A lgica da validade de construto, assim como o seu processo, so, essencialmente, os do mtodo cientfico. Parte-se de uma
teoria sobre a natureza do construto e fazem-se predies sobre
as relaes entre os escores do teste e outras variveis. A seguir,
138
5/29/15 3:37 PM
essas predies so verificadas empiricamente e, dependendo

dos resultados, a teoria aceita ou revista. O trabalho contnuo
de fazer predies, testar hipteses, atravs da experimentao,
e rever a teoria so atividades que contribuem para aumentar a
preciso da definio do construto.
A REDE NOMOLGICA,
SEGUNDO CRONBACH E MEEHL
As teorias que procuram explicar um determinado fenmeno compreendem um conjunto interrelacionado de conceitos, proposies e leis. A esse sistema interligado Cronbach
e Meehl (1955) deram o nome de rede nomolgica3. As leis
estabelecem relaes entre diferentes caractersticas, entre
caractersticas e construtos, ou entre um construto e outro,
conforme aqueles autores, os quais ressaltam ainda que as
leis e os conceitos devem estar ligados a comportamentos observveis. s vezes, entretanto, isso no ocorre. Uma determinada lei ou conceito no se relaciona diretamente com as
caractersticas, mas com outras leis e conceitos, que, por sua
vez, so diretamente ligados a caractersticas observveis.
condio necessria, na pesquisa da validade de construto,
que a definio de conceitos ou formulao de leis estejam
apoiados, direta ou indiretamente, em dados observveis.
Cronbach e Meehl (1955) assinalam, ainda, que o significado de um conceito somente fica perfeitamente esclarecido
quando se elabora uma rede de relaes que mostre, claramente, que essas relaes so especficas e definitivas. Dessa forma,
na validao de um construto, h necessidade de um grande nmero de diferentes operaes, inclusive de ordem qualitativa,
para a mensurao de um conceito e a fim de mostrar que esse
mesmo conceito est ligado a outro conceito por intermdio de
uma rede nomolgica.
A partir desse posicionamento, preciso considerar as seguintes situaes:
1. o processo de inferncia do significado de um construto
exige que os dados sejam observveis;
2. o processo de inferncia do significado de um construto,
a partir de dados observveis, deve ser explicitamente
3 Nomolgico - relativo
nomologia, estudo das
leis que presidem aos
fenmenos naturais.
139
5/29/15 3:37 PM
especificado, para que se possa verificar a preciso de

uma inferncia;
3. diferentes usurios de um construto devem servir-se,
essencialmente, de uma mesma rede nomolgica, para
que a concordncia entre os pesquisadores seja possvel,
pois, frequentemente, o nome de um mesmo construto usado com referncia a diferentes construtos (ex:
inteligncia) ou diferentes nomes so empregados com
relao ao mesmo construto (ex: pensamento divergente
e criatividade), conforme assinalou Brown (1970).
VALIDAO DE TESTES
E VALIDAO DE TEORIAS
A validao de construtos no se limita apenas a validar um
teste, o seu alcance bem mais amplo, centrando-se o seu
objetivo na validao da teoria em que se apoiou a construo do instrumento (Kerlinger, 1973); desse modo, o trabalho de validao de um construto urna pesquisa cientfica
emprica, porque, definidos os construtos que seriam responsveis pelo desempenho no teste o avaliador passa a formular hipteses sobre a teoria dos construtos e, a seguir, testa
empiricamente essas hipteses. A testagem de hipteses sobre construtos exige a verificao da convergncia e da discriminatividade. A convergncia mostra que as evidncias coletadas
de diferentes fontes e de diferentes modos indicam um significado igual ou semelhante para o construto. A discriminatividade refere-se possibilidade de diferenciar, empiricamente,
um construto de outros construtos semelhantes, assim como
a de constatar o que no est correlacionado aos construtos
(Kerlinger, 1973). As ideias de convergncia e de discriminatividade sero retomadas mais adiante, quando for discutida a
metodologia de Campbell e Fiske (1959) relativa matriz do
multitrao-multimtodo. A validao de construtos ultrapassa, assim, os limites de uma validao emprica, pois, alm
de constatar a correlao com um critrio ou em que medida
o instrumento separa indivduos que possuem alto ou baixo
grau de uma determinada caracterstica, explica, tambm,
o porqu dessas ocorrncias.
140
5/29/15 3:37 PM
O PROCESSO DE VALIDAO
E TESTAGEM DE HIPTESES
O processo de validao exige, essencialmente, o estabelecimento de hipteses, a partir de leis e construtos definidos pela
rede nomolgica, e a coleta de dados para testar essas hipteses. Ao discutir os dados sobre a validade de um construto
necessrio que sejam claramente. especificados os seguintes
aspectos (Brown, 1970):
1. a interpretao proposta, ou seja, qual o construto que
se tem em mente, como esse construto definido e como
a hiptese testada foi estabelecida a partir de uma teoria
importante;
2. a comprovao adequada da interpretao, oferecendo
elementos que apoiaram ou rejeitaram as hipteses;
3. a argumentao sobre a concretizao dos objetivos
propostos (apresentar detalhes sobre os procedimentos
experimentais e a linha de raciocnio que permitiu inferncias sobre o significado do construto).
O que significam, efetivamente, os resultados da comprovao das hipteses levantadas? Se as predies forem confirmadas empiricamente, pode-se acreditar que o teste mea
o construto e ter maior confiana no conceito adotado. Um
construto nunca pode ser comprovado como correto em termos absolutos (Cronbach; Meehl, 1955), mas somente adotado
como a melhor definio de trabalho. Se, ao contrrio, os resultados forem negativos e os dados no confirmarem as predies, trs interpretaes so possveis: 1 o teste no mede o
construto; 2 o referencial terico no correto, possibilitando inferncias errneas; e 3 o planejamento experimental
no possibilita a testagem de hipteses.
O fracasso na confirmao de uma predio indica a necessidade de uma reviso na rede terica ou no procedimento
experimental (Brown, 1970). As interpretaes ambguas de
resultados negativos constituem uma das desvantagens da validade de construto.
141
5/29/15 3:37 PM
A METODOLOGIA DA PESQUISA
DA VALIDADE DE CONSTRUTO
A validade de construto pode ser pesquisada por diferentes mtodos, inclusive os que so empregados na validade de contedo
e de critrio. Ao utilizar diferentes mtodos importante que se
estude (Magnusson, 1967), entre outros aspectos:
a) as diferenas entre os grupos em funo do que a teoria
estabelece relativamente varivel pesquisada;
b) como os resultados dos testes so influenciados por
mudanas nos indivduos ou no meio, as quais, segundo a teoria, devem, respectivamente, influenciar ou
deixar de influenciar as vrias posies dos indivduos no continuum;
c) as correlaes entre diferentes testes que, supostamente, medem a mesma varivel. necessrio cautela
a fim de que as correlaes entre as medidas no se
elevem em virtude de similaridades nos mtodos utilizados (Cronbach; Meehl, 1955). Isso pode acontecer
(Magnusson, 1967) se as respostas dos testes exigirem
alguma aptido especial alm da que est sendo considerada. Uma possvel concordncia entre as medidas
poderia, simplesmente, provocar um aumento da correlao do efeito de diferenas individuais relativas a
essa aptido especial;
d) as correlaes entre itens isolados ou diferentes partes
do teste, a fim de verificar se possuem alta intercorrelao e o teste possa ser considerado como medindo uma
varivel unitria.
A validade em geral e, especialmente, a validade de construto so as estimadas pela concordncia de medidas obtidas por
mtodos to diferentes quanto possvel. As dissimilaridades dos
mtodos, no estudo da validade de construto, so importantes
para que as intercorrelaes obtidas possam ser interpretadas
como expressando realmente esse tipo de validade.
142
5/29/15 3:37 PM
A VARINCIA NO PROCESSO DE VALIDAO:

MTODOS E INDIVDUOS
Deve-se assinalar que a variao entre os indivduos expressa por escores que foram obtidos por um determinado
mtodo pr-definido, podendo esses escores ser afetados por
diferenas, ainda que irrelevantes, nas reaes dos indivduos
s caractersticas do mtodo ou, ento, por diferenas nas posies ao longo do continuum que se pretende que o teste mea,
ou, ainda, por ambas as situaes (Cronbach; Meehl, 1955;
Magnussom, 1967). Assim, uma parte da varincia total da
distribuio dos escores pode ser atribuda a aspectos especificamente caractersticos do mtodo empregado na mensurao, enquanto outra parte da varincia pode ser considerada
como resultado de diferenas realmente verdadeiras entre os
indivduos no que diz respeito ao trao mensurado. Esta varincia expressa a varincia verdadeira a que se deseja determinar com o mximo de preciso na pesquisa da validade. Desse
modo, pode-se decompor a varincia sistemtica em:
a) varincia devida s propriedades do mtodo empregado, e
b) varincia decorrente de caractersticas relevantes dos indivduos testados.
A varincia resultante de propriedades do mtodo empregado, conforme acentua Magnusson (1967), gera uma espcie de efeito de halo4 metodolgico. Desse modo, quando
as medidas de um certo nmero de variveis so baseadas
em um nico mtodo, os coeficientes da matriz de intercorrelao so grandes, em geral. A medida de diferentes traos
, portanto, afetada pelas propriedades do mtodo empregado, as quais contribuiro para que resulte uma certa quantidade de varincia comum.
preciso atentar para o fato de que, quando dois mtodos
diferentes mas com propriedades semelhantes so independentemente empregados na medida de certo trao, uma parte
da varincia das medidas baseadas em um mtodo pode repetir-se, sistematicamente, na medida baseada no outro mtodo
(Magnusson, 1967). A varincia comum, resultante de semelhanas entre os mtodos empregados, redundar numa superestimao da validade de construto, quando esta verificada pela intercorrelao de escores obtidos a partir de diferentes mtodos.
4 O efeito de halo um efeito

sistemtico do avaliador que
deve ser levado em conta
quando traos humanos
esto sendo avaliados. Uma
atitude positiva ou negativa
do avaliador em relao ao
avaliado afeta, geralmente,
na direo da atitude, as
medidas de cada trao sujeito
avaliao. O efeito poder
provocar um decrscimo nas
diferenas individuais e um
aumento na correlao entre
as medias de diferentes traos.
143
5/29/15 3:37 PM
5 Generalizabilidade
propriedade que tm as coisas
de se tornarem generalizveis.
144
MTODOS USADOS NA
VALIDAO DE CONSTRUTOS
Os mtodos usados no estudo da validade de construto
podem ser classificados, de acordo com Brown (1970), em
cinco categorias: mtodos intratestes, mtodos entretestes,
estudos relacionados a critrios, estudos experimentais e estudos de generalizabilidade5.
Mtodos intratestes esses mtodos usam tcnicas que permitem o estudo da estrutura interna do teste seu contedo,
as interrelaes entre os itens e os subtestes e os processos relacionados com as respostas aos itens. Essas tcnicas no consideram variveis externas, porque se preocupam, antes de mais
nada, com a estrutura interna do teste. Assim, no se pode usar
essa metodologia para obter amplas informaes sobre a validade de construto do teste, quando muito o seu emprego possibilitaria algum conhecimento sobre a natureza do construto,
mas no o relacionamento do construto com outras variveis.
A determinao da validade de contedo fornece informaes
sobre a validade de construto e um tipo de estudo que pode ser
includo na categoria dos mtodos intratestes. As especificaes
do contedo e do domnio comportamental amostrado no teste,
condio essencial no estudo da validade de contedo, tambm
servem para definir a natureza do construto que o teste mede.
A anlise da homogeneidade do teste, mtodo que tambm
pode ser includo na categoria dos intratestes, por intermdio de medidas de consistncia interna (coeficientes de Kuder Richardson), pela anlise fatorial dos itens, entre outros
estudos de homogeneidade, auxiliam na definio do construto, especialmente ao indicar se o teste mede um nico
trao ou se, ao contrrio, mede diversos traos.
Ao analisar um teste, o interesse nem sempre se limita ao
conhecimento do contedo dos itens, aprofunda-se e procura conhecer, tambm, o processo usado pelos examinandos nas suas
respostas aos itens. Assim sendo, qualquer processo de anlise
que identifique capacidade e habilidades pode, em princpio, esclarecer o significado do construto que o teste mede, ao indicar
as variveis que esto sendo medidas pelos itens do instrumento.
preciso, entretanto, usar de cautela quando for empregado o
processo de anlise, pois, indiscutivelmente, diferentes pessoas
podero utilizar processos diversos, mas igualmente vlidos, de
5/29/15 3:37 PM
resposta a um item, criando-se, desse modo, uma situao complexa que pode levar a falsas interpretaes.
Mtodos entretestes os mtodos includos nessa categoria
consideram, simultaneamente, vrios testes, mas no levam em
considerao variveis extratestes. Os mtodos entretestes permitem indicar, geralmente, os aspectos comuns a vrios testes,
mas no possibilitam a realizao de inferncias diretas sobre a
relao entre escores do teste e variveis externas.
O mtodo mais simples dessa categoria consiste em correlacionar um teste novo a um outro teste j amplamente estudado e conhecido nas suas diversas dimenses. a chamada
validade congruente. Se existe essa alta correlao entre os dois
testes pode-se dizer que ambos medem o mesmo construto. Essa
abordagem apresenta um aspecto que merece reflexo, pois a
menos que os dois testes sejam altamente correlacionados (Brown, 1970), isto , as correlaes e as fidedignidades sejam da
mesma magnitude, os fatores que influenciam no abaixamento
da correlao podem ser importantes para determinar a relao entre o teste e a varivel externa e, desse modo, invalidar as
inferncias realizadas com base na intercorrelao dos testes.
Uma outra abordagem, ainda nessa categoria, consiste em
promover a anlise fatorial em um grupo de testes. A anlise
fatorial , no momento, o mtodo mais promissor para estimativa da validade de construto (Kerlinger, 1970), pois objetiva
reduzir um grande nmero de medidas a um nmero reduzido de fatores a fim de estabelecer quais os que medem as
mesmas coisas e em. que medida est, realmente, ocorrendo a
mensurao que era esperada. A anlise fatorial, ainda que seja
um procedimento complexo, exigindo inclusive o emprego de
computador, um caminho fecundo na pesquisa de construtos, pois mostrar quais os testes que compartilham da varincia comum e, assim, medem o mesmo construto pesquisa
das cargas do mesmo fator (Brown, 1970), no contedo comum
dos testes, possibilita inferir sobre a natureza do construto e
at mesmo pode levar identificao do fator. A anlise fatorial permitir verificar em que medida cada teste est saturado pela varincia comum e em que medida os seus escores
dependem da varincia especfica. A proporo da varincia
total dos escores do teste, que varincia comum, um ndice
da validade de construto. O presente mtodo visa a estabele-
145
5/29/15 3:37 PM
cer a validade fatorial, denominao esta frequentemente usada

como sinnimo de validade de construto.
Outra abordagem possvel nessa categoria refere-se s
concepes de Campbell e Fiske (1959) para estabelecimento
da validade convergente e da validade discriminante. A validao,
segundo estes autores, processar-se-ia por meio de mtodos
que visariam a estabelecer se duas tcnicas de medida (ou
testes) diferentes estariam medindo, efetivamente, o mesmo
construto; da serem esses mtodos chamados de convergentes. A validade congruente e a validade fatorial so exemplos tpicos do uso de mtodos convergentes.
Um dos problemas centrais da anlise da validade de um
construto consiste em que os testes, alm de apresentarem uma
alta correlao com outros testes que medem o mesmo construto, devem, tambm, demonstrar que no apresentam correlao
com testes que medem claramente construtos diferentes. Sabe,
por exemplo, que h uma associao entre inteligncia e criatividade; dessa forma, segundo o ponto de vista de Campbel e Fiske
(1955), somente podemos aceitar um teste de criatividade se o
mesmo no apresentar qualquer correlao com os resultados
de testes de inteligncia, quando se ter certeza de que aquele
construto est sendo medido e no se confunde com este outro.
Esse , sem dvida, o ponto discriminante na validao de construto, pois, conforme acentuou Brown (1970), um teste somente vlido para medir um determinado construto quando, sem
sombra de dvida, independente de testes que medem outros
construtos perfeitamente definidos.
Estudos relacionados a critrios A natureza e o tipo de critrios que os escores de um teste predizem so indicativos do construto que o teste mede; isso posto, perfeitamente possvel obter
importantes informaes para o estabelecimento da validade de
construto a partir dos dados de estudos sobre validade de critrio.
Uma das maneiras de coletar evidncias sobre um construto a partir de escores de um teste que seja capaz de separar
grupos naturalmente existentes de grupos organizados experimentalmente. Os escores para esse fim devem estabelecer a
diferenciao entre grupos. Suponhamos, a ttulo de exemplificao, que foi construdo um teste para identificar criatividade
literria. Os itens desse teste devem ter sido elaborados de forma
a identificar dois grupos bem distintos: os que so capazes de
146
5/29/15 3:37 PM
produzir textos de valor artstico nos vrios setores da literatura e aqueles que apenas possuem o domnio da lngua, como
qualquer pessoa comum. O instrumento assim construdo teria
validade de critrio (concorrente), o que representa importante
informao para a caracterizao do construto.
Uma outra abordagem, ainda segundo essa perspectiva, seria a formao de dois grupos distintos com base nos escores
do teste (quartil superior e inferior, por exemplo) e o estabelecimento das caractersticas de cada um desses grupos, o que
permitiria estabelecer uma definio to completa quanto possvel, sobre a natureza do construto.
Destaca-se, nessa categoria, o mtodo baseado no emprego
de coeficientes de validade, o qual consiste em verificar o xito de
um instrumento na predio de um determinado comportamento. Um teste de aptido escolar deve ser um bom preditor do desempenho acadmico, pois h uma clara associao entre essas
duas variveis. Ora, na medida em que isso ocorre, o teste critrio estaria medindo se o construto realmente aptido escolar.
Estudos experimentais Outros mtodos usados para determinao da validade de construto exigem a manipulao de
algumas variveis e a observao dos efeitos consequentes nos
escores do teste. Tomem a. o exemplo da ansiedade, conforme
a colocao de Brown (1970). Os estudantes, em poca de exames, costumam demonstrar um aumento na sua ansiedade.
A ansiedade durante a realizao de um teste refletiria medo
de fracasso no exame e o comprometimento do autoconceito
da pessoa. A partir dessa definio de ansiedade, pode-se estabelecer a hiptese de que o desempenho no exame inversamente correlacionado ansiedade durante a realizao de
um teste, se o teste for de grande importncia para a pessoa.
Igualmente, pode-se hipotetizar que ansiedade e exame no se
correlacionam, se o teste for estruturado de forma a no constituir um11 ameaa ao indivduo. Se, nesse contexto, os escores
num teste de ansiedade no apresentarem relao de predio
com os escores de um exame, ter-se-ia, ento, evidncia de que
o teste mede realmente o construto ansiedade.
Um conceito de grande importncia em psicometria o
de fidedignidade pode ser usado no estudo da validade de
construto (CronbacH; Meehl, 1955). Se o construto estabelece
que o trao a ser medido grandemente estvel ao longo do
147
5/29/15 3:37 PM
tempo e resiste a mudana. O coeficiente de estabilidade do

teste ser um indicador do construto que foi hipotetizado. Se o
construto estabelece que os escores, em certas circunstncias,
aumentam com a idade, na medida em que isso constatado,
tem-se uma prova da validade de construto de instrumento.
Estudos de generalizabilidade: mtodo do multitrao-multimtodo Os estudos de generalizabilidade so aqueles em que o teste,
cujo construto se deseja validar, analisado sob diferentes condies, como, por exemplo, a aplicao do instrumento a diferentes amostras da populao, a utilizao de mtodos diversos na
sua aplicao etc. A abordagem mais frequentemente utilizada
para estudos desse tipo o da matriz do multitrao-multimtodo
conforme a proposta de Campbel e Fiske (1959).Esses autores
estabeleceram algumas condies fundamentais para o sucesso
de um processo de validao. Essas condies no se restringem
apenas validade de construto, incluindo, tambm, a verificao
da validade preditiva e concorrente.
Um teste uma unidade trao-mtodo (Campbel; Fiske,
1959), ou seja, um teste mede determinado trao usando um nico mtodo. O interesse, portanto, no processo de validao, centra-se no conhecimento das contribuies relativas do trao e do
mtodo para o escore do teste, o que obriga a estudar mais de um
trao e mais de um mtodo. Isso significa que se deseja, na verdade, estabelecer a validade convergente e a validade discriminante.
A validade convergente ser determinada por intermdio da
correlao entre os mesmos traos medidos por diferentes mtodos
esperando-se que essa correlao seja significantemente alta.
A validade discriminante, por sua vez, ser estabelecida comprovando-se que diferentes traos, mesmo quando medidos pelo
mesmo mtodo, no possuem uma alta correlao.
A Tabela 1.0 apresenta uma matriz relativa ao emprego
do multitrao-multimtodo, em que temos trs traos hipotticos (A, B, C) medidos por trs mtodos diferentes (1, 2, 3), que
geram nove variveis separadas. Ou mais claramente, a ttulo
de exemplificao, os traos seriam: compreenso de textos,
raciocnio abstrato e capacidade de identificar elementos secundrios numa informao, traos esses que seriam medidos
por um teste de papel-e-lpis, um teste individual e uma escala
de classificao. O mtodo pode ser usado para o estudo de n
traos, usando m mtodos, no havendo necessidade de n = m.
148
5/29/15 3:37 PM
O nmero de traos igual ao nmero de mtodos, no exemplo

citado, apenas por convenincia na discusso da metodologia.
Os coeficientes de correlao apresentados na Tabela 1.0
representam o grau de associao entre trs variveis (A, B, C),
medidas por trs mtodos diferentes (1, 2, 3). Os escores para cada
uma das variveis so correlacionados com os escores de cada
uma das outras variveis, independentemente do mtodo pelo
qual os escores foram obtidos. Os valores na diagonal da matriz completa 089; 0,89; 0,76;.....0,94; 0,92; 0,85 representam as fidedignidades das medidas, valores esses que representam os resultados da medida do mesmo trao pelo mesmo mtodo:
portanto, so os valores monotrao-monomtodo.
Os tringulos representados por linhas cheias, ao longo
da diagonal da matriz completa, contm coeficientes que do
a relao entre as medidas de diferentes variveis pelo mesmo mtodo, so, pois, valores heterotrao-monomtodo. Considerando-se
que o mesmo mtodo foi usado para a medida de diferentes
variveis, as propriedades do mtodo do origem a uma varincia comum para as diferentes variveis, na medida em que
as propriedades do mtodo concorrem para a varincia sistemtica quando variveis individuais so mensuradas.
Os tringulos em linhas interrompidas contm coeficientes de correlao entre medidas de diferentes variveis obtidas
por mtodos diferentes; dessa forma, so valores heterotrao heteromtodo. As diagonais entre esses tringulos apresentam os
coeficientes de correlao entre as medidas da mesma varivel por diferentes mtodos e so coeficientes de validade (validade
convergente). Esses valores em diagonal devem ser substanciais, porque refletem a correlao entre as mesmas variveis
medidas diferentemente. A varincia comum que resulta, em
virtude das semelhanas nos mtodos, afetar o tamanho
desses coeficientes na medida em que os mtodos tm propriedades iguais e lhes so oferecidas oportunidades de afetar
as medidas de maneira sistemtica.
149
5/29/15 3:37 PM
TABELA 1.0. Matriz multitrao-multimtodo, segundo Campbel

e Fiske (1959)
Mtodo 1
Trao
A1
B1
Mtodo 2
C1
A2
Mtodo 3
C2
B2
A3
C3
B3
A1 0,89
Mtodo 1
B1
C1
A2
Mtodo 2
B2
C2
A3
Mtodo 3
0,51
0,89
0,38
0,37
0,76
0,57
0,22
0,09
0,93
0,22
0,57
0,10
0,68
0,94
0,11
0,11
0,46
0,59
0,58
0,84
0,56
0,22
0,11
0,67
0,42
0,33
0,94
0,23
0,58
0,12
0,43
0,66
0,34
0,67
0,92
0,11
0,11
0,45
0,34
0,32
0,58
0,58
0,60
B3
C3
0,85
MTODO DO MULTITRAO-MULTIMTODO:
CONDIES PARA APLICAO
Campbel e Fiske (1959) estabeleceram algumas condies para,
usando o mtodo do multitrao-multimtodo, desenvolver o
processo de validao:
1. os coeficientes de correlao entre medidas da mesma
varivel com diferentes mtodos (coeficiente de validade
convergente) devem ser significativamente maiores do
que zero.(Este critrio , normalmente, considerado suficiente para caracterizar a validade);
2. as medidas de uma varivel devem apresentar uma correlao mais estreita com medidas do mesmo tipo, e que
foram obtidas por um outro mtodo, do que com medidas de outro tipo que foram estabelecidas pelo mesmo
mtodo. Os coeficientes de validade para uma certa varivel devem, assim, ser maiores do que os coeficientes
150
5/29/15 3:37 PM
para a mesma varivel nos tringulos delimitados por

linhas contnuas;
3. o coeficiente de validade para uma determinada varivel deve ser maior do que a correlao entre as medidas
dessa varivel e as medidas de todas as outras variveis,
obtidas por qualquer outro mtodo. Um coeficiente de
validade, desse modo, ser maior do que os correspondentes coeficientes na mesma linha e coluna no interior
do tringulo representado por linhas interrompidas;
4. se os mesmos mtodos ou mtodos diferentes forem usados, as magnitudes dos coeficientes para as correlaes entre diferentes variveis devem ter a mesma configurao.
Se a primeira condio for satisfeita, os mtodos possuem
validade convergente: concordncia significativa entre medidas
do mesmo tipo com diferentes mtodos. A concretizao dessa
condio no suficiente para satisfazer o processo de validao. necessrio que a segunda e a terceira condio tambm
ocorram. Se ambas ocorrerem, dir-se- que as medidas tm
validade discriminante.
preciso, no caso das condies estabelecidas por Campbell e
Fiske (1959), considerar a fidedignidade dos mtodos, pois se ocorrer a falta desse atributo, a validade discriminante ser afetada.
A fidedignidade, na presente abordagem, refere-se concordncia entre duas medidas do mesmo trao usando o mesmo
mtodo enquanto que a validade definida em termos da concordncia entre duas medidas do mesmo trao usando diferentes
mtodos. Assim sendo, cumpre ressaltar que a diferena fundamental entre fidedignidade e validade est na similaridade dos mtodos de medida. A quarta condio apresentada
por Campbell e Fiske (I959) irrealista (Magnusson, 1967) e
impossvel de ser obedecida rigorosamente. Se fosse seguida,
a validade discriminante dificilmente seria estabelecida, em
face da dificuldade de julgar o efeito da falta de fidedignidade
em matrizes complexas, com inmeras variveis, como exigem os estudos de validao de construtos.
151
5/29/15 3:37 PM
BROWN, F.G. Principles of Educational and psychological testing. Hinsdale,
lllinois: The Dryden Press, 1970.
CAMPBELL, D. T.; FlSKE, D. W. Convergent and discriminant validation
by the multitrait-multimethod matrix. Psychological Bulletin, n. 59, 1959.
CRONBACH, L. J.; MEEHL, P. E. Construct validity and psychological tests.
Psychological Bulletin, n. 52, 1955.
KERLINGER, F. M. Foundations of Behavioral Research. 2th ed. New York:
Holt, Rinehart and Winston, 1973.
MAGNUSSON, D. Test theory. Reading, Mass: Addison-Wesley, 1967.
SAX, G. Principles of educational and psychological measurement and evaluation.
2th ed. California: Wadsworth Publishing, 1980.
152
5/29/15 3:37 PM
5/29/15 3:37 PM
APLICAO DE
CRITRIOS DE CORREO
EM PROVAS DE REDAO1
n. 26, p. 29-34, set. 1978.
154
INTRODUO
A partir de 1965, a seleo de candidatos para algumas universidades e escolas superiores brasileiras comeou a ser feita
por meio de provas objetivas, com o emprego de itens de mltipla escolha. Aos poucos, o uso desse tipo de instrumento de
medida educacional se difundiu e, na dcada de 70, o que representava uma experincia limitada a determinados centros
educacionais passou a traduzir o comportamento geral das
instituies de ensino superior, com apoio em normas oriundas
do Ministrio da Educao e Cultura. Isso significou, consequentemente, o abandono da redao, instrumento de seleo
tradicionalmente empregado nos vestibulares, desde a criao
desses concursos em 1911.
A reao ao uso exclusivo de provas objetivas no se fez esperar. A Universidade de So Paulo, em 1976, reintroduziu, em
seus exames de ingresso, provas dissertativas, que, a partir de
janeiro de 1978, tambm passaram a ser adotadas pelas demais
instituies de ensino superior do pas, como decorrncia da
nova orientao do Ministrio da Educao e Cultura, que tomou obrigatria a prova de redao em todos os vestibulares.
5/29/15 3:37 PM
A redao, na atual sistemtica dos vestibulares, que envolvem, muitas vezes, mais de 100.000 estudantes, como nos casos
de So Paulo e do Rio de Janeiro, criou, naturalmente, numerosos problemas, entre os quais sobressai o da aplicao de um
critrio de correo, objetivo do presente estudo.
ELABORAO DO CRITRIO DIRETRIZES GERAIS

A Fundao Carlos Chagas, no primeiro semestre de 1975,
iniciou estudos e procurou equacionar, com o mximo de
realismo possvel, o problema da definio de um critrio
que permitisse uma correo homognea de milhares de redaes. As diretrizes que orientaram o estabelecimento do
critrio foram, posteriormente, divulgadas, merecendo destaque o seguinte aspecto:
Buscou-se... operacionalizar um critrio que atenda, a um
tempo, a dois pressupostos bsicos: uniformidade do comportamento analtico e interpretativo dos diferentes avaliadores, por meio de um padro objetivo de avaliao;
exequibilidade, pela discriminao de um mnimo de subitens que permita considerar um mximo de aspectos determinantes da nota global. (1977a)
O interesse maior dos responsveis pela elaborao do

critrio centralizou-se na homogeneidade dos julgamentos.
O problema de importncia relativa no caso das redaes
realizadas em sala de aula, no decorrer de um curso, quando
as flutuaes de julgamento de um professor se compensam e
no prejudicam, ao trmino da sequncia instrucional, a avaliao global do estudante. A situao, no contexto do vestibular, diferente: a populao de candidatos desconhecida,
com escolaridade bem diversificada, e o nmero de redaes
a corrigir, em curto espao de tempo, elevado. Legtima ,
portanto, a preocupao com o estabelecimento de parmetros
que possibilitem avaliaes uniformes.
155
5/29/15 3:37 PM
CRITRIO DE CORREO um resumo

Elaborado por uma equipe de trs professores universitrios e
um professor do 2 Ciclo, do Ensino Oficial do Estado de So
Paulo, todos com experincia no ensino de nvel mdio, o critrio foi aplicado, em janeiro de 1976, por quarenta professores, que ofereceram, ao trmino dos trabalhos, sugestes para
modific-lo em alguns de seus aspectos. Examinadas as crticas
e propostas de modificao, a equipe elaborou nova verso do
critrio, divulgada em 1977, na forma seguinte:
A correo da dissertao dever considerar os aspectos
abaixo discriminados:
Valores
mximos
1 - ESTRUTURA - os julgadores verificaro se o trabalho
apresentado pelo candidato realmente uma dissertao
e se essa dissertao constitui um conjunto articulado
de partes em torno do tema proposto (forma dissertativa,
organicidade e unidade do texto);
20
2 - CONTEDO - os julgadores verificaro se a dissertao

apresenta ideias fundamentadas e coerentes, que
demonstrem senso crtico e que possibilitem uma perfeita
relao de entendimento entre o examinando e o avaliador
(elaborao crtica, coerncia e clareza);
30
3 - EXPRESSO - os julgadores verificaro se a dissertao

apresenta:
3.1. adequao vocabular (lxico);
10
3.2. correo gramatical (ortografia, morfologia, sintaxe,

pontuao).
40
Total
100
Ressalta do texto adiante transcrito, elaborado guisa

de apresentao, o cuidado dos responsveis pela formulao
do critrio com a uniformidade e o rigor dos julgamentos.
Embora no se devessem dissociar forma e contedo, ou
seja, a articulao do pensamento e sua linguagem, evidente que, na elaborao do critrio, foi preciso fazer uma
distino convencional entre os elementos que entranhadamente constituem um texto. Assim que, atribuindo
valores parcelados a estrutura, contedo e expresso, o
critrio buscou fornecer aos avaliadores instrumentos mais
156
5/29/15 3:37 PM
precisos para o julgamento do texto como um todo. Os trs

itens so faces diversas do mesmo objeto, que a prova
total como se apresenta em sua redao final, resultante de
um processo de elaborao em que o candidato dever ter
considerado necessariamente esses trs aspectos. (1977a)
APLICAO DO CRITRIO primeira experincia

Aps a elaborao do critrio, a equipe responsvel aplicou-o
na correo independente de quatro redaes, antes de submet-lo ao julgamento de outros avaliadores, ainda durante o
treinamento. Os resultados dessa experincia inicial so apresentados na Tabela 1.
TABELA 1 Notas atribudas a quatro redaes por quatro examinadores,
em correes independentes. Mdias e desvios-padro.
Fundao Carlos Chagas - 1975
Redao
Professores
62,50
48,00
42,50
77,00
61,00
23,00
17,00
96,00
80,50
41,00
53,00
96,00
86,00
35,00
53,00
93,00
72,50
36,75
41,37
90,50
10,67
9,17
15,14
7,88
Os elementos da Tabela 1 demonstram que houve divergncias na aplicao do critrio pela equipe responsvel por
sua elaborao, conforme indicam as disperses (s) das vrias
notas. Analisando-se, entretanto, as posies atribudas pelos quatro professores, observa-se que, na aplicao do critrio, os julgadores foram unnimes em classificar as redaes
D e A como as melhores, nas posies 1 e 2, respectivamente.
Verifica-se, tambm, quanto s provas B e C, que os julgadores
concordaram que deveriam ocupar os postos 3 e 4, havendo dvidas quanto redao que se situaria na posio 3 ou 4, j que
157
5/29/15 3:37 PM
dois deles acharam que a B deveria estar na posio 3, enquanto que os dois outros optaram pela redao C, para esse mesmo
posto. Levando-se em considerao que a mdia dos julgadores
mais fidedigna do que um julgamento isolado (Vianna, 1977),
a aplicao do critrio permitiu classificar as quatro provas, a
partir da melhor, na seguinte ordenao: D, A, C, e B.
APLICAO DO CRITRIO - nova experincia

A incluso de uma prova de redao, no concurso vestibular
de 1976, exigiu a seleo de quarenta (40) experientes professores para os trabalhos de avaliao. Os responsveis pela coordenao das atividades de correo promoveram uma reunio
de todos os envolvidos no processo, para apresentao e debates dos problemas. A preocupao da equipe coordenadora
relacionava-se diretamente com a possvel multiplicidade de
julgamentos, pois a literatura tcnica rica em pesquisas que
demonstram a diversidade dos critrios individuais de avaliao de provas dissertativas (Vianna, 1976). A reunio objetivou,
sobretudo, sensibilizar os avaliadores para os problemas da
correo e vantagens da adoo de um nico critrio, a fim de
atenuar as conhecidas diferenas individuais de julgamento.
Um documento explicativo, detalhando o critrio (Vianna,
1977 b) foi divulgado para encaminhar as discusses e detalhes.
A parte introdutria deste documento mereceu especial ateno, sendo enfatizada, mais uma vez, a importncia da homogeneidade dos julgamentos.
A correo de redaes tarefa complexa, que envolve
grande quantidade de variveis. O critrio geral... procurou
abranger os aspectos que devem ser necessariamente observados, a fim de que se obtenham os dados fundamentais
para uma avaliao um tanto quanto possvel objetiva.
Sempre que lemos um texto, inevitvel sermos envolvidos por uma impresso geral, favorvel ou desfavorvel.
Todo professor passa por essa experincia, mesmo que no
o queira. No caso presente, o fato de os candidatos estarem empenhados numa situao competitiva obriga-nos a
um maior controle da subjetividade. O que se pretende o
estabelecimento de critrios que possibilitem uniformidade
158
5/29/15 3:37 PM
de julgamento por parte de um grupo de avaliao marcado

pela diversidade de seus elementos.
Aps os debates e a aceitao do critrio pelo grupo de avaliao, distriburam-se as redaes anteriormente avaliadas pela
equipe de coordenao, solicitando-se aos professores que a corrigissem segundo o critrio. A redao D, por solicitao dos examinadores, foi avaliada com base na impresso geral. A Tabela 2
apresenta os resultados dessas correes.
TABELA 2 Notas atribudas por quarenta professores a quatro
redaes, em correes independentes. Mdias e desvio-padro.
Redaes
Frequncias
Notas
90-96
--
--
--
83-89
--
--
10
76-82
--
--
6(*)
69-75
--
--
13
62-68
--
55-61
9(*)
--
48-54
--
41-47
--
34-40
16(*)
--
27-33
11(*)
--
20-26
12
--
13-19
--
--
6-12
--
--
--
Notas
40
40
40
40
55,52
29
38,57
79,37
14,18
9,27
12,45
8,97
(*) Assinala a classe em que se localiza a mdia
159
5/29/15 3:37 PM
A anlise da Tabela 2 possibilita observar, inicialmente,

que as mdias do grupo de quarenta professores ordenaram
as quatro redaes nas mesmas posies apresentadas pela
equipe de coordenao. Ainda que as posies sejam idnticas,
ressaltam, no caso, as diferenas entre os dois conjuntos de
mdias. A primeira correo, sob responsabilidade da equipe
que elaborou os critrios, foi bem mais tolerante que a de quarenta professores, cujos resultados, entretanto, tendo em vista
a teoria da fidedignidade, so mais precisos, por traduzirem
um nmero bem maior de apreciaes.
Essas diferenas entre as mdias sofreram a influncia da
grande amplitude das notas dos quarenta professores, conforme
a Tabela 3.
TABELA 3 Amplitude das notas atribudas a quatro redaes,
em correes independentes, por quarenta professores.
Redaes
notas
Mnima
88
49
62
95
Mxima
25
14
60
Amplitude
64
36
57
36
A essa altura, configuram-se de imediatos dois problemas

graves que, em princpio, podem ter implicaes no contexto
do vestibular:
1) a grande amplitude das notas, ao que tudo indica, refletiria o fato de que os professores no estariam aplicando
os mesmos padres de correo estabelecidos pelo critrio. A atribuio das notas, em muitos casos, foi aparentemente pouco cuidadosa, exemplificados pela redao
C, cujas notas variaram de 62 a 6, com uma amplitude,
portanto, de 57 pontos; e pela redao A, cujas notas tiveram uma amplitude de 64 pontos;
2) outra constatao, com base na Tabela 2, refere-se sujeio do estudante equao pessoal do examinador:
seu xito ou fracasso vai depender da sorte de ter a sua
prova corrigida por este ou por aquele professor.
160
5/29/15 3:37 PM
A Tabela 4 reflete uma situao hipottica: considerou-se

que somente uma nota superior a 40, nas distribuies apresentadas na tabela 2, traduziria aprovao. A seguir, calculou-se,
percentualmente, quantos professores aprovariam ou reprovariam cada uma das quatro redaes.
TABELA 4 Porcentagem de professores que aprovaram e dos
que reprovaram, com base em notas atribudas a quatro redaes,
em correes independentes, admitindo-se para aprovao um
desempenho superior a 40. Fundao Carlos Chagas - 1978
Porcentagem de
Total
Redao
Aprovao
Reprovao
80
20
100
10
90
100
30
70
100
100
100
A correo de uma redao no assunto pacfico, conforme mostram as porcentagens da Tabela 4. Alguns consideram
o trabalho digno de merecer aprovao; outros, ao contrrio, o
julgam destitudo de valor. Os dados sintetizados nas Tabelas 2,
3 e 4 pem em destaque a possvel influncia do professor no
xito ou insucesso do aluno.
APLICAO DO CRITRIO
verificao de uma hiptese
As atividades prticas de 1976 proporcionaram elementos para
a reformulao do critrio e o estabelecimento de novos procedimentos para sua aplicao. Aos avaliadores solicitaram-se
relatrios individuais de sua experincia, especialmente das
dificuldades encontradas na aplicao do critrio, e apresentao de sugestes para a sua modificao, de modo a garantir o
xito de sua prpria utilizao. A partir do exame desses relatrios e de suas sugestes modificaram-se alguns elementos do
critrio, que passou a ter a verso anteriormente apresentada
no presente estudo.
161
5/29/15 3:37 PM
A dinmica da reunio para debate do novo critrio, por sugesto dos professores, sofreu, igualmente, modificaes. Criaram-se grupos menores para permitir melhor interao dos avaliadores com a equipe de coordenao; desse modo, enquanto
na experincia anterior o treinamento ocorreu com a presena
de todos os avaliadores (40), nesta organizaram-se grupos com
doze (12) professores apenas. Prepararam-se, tambm, dois documentos (1977a, 1977b) para exame mais detalhado: o primeiro
estabelece a metodologia que orientou a elaborao do critrio;
o segundo define seus diferentes componentes e discute aspectos para a sua aplicao prtica e quantificao dos trabalhos.
A discusso desses documentos e a aplicao do critrio a um novo
conjunto de redaes ocorreu em duas etapas, totalizando seis horas de atividades, nos meses de novembro e dezembro de 1977.
Ao trmino dessas reunies, havia, aparentemente, um consenso
sobre a aplicabilidade do critrio numa situao de vestibular.
Os exames de ingresso universidade, em janeiro de
1978, permitiram testar a hiptese de que no haveria diferenas estatisticamente significantes entre as mdias dos
subconjuntos de redaes corrigidos por professores que passaram pelas sesses de treinamento. Assim, 2.738 redaes
foram submetidas ao julgamento de 48 professores treinados,
que, em mdia, corrigiram 57 redaes num nico dia, em
dois perodos, num total de oito horas.
Aps a correo das 2.738 provas, calculou-se, inicialmente, a mdia geral (X = 50,65); a seguir, a fim de atingir
o objetivo maior do presente estudo, estabeleceram-se as mdias de cada professor para cada um dos 48 subconjuntos.
A Tabela 5 apresenta uma distribuio de frequncia dessas
mdias, nos quarenta e oito subconjuntos. A amplitude das
mdias foi de trinta (30) pontos.
162
5/29/15 3:37 PM
TABELA 5 Mdias das notas atribudas a 48 subconjuntos

de redaes corrigidos por diferentes professores submetidos
ao mesmo treinamento. Fundao Carlos Chagas - 1978
X
60-62
57-59
54-56
51-53
14
48-50
45-47
42-44
39-41
36-38
33-35
30-32
48
Observa-se, primeiramente, que 14 mdias (29%) se acham

na classe modal (51- 53), que tambm a classe da mdia geral.
A distribuio demonstra ter havido uma predileo pelos valores centrais, em torno da mdia. Assim, verificando-se as notas de cada prova, constatou-se que 2133 (77,90%) obtiveram notas na faixa de 30 a 70, numa escala de 0 a 100; que 331 provas
(12,10%) receberam notas entre 75 e 100; e que, finalmente, 274
redaes (10,00%) tiveram notas de 0 a 25. No conjunto de 2738
provas, atribuiu-se zero a 70, ou seja, 2,56% dos trabalhos receberam essa nota mnima. Apenas 3 provas (0,11%) mereceram nota
plena (100). A Tabela 6 apresenta a distribuio de frequncia das
notas das 2738 redaes.
163
5/29/15 3:37 PM
TABELA 6 Notas atribudas a 2.738 provas de redao por

48 professores treinados. Fundao Carlos Chagas - 1978
X
91-100
19
81-90
111
71-80
201
61-70
396
51-60
512
41-50
631
31-40
460
21-30
232
11-20
93
1-10
13
70
2.738
A questo fundamental, anteriormente formulada na hiptese, consiste, portanto, em verificar se realmente existe diferena significante entre as mdias dos quarenta e oito subconjuntos de provas. A expectativa, em que pesem elementos
anteriormente apresentados, de que no existam diferenas
significantes, tendo em vista o cuidado do critrio em eliminar
todos os elementos capazes de gerar controvrsias. Alm disso,
a preocupao da equipe de coordenao em debater e analisar
os vrios problemas que poderiam ocorrer na fase de aplicao; a constituio de grupos homogneos de avaliadores, no
que tange formao profissional e experincia docente; e,
finalmente, a procura de consenso, supostamente obtido nas
sesses destinadas discusso e aplicao preliminar do critrio, permitem esperar que no haja uma variao significante
entre os examinadores.
A fim de testar a hiptese formulada, foi feita a anlise da
varincia (ANOVA one-way) das mdias das notas atribudas pelos examinadores aos seus respectivos subconjuntos. A Tabela
7 apresenta os dados da ANOVA.
164
5/29/15 3:37 PM
TABELA 7 Anlise da varincia das mdias das notas atribudas

a 48 subconjuntos de redaes corrigidos por diferentes
professores submetidos ao mesmo treinamento.
Fonte de
Variao
Graus de
liberdade
soma dos
quadrados
quadrados
mDIOS
47
108605,69
2310,76
7, 17***
RESDUO
2.690
866455,61
322,10
TOTAL
2.737
975061,30
professor
*** p 0,001 - Altamente significante
A anlise da varincia das mdias dos 48 subconjuntos mostrou que existem diferenas significativas entre essas medidas
de tendncia central; consequentemente, no se pode admitir
que essas discrepncias sejam puramente casuais, devendo-se atribu-las falta de homogeneidade na utilizao do critrio pelos examinadores. Assim, a hiptese de que no haveria
diferenas estatisticamente significantes entre as mdias dos
subconjuntos de redaes, corrigidos por professores que receberam treinamento especfico para esse fim, deve ser rejeitada;
admite-se, desse modo, que os avaliadores, no processo de correo, empregaram critrios prprios, diferentes do proposto.
CONCLUSES
Os elementos coletados no presente estudo possibilitam estabelecer as seguintes concluses:
1- a aplicao de um critrio de correo de redao pela
prpria equipe que o definiu no representa garantia
de que haver uniformidade nos resultados quantitativos apresentados;
2- ao corrigirem uma nica prova, diferentes examinadores
tendem a variaes considerveis nas notas, ainda que concordem quanto posio dessa prova em relao s demais;
3- a variabilidade dos professores em relao a uma nica
prova to grande, mesmo supostamente usando um
nico critrio, que a aprovao ou reprovao do estudante fica sujeita aos azares da sorte;
165
5/29/15 3:37 PM
4- a utilizao de um nmero considervel de examina-
dores, para fins de correo de redaes, no contexto

do vestibular, exige treinamento especfico do pessoal
docente, o que, todavia, no garante correo isenta de
idiossincrasias individuais;
5- apesar da elaborao cuidadosa de um critrio, da seleo de avaliadores entre profissionais altamente capacitados e da preocupao em estabelecer, por meio de
treinamentos, normas de procedimento uniformes, as
diferenas entre as mdias dos avaliadores so estatisticamente significantes, conforme os dados da ANOVA
Tabela 7, inferindo-se, portanto, que os 48 professores
participantes dessa experincia de avaliao utilizaram
critrios possivelmente, 48 critrios diferentes daquele que foi apresentado, debatido e supostamente
aceito por eles, na fase preliminar de treinamento.
FUNDAO CARLOS CHAGAS. Apresentao do critrio de correo.
So Paulo: Fundao Carlos Chagas, 1977a. Mimeo.
______. Explanao do critrio adotado para julgamento da dissertao.
So Paulo: Fundao Carlos Chagas, 1977b. Mimeo.
VIANNA, Heraldo M. Redao e medida da expresso escrita:
algumas contribuies da pesquisa educacional. Cadernos de Pesquisa,
So Paulo, n. 16, p. 41-47, 1976.
______. Flutuaes de julgamento em provas de redao. Cadernos de Pesquisa,
So Paulo, n. 19, p. 5-9, 1977.
166
5/29/15 3:37 PM
5/29/15 3:37 PM
168
5/29/15 3:37 PM
ReflexOes
sobre a
prAtica
avaliativa
169
5/29/15 3:37 PM
AVALIANDO A AVALIAO:
DA PRTICA PESQUISA1
Estudos em Avaliao
Educacional, n. 5, p. 55-61,
jan./jun. 1992. Trabalho
apresentado ao XXIV
Encontro Nacional da
Fundao AMAE para
Educao e Cultura no
Instituto Granbery da Igreja
Metodista, em Juiz de Fora,
Minas Gerais (14-17.07.92).
170
A anlise das atuais prticas de avaliao nos diferentes nveis

das escolas brasileiras mostra a necessidade da adoo de novas
polticas e novos procedimentos para que seja possvel o aprimoramento do processo de avaliao dos estudantes. imperativo
que se estabeleam meios para verificar se diferentes tipos de
aprendizagem esto sendo promovidos, sobretudo daqueles que
exigem do aluno capacidades mais complexas. O problema no
de fcil soluo para a nossa escola, especialmente em relao
prtica avaliativa, por no existir concordncia sobre questes
bem imediatas, como os tipos de instrumento a construir e como
chegar aos objetivos a que se prope o sistema educacional.
Quando se considera, em termos apenas tericos, as diversas
formas de utilizao dos instrumentos usados na avaliao educacional, constata-se que poderiam servir a diferentes propsitos:
1. avaliar a eficincia de professores, currculos, sistemas e
programas educacionais;
2. identificar diferentes tendncias quanto ao desempenho
educacional;
3. determinar o progresso educacional do ponto de vista
regional, nacional e at mesmo entre naes;
5/29/15 3:37 PM
4. possibilitar a definio e o planejamento de currculos,
assim como a definio de novas polticas educacionais

(Nickerson, 1989).
A avaliao da eficincia de professores esbarra em interesses corporativistas e no faz parte da nossa tradio, que se limita a avaliar o aluno, assim mesmo de forma bastante precria.
A avaliao de currculos, sistemas e programas comea a ser realizada, mas deforma restrita e limitada a algumas poucas experincias, como so o caso, no momento presente, da Avaliao da
Jornada nica e das Escolas-padro, em So Paulo, e da Avaliao
do Ciclo Bsico de Alfabetizao (CBA), em Minas Gerais. A experincia mais vigorosa e com maior amplitude de Minas Gerais,
que at o final de 1994 pretende avaliar todo o sistema educacional da rede oficial, gerando, assim, competncias sobre esse
tipo de avaliao, que ainda no possumos, e concorrendo para
a formao de uma cultura da avaliao, que ainda no temos.
A nossa carncia atual em termos de avaliao decorre em
grande parte da falta de continuidade nos trabalhos realizados,
por intermdio de um processo de disseminao, que poderia
servir de estmulo a outros empreendimentos na rea de avaliao. A FUNBEC Fundao Brasileira para o Ensino de Cincias,
nos anos 60 e 70, realizou avaliao de currculos para a introduo de novas metodologias de ensino em Matemtica, Fsica,
Qumica, Biologia e Geocincias, mas essa importante prtica
no teve continuidade em outras instituies, perdendo-se assim, parte do know-how adquirido com a colaborao de avaliadores de prestgio, como Hulda Grobman.
A experincia da Fundao Getlio Vargas, no princpio dos
anos 60, merece ser relembrada, tendo sido a primeira vez que se
procurou construir um teste padronizado no campo da educao
para avaliao de desempenho terminal. O projeto dirigido por
Ruth Schaeffer e Ncia Maria Bessa, no Rio de Janeiro, criou um
instrumento que seguia as linhas gerais do Iowa Basic Skills, e se
destinava avaliao de capacitaes ao trmino do atual 1 ciclo.
O projeto contou com a colaborao de figuras expressivas como
Anne Anastasi, Frederick Davis e Robert L. Ebel, que participaram
de treinamento para a formao de expertise entre educadores brasileiros. Houve um esforo no sentido de criar condies para o
desenvolvimento de qualificaes, mas, por diferentes razes,
171
5/29/15 3:37 PM
o projeto no teve continuidade, restando dessa experincia

apenas um manual de interpretao, elaborado com extremo
cuidado metodolgico, e uma pesquisa socioeconmica, que
so modelos de trabalho cientfico da melhor qualidade em
avaliao educacional.
A dcada de 70 apresentou grande interesse por avaliao
de currculo, assistindo-se, no plano terico, divulgao do
modelo sugerido por Stufflebeam contexto, input, processo
e produto (CIPP) ; no entanto, como comum em nosso meio
educacional, foi um momento transitrio. Alguns trabalhos
importantes, como os de Maria Amlia Azevedo e Clarilza Prado
de Sousa, entre outros, foram realizados, mas tambm no
tiveram continuidade.
Levantamento recente, a partir da revista Cadernos de Pesquisa
(Vianna, 1992), editada pela Fundao Carlos Chagas, mostrou
que um amplo espectro de assuntos na rea da avaliao foi analisado, discutido e pesquisado, restando, entretanto, uma indagao: esses estudos chegaram ao conhecimento do professor e
influenciaram na sua prtica docente? A avaliao, lamentavelmente, no faz parte da formao dos docentes, quando muito
um tpico isolado, uma aula ou talvez uma unidade, mas no
uma rea de concentrao.
Tentativas de avaliao do sistema educacional foram
promovidas pelo Instituto Nacional de Estudos e Pesquisas
Educacionais (INEP/MEC), no final da dcada de 80, em pesquisas realizadas em escolas da rede oficial em 69 cidades do
Pas, com o objetivo de identificar pontos crticos na aprendizagem de crianas do 1o grau (Vianna; Gatti, 1988; Vianna,
1989; Vianna, 1989b), e, posteriormente, idntica pesquisa do
rendimento de alunos da rede privada foi concretizada. Houve
um levantamento de importantes dados sobre o desempenho
em Portugus, Matemtica e Cincias de alunos da escola de 1o
grau, mas no se possui um sistema adequado de disseminao de informaes, que custam a chegar ao professor, quando
realmente chegam, e nem sempre tm ressonncia na escola.
Ainda no incio dos anos 90, o MEC/INEP procurou implantar
um Sistema Nacional de Avaliao do Ensino Pblico de 1 grau,
envolvendo custo-aluno, rendimento e gesto escolar.
Os anos 70 assistiram ao uso indiscriminado dos testes objetivos, por influncia do processo de seleo para o ensino superior.
172
5/29/15 3:37 PM
Elaborados sob o signo da improvisao, sem conhecimento de

sua complexa tecnologia e dos seus fundamentos estatsticos,
acabaram no descrdito. Ao longo desses anos foram ignorados
os avanos da psicometria, rea da estatstica aplicada aos instrumentos de medidas educacionais e psicolgicas que apenas
tangencia os currculos para a formao de docentes. Seria inteiramente procedente, nesse momento, que se indagasse: para
que servem os testes e/ou provas?
Os testes/provas (Nickerson, 1989), quando considerados em
relao aos alunos, podem servir para diferentes fins:
1. possibilitar o acesso aos vrios nveis de escolaridade em
diferentes escolas ou programas de ensino;
2. permitir a promoo em uma sequncia educacional,
nas suas vrias fases, at a concluso;
3. positivar deficincias a superar atravs de uma ao
teraputica;
4. identificar a possibilidade de acelerar (ou retardar) determinado programa;
5. orientar o processo instrucional por intermdio de
uma avaliao contnua do desempenho, com a promoo de ajustamentos necessrios concretizao
da aprendizagem;
6. qualificar professores para o exerccio de suas atividades docentes.
A anlise dos instrumentos usados em nosso contexto
educacional, muitas vezes construdos por instituies com
excelente reputao, e, por isso mesmo, supostamente adequados s necessidades da avaliao, mostra elementos crticos,
sobretudo no destaque de aspectos ligados memorizao e
pouca nfase no indicativo da capacidade de compreender e
saber usar conhecimentos importantes em situaes nveis,
revelando o real domnio do conhecimento graas capacidade de aplicao.
A ausncia de instrumentos capazes de medir compreenso
e aplicao, objetivos maiores do planejamento educacional, mostra que os projetos de avaliao nem sempre tm condio de positivar se a escola o sistema educacional est realizando com sucesso, por intermdio do processo instrucional, um dos aspectos
relevantes da tarefa a que se prope. Isso gera de certa forma uma
173
5/29/15 3:37 PM
cadeia de responsabilidades os instrumentos no so capazes

de determinar com xito capacidades significativas, que a prpria escola no as desenvolve conforme seria desejvel. Assim,
por via de consequncia, a avaliao acaba prejudicada.
Existe toda uma cadeia de elementos interrelacionados - os
instrumentos de medida refletem a filosofia instrucional seguida em classe pelos professores e esses mesmos instrumentos (deficientes) determinam a forma pela qual os estudantes adquirem
supostas capacidades. necessrio ressalvar que as avaliaes
so prejudicadas na medida em que os professores ensinam para
o teste/prova, considerando que os seus resultados multas vezes
so usados para determinar a eficincia do professor.
Ainda que compreensvel do ponto de vista do professor,
o ensinar para a prova acaba por comprometer o processo de
avaliao no que tange sua validade preditiva. preciso levar
em conta que no faz sentido preparar para o exame, tendo em
vista os objetivos do processo instrucional. A ideia de ensinar
para o teste, apesar de partir do pressuposto de que as provas
determinariam o que o os professores ensinam e os alunos estudam, no defensvel, se for considerado que os instrumentos de avaliao nem sempre avaliam o relevante e desejvel;
desse modo, estaria sendo dada nfase a atributos menores,
em detrimento de capacidades mais importantes que, porm,
no foram desenvolvidas face relao ensino-teste-avaliao.
A questo de avaliar aquilo que importante no de soluo fcil e imediata, tendo em vista certas constataes: os instrumentos para a medida de processos complexos so difceis de
construir, exigem pesquisas e investimentos, o que at agora no
tem sido feito. A medida desses processos exigiria a avaliao de
conceitos, princpios e relaes, aspectos da aprendizagem nem
sempre desenvolvidos em nossos currculos, que se preocupam
com o domnio dos conhecimentos mais simples, quase sempre
factuais e imediatos.
preciso pensar e repensar o problema da avaliao no
contexto brasileiro: avaliar difcil, avaliar no campo educacional extremamente difcil, e muitos no se do conta das suas
implicaes pedaggicas e das amplas ressonncias, inclusive
no social e no econmico. A repetncia, por exemplo, afeta a
autoestima, e nem sempre uma garantia de futuro xito; ao
contrrio, as possibilidades de sucesso diminuem considera-
174
5/29/15 3:37 PM
velmente. Essa uma preocupao do atual Governo de Minas

Gerais (1992), que em documento oficial declara haver todo um
esforo no sentido de assegurar que o nmero de concluintes
do ensino fundamental, com no mximo duas repetncias, se
eleve dos 15-18% atuais para 40% em cinco anos e para 60% em
dez anos, quando, ento Minas Gerais se ter equiparado ao Mxico de hoje. A um custo mdio de 220 dlares por aluno-ano, a
repetncia em Minas Gerais custa 110 milhes de dlares.
A psicologia educacional, nos dias fluentes apresenta grandes e novas concepes sobre aptido, aprendizagem, desenvolvimento e rendimento escolar (Snow, 1989; Snow; Lohman, 1989.)
Tudo isso est tendo amplas repercusses na rea da avaliao
educacional, especificamente nas pesquisas sobre validade
de construto. Essa nova situao leva a crer que diferentes nveis e diversos modelos de avaliao devem ser adotados, sem
abandono dos atuais, mas com um significado inteiramente
diferente. O prprio professor precisa ser igualmente pesquisado, porque nada de importante se conseguir sem a devida
compreenso do seu papel e sem a sua irrestrita adeso aos
trabalhos de avaliao.
A avaliao cognitiva complexa e a sua complexidade vem
aumentado na medida em que a psicologia cognitiva apresenta
novos desafios, desvendando a multiplicidade de estratgias que
levam a criana a diferentes tipos de aprendizagem. As crianas,
sabe-se hoje em dia (Siegler, 1989), usam diferentes estratgias
relativamente soma, subtrao, multiplicao, soletrao,
identificao de palavras, entre outros aspectos. A consequncia disso a valorizao de um ensino voltado para as diferenas
individuais e para uma Avaliao individualizada, do tipo formativo e baseada em critrio e no em normas.
A avaliao em nosso contexto educacional acha-se na fase
da pr-histria, preocupada com problemas menores e sem significado efetivo para o sucesso de uma aprendizagem realmente
consequente para o ser humano diante dos desafios que a sociedade constantemente apresenta. Assim, como avaliar as diferentes estratgias usadas na rea cognitiva? A indagao est
apresentada, mas dificilmente ter-se- uma resposta satisfatria
e imediata. um challenge que devemos aceitar, esperando que
algum dia se possa chegar a uma soluo definitiva para o problema, que possivelmente ser obtida por meios no convencionais,
175
5/29/15 3:37 PM
em relao s atuais prticas de avaliao.

A avaliao procura entre seus objetivos verificar a capacidade de pensar criticamente, sem se dar conta de que somente
se mede e avalia o que se pode definir operacionalmente, o que
toma difcil a mensurao desse construto, face ao carter extremamente vago do conceito e impossibilidade de fixar padres
de julgamento (Norris, 1989). O assunto, por sua importncia,
precisaria ser pesquisado a fim de aprofundar o problema e
identificar formas de avaliar o pensamento crtico no contexto
dos problemas da realidade, o que significa dizer que h necessidade da determinao de um nmero bastante considervel de
variveis intervenientes nesse complexo problema.
praticamente impossvel discutir avaliao sem tratar, necessariamente, do problema da validade (Norris, 1989;
Fredericksen; Collins, 1989). At que ponto a preocupao
com os mltiplos problemas da validade chegou at ns um
questionamento que deveria ser objeto da reflexo de todos os
avaliadores, inclusive de professores. Os testes aplicados em sala
de aula so realmente vlidos? Os instrumentos usados em pesquisas educacionais apresentam comprovada validade? Quais as
evidncias empricas de que os resultados obtidos so realmente
vlidos? O que validar: o instrumento, os resultados ou a ideia
que constitui a infraestrutura de todo o processo de avaliao?
Quase sempre avaliamos construtos: rendimento escolar, capacidade de expresso escrita etc., mas qual a prova que se possui da
validade de construto? preciso atentar para as consequncias
de uma avaliao realizada sem base em uma fundamentao
terica (rationale) e sem evidencias empricas que sustentem possveis inferncias e decises com seus mltiplos resultados prticos, s vezes irreversveis.
Os diversos problemas da avaliao precisam ser pesquisados para que a avaliao realizada na escola venha a ter um
papel importante no processo ensino-aprendizagem, no qual
est integrada. Somente a pesquisa sobre avaliao e a prtica
constante da avaliao sero capazes de criar uma cultura da
avaliao e dar credibilidade avaliao no contexto das atividades educacionais, sujeitas a constantes desafios. A informtica, por exemplo, comea a ser introduzida em nossas escolas
de maneira ainda incipiente, mas o uso de computadores na
rea educacional significar um novo repto avaliao, que se
176
5/29/15 3:37 PM
ver diante da possibilidade de poder avaliar como as pessoas

compreendem e pensam (Fredericksen; Collins, 1989); contudo, ainda temos um longo caminho a percorrer, necessitamos
formar novas competncias, a fim de enfrentar os problemas
em benefcio de um ensino eficiente em nossas escolas, sobretudo as responsveis pela educao fundamental.
BIBLIOGRAFIA
FREDERICKSEN, J. R.; COLLINS, A. A Systems approach to educational testing.
Educational Researcher, v. 18, n. 9, p. 27-32.1989.
NICKERSON, R. S. New directions in educational assessment. Educational
Researcher, v. 18, n. 9, p. 3-7, 1989.
NORRIS, S.P. Can we rest validity for critical thinking? Educational Researcher,
v. 18, n. 9, p. 21-26, 1989.
SIEGLER, R. S. Strategy diversity and cognitive assessment. Educational
Researcher, v. 18, n. 9, p. 15-20, 1989.
SNOW, R. E. Toward Assessment of Cognitive and Conative Structures in
learning. Educational Researcher, v. 18, n. 9, p. 8-14, 1989.
SNOW, R. E.; LOHMAN, D. F. Implications of cognitive psychology for
educational measurement, In: LINN, R. L. (Ed.). Educational measurement. 3th ed.
New York: Macmillan, 1989. p. 263-331.
VIANNA, Heraldo M. Avaliao do rendimento de alunos de escolas do 1 grau
da rede pblica: um estudo em 20 cidades. Educao e Seleo, So Paulo, n. 19,
p. 33-98, jan./jun. 1989a.
______ . Avaliao do rendimento de alunos de escolas de 1 grau da rede pblica:
um estudo em 39 cidades. Educao e Seleo, So Paulo, n. 20, p. 5-56, 1989b.
______. Avaliao Educacional nos Cadernos de Pesquisa. Cadernos de Pesquisa,
So Paulo, n. 80, p. 100-105,1992.
VIANNA, Heraldo M.; GATTI, Bernardete A. Avaliao do rendimento de alunos
de escolas de 1 grau da rede pblica: uma aplicao experimental em
10 cidades. Educao e Seleo, So Paulo, n. 17, p. 5-52, jan./jun. 1988.
177
5/29/15 3:37 PM
A PRTICA DA
ALGUMAS COLOCAES
METODOLGICAS1
n. 69, p. 40-47, maio 1989.
178
A avaliao educacional nos dias de hoje atrai a ateno de pesquisadores face necessidade de promover o levantamento de
um amplo espectro de elementos que possibilitem a anlise dos
sistemas educacionais em suas vrias dimenses. Esse processo, entretanto, atravessa momento crtico, porque, conforme
Stufflebeam et al. (1971), no possui uma teoria perfeitamente
estruturada que traduza um consenso entre educadores. Alm
do mais, inexiste uma tipologia de informaes fundamentais
para o processo decisrio, h insuficincia de instrumentos e
planejamentos adequados aos diversos fenmenos educacionais e, ainda, destaca-se a falta de um sistema que possibilite
a organizao, o processamento e o relatrio de informaes
necessrias avaliao educacional. O trabalho de avaliao
exige, consequentemente, certa criatividade e independe da
adoo de modelos desenvolvidos em outros contextos. Assim,
a pesquisa em avaliao educacional, inclusive quando restrita ao rendimento escolar, exige definies e procedimentos
ad hoc, para que possa ser realizada com pleno xito. evidente
que, no havendo um consenso difcil, s vezes, entre educadores ocorram, especialmente nessa rea, incompreenses quase
5/29/15 3:37 PM
sempre centradas em aspectos no necessariamente relevantes

para os propsitos da avaliao.
necessrio ressaltar que, ao contrrio da pesquisa, a avaliao educacional no visa generalizao dos resultados com
vistas ao estabelecimento de princpios ou de leis. A avaliao
tem por objetivo gerar conhecimentos que levem a decises
que tenham consequncias imediatas na prtica educacional.
Desse modo, no caso particular do rendimento escolar, por
exemplo, a avaliao procura obter dados que possibilitem a
tomada de decises relativas ao desempenho individual e/ou
coletivo em face de um determinado programa curricular.
A partir de elementos empiricamente coletados, a avaliao
procura descrever, da melhor forma possvel, o fenmeno considerado, para possibilitar a fundamentao do processo decisrio com base em dados da realidade.
A avaliao educacional, como rea de investigao cientfica recente, e as posies tericas sobre as prioridades a considerar contriburam para a formulao de diferentes definies e
a criao de grande variedade de modelos. O problema primeiro
est em definir, com relativa preciso, duas palavras frequentemente usadas de forma intercambivel: medir e avaliar.
Medir uma operao de quantificao, em que se atribuem valores numricos, segundo critrios preestabelecidos,
a caractersticas dos indivduos, para estabelecer o quanto possuem das mesmas. O ndice quantitativo, obtido por intermdio
da medida, identifica o status do indivduo face caracterstica.
Com referncia avaliao, a medida um passo inicial, bastante importante, s vezes, mas no condio necessria, nem
suficiente, para que a avaliao se efetue. Eventualmente, a medida pode levar avaliao que, entretanto, s se realiza quando
so expressos julgamentos de valor.
Avaliar determinar o valor de alguma coisa para um
determinado fim. A avaliao educacional visa, pois, coleta
de informaes para julgar o valor de um programa, produto, procedimento ou objetivo (Worthen e Sanders, 1973) ou,
ainda, a apreciar a utilidade potencial de abordagens alternativas para atingir determinados propsitos. A avaliao refere-se, assim, a atividades sistemticas ou formais para o estabelecimento do valor de fenmenos educacionais (Popham,
1975), quaisquer que sejam.
179
5/29/15 3:37 PM
A avaliao, para alguns, um processo assistemtico baseado na opinio de um especialista, um julgamento emitido por
um profissional. So comuns, na rea educacional, avaliaes
informais para a tomada de certas decises. Um livro adotado em vez de outro, uma metodologia de ensino empregada
em substituio outra, apenas com base em avaliaes assistemticas e impressionistas. A chamada avaliao, nesses casos,
limita-se a uma escolha, com base em percepes, da que seria a
melhor alternativa. , pois, uma simples opo, sem fundamento cientfico. A avaliao, ao contrrio, decorre de um esforo
sistemtico para definio de critrios, em funo dos quais se
coletam informaes precisas para julgar o valor de cada alternativa apresentada. Avaliar , assim, emitir um julgamento de
valor sobre a caracterstica focalizada, podendo esse valor basear-se parcial, mas no exclusivamente, em dados quantitativos.
A Tyler (1942) coube a difuso da definio de avaliao como
um processo de comparao entre os dados do desempenho e os
objetivos instrucionais preestabelecidos. Essa definio desfruta
de grande receptividade nos meios educacionais e, com pequenas
variaes, foi incorporada a alguns modelos tericos como, por
exemplo, o de Hammond (s.d.) e o de Metfessel e Michael (1967).
Stufflebeam et al. (1971) desenvolveram um modelo centralizado na ideia de que a avaliao deve permitir aos administradores a tomada de decises e, coerentemente, definiram avaliao como o processo de identificar e coletar informaes que
permitam decidir entre vrias alternativas.
Outros tericos, juntamente com as suas contribuies de
estratgias para a investigao avaliativa, propuseram tambm
definies que, em maior ou menor grau, so aceitas por muitos praticantes da avaliao educacional. Entre essas definies,
destacam-se a de Provus (1971), que apresenta a avaliao como
um processo de comparao entre desempenho e padres, e a de
Stake (1967), que a caracteriza como descrio e julgamento de
programas educacionais.
A avaliao, como campo emergente na rea educacional,
tem recebido contribuies provenientes de vrias fontes, entre
as quais destacam-se as de Michael Scriven, que marcaram, profundamente, a teoria da avaliao educacional. Scriven (1967)
concebe esse processo como um levantamento sistemtico de
informaes e sua posterior anlise para fins de determinar o
180
5/29/15 3:37 PM
valor de um fenmeno educacional. Essa definio, centralizada

no problema do valor, influenciou o pensamento de grande parte dos tericos e, praticamente, dos estudiosos da avaliao moderna, inclusive de alguns que no se preocuparam em detalhar
e explicitar a questo, como foi o caso de Stufflebeam. Analisada
a conceituao estabelecida por esse ltimo, verifica-se que ela
tambm incluiu um julgamento de valor, ainda que no o tenha
explicitado. Escolher essa ou aquela alternativa, isto , decidir,
conforme estabeleceu Stufflebeam, julgar o valor de uma ou
de outra alternativa, optando pela melhor. Assim, na definio
de Stufflebeam et al. (1971), est implcito, tambm, um julgamento de valor (Vianna, 1982a).
A avaliao no contexto educacional uma necessidade imperativa e exige uma metodologia que possibilite a coleta de informaes para decises fundamentadas. Um esquema de planejamento
frequentemente encontrado em projetos de avaliao o baseado
na anlise das diferenas apresentadas antes e aps o tratamento
instrucional. Essa estratgia, ainda que til em certas condies,
nem sempre fornece informaes detalhadas que permitam tomar
decises complexas. Outra opo estratgica, tambm amplamente utilizada em avaliao, a do planejamento experimental, que
caracteriza a pesquisa emprica, mas que nem sempre suficientemente eficaz para a avaliao de alguns fenmenos educacionais,
tendo em vista a circunstncia de que a avaliao se processa num
quadro natural, em que as situaes nem sempre so bem estruturadas e, por isso, tornam-se difceis as condies de controle exigidas pelo planejamento experimental. Assim, tendo em vista essa
problemtica, vrios especialistas procuraram desenvolver novas
estratgias para dar avaliao um sentido mais eficaz.
As diferenas existentes entre os modelos decorrem do fato
de estabelecerem prioridades diversas para os problemas de
avaliao educacional. Assim, como exemplificao, sem aprofundar a anlise de todos os modelos anteriormente mencionados, observa-se que Tyler (1942) se encontra na problemtica
da convergncia entre desempenhos e objetivos instrucionais,
Stake (1967) baseia-se na anlise de variveis antecedentes,
intermedirias (transactions) e resultantes, Stufflebeam et al.
(1971), atravs do exame do contexto, entrada (input), processo
e produto, visa a obter informaes que permitam a tomada de
decises pelos administradores.
181
5/29/15 3:37 PM
O avaliador educacional, ao selecionar determinado modelo terico, a fim de desenvolver um projeto, dever levar em
considerao a natureza do problema a investigar, os recursos
disponveis e sua prpria situao pessoal. Os modelos no se
propem a resolver todos os problemas que se apresentem ao
avaliador; objetivam, na verdade, permitir que o avaliador dimensione, adequadamente, os seus projetos, para evitar que deficincias de planejamento invalidem o processo e levem a falsas
decises (Vianna, 1982a).
Cronbach, no artigo Course improvement through evaluation
(1963), ainda que no apresente um modelo de avaliao, oferece um conjunto de ideias altamente provocadoras que tiveram grande impacto na dcada de 60, influenciando trabalhos
como o de Scriven (1967) e o de Stake (1967) que, por sua vez,
repercutiram profundamente na prtica de avaliao educacional. O ensaio de Cronbach de grande valor e discute,
sobretudo, quatro pontos: a associao entre avaliao e processo de tomada de deciso, os diferentes papis da avaliao
educacional, o desempenho do estudante como critrio de avaliao de cursos, algumas tcnicas de medidas disposio do
avaliador educacional.
A avaliao, no seu sentido mais amplo, pode ser definida
como um processo que visa coleta e ao uso de informaes
que permitam tomar decises sobre um programa educacional.
A avaliao, portanto, segundo Cronbach (1963), deve ser entendida como uma entidade diversificada, que exige a tomada de
diversos tipos de decises e o uso de uma grande variedade de
informaes. A avaliao com vistas ao aprimoramento de currculos no deve ser confundida, como muitos o fazem, com a
construo de instrumentos de medida e a obteno de escores
fidedignos, processos que, eventualmente, podem entrar no contexto da avaliao mas que no so indispensveis para que ela
possa atingir os seus objetivos.
Cronbach mostra que a avaliao usada com o objetivo de
tomar alguns tipos de decises, entre os quais:
1. determinar se os mtodos de ensino e o material instrucional utilizado no desenvolvimento de um programa
so, realmente, eficientes;
2. identificar as necessidades dos alunos para possibilitar
o planejamento da instruo, julgando o mrito dos es-
182
5/29/15 3:37 PM
tudantes para fins de seleo e agrupamento e fazendo

com que conheam seu progresso e suas deficincias;
3. julgar a eficincia do sistema de ensino e dos professores;
4. Assim, de acordo com Cronbach, no primeiro caso, a
avaliao permitiria decises que levariam ao aperfeioamento do currculo; no segundo, referirse-ia aos
alunos submetidos a determinado programa; finalmente, no terceiro e ltimo caso, as decises seriam de
natureza administrativa.
Cronbach discute, particularmente, alguns pontos fundamentais que no podem ser ignorados pelo avaliador educacional. Inicialmente, enfatiza o seguinte: quando a avaliao visa ao aprimoramento de cursos, seu principal objetivo
verificar quais os efeitos do curso, ou seja, quais as mudanas que produz no estudante. O problema, segundo a
perspectiva desse estudioso, no est em determinar se um
curso eficiente ou ineficiente apenas. preciso lembrar
que os resultados da instruo so multidimensionais e, desse modo, a avaliao deve promover o mapeamento de todos
os efeitos do curso em cada uma de suas dimenses. Um erro
frequente est na concentrao em um nico escore de diversos desempenhos esperados aps a realizao de um curso.
Isso pode ser enganador, pois um insucesso numa dimenso
pode ser compensado pelo sucesso em outra. Os escores compostos englobam e, muitas vezes, ocultam julgamentos sobre
a importncia de vrios resultados; desse modo, para fins
de avaliao, importante que os resultados sejam apresentados separadamente, a fim de que se tenha uma ideia real
das mudanas que estariam ocorrendo no estudante como
decorrncia da influncia exercida pelo currculo.
A avaliao presta um grande servio quando identifica os
aspectos do curso que necessitam de reviso, no dizer de Cronbach (1963). evidente que qualquer especialista em currculo
gostaria de apresentar evidncias sobre a eficincia de seu produto; entretanto, conforme observa Cronbach, esses especialistas costumam relutar na aceitao de uma avaliao externa.
O procedimento habitual consiste em submeter o produto
avaliao somente depois de terminado, com vistas a uma confirmao do que foi previamente estabelecido. Esse comporta-
183
5/29/15 3:37 PM
mento no proporcionar bons resultados, alm de traduzir um

menosprezo pelo importante papel que o avaliador pode, efetivamente, desempenhar. A fim de apresentar um papel influente, a avaliao deve acompanhar o desenvolvimento do currculo, quando o mesmo ainda se acha em estado fluido, para usar
palavras de Cronbach. A avaliao, assim entendida, possibilita a
criao de conhecimentos sobre a natureza das capacidades que
constituem os objetivos educacionais do projeto.
A comparao de cursos no deve ser o objetivo dominante da avaliao, na concepo de Cronbach. A comparao de
resultados de avaliaes de cursos deve ser cautelosa, para evitar que decises errneas sejam tomadas. As diferenas entre
os escores mdios de diferentes cursos, geralmente, costumam
ser pequenas, em virtude da grande diferena que h entre e
intra grupos submetidos ao mesmo curso. A impossibilidade
de equiparar (equate) diferentes grupos prejudica a interpretao dos resultados e representa um problema difcil de superar nos estudos comparativos de cursos. Alm do mais, ainda
conforme Cronbach, em experimentos educacionais, difcil
ocultar dos estudantes o fato de que integram um grupo experimental, sendo igualmente complexo o controle do vis dos
professores numa situao experimental. Ocorrem mudanas
comportamentais e, assim, nem sempre se pode afirmar, com
convico, que um determinado resultado decorre, efetivamente, da prpria inovao ou do fato de alunos e professores
terem sido colocados diante de uma situao experimental.
A comparao entre grupos pode oferecer resultados equvocos; desse modo, Cronbach (1963) prope que estudos formais
sejam planejados, sobretudo, para determinar o desempenho,
aps o curso, de um grupo perfeitamente conhecido, a fim de
verificar objetivos importantes e ocorrncia de efeitos colaterais.
Cronbach chama a ateno para o fato de que, em um experimento onde os tratamentos comparados diferem em inmeros
aspectos, a ocorrncia de uma pequena diferena numrica em
favor da situao nova no significa grande coisa e no contribui
para o aumento de nossos conhecimentos. Estudos analticos,
realizados em escala menor mas em condies controladas, de
alternativas de um mesmo curso, oferecem melhores resultados
do que pesquisas de campo que aplicam tratamentos dissimilares a grupos diferentes.
184
5/29/15 3:37 PM
Cronbach destaca o fato de considerar mais importante os

dados relativos a um item do que os escores do teste. O escore
global pode dar confiana ou no em relao a um determinado
currculo, mas pouco informa como aprimor-lo. Outro aspecto
importante em avaliao de currculo, conforme mostra Cronbach, refere-se ajustagem do instrumento de medida ao currculo,
que no deve ser motivo de preocupao para o avaliador, ainda
que possa parecer surpreendente, porque, em outras situaes,
isso no deve ocorrer. Numa avaliao ideal de currculo, todos os
tipos desejveis de proficincia devem ser medidos e no apenas
aqueles referentes a alguns objetivos selecionados pelo construtor
do currculo. Se h interesse em saber se o currculo alcana os
seus objetivos, impe-se o ajustamento do teste a ele, mas, se a inteno a de verificar at que ponto o currculo atende a interesses mais amplos, o ajustamento no necessrio, tendo em vista o
desejo de que sejam verificados todos os objetivos possveis.
Outro ponto enfocado por Cronbach diz respeito distino entre testes factuais e testes para verificar processos mentais
complexos, segundo a terminologia de Bloom (1956). A classificao dos itens de acordo com as categorias propostas por Bloom
difcil e, s vezes, impossvel. A classificao de uma resposta
no nvel de conhecimento ou raciocnio depende de como o aluno foi ensinado e no, apenas, da questo apresentada. Aplicar
um teste somente para verificar se o aluno sabe ou no sabe
um certo assunto no inteiramente relevante para fins de avaliao de um curso, conforme Cronbach, importando, isto sim,
medir o conhecimento em termos de profundidade, relacionamento e capacidade de aplic-lo a novas situaes.
A questo da especificidade das questes considerada por
Cronbach, que discute detalhadamente o problema. A especificidade, na maior parte das vezes, concentra-se no uso de uma
terminologia prpria do curso, que somente compreendida
por aqueles que tiveram a oportunidade de assistir a ele. Ainda
que o conhecimento dessa terminologia seja importante, mais
importante, para fins de avaliao, a medida de compreenso
de relao e de outras variveis do curso, da que, em princpio,
poderia ser verificada, tambm, em quem no foi diretamente
submetido ao curso em questo.
O trabalho de Cronbach permite, entre outras, as seguintes concluses:
185
5/29/15 3:37 PM
1. A avaliao educacional requer a descrio de resulta-
dos; dessa forma, certas preocupaes das medidas educacionais para a produo de escores precisos, visando
a comparar indivduos ou escores mdios de diferentes
cursos, pouco contribui para a avaliao educacional,
cuja descrio dos resultados deve ser a mais ampla possvel, ainda que s custas do sacrifcio de uma suposta
justia e preciso.
2. A anlise do desempenho em itens isolados ou em certos
tipos de problemas fornece mais informaes do que a
anlise de escores compsitos.
3. O objetivo da avaliao educacional no consiste em,
simplesmente, aquilatar o valor de cursos, rejeitando-os ou aceitando-os, mas, sim, em ser uma parte fundamental no processo de desenvolvimento de currculos,
atravs da coleta e do uso de dados que possibilitem
uma compreenso mais profunda do processo educacional (Vianna, 1982b).
A avaliao necessita considerar aspectos do meio educacional em que se desenvolver, evitando, assim, a imposio de
modelos nem sempre ajustveis aos vrios aspectos do sistema,
ainda que bem estruturados do ponto de vista terico. A realidade brasileira possui aspectos de grande singularidade, sendo
prefervel a adoo de algumas ideias gerais para orientao e
fundamentao do trabalho de avaliao, como as que foram
desenvolvidas por Cronbach (1963). Essas ideias so perfeitamente vlidas em funo de nosso contexto, mas no constituem, exatamente, um modelo. A adoo de um modelo transplantado de outras culturas pode criar uma situao artificial,
sem desdobramentos prticos.
preciso, no processo de desenvolvimento de uma avaliao, compreender o sentido de certos conceitos psicomtricos,
como validade, fidedignidade e discriminao, importantes sem
dvida em medidas educacionais, os quais, entretanto, devem
ser ponderados em funo de uma avaliao que no vise seleo e ao prognstico de comportamentos.
A validade de contedo geralmente associada a uma amostragem representativa de conhecimentos e comportamentos adquiridos durante o processo educacional. A conceituao no
186
5/29/15 3:37 PM
pacfica, havendo quem exclua os comportamentos, limitando

o problema representatividade dos contedos programticos.
A questo dos comportamentos (objetivos instrucionais/educacionais) , por sua vez, extremamente controversa. H, inclusive,
quem reaja ao ensino e avaliao por objetivos. Sem entrar no
mrito da questo, mas dentro da linha de considerar, na validade curricular, a simultaneidade dos contedos e dos objetivos,
preciso atentar para algumas particularidades desses ltimos
e para suas implicaes no processo de avaliao. O fato de diversas taxonomias assinalarem nveis vrios de objetivos no
significa que, necessariamente, todos esses objetivos devam ser
avaliados. Apenas aqueles que foram desenvolvidos no decorrer
do processo instrucional devem ser, efetivamente, considerados.
O desejvel, s vezes, no corresponde realidade, e um dos objetivos da avaliao , justamente, descrever essa realidade tal
como se revela por intermdio dos dados coletados. Ainda, com
referncia a comportamentos (objetivos), impe-se atentar para
o fato de que os mesmos so hierarquizados em ordem crescente de complexidade e abstrao, sendo impossvel, com bastante
frequncia, obter a concordncia de especialistas sobre comportamentos mais heterogneos, como, por exemplo, o de avaliar
ou de analisar. Desse modo, comum, em avaliao educacional, a concentrao de todos os comportamentos gerais e abstratos em uma nica categoria: aplicao.
O fato de medir com fidedignidade no significa que se esteja realizando uma boa avaliao. A preciso com que se mede
condio necessria, mas no suficiente para a excelncia de
uma mensurao. Entre os atributos dos instrumentos de medida, importa realmente a validade, estando a implcita a fidedignidade, no sendo verdadeira, entretanto, a situao recproca.
A fidedignidade, qualquer que seja a tcnica usada para estabelec-la (Alpha de Cronbach ou seu caso particular, as frmulas de
KuderRichardson), depende, fundamentalmente, da varincia
dos resultados dos escores. Quanto maior a varincia, em princpio, maior ser a preciso das medidas. Se esse aspecto capital
em uma avaliao somativa ou em um processo de seleo que,
no fundo, tambm uma avaliao de produto final, o mesmo
no ocorre na avaliao formativa e/ou em uma investigao voltada para a avaliao de programas, a partir do desempenho escolar. O importante a homogeneidade do grupo avaliado, que
187
5/29/15 3:37 PM
refletiria domnio do material instrucional, entre outros aspectos, e no a heterogeneidade resultante da maior variabilidade
entre os vrios nveis de desempenho.
O clculo de coeficientes de discriminao, expressos por
diferentes tipos de medidas de correlao (r-bisserial, phi, entre outros), presena obrigatria em estudos psicomtricos
na rea da docimologia educacional, quando, especialmente,
h necessidade de contrastar desempenhos extremos, a fim
de verificar o comportamento dos itens/questes do teste/prova na separao dos indivduos com vrios nveis de domnio
instrucional. A teoria clssica das medidas pe em destaque a
importncia desses coeficientes, favorecendo os itens/questes
que discriminaram positivamente, ou seja, aqueles itens/ questes que foram respondidos, corretamente, pela maioria dos
que obtiveram escores elevados e por poucos ou nenhum dos
elementos situados no extremo inferior da distribuio de escores, em oposio aos itens/questes de discriminao negativa, isto , que foram respondidos, em maior proporo, pelo
grupo de elementos situados no extremo inferior da distribuio de escores e por pequena proporo dos situados no extremo superior. Os primeiros so valorizados por terem cumprido
o seu papel discriminar; os segundos, condenados, pois no
concretizaram o esperado discriminar. A avaliao formativa,
assim como a avaliao com vistas a um determinado programa ou currculo, no objetiva discriminar, no pretende estabelecer diferentes nveis de desempenho. Ao contrrio, a
no discriminao, a homogeneidade do grupo, o mximo de
respostas corretas, respeitadas as diferenas individuais, o
objetivo primordial de um ensino eficiente e de um programa
ou currculo estruturado adequadamente, porquanto demonstraria sensibilidade ao processo instrucional e sequncia
curricular. Ainda que possam constar de estudos de avaliao
educacional, nem sempre os coeficientes de discriminao so
pea essencial, apesar de necessrios para anlise de questes
em uma avaliao somativa.
Um problema, muitas vezes, apresenta-se em avaliao
educacional: necessria a construo de testes padronizados e o uso de diferentes tipos de normas em investigaes
sobre o rendimento escolar? As palavras testes padronizados
e normas, quase sempre, so usadas com impreciso, con-
188
5/29/15 3:37 PM
fundindo aplicao dos instrumentos de medida em condies

padronizadas e segundo determinadas normas (orientaes)
com um teste planejado para proporcionar uma amostra sistemtica do desempenho individual, aplicado segundo determinadas instrues, corrigido em conformidade com certas
regras e interpretado por meio de informaes normativas. A
norma, por sua vez, um conjunto de valores tpicos descritivos do desempenho, num determinado teste, de um grupo
especfico de indivduos, supostamente representativos de
uma certa populao. O contexto brasileiro, felizmente, no
conhece os testes padronizados na rea da educao. As restritas experincias realizadas no passado no prosperaram.
Voltando pergunta inicial, a resposta negativa. A avaliao educacional pode, perfeitamente, prescindir de testes
padronizados, que, alm de extremamente caros, exigindo
investimento de somas vultosas na sua construo, so demasiadamente genricos e no possibilitam verificar o desenvolvimento programtico realizado em sala pelo professor, no seu
dia-adia. Os melhores instrumentos so as provas ad hoc, elaboradas por professores, com base na sua experincia, e revistas por outros professores, a partir de suas vivncias pessoais.
A avaliao educacional tambm no visa a desenvolver testes
que sirvam urbe et orbl. Ainda que, teoricamente, isso seja possvel, no faria sentido tal esforo e investimento, quando outros
objetivos so prioritrios em educao e a avaliao educacional pode contribuir para a sua concretizao.
A avaliao educacional, segundo a conceituao apresentada, que a situou como um conjunto de operaes visando levantar Informaes que possibilitem uma tomada de decises,
como usar determinado livro, modificar um currculo, identificar deficincias no processo de aprendizagem, positivar
falta de sensibilidade instruo, pode adotar como amostra
diferentes tipos de conjuntos: um pequeno grupo de alunos,
uma srie completa, alunos de um ou vrios tipos de colgios,
estudantes de diferentes reas geogrficas etc. A amostragem
na avaliao educacional, assim como em outros tipos de investigao na rea da educao, sofre limitaes decorrentes
do tempo, de pessoal e, especialmente, de oramento. Todos
esses fatores devem ser considerados. A questo tempo , muitas vezes, a mais crucial, pois a tomada de decises exige uma
189
5/29/15 3:37 PM
coleta rpida para ao imediata, a fim de cortar a propagao

de maiores danos em decorrncia da demora da interveno no
processo educativo. A problemtica de pessoal precisa ser considerada quando a natureza do trabalho exige material humano
especializado, essencialmente na fase de aplicao dos instrumentos. A avaliao no uma rea de concentrao, e poucos
so os que, efetivamente, a ela se dedicam. A situao atinge
contornos dramticos quando os trabalhos de avaliao envolvem grandes regies geogrficas, s vezes de difcil acesso. A
tudo isso acrescentam-se os custos da avaliao, que a tornam
invivel em termos oramentrios, apesar de perfeitamente
desenhada segundo as tcnicas de amostragem. Assim, muitas
vezes, seria desejvel que todas as reas geogrficas estivessem
adequadamente representadas com seus diferentes tipos de escolas, formando assim estratos nos quais, posteriormente, de
forma aleatria, seriam selecionadas as instituies e indivduos
que, finalmente, integrariam a amostra. Nem sempre esse procedimento que, supostamente, garantiria a representatividade
da amostra possibilita a factibilidade da avaliao em termos
operacionais. Ao avaliador cabe decidir entre o ideal, fundamentado na matemtica da amostragem mas irrealizvel em termos
concretos, e o possvel em termos de realidade, que pode levar
a inferncias, a ilaes, a implicaes e, a partir dos dados levantados, chegar a concluses que oportunizem decises e modificaes da realidade, objetivo final do processo de avaliao.
A adoo de um modelo matemtico de amostragem seria
necessria se a avaliao educacional, com o objetivo de identificar deficincias no rendimento escolar, por exemplo, visasse
generalizao dos resultados a todo o sistema e no restringisse
suas concluses ao grupo de escolas e alunos participantes da
amostra. Importante, no caso especfico de uma avaliao educacional com vistas ao levantamento de competncias cognitivas
dos estudantes, considerar a situao crtica das estatsticas sobre educao no Brasil. A estruturao de uma amostra para fins
de avaliao educacional deveria ter um conhecimento bastante seguro dos ndices de repetncia, promoo e evaso existentes no pas, conforme Fletcher e Ribeiro (1988); contudo, preciso convir que as discrepncias entre as estatsticas educacionais
coletadas por diferentes rgos governamentais, em decorrncia
da diversidade das metodologias empregadas, so considerveis,
190
5/29/15 3:37 PM
chegando muitas vezes a 40%, como o caso das estatsticas sobre populao em idade escolar fora do sistema educacional.
A questo da amostragem em avaliao educacional complexa
e, s vezes, difcil de solucionar, porque, malgrado o rigor dos
procedimentos lgico-estatsticos, sempre subsiste a pergunta: a
amostra selecionada representativa do universo investigado?
O importante, em relao atual estrutura de ensino em
seus vrios graus, criar um sistema de avaliao externa que,
de modo sistemtico, informe aos responsveis pelo ensino/
educao os problemas da realidade pedaggica que ocorrem
na escola e que se refletem nos diferentes nveis de capacitao
cognitiva. A identificao de pontos crticos no desempenho escolar dos estudantes deve ser um dos objetivos do diagnstico de
deficincias, para que possam ser corrigidos os desvirtuamentos
do processo ensino/aprendizagem.
O praticante da avaliao educacional, frequentemente,
necessita posicionar-se em relao a problemas aparentemente menores mas que perturbam o seu trabalho, se no forem
equacionados. As decises sobre esses problemas so subjetivas
na maioria das vezes. A vivncia do avaliador e seu bom senso
encontraro uma soluo para as situaes que, imprevisivelmente, possam surgir. Assim, o avaliador, na construo dos instrumentos de mensurao, v-se s voltas com a definio de um
contedo programtico que corresponda mdia do que ocorre
nas escolas do sistema, no caso de uma avaliao do rendimento. As Secretarias de Estado da Educao poderiam colaborar na
soluo do problema, mas, quase sempre, acham-se impossibilitadas, por no possurem cpias dos programas desenvolvidos
nas escolas. A legislao permite que cada escola estabelea seus
prprios contedos, havendo, portanto, grande diversidade de sequncias curriculares em escolas de uma mesma cidade situadas
prximas uma das outras. Algumas Secretarias possuem guias
curriculares que oferecem uma certa ordenao ao contedo
em suas linhas gerais, mas essa situao no a regra comum.
O avaliador v-se compelido a criar um programa mnimo, no
muito coerente s vezes, a partir dos aspectos comuns s vrias
programaes. Uma soluo alternativa e parcial para o problema
estaria na anlise dos livros didticos utilizados, que se constituem em fonte subsidiria de informaes sobre o que desenvolvido em sala de aula pelos professores. O procedimento no
191
5/29/15 3:37 PM
foge prtica ortodoxa da avaliao, sendo usado, inclusive, em

outros contextos educacionais, para a construo dos chamados
testes padronizados. Ajusta-se perfeitamente nossa realidade,
pois sabido que, em muitas escolas, o livro didtico o verdadeiro programa curricular, como j foi comprovado em pesquisas nacionais. O livro didtico, ainda que elemento colateral
de informao, um instrumento importante para que o avaliador possa caracterizar o que, efetivamente, ocorre no mundo da
escola e, especialmente, em sala de aula.
A participao de professores na avaliao educacional,
por intermdio da elaborao de questes e de objetivos instrucionais para uso futuro em investigaes, constitui motivo
de preocupao para alguns especialistas. O problema precisa
ser dimensionado levando em considerao o tipo de avaliao
e seus objetivos. Se a avaliao interna, com finalidade formativa
ou somativa, ningum melhor do que o prprio professor para
avaliar seus alunos, tendo em vista que foi ele quem estabeleceu
objetivos, usou estratgias para conseguir o mximo de aprendizagem e orientou o aluno ao longo do processo instrucional. Se
a avaliao externa, usar professores da prpria escola envolvida
na investigao seria criar um novo problema, que desvirtuaria
os resultados, levantando elementos que comprometeriam a
tomada de deciso. As medidas realizadas seriam, sem sombra
de dvida, fidedignas, em grau talvez bastante elevado, mas a
validade estaria irremediavelmente prejudicada, a no ser que se
pudesse organizar um pool de professores igualmente capacitados,
que gerariam um pool de questes de boa qualidade. Posteriormente, esses itens seriam selecionados de forma a constituir
uma amostra representativa embasada na relao professores/
alunos/escolas/currculos/objetivos/metodologias que integram
a avaliao externa. A realidade educacional enfrentada pelos
avaliadores bem diversa do ideal, exigindo, assim, a adoo de
prticas acauteladoras para o bom xito do trabalho. A utilizao
de professores integrados no sistema educacional, independentemente da regio ou rea geogrfica em que exeram suas
atividades, no contribui para desfigurar o processo de avaliao,
desde que sua experincia resulte da prtica objetiva do ensino,
na realidade do dia a dia.
O problema do acesso s provas que sero aplicadas nas
avaliaes externas conexo ao da elaborao de questes/obje-
192
5/29/15 3:37 PM
tivos pelos professores das instituies avaliadas. Algumas experincias em avaliao educacional perderam o seu significado,
justamente em face desse acesso. Ao tomar conhecimento das
reas de contedo objeto da avaliao, o professor, inconscientemente, tende a acentuar esses aspectos, provocando, portanto, um direcionamento favorvel a seus alunos, em oposio
aos demais sujeitos submetidos avaliao. A avaliao externa, se no for bem compreendida pelos professores, gera uma
certa ansiedade entre eles, em decorrncia, possivelmente, do
atual carter punitivo de que, muitas vezes, reveste-se a avaliao em nosso contexto. O professor, desse modo, tende a criar
uma imagem favorvel para seu desempenho atravs do bom
desempenho dos seus alunos. A avaliao procura obter dados
para orientar o professor em seu trabalho, indicando as distores no processo de aprendizagem. Busca, tambm, outros
elementos que facilitem o processo decisrio, no vindo a criar
uma situao de constrangimento para o professor, a escola e o
prprio sistema educacional.
A divulgao das provas usadas em pesquisas ligadas diretamente avaliao costuma ser advogada por alguns elementos da comunidade educacional, criando uma situao de constrangimento para o avaliador que, a duras penas, construiu seu
instrumental. H uma tradio em nosso contexto social favorvel divulgao de provas e testes, inclusive por intermdio
da imprensa, o que precisaria ser rompido. Ao avaliador cabe
decidir o momento apropriado para divulgao do instrumental, no todo ou em parte. Alguns relatrios reproduzem fragmentos com tipos especficos de questes, outros se limitam
descrio geral do instrumental e, ainda, um terceiro grupo o
divulga na sua inteireza, impossibilitando, desse modo, a reaplicao dos mesmos instrumentos em sucessivas avaliaes.
Ao longo do tempo, com a ampla divulgao dessas provas e a
grande rigidez curricular, torna-se difcil a construo de novos instrumentos de medida sem o comprometimento da sua
validade. Por outro lado, a disseminao de provas favorece o
treinamento para a avaliao, como j vem ocorrendo em outros contextos que, tradicionalmente, usam testes padronizados. Ao avaliador cabe julgar, portanto, aps considerar diferentes variveis, o acesso s provas e a divulgao das mesmas.
A prudncia recomenda, entretanto, que o sigilo seja mantido,
193
5/29/15 3:37 PM
se o objetivo for criar uma tradio relativa avaliao externa, tornando-a parte integrante da vida escolar.
O uso de provas objetivas ou discursivas costuma ser apresentado como um problema para alguns avaliadores. A questo,
em si, um falso dilema, considerando-se que existe extensa
literatura com base emprica, demonstrando, de modo insofismvel, a adequao de ambos os tipos de prova para medir praticamente os mesmos traos, sendo, pois, inteiramente ociosa
qualquer discusso sobre o assunto. Ao avaliador o problema
deve se apresentar de uma outra forma, considerando a natureza da investigao e a populao avaliada. Dependendo do contexto, talvez sejam recomendados instrumentos semiobjetivos
apenas ou, ento, inteiramente objetivos, em funo do tempo
disponvel, da problemtica relativa sua aplicao e aos custos
operacionais. A discusso sobre itens discursivos/objetivos no
bizantina, como poderia parecer primeira vista, merece reflexo, mas no deve ser colocada em termos extremados, pois
depende de um concurso de variveis que interagem, cabendo
assim ao avaliador tomar a deciso que melhor se ajuste ao quadro investigativo.
A avaliao, segundo a perspectiva ora desenvolvida, um
processo sistemtico de levantamento de dados relativos a um
determinado fenmeno, a fim de possibilitar a tomada de decises com base em julgamentos de valor. A avaliao educacional
aplicada situao especfica do rendimento escolar procura,
desse modo, identificar as necessidades instrucionais dos alunos, com base em pontos crticos do seu desempenho em provas
de escolaridade. Busca coletar elementos para fundamentar a
anlise da eficincia do sistema de ensino. A avaliao educacional est, basicamente, comprometida com a melhoria da qualidade do ensino e com a compreenso da influncia dos professores no desenvolvimento de programas educacionais.
BLOOM, B. S. et al. Taxonomy of educational objectives: handbook 1; Cognitive
domain. New York: David McKay, 1956.
CRONBACH, L. J. Course improvement through evaluation. Teachers College
Record, New York, v. 64, n. 8, p. 672-683, May 1963.
194
5/29/15 3:37 PM
FLETCHER, P. R.; RIBEIRO, S. C. A educao na estatstica nacional. In: SEMINRIO DE

AVALIAO DAS PNADS, 1980. Nova Friburgo: ABEP, 1988. Mimeo.
HAMMOND, D. L. Evaluation at the local level. Tuckson, Arizona: EPIC Evaluation
Center, 1967.
METFESSEL, N. S.; MICHAEL, W. B. A paradigm involving multiple criterion
measures for the evaluation of the effectiveness of school programs.
Educational and Psychological Measurement, v. 27, 1967.
POPHAM, W. J. Educational evaluation. Englewood Cliffs (New Jersey): Prentice
Hall, 1975.
PROVUS, M. M. Discrepancy evaluation. Berkeley: McCutcham, 1971.
SCRIVEN, Michael. The methodology of evaluation. In: STAKE, R. E. (ed.)
Curriculum evaluation.. Chicago: Rand McNally, 1967. (AERA. Monograph, n.1).
STAKE, Robert E. The countenance of educational evaluation. Teachers College
Record, v. 68, n. 7, p. 523-540. 1967
STUFFLEBEAM, D. H. et al. Educational evaluation and decision making. Itasca,
Illinois, Peacock, 1971.
TYLER, R. W. General statement on evaluation. Journal of Educational Research,
v. 35, p. 492-501, 1942.
VIANNA, Heraldo M. Avaliao educacional: algumas ideias precursoras.
Educao e Seleo, So Paulo, n. 6, p. 63-70, 1982b.
______. Avaliao educacional: problemas gerais e formao do avaliador.
Educao e Seleo, So Paulo, n. 5, p. 9-14, 1982a.
WORTHEN, B. R.; SANDERS, J. R Educational evaluation: theory and practice.
Washigton, DC: Charles A. Jones, 1973. 372 p.
195
5/29/15 3:37 PM
AVALIAES NACIONAIS
EM LARGA ESCALA:
ANLISES E PROPOSTAS1
Rara felicidade de uma poca em que se

pode pensar o que se quer e dizer o que se pensa.
Tcito, Histrias
Textos FCC, v. 23, 2003. 41 p.
196
INTRODUO E APRESENTAO DE PROBLEMAS

A avaliao educacional, especialmente a partir dos anos 90,
passou a ser usada, no contexto brasileiro, em diferentes nveis administrativos, como tentativa de encontrar um caminho para a soluo de alguns problemas educacionais mais
prementes, esperando, possivelmente, que os processos avaliativos determinariam, entre outros resultados, a elevao
dos padres de desempenho, caso fossem conduzidos com o
uso de tecnologias testadas na sua eficincia em outras experincias semelhantes, realizadas em diversos pases, ainda
que com culturas diferentes. Essa expectativa no se restringe
unicamente ao mbito nacional, sendo ocorrncia bastante
generalizada em quase todo o mundo ocidental, que concentra suas melhores esperanas nos resultados dessas avaliaes.
5/29/15 3:37 PM
As avaliaes apontam problemas, mas no os solucionam;

outros caminhos devero ser perseguidos.
A grande preocupao de educadores e de pessoas ligadas a
problemas educacionais est na qualidade da educao, como
demonstra o documento final da Conferncia Mundial sobre
Educao para Todos, ocorrida em Jomtien, Tailndia, em maio
de 1990. O objetivo maior, na perspectiva oferecida no decorrer desse encontro, centrou-se na aquisio de conhecimentos,
no desenvolvimento de habilidades e destrezas, na formao
de atitudes, no despertar de interesses e na interiorizao de
valores; entretanto, no se considerou em que medida esses
resultados se integrariam no contexto de uma sociedade em
constante transformao, sujeita interveno de mltiplas
variveis nem sempre previsveis.
necessria uma reflexo sobre as avaliaes ora operacionalizadas nos vrios nveis do nosso sistema educacional, especialmente avaliaes em larga escala, abrangendo a diversidade
da nossa geografia multicultural, avaliaes estas de natureza
amostral e supostamente consideradas representativas em termos estatsticos. Fala-se, e com bastante destaque, ainda que
nem sempre de forma consistente, na avaliao de competncias
e habilidades, mas de modo discutvel e muito pouco consensual. Gostaramos de invocar, neste ponto, antes de darmos prosseguimento s nossas reflexes, a citao de Tcito, em epgrafe,
que David Hume usou na abertura de um de seus livros, deixando evidente, dessa forma, que os nossos comentrios no visam
a despertar susceptibilidades, mas to somente a contribuir com
a nossa reflexo para a anlise de uma temtica extremamente
relevante no momento atual.
As questes que se impem imediatamente, com o objetivo de aprofundar nossas percepes, podem ser propostas da
seguinte forma: so desenvolvidas competncias e habilidades em nosso sistema educacional de uma forma sistemtica,
ou, explicitando, o nosso ensino orientado para o desenvolvimento de competncias? se for, qual a natureza dessas competncias e supostas habilidades? Outra pergunta, que tambm
reflete a nossa perplexidade: se competncias e habilidades
foram promovidas, houve, efetivamente, preparo adequado
dos educadores em relao a esse complexo e controvertido assunto? E quanto a atitudes, interesses e valores? As indagaes
197
5/29/15 3:37 PM
partem do princpio de que somente se pode avaliar aquilo que

efetivamente foi desenvolvido, alm de considerar que no se
avalia em abstrato, mas considerando a problemtica em que
se situam os avaliados.
Quando pensamos em qualquer dos nveis da avaliao,
micro ou macro, faz-se necessrio que consideremos a complexidade do seu processo, que, ao longo dos anos, foi perdendo
muito do seu carter relacional aluno/professor, com vistas
orientao da aprendizagem, passando a concentrar-se, sobretudo, conforme chama ateno Kellaghan (2001), no desempenho institucional e no dos sistemas, como sucede igualmente
em outras avaliaes com objetivos mais amplos, de que so
exemplos, no nosso caso particular, as avaliaes promovidas
na dcada de 90 pelo Governo Federal SAEB Sistema de Avaliao do Ensino Bsico, ENEM Exame Nacional do Ensino
Mdio, e ENC Exame Nacional de Cursos.
Se forem considerados alguns aspectos dessas avaliaes,
constataremos que usam provas escritas, com questes objetivas
e questes abertas, geralmente de resposta curta, havendo situaes, entretanto, em que a prova de redao exigida. Observamos, assim, que no existem provas prticas, orais ou avaliaes
observacionais, como lembra Kellaghan (2001), que seriam desejveis para uma avaliao abrangente e conclusiva, mas impossvel de se concretizar, somos forados a reconhecer, em contextos
que envolvem grandes massas, como no caso do ENEM/2002, por
exemplo, que abrangeu quase 1,5 milho de estudantes. Isso significa que no temos realmente um quadro avaliativo completo,
que seja descritivo das diferentes dimenses do alunado, como
seria desejvel, mas uma simples mtrica do que se supe medir. possvel concluir, desse modo, que muitas competncias e
habilidades importantes no mundo atual no so efetivamente
avaliadas, ficando implicitamente comprometida a definio do
quadro educacional a ser configurado.
As avaliaes so realizadas para diferentes fins, ainda segundo o posicionamento de Kellaghan (2001), destacando-se,
inicialmente, como uma de suas prioridades, a identificao de
problemas de aprendizagem, com o fito evidente de imediata
superao do quadro apresentado. (Evitamos a palavra recuperao, tendo em vista o seu atual descrdito no meio educacional.) A
realidade, entretanto, bem diversa do imaginado e pretendido.
198
5/29/15 3:37 PM
O impacto dos resultados pode ser considerado mnimo, por

razes vrias: os relatrios, elaborados para administradores,
tcnicos e, em geral, para os responsveis pela definio e implementao de polticas educacionais, no costumam chegar
s mos dos professores para fins de anlise, discusso e estabelecimento de linhas de ao. So demasiadamente tcnicos, empregando um linguajar pleno de tecnalidades muitas
vezes desconhecidas dos docentes e que poderiam ser evitadas. Por outro lado, esses mesmos resultados so apresentados
em termos globais, sem identificao, como seria desejvel,
das unidades escolares, referindo-se, quando muito, a unidades macro, os estados, e, nestes, eventualmente, s regies
geo-educacionais (superintendncias ou delegacias de ensino).
Ainda que os resultados dos desempenhos sejam apresentados em escalas elaboradas por intermdio de rigorosos procedimentos estatsticos, e com a especificao dos vrios nveis
correspondentes de competncia, dificilmente os professores
tm condies tcnicas para interpretar dados que resultam da
expertise tcnica dos responsveis pelos relatrios. Destaquemos,
tambm, que h uma certa resistncia, nem sempre explicitada, mas infundada, por parte de professores e alunos, aos resultados de avaliaes amostrais, traduzindo, assim, certa dose
de incredulidade em relao generalizao das concluses.
comum ouvirmos:a minha escola no fez parte da amostra
ou os meus alunos no foram sorteados para a composio da
amostra. Tudo isso faz com que importantes avaliaes tenham
o seu impacto, quando ocorre, bastante restrito, ou at mesmo
seja inexistente, em relao ao sistema e a suas escolas.
Ao pensarmos nos problemas da avaliao, no nos podemos esquecer de que, assim como a motivao fundamental
para a aprendizagem, da mesma forma a motivao dos estudantes importante para os trabalhos da avaliao. Entretanto,
isso nem sempre ocorre e nem objeto de considerao durante o seu processo. A avaliao quase sempre impositiva, sem
consulta a professores e muito menos a alunos. A avaliao, por
sua vez, igualmente repetitiva, no sentido de que, ao longo de
vrios semestres, os alunos fazem avaliaes internas e externas,
sendo que destas ltimas no conhecem os resultados de seus
desempenhos e das primeiras tm apenas um escore ou nota
sem qualquer tipo de feedback que lhes possa servir de orienta-
199
5/29/15 3:37 PM
o. Esquecem-se as autoridades administrativas da educao e,

s vezes, os prprios professores, que os alunos necessitam ser
motivados para a avaliao, assim como, idealmente, so motivados para a aprendizagem, conforme destaque inicial. As avaliaes, especialmente aquelas em larga escala, tornam-se montonas, cansativas, geradoras de tenses e, muitas vezes, criadoras
de conflitos, e como as avaliaes no tm maiores consequncias na vida dos avaliados, reagem os mesmos mecanicamente
e respondem la diable s vrias questes apresentadas e, desse
modo, as avaliaes, reiteramos, perdem o seu significado, ainda que aos dados, resultantes de comportamentos inteiramente
descompromissados, sejam aplicados procedimentos estatsticos
complexos, que, por sua vez, geram todo um filosofar supostamente baseado em elementos considerados cientficos e levam a
decises de repercusso, criando-se, assim, ideias falaciosas em
grande parte da sociedade, que, apesar de tudo, passa a acreditar
nas concluses estabelecidas como se verdades absolutas fossem.
A avaliao sempre considerando o caso brasileiro procura, igualmente, estabelecer a eficincia dos sistemas, avaliando,
indiretamente, o xito da ao docente dos professores. Avaliar
professores, direta ou indiretamente, sempre um processo que
demanda grande sensibilidade, pois gera mltiplas reaes com
ressonncias negativas, qualquer que seja o contexto. A avaliao do professor, por sua vez, vista com certa suspeita, pois,
na concepo dos avaliados, e s vezes com justa razo, pode significar, em muitos casos, transferncia de escola ou de cidade,
reduo salarial, diminuio do nmero de aulas, concesso de
bnus para os supostamente melhores e, ainda, numa situao
extrema, demisso. Tudo isso integra a mitologia educacional,
bastante frtil em imaginar situaes as mais diversas.
Avaliar o professor sempre tarefa difcil e ingrata, mas
deve ser feita, desde que com competncia e, sobretudo, bom
senso. A avaliao indireta, por meio do desempenho dos alunos,
por sua vez, representa grande risco, com amplas consequncias.
evidente que o processo ensino/aprendizagem se realiza por
intermdio da interao professor/aluno, mas, por si, essa interao no resolve inteiramente a questo. Fatores externos escola, inteiramente conhecidos pelos que transitam no mundo
da pesquisa educacional, tambm tm importante papel no
sucesso escolar, sendo suficiente citar alguns poucos como,
200
5/29/15 3:37 PM
entre outros, a equivalncia idade/srie; horas de estudo no lar

e a participao efetiva da famlia no acompanhamento das
atividades escolares. O fracasso ou o baixo desempenho numa
avaliao, portanto, nem sempre est relacionado ao professor,
que, muitas vezes, por si, no tem condies de atuar visando
eliminao desses fatores. O ato de avaliar implica, necessariamente, considerar mltiplas variveis, inclusive sociais, econmicas e culturais, que podem invalidar as aes subsequentes
ao trabalho de avaliao.
At que ponto as avaliaes devem ser exclusivamente internas, eliminando-se a ocorrncia de avaliaes externas? Quando
nos referimos a avaliaes internas temos em mente as que so
realizadas pelas escolas. evidente que a avaliao na escola
parte do processo formativo, constituindo o trinmio ensino-aprendizagem-avaliao, sob orientao do professor. A avaliao interna pelos rgos centrais do sistema imprescindvel,
para fins de acompanhamento e reorientao dos procedimentos, se for o caso, alm de constituir-se em fonte de desenvolvimento de competncias e de apropriao de novas tecnologias
por parte do pessoal do prprio sistema. As avaliaes externas,
realizadas quase sempre por proposta dos rgos diretivos do
sistema (Ministrio da Educao; Secretarias de Estado da Educao), so recomendveis, na medida em que representam um
trabalho no comprometido com a administrao educacional
e as polticas que a orientam; so avaliaes que traduzem uma
viso de fora e supostamente isenta em relao a possveis idiossincrasias prprias dos sistemas educacionais. Estas avaliaes,
entretanto, como ser analisado mais adiante, representam um
problema, quando abrangem regies com grande amplitude de
variao nas suas condies sociais, econmicas e culturais, face
ocorrncia de possveis comparaes destitudas de sentido e
a generalizaes comprometidas, tendo em vista as diversidades
apontadas que deveriam ser levadas em considerao na constituio de escores compsitos com valores agregados que traduziriam a maior ou menor influncia da escola no desempenho
educacional dos estudantes avaliados.
201
5/29/15 3:37 PM
ACESSO AO ENSINO SUPERIOR

UM QUADRO DISCUTVEL
Um aspecto a considerar, especialmente em relao s avaliaes
em larga escala, para fins de selecionar os melhores e mais capazes
para o ensino superior, refere-se ao perodo de tempo em que so
realizadas, sendo admissveis duas situaes: a avaliao ocorre de
forma global, abrangendo alguns poucos dias seguidos; ou, ento,
em diferentes perodos, ao longo de vrios semestres, no decorrer
de trs anos, em correspondncia ao final de cada srie do Ensino Mdio, sendo esta modalidade bastante discutvel. O primeiro
modelo seguido pela maior parte das instituies brasileiras de
ensino superior, inclusive universidades e centro universitrios.
O perodo de tempo das avaliaes quase nunca ultrapassa a quatro dias, mas num passado recente houve avaliaes que duravam
quase toda uma semana. Uma alternativa a esse tipo de avaliao,
ora sendo executado por muitas instituies, consiste na avaliao
em duas fases, sendo a primeira seletiva, com o objetivo de eliminar parte do grande nmero de candidatos ao ensino superior, e a
segunda, classificatria, para atendimento do numerus clausus que
regula o acesso por curso.
As avaliaes anteriormente apresentadas, institudas h
mais de 90 anos, so altamente controversas, na formulao
dos seus propsitos e no instrumental empregado. um tipo de
avaliao associada problemtica do alto nmero de sujeitos
que terminam o ensino mdio sem possibilidades do exerccio
de qualquer atividade profissional, restando-lhes a tentativa do
acesso ao ensino de terceiro grau, que tambm tem graves problemas, mas com caractersticas especficas. uma avaliao
estressante e a qualidade dos instrumentos bastante comprometida, salvo em algumas universidades e fundaes dedicadas
especificamente pesquisa e avaliao, que desenvolveram
e aprimoraram o seu know-how docimolgico, inclusive usando
complexas metodologias estatsticas para fins de anlise de questes e da identificao de atributos psicomtricos desejveis;
contudo, grosso modo, pode-se dizer que so avaliaes ad hoc,
com a construo reiterada, ano aps ano um trabalho de
Ssifo , de novos instrumentos que nem sempre se revestem
das caractersticas desejveis, especialmente em relao validade de contedo e de predio, no havendo, tambm, preocupao maior com a fidedignidade (preciso) dos resultados,
202
5/29/15 3:37 PM
que quase nunca estimada, mas que, por intermdio de uma

anlise qualitativa crtica, pode ser inferida, considerando a no
representatividade amostral dos contedos e das capacidades,
e as deficincias tcnicas na construo dos itens ou questes.
As avaliaes em duas fases, uma seletiva e outra classificatria, no acesso ao ensino superior, inicialmente restrita
a poucas instituies, hoje, entretanto, conta com maior nmero de adeses. A adoo desse modelo no resultou, salvo
melhor juzo, de anlises e consideraes sobre a melhoria
do processo; na verdade, procurou solucionar problema operacional, tendo em vista que, em muitos casos, h o envolvimento de centenas de milhares de estudantes. A segunda fase
estabelece a priori como ponto de corte um valor igual, aproximadamente, a trs vezes, em mdia, o nmero de vagas por
curso, e com uma nica avaliao, realizada por meio de um
nico instrumento voltado apenas para conhecimentos e algumas poucas capacidades, consegue reduzir a grande massa
de sujeitos a um nvel razovel, em termos econmicos, tendo
em vista os custos operacionais das avaliaes em larga escala.
Estes selecionados passam, ento, para a segunda fase classificatria. Uma situao extremamente bizarra se configura no
caso, quando se relacionam os resultados das duas fases e so
obtidos coeficientes elevados e positivos. Isso significa, primeiramente, que os melhores da segunda fase foram os igualmente melhores, em princpio, na fase inicial (seletiva), sendo a
segunda fase, consequentemente, redundante, alm de evidenciar a natureza repetitiva desta ltima fase.
Ao longo do Ensino Mdio, em alguns casos, temos avaliaes parceladas, ao fim de cada srie, que, depois de terem seus
resultados consolidados, geram um escore compsito que servir para a fase classificatria do processo seletivo. Algumas poucas universidades, bem verdade, seguem esse procedimento,
reservando para os sujeitos submetidos a essa avaliao determinados percentuais de vagas. A nova sistemtica, na viso de
muitos, revestir-se-ia de maior racionalidade, evitando, inclusive, a chamada situao de stress de uma nica avaliao; entretanto, necessrio atentar para o fato de que essa metodologia
gera um desvirtuamento do Ensino Mdio, que, supostamente,
dedicado formao geral, mas, no caso presente, passa a ser inteiramente direcionado para o ensino superior, transformando-
203
5/29/15 3:37 PM
-se em um curso meramente preparatrio para o terceiro grau,

e quanto ao stress, este acaba sendo triplicado ou, como colocou
ilustre professor preocupado com problemas de ensino e repetncia, o aluno ao invs de passar uma vez pela guilhotina, passa
trs vezes, sem maiores contemplaes.
Ainda com relao avaliao para acesso ao terceiro grau,
e com apoio de rgos do executivo e do legislativo estadual,
comea a ser desenhado, sem maiores estudos e anlises, e sem
considerar suas numerosas implicaes e srios efeitos, um novo
modelo de reserva de vagas sistema de cotas para estudantes oriundos do sistema pblico de ensino e estudantes negros,
candidatos a instituies oficiais, na tentativa de superar um
problema que na realidade se concentra na baixa qualidade do
ensino fundamental e do ensino mdio pblico, comprovada
por pesquisas empricas, inclusive muitas realizadas por rgos
oficiais. As primeiras novas experincias, nesse sentido, ocorreram no incio de 2003, no Rio de Janeiro, rompendo, desse modo,
o princpio da isonomia igualdade de condies para todos
existente no sistema ora vigente de avaliao.
AVALIAES SISTMICAS
ALGUMAS QUESTES CRUCIAIS
Ainda nos anos 90 houve grandes avaliaes dos sistemas estaduais de ensino no Brasil, ligadas, na maioria das vezes, a projetos educacionais financiados pelo Banco Mundial. Essas avaliaes apresentaram-se de diferentes formas: algumas, realizadas
pelas prprias Secretarias de Educao; outras, por rgos estaduais nem sempre diretamente ligados rea da educao; um
terceiro grupo, com a colaborao de Fundaes, instituies
de direito privado especializadas na avaliao e seleo de recursos humanos; finalmente, um quarto grupo realizou suas
avaliaes sistmicas estabelecendo consrcios com mltiplas
instituies de ensino pblico e privado de terceiro grau, sob a
coordenao de uma universidade de prestgio orientadora de
todo o processo. Tudo isso gerou diferentes experincias, mas
no contribuiu para a formao de um know-how coletivo, pois,
na maioria dos casos, essas experincias no se transformaram
em vivncias que pudessem ser intercambiveis e a prpria
204
5/29/15 3:37 PM
divulgao dos resultados foi precria, sem atender aos diversos segmentos educacionais potencialmente interessados nos
resultados e nas concluses das avaliaes.
Algumas avaliaes sistmicas tiveram um carter censitrio,
mas a maioria optou pela adoo de avaliaes amostrais. As primeiras, ainda que apresentassem custos elevados, tendo em vista
o nmero expressivo de alunos e a problemtica de uma logstica
complexa, foi resultado de uma deciso poltica: fazer com que
todo o sistema participasse da problemtica da avaliao e no
se limitasse apenas a colaborar na aplicao dos instrumentos,
mas fosse partcipe inclusive da construo dos instrumentos e
dos trabalhos de uma correo preliminar nas respectivas escolas, discutindo, imediatamente, os primeiros problemas identificados e fossem antecipadas as primeiras providncias para o seu
saneamento, antes da divulgao dos resultados globais pelos rgos centralizadores. Outros sistemas comearam com avaliaes
amostrais, que nem sempre tinham grande impacto, e evoluram
para avaliaes censitrias, supostamente pelas razes anteriormente apontadas. A maioria, entretanto, optou por uma avaliao
amostral, por representar economia de problemas operacionais
e minimizar os custos, alm de oferecer resultados igualmente
confiveis. As avaliaes censitrias tinham a vantagem de apresentar os resultados por escola, municpio, Delegacia ou Superintendncia de Ensino, e os dados globalizados por estado.
Observa-se nessas avaliaes que o grau de sofisticao do
tratamento estatstico dos dados variou grandemente. Inicialmente, houve uma tendncia a apresentar os resultados de forma que fosse palatvel para o sistema, que estivesse de acordo
com a cultura educacional de todos os segmentos e seria ingenuidade imaginar que os professores do ensino fundamental
ou do ensino mdio tivessem suficiente conhecimento estatstico para entender prticas de anlise supostamente novas, mas
que j vigoravam em pases mais avanados desde os anos sessenta, como o caso da anlise das questes por intermdio da
metodologia da Teoria da Resposta ao Item (TRI). A impossibilidade de aplicao imediata dessas novas tecnologias decorreu,
tambm, da inexistncia de hardware nas Secretarias de Estado
da Educao, que se utilizavam de outros rgos, no necessariamente ligados educao, para o processamento de dados,
alm, naturalmente, da falta de domnio na utilizao dos pa-
205
5/29/15 3:37 PM
cotes estatsticos com os novos procedimentos de anlise.

A tendncia atual que se observa, decorrido um decnio
das primeiras avaliaes sistmicas, a da opo por avaliaes amostrais, seguindo as linhas gerais das grandes avaliaes institudas pelo Governo Federal, inclusive com o uso de
questes integrantes do Banco de Dados do Instituto Nacional
de Estudos e Pesquisas Educacionais INEP e j submetidas
pr-testagem. Naturalmente, a situao ao longo dos anos se
alterou e nos dias fluentes as chamadas novas metodologias
de anlise so utilizadas com bastante frequncia, ainda que o
seu entendimento seja precrio, tanto por parte do pblico mais
diretamente interessado a escola e os educadores , como por
muitos especialistas em avaliao que ainda no superaram os
procedimentos cannicos em que foram formados, sobretudo os
integrantes da gerao que se formou nos anos sessenta, muitos
dos quais optaram por abordagens qualitativas ou permaneceram identificados com a chamada Teoria Clssica das Medidas.
Outra questo observada nas primeiras avaliaes relacionou-se ao tipo de instrumento a ser empregado, ocorrendo
discusses se seriam instrumentos referenciados a critrio ou
referenciados a normas . O debate foi em termos da realidade nacional, que, inclusive, naquele momento, desconhecia os fundamentos desses dois tipos de instrumentos e, consequentemente,
no tinha um domnio da sua tecnologia e da sua metodologia
de anlise. Ainda que ambos os tipos de instrumentos fossem
viveis para os fins desejados, prevaleceu o bom senso e a opo
foi a de utilizar instrumentos referenciados a normas, mais adequado tradio da nossa cultura pedaggica, que j o utilizava
sem um conhecimento aprofundado dos seus fundamentos tericos. Alm do mais, nessas avaliaes foi polmica a considerao de que a mesma seria de natureza somativa, para usar a
expresso de Michael Scriven, na sua obra clssica, Methodology
of Evaluation. A discusso teve, entretanto, algum mrito. Foram
realizadas palestras e cursos sobre avaliao por critrio, mas
esse novo tipo de instrumento passou a ser conhecido apenas
por uma minoria de professores.
A avaliao por critrio seria ideal para a avaliao de processo, para correo e superao de dificuldades de aprendizagem, mas esse tipo de avaliao ainda no foi incorporado
cultura nacional e deveria integrar o processo de educao con-
206
5/29/15 3:37 PM
tinuada que se desenvolveu nos anos 90. Lamentavelmente, a

chamada progresso continuada, impropriamente chamada de
promoo automtica, denominao que inclusive concorreu
para o seu desvirtuamento, ainda no bem aceita pela comunidade, apesar de esforos para esclarecimento da sua lgica e
do seu significado, que pressupem constante uso de diferentes
tipos de trabalho avaliativo em todos os momentos do processo
instrucional. Essa seria a ocasio apropriada para a introduo
da avaliao referenciada a critrio e aos trabalhos com grupos
diversificados pelo mesmo professor, que muito teria a aprender com a prtica das professoras nas escolas rurais, que trabalham simultaneamente com alunos que apresentam diferentes
nveis de rendimento. Os professores deveriam ter treinamento
especfico, dispor de recursos e materiais didticos para suprir
possveis deficincias dos grupos com caractersticas diferenciadas, mas nada disso ocorreu, criando-se, dessa forma, um certo
confronto entre professores, alunos, comunidade e a progresso
continuada, pela ausncia de uma avaliao prpria para atender a diversidade dos desempenhos.
A avaliao de sistemas durante os anos 90 e, sobretudo, no
seu incio apresentou um problema realmente crtico e somente
parcialmente superado nos dias fluentes: ausncia de pessoal
com formao especfica em avaliao educacional, que, no contexto nacional, no considerada rea de concentrao. Alguns
problemas surgiram em decorrncia dessa realidade, como as
improvisaes, em alguns casos, a subordinao aos chamados
especialistas, em outros, e a adoo de novas metodologias, sobretudo estatsticas, sem a posse do seu domnio, determinando,
como decorrncia, algumas situaes verdadeiramente bizarras.
Apesar de passado mais de um decnio do incio das grandes avaliaes, o problema ainda persiste e dificilmente ser resolvido
a curto prazo sem uma mudana de mentalidade e a criao de
uma nova cultura educacional.
SISTEMA DE AVALIAO DO ENSINO BSICO SAEB

O Governo Federal, ao implantar um programa de avaliao
abrangendo o ensino bsico, o mdio e o superior teve um
gesto extremamente corajoso, considerando, entre outros as-
207
5/29/15 3:37 PM
pectos, a amplitude da tarefa, a dificuldade na definio de

padres, os problemas tcnicos nas decises sobre os instrumentos e sua tecnologia, a possvel subjetividade dos julgamentos de valor e a complexidade das operaes logsticas.
E chegamos, agora, a um ponto crtico em que se impe a
avaliao da prpria avaliao (meta-avaliao) e, simultaneamente, a autoavaliao de seus procedimentos, para rever
antigas aes e propor novas outras aes, luz da experincia acumulada. A avaliao para aprimoramento do prprio
projeto avaliativo um imperativo a que no se pode escapar.
O Sistema de Avaliao do Ensino Bsico SAEB , sem
sombra de dvida, a nosso juzo, o melhor e o mais bem delineado dos projetos propostos pelo Ministrio da Educao. Nele
dever-se-ia concentrar todo o empenho governamental, por ser
o ensino bsico o fundamento para a construo do esprito de
cidadania e o alicerce sobre o qual se apoiam os demais nveis
educacionais; por isso, acreditamos que seus responsveis se
deveriam preocupar, particularmente, com duas das caractersticas dos instrumentos de medida voltados para o rendimento
escolar, a validade de contedo e a validade consequencial.
A validade, segundo o consenso dos especialistas, no
uma caracterstica geral, antes de tudo ela especfica. Um
instrumento de medida no vlido em tese, pode ser vlido
para um curso, mas no para outro. Pode ser vlido para um
currculo, mas no para outro; para um professor, mas no
para outro, inclusive, pode ser vlido para uma escola, mas
no o ser para outra instituio. A questo da validade extremamente delicada em qualquer contexto educacional e, no
nosso caso particular, precisamos considerar a formao da
nossa nacionalidade, a grande diversidade social, econmica e
cultural, demonstrada em todo o territrio brasileiro, que varia de regies desenvolvidas, passando por zonas de transio
e chega a imensas reas com estruturas arcaicas. O problema
da validade, reiteramos, precisa ser tratado com extrema cautela, a fim de evitar que a posterior anlise dos dados possa
levar a inferncias destitudas de sentido. Tudo isso um desafio, sendo foroso atentar para a validade amostral ou de contedo dos instrumentos utilizados, para que sejam os dados
representativos da diversidade da nossa geografia cultural.
Os programas de pesquisa sobre o SAEB deveriam incluir, ne-
208
5/29/15 3:37 PM
cessariamente, uma parte dedicada a estudos de validade, nas

suas diferentes modalidades, evitando-se o tratamento tangencial da questo, como vem ocorrendo em alguns poucos trabalhos que discutem a problemtica da avaliao.
Outro problema a considerar, no caso do SAEB, relaciona-se validade consequencial, que se refere ao impacto da avaliao sobre o sistema, determinando mudanas de pensamento, gerando novos comportamentos, formando novas atitudes e
promovendo novas aes. A validade consequencial reflete em
que medida a avaliao faz realmente alguma diferena para
a comunidade. At agora a influncia do SAEB, na nossa viso,
tem sido bastante restrita na comunidade escolar, em que pese
o sucesso jornalstico, com a publicao dos seus resultados nos
vrios rgos da mdia.
O SAEB, ao divulgar o relatrio de suas avaliaes, apresenta a metodologia, os tratamentos a que foram submetidos
os resultados e uma grande riqueza de dados e informaes
sobre os diferentes desempenhos; entretanto, esse documento,
elaborado com extremo rigor tcnico, acaba por se tornar inacessvel grande massa de interessados dentro e fora do campo
da educao. A sociedade, por intermdio da publicao dos
resultados em jornais, com inmeros e bem construdos grficos e tabelas, que procuram ser autoexplicativos, assiste a tudo
sem entender bem o que se passa e, acreditamos, muitos pais
se indagaro: a escola do meu filho se saiu bem? o meu filho
teve uma boa nota na avaliao? o meu filho foi melhor ou pior
que os seus companheiros de classe? e os seus colegas de srie
se saram melhor ou pior do que ele? So grandes incgnitas
em uma situao pouco compreensvel para a grande massa.
Queremos mais uma vez destacar a importncia e o significado do SAEB, como avaliao de sistemas, mas preciso que
os responsveis pela sua administrao compreendam que diferentes setores da sociedade esto interessados em conhecer e
discutir os dados do SAEB e a cada um desses segmentos deveria
corresponder diferentes documentos, apresentados desde a sua
forma mais completa, incluindo diferentes estatsticas, estudos
de validade e anlises dos vrios desempenhos e suas capacidades, relatrios tcnicos, enfim, at a sua verso mais simples,
que poderia ser apenas um folder informativo, para divulgao
entre os pais e demais integrantes da sociedade. Devemos con-
209
5/29/15 3:37 PM
fessar, por ser de inteira justia, que, em 2001, o INEP, compreendendo a relevncia do problema ora exposto, promoveu em
Curitiba, na Secretaria de Estado da Educao, uma reunio de
elementos das outras Secretarias e pessoas ligadas avaliao
educacional para discutir a questo da disseminao do SAEB,
ficando assentado que em 2002 apresentaria seus dados em relatrios com diferentes abordagens, para atender os vrios segmentos da sociedade. Assim procedendo, e havendo a integrao
das escolas para discusses dos dados, acreditamos ser possvel
que, a mdio prazo, talvez se possa comear a falar da validade
consequencial do SAEB.
EXAME NACIONAL DO ENSINO MDIO

ENEM propostas alternativas
A ideia de uma avaliao ao trmino do Ensino Mdio provocou grandes expectativas em alguns ambientes educacionais,
por corresponder a uma necessidade, considerando, entre
outros aspectos, a expanso descontrolada da rede de ensino,
especialmente no mbito privado, que apresenta, como do
conhecimento geral, diferentes nveis, variando desde as escolas realmente excelentes, com elevado padro de ensino, a
escolas sem maiores compromissos. A criao de um Exame
de Estado, ideia que surge recorrentemente, provoca grandes
discusses, por ser uma medida bastante problemtica, que
acarretaria inmeros e srios problemas, sobretudo no atual
quadro nacional. Felizmente, essa ideia no prosperou. Outros
chegaram a falar na introduo de um exame semelhante ao
Baccalaurat francs, o que poderia, primeira vista, ser visto
como um avano, mas provocaria reaes do sistema e seria de
uma logstica muitssimo complicada, alm de onerosa e inteiramente intil para o caso brasileiro. A nossa expectativa, considerando o conhecimento de outros contextos e experincias
pessoais, centrou-se na possibilidade de um exame, obrigatrio para todos os aspirantes a estudos superiores, que tivesse
alguma identidade com as grandes linhas do SAT Scholastic
Aptitude Test, desenvolvido e aprimorado no Educational Testing
Service (Princeton, New Jersey, USA), e que, considerando-se as
peculiaridades do nosso sistema educacional, tivesse diferentes
210
5/29/15 3:37 PM
normas de interpretao, conforme veremos mais adiante.

A concretizao da louvvel ideia do ENEM Exame Nacional
do Ensino Mdio fez surgir alguns problemas que merecem discusso, a comear pelo seu prprio nome. Trata-se de um exame,
circunstncia que nos remete imediatamente ideia de medida,
que, eventualmente, pode ser usada numa avaliao, sem que
isso, entretanto, signifique o comeo necessrio de toda e qualquer avaliao. Temos, tambm, um exame que no obrigatrio nos termos em que foi institudo; contudo, mecanismos de
cautela foram criados para promover a sua aceitao e contornar
resistncias, que de fato vieram a ocorrer e ainda persistem. Alguns sistemas oficiais a va sans dire assumiram o pagamento
da taxa cobrada aos alunos e que era um dos motivos de oposio ao exame; posteriormente, os alunos carentes, certamente a
grande maioria dos que frequentam o sistema pblico de ensino, ressalvados alguns bolses da chamada classe mdia baixa,
foram liberados dessa mesma taxa de inscrio. Ao conjunto de
diferentes estmulos, para garantia da aceitao do exame, foi
agregada a proposta, algo temerria, convenhamos, do uso dos
seus resultados no acesso seleo para o ensino superior, medida recebida com entusiasmo por algumas instituies e aceita
com reserva por outras, inclusive oficiais, que passaram a admitir o resultado desse exame, mas, cautelosamente, fixaram alguma forma de ponderao, para evitar que os resultados do seu
prprio processo seletivo fossem invalidados.
A aceitao do escore ENEM, para fins de acesso ao ensino superior, precisa ser cuidadosamente repensada, porque
influencia no aumento do ponto de corte (e isso efetivamente
ocorre, e vem ocorrendo, em vestibulares de primeira linha),
sendo que, em alguns casos, esse acrscimo chega a ser acima
de cinco pontos, tornando ainda mais elitista o processo de seleo para a Universidade e para algumas outras instituies de
nvel superior. foroso reconhecer que o uso do escore ENEM
no vestibular acaba com o princpio da isonomia, porquanto
dois estudantes, em igualdades de condies no processo seletivo, um, favorecido, aquele que fez o ENEM, e o outro, ainda
que com bons resultados, preterido, simplesmente por no
ter participado do ENEM.
O ENEM foi concebido para verificar competncias e habilidades, segundo a formulao dos seus responsveis, e pretende
211
5/29/15 3:37 PM
avaliar cinco competncias e vinte e uma habilidades, conforme

reitera a sua literatura de divulgao. O assunto, evidentemente,
no pacfico, havendo contestaes solidamente fundamentadas que apresentam dvidas quanto ao conceito e natureza
dessas competncias e habilidades. So dvidas no necessariamente acadmicas e que precisariam ser dirimidas, dada a sua
complexidade. A situao se nos afigura bastante conflituosa,
quando se observa que o prprio rgo responsvel pela avaliao proclama, alto e em bom som, que o ENEM no mede contedos, mas apenas competncias e habilidades. Confessamos
a nossa perplexidade e a forma dogmtica da assertiva faz-nos
lembrar a lio do mestre da Universidade de Chicago, Benjamin Bloom, injustamente esquecido entre ns, quando afirmava com bastante clareza que, ao avaliarmos um contedo, estamos, implicitamente, avaliando algo mais, as capacidades. Se
considerarmos alguns exemplos, veremos que impossvel verificar a habilidade numrica de uma criana, sem constatar seus
contedos de matemtica; impossvel certificar a habilidade
mecnica de um jovem, no conserto de um carro, por exemplo,
sem considerar seus contedos de mecnica de automvel;
invivel atestar a habilidade cirrgica de um mdico, sem considerar seus contedos de clnica mdica, tcnicas cirrgicas e
outros contedos mais ligados a uma determinada patologia.
Os princpios que baseiam o ENEM ficam comprometidos
quando se examina o prprio instrumento utilizado, que parte
de situaes que demandam, liminarmente, conhecimentos de
contedos, s vezes bastante complexos, e entendimento da sua
verbalizao, muitas vezes excessiva. Acreditamos que o ENEM
poderia se tornar um instrumento eficiente de avaliao, e ser
mais palatvel para a sua clientela, assim como para a comunidade das instituies de nvel superior, evitando contestaes e
confrontaes, se ficasse restrito a apenas duas capacidades bsicas, fundamentais na vida prtica e indispensveis em estudos
superiores a capacidade VERBAL e a capacidade NUMRICA,
como veremos a seguir, na anlise de trs situaes.
212
5/29/15 3:37 PM
Teste de aptido verbal

e numrica a verso SAT
O Scholastic Aptitude Test SAT um instrumento desenvolvido a
partir dos anos 20 e utilizado pelo College Entrance Examination
Board CEEB, nos Estados Unidos, para medir habilidades de
raciocnio nas duas reas anteriormente referidas: verbal e
numrica, conforme a apresentao de Donlon e Angoff (1971).
Oferece escores separados para essas duas reas e visa a verificar
a competncia dos estudantes que pretendem o ingresso em instituies de ensino superior. A funo desse instrumento consiste em complementar informaes, confirmando ou questionando, o desempenho em reas de contedo, eliminando erros
e inconsistncias que possam ter ocorrido em avaliaes anteriores restritas unicamente a contedos programticos. , reiteramos, um instrumento de habilidades bsicas, cujos resultados
vo integrar uma equao de regresso composta do SAT verbal,
SAT numrico, escores do nvel mdio e outros elementos, no
sendo usado apenas, e exclusivamente, o escore do SAT como
um fator isolado, conforme crena de muitos. As pesquisas demonstraram que o SAT, que uma medida padronizada em uma
escala comum, possui alta validade preditiva dos melhores desempenhos nos colleges e nas universidades, acrescentando algo
mais aos elementos de informao que integram a equao final
usada para fins de seleo e classificao.
O SAT baseou-se na definio expressa por Ryans e
Fredericksen (1951) e, sobretudo, na definio operacional de
Cronbach (1960), com vistas a medir aspectos de habilidades
desenvolvidas ao longo do tempo, fixando-se em habilidades
verbais e numricas, partindo do princpio de que as mesmas
se constituram no decurso da interao do estudante com o
meio e, dessa forma, passaram a ser um equipamento relativamente independente da aprendizagem formal na escola.
O contedo do SAT balanceado a fim de compensar diferenas
de interesses e de background dos vrios segmentos da populao.
Ao longo dos anos, necessrio destacar, o SAT procurou introduzir outros elementos alm do verbal e do numrico, mas nenhum
deles demonstrou altas associaes com desempenhos posteriores; desse modo, o SAT continuou identificado com a sua definio inicial centrada nos dois conjuntos de habilidades j referidas.
213
5/29/15 3:37 PM
Ao longo dos anos, a parte verbal tem sido bastante diversificada, partindo de subsdios de diferentes reas social, poltica e cientfica s quais so agregados elementos de outras
reas literria, artstica e filosfica , enquanto a parte numrica do SAT procurou afastar-se de contedos curriculares, na
medida do possvel, concentrando-se em raciocnio lgico e na
percepo de relaes matemticas. O SAT, ressalte-se, possui
vrias formas ou verses para aplicao em diversos momentos
do ano, ao longo de anos sucessivos, e para fins de evitar problemas com a interpretao dos escores, so os mesmos padronizados em uma escala com mdia pr-fixada de 500 e desvio
padro igualmente preestabelecido de 100.
Vejamos a estrutura bsica do SAT, conforme a descrio apresentada em Donlon e Angoff (1971), atentando, entretanto, para
o fato de que, ao longo dos anos, o SAT vem sofrendo alteraes
bastante cautelosas e muito controladas, ao introduzir algumas
poucas alteraes no seu contedo e na apresentao de novos
tipos de itens, considerando a complexa problemtica do equating
(tornar equivalentes resultados de diferentes verses do mesmo
teste) e da estrutura fatorial do teste. A ltima alterao de que
temos notcia foi a ocorrida no incio da dcada de 90, conforme
comunicao durante a reunio anual da International Association
for Assessment in Education, realizada no Saint Patricks College,
em Dublin (1992); assim sendo, a verso ora apresentada refere-se
quela que analisada no relatrio coordenado por William Angoff, inicialmente referido. Nesse formato, a parte verbal do SAT,
composta de 90 itens, envolve antnimos, sentenas a completar,
analogias e compreenso de leitura de textos. A parte numrica,
com 60 itens, apresenta dois conjuntos de itens, sendo que um deles reflete questes habitualmente encontradas em testes de matemtica e o outro usa itens sobre suficincia de dados. Os itens
esto organizados em ordem de dificuldade crescente, igualmente padronizada pelo coeficiente Delta , a partir dos mais fceis, em
cada um dos blocos, e a dificuldade mdia de cada bloco igual
dificuldade do teste no seu conjunto, o que possvel tendo em
vista as cuidadosas estatsticas levantadas na fase de pr-testagem.
Os itens no SAT so de mltipla escolha, com cinco alternativas, e os folhetos de prova contm alguns itens a mais
(25), chamados de itens variantes, pois variam de aluno para
aluno e de prova para prova, sendo que alguns desses itens va-
214
5/29/15 3:37 PM
riantes destinam-se a obter informaes necessrias equalizao das vrias formas; outros, usados como se a aplicao fosse
uma fase de pr-teste, sero incorporados mais tarde a futuras
verses do SAT, e um terceiro conjunto de itens destina-se
realizao de pesquisas. Esclarea-se, tambm, que os itens variantes no diferem dos demais itens operacionais. So itens
paralelos, na medida do possvel, com o objetivo de evitar a
ocorrncia de resultados enviesados (item bias) em relao a determinadas variveis. A aplicao total do SAT de trs horas,
sendo duas horas e meia para os itens operacionais e a restante
meia hora para as questes variantes.
O SAT, ainda que seja um teste de aptido, , igualmente,
um teste de desempenho (achievement), mas deste difere pelo fato
de que mnima a sua dependncia em relao aos currculos
tradicionais. Um aspecto a ressalvar na parte verbal relaciona-se
aos itens de compreenso de textos, que so em nmero de sete
e envolvem cincias biolgicas, cincias fsicas, humanidades,
estudos sociais, havendo outros trs itens que abrangem narrao, sntese e argumentao. As questes esto distribudas em
trs amplas categorias, que, por sua vez, so subdivididas em categorias mais restritas. Temos itens de COMPREENSO, abrangendo (1) compreenso da ideia principal e (2) compreenso de
ideias secundrias; itens de RACIOCNIO LGICO, envolvendo
(3) completar inferncia pretendida, (4) o uso de generalizao
e (5) a avaliao da lgica da linguagem do texto; e, finalmente,
itens relacionados a ASPECTOS EMOCIONAIS DA LINGUAGEM,
(6) envolvendo a percepo do estilo e do tom do texto.
A dimenso contedo do subteste numrico do SAT abrange trs categorias: aritmtica-lgebra, geometria e outros.
A combinao de aritmtica e lgebra resulta de que as regras
bsicas de combinao para ambas so as mesmas e, em muitos casos, os itens podem admitir uma soluo por mtodos
aritmticos ou algbricos. A categoria geometria apresenta
itens que demandam exclusivamente conhecimentos da geometria euclidiana dedutiva; por sua vez, a categoria outros
inclui problemas que versam sobre lgica, topologia intuitiva,
smbolos no usuais, operaes e definies. Quanto s capacidades exigidas, os itens compreendem, habilidade computacional, julgamento numrico e estabelecimento de relaes,
alm de outras mais classificadas como miscelnea.
215
5/29/15 3:37 PM
Outros testes de aptido verbal

e numrica exemplos
Aps as consideraes sobre o SAT, veremos, em suas linhas gerais, a experincia do Swedish Scholastic Test (SweSAT), aplicado
desde 1991 para fins de acesso s universidades na Sucia, abrangendo ampla gama de contedos e de nveis cognitivos, alm de
solicitar o desempenho em um subteste de Compreenso de Leitura em Ingls. A aplicao total do SweSAT, com 148 itens, de
quatro horas e o instrumento consta de seis subtestes, medindo
habilidades verbais e no-verbais, uso de informaes e conhecimentos de carter geral, incluindo, ainda, compreenso de textos em ingls. A configurao geral do teste a seguinte:
(1) o subteste PALAVRA consta de 30 itens e mede a compreenso de palavras e conceitos;
(2) o subteste RACIOCNIO QUANTITATIVO possui 20 itens
e mede habilidades de raciocnio numrico na soluo
de problemas;
(3) o subteste COMPREENSO DE LEITURA - formado por 24
itens, mede a capacidade de compreenso de textos, sendo composto de quatro textos com seis itens cada um;
(4) o subteste DIAGRAMAS, TABELAS e MAPAS engloba 20
itens e consiste em um conjunto de informaes sobre
um determinado assunto e a sua complexidade varia da
interpretao de um grfico soluo de problemas com
dados de diferentes fontes;
(5) o subteste INFORMAO GERAL - compreende 30 itens,
baseados em informaes adquiridas ao longo dos anos
de escolaridade, versando as mesmas sobre aspectos ligados ao trabalho, educao, a problemas sociais, culturais e a atividades polticas;
(6) o subteste de COMPREENSO de LEITURA em INGLS,
formado por 24 itens, possui uma formatao semelhante ao subteste de Compreenso de Leitura (3) e compreende de 8 a 10 textos de diferentes tamanhos.
O teste usa questes de mltipla escolha com quatro alternativas e suas funes bsicas e caractersticas esto descritas
por Wedman (1995), professor da Universidade de Ame (Sucia),
que tambm faz uma discusso sobre o seu desenvolvimento,
uso e pesquisa em outro trabalho (1994)
216
5/29/15 3:37 PM
Beller (1995), do National Institute for Testing and Evaluation,

em Jerusalm, ao discutir os atuais dilemas e as solues propostas para Israel, apresentou o esquema do Psychometric Entrance
Test PET (1990), construdo com o objetivo de estimar sucesso
em futuros estudos acadmicos, que consta de trs subitens:
(1) R ACIOCNIO VERBAL com 60 itens que, basicamente,
procuram avaliar a habilidade de analisar e compreender material escrito de natureza complexa; a habilidade
de pensar sistemtica e logicamente, e a habilidade de
distinguir o significado de palavras e conceitos. A parte
verbal contm diferentes tipos de questes, como antnimos, analogias, completamento de sentenas, lgica e
compreenso de leitura;
(2) R ACIOCNIO QUANTITATIVO possui 50 itens que procuram avaliar a habilidade de usar nmeros e conceitos
matemticos na soluo de problemas algbricos e equaes, assim como em problemas geomtricos. O subteste,
alm disso, verifica a capacidade de resolver problemas
quantitativos e a de analisar informaes apresentadas
sob a forma de grficos, tabelas e diagramas;
(3) a parte do subteste de INGLS avalia o domnio do ingls
como segunda lngua e os seus resultados integram o escore total do PET, servindo, tambm, para a organizao
de classes de recuperao para os que no tm um bom
desempenho lingustico. O subteste consta de 54 itens,
compreendendo sentenas para completar e reescrever,
alm de compreenso de textos.
Todos os itens do PET so de mltipla escolha e cada subteste corrigido separadamente, numa escala padronizada
com a mdia 100 e o desvio 20. O escore total do PET a mdia ponderada dos escores nos trs subtestes (40% Verbal; 40%
Quantitativo e 20% Ingls), transformados numa escala padronizada com a mdia 500 e o desvio 100, variando os escores,
assim como no SAT, de 200 a 800. O teste apresentado nas
seguintes lnguas: hebreu, rabe, espanhol, francs, ingls e
russo, sendo os escores nas diferentes verses equalizados em
relao aos resultados do teste em hebreu. Os candidatos que
fizeram o teste em outra lngua que no o hebreu devem fazer
um teste de domnio nessa lngua, por ser o hebreu a lngua
217
5/29/15 3:37 PM
oficial nas universidades. O artigo de Beller tambm analisa

e esclarece trs aspectos em relao ao PET eficincia, vis e
efeitos (pessoal, social e educacional).
O ENEM algumas questes bsicas

O instrumento usado no ENEM, tal como se apresenta no momento, carece de requisitos fundamentais, como mostra uma
simples inspeo visual da distribuio dos itens, destacando-se,
inicialmente, a validade de contedo. A essa deficincia, acrescenta-se outra, igualmente grave ou talvez mais grave ainda, por
suas implicaes, relacionada validade de construto. O teste,
medindo competncias e habilidades, conforme sua literatura
de divulgao, por sua prpria natureza se baseia em construtos,
mas, ao que nos consta, at a presente data no ofereceu evidncias empricas de que estaria efetivamente medindo aquelas variveis que, supostamente, se prope a medir. O teste, apesar dos
esforos daqueles que participam da sua construo, salvo melhor juzo, no se fundamenta em dados empricos slidos, apoiados em pesquisas que no deixem dvidas quanto sua estrutura
fatorial e a outros elementos oriundos de estudos psicomtricos
que evidenciem estar medindo aqueles atributos proclamados.
Existem numerosas metodologias j assinaladas h mais
de trinta anos por Brown (1970) que poderiam ser utilizadas, inclusive a proposta por Campbell e Fiske (1959) que, comprovadamente, se adapta ao estudo dessa caracterstica fundamental, j
evidenciada h quase meio sculo por Cronbach e Meehl (1955),
inicialmente, para os testes psicolgicos, mas, depois, incorporada teoria dos testes educacionais pelo prprio Cronbach (1971),
no seu seminal ensaio sobre validao dos instrumentos de medida. Esse instrumento deve merecer aprofundados estudos psicomtricos e discutidos os seus resultados, alm de considerar
suas mltiplas implicaes educacionais, especialmente tendo
em vista que h quem advogue o seu emprego em substituio
ao atual processo de seleo para acesso a universidades e a outras instituies de ensino superior.
preciso lembrar que, considerando a destinao do instrumento usado no ENEM, criado para medir competncias e
habilidades, deve o mesmo apoiar-se em uma teoria devidamen-
218
5/29/15 3:37 PM
te comprovada do ponto de vista emprico. A verificao do seu

funcionamento em relao a diferentes grupos impositiva,
sobretudo no caso nacional, que apresenta imensa diversidade
social, econmica, cultural e educacional, oferecendo quadros
bastante contrastantes. sabido que os escores de um teste so
influenciados por mudanas nos indivduos e em decorrncia
de fatores ambientais, sendo que em nosso caso, numa mesma
rea geogrfica, coexistem o 1 e o 3 Mundo, acentuando mais
as gritantes disparidades regionais. Outro aspecto importante a
verificar seria a constatao da no exigncia de outras habilidades especiais, alm das que supostamente estariam sendo medidas, para evitar turbulncias que se podem refletir nas matrizes
de correlaes. H exatos 20 anos, tentamos chamar a ateno
da comunidade educacional para a relevncia da validade de
construto (Vianna, 1983), mas as coisas continuam como estavam em priscas eras. A inocncia docimolgica, assim como a
inocncia em educao, magistralmente analisada por Bloom
(1976), ainda uma realidade.
AVALIAO E USO DE ESCALAS

o mito das comparaes
A anlise das grandes avaliaes realizadas em territrio nacional, independentemente do nvel administrativo que as promova, leva-nos a alguns problemas complexos e de difcil soluo,
como os relacionados s escalas empregadas, ao tipo de instrumentao usado e aos julgamentos comparativos que so emitidos sem maiores consideraes sobre suas implicaes e consequncias decorrentes das repercusses no ambiente educacional
e suas extrapolaes na sociedade.
O uso de diferentes tipos de escalas no constitui problema,
desde que seus referenciais apresentem pontos comuns que os
tornem equivalentes, o que nem sempre ocorre. Assim, os grandes referenciais so quase sempre a mdia, o desvio padro e o
chamado escore z, que expressa a relao da diferena entre o
escore obtido e a mdia do grupo em termos de desvio padro.
Os escores passam a ter valores, teoricamente, entre menos 3,0 e
mais 3,0, passando por 0,0, que corresponde mdia. evidente
que, do ponto de vista tcnico, essa escala oferece resultados sa-
219
5/29/15 3:37 PM
tisfatrios para os especialistas, mas seria de difcil compreenso

para a grande massa, sendo, ento, transformada, acrescentando-se um fator multiplicativo pr-definido, o desvio padro requerido, e um outro fator aditivo, igualmente pr-definido, a mdia
desejada. Assim, a escala estaria linearmente padronizada, como
no caso de 10z + 50, em que os escores variariam de 20 a 80, ou
um escore 100z + 500, com valores variando de 200 a 800, sendo
a mdia no primeiro caso igual a 50 e no segundo a 500, como
acontece no SAT e em outros testes cujos escores so padronizados, inclusive em avaliaes internacionais em larga escala.
Apresentamos uma viso simplificada do escore padronizado para encaminharmos a nossa discusso e chegarmos a um
ponto crtico em relao s avaliaes do MEC com as suas escalas
de proficincia, com nveis que vo de 125 a 400, com intervalos
de 25 pontos. As informaes nem sempre claras dos relatrios
no nos permitem entrar em maiores detalhes sobre o processo
de padronizao das escalas. Uma pergunta, associada a essas
escalas de proficincia, nos veio mente: ser razovel colocar
centenas de milhares de sujeitos em uma nica escala (ainda
que com base na chamada Teoria da Resposta ao Item (TRI) isso
seja estatisticamente possvel), ignorando completamente a diversidade social, econmica, cultural e educacional dessa populao e as distores que influenciam a caracterizao dos vrios
ndices de desenvolvimento humano? No seria razovel, considerando as variveis apontadas, construir normas diferenciadas
por regio, levando em conta a diversidade das caractersticas
individuais? Talvez, a ttulo de sugesto, fosse o caso de termos
uma norma para cada uma das regies geoeconmicas, fazendose alguns ajustamentos em certos casos, como no Sudeste e no
Sul. Pensamos que se poderia ter uma viso menos distorcida da
realidade brasileira, desde que as escalas tivessem os mesmos
referenciais, relacionados s mdias e aos desvios padro de
cada rea regional, criando-se, desse modo, uma geografia da
educao, a exemplo do que feito na Frana, inclusive com a
incorporao dos valores agregados que ressaltariam o papel da
educao, especialmente nas regies em que as desigualdades
sociais so mais acentuadas.
Antes de voltarmos ao problema das comparaes, ao mito
das comparaes, para usarmos a expresso de Nuttall (1995),
mostraremos a nossa dvida sobre como classificar o tipo de
220
5/29/15 3:37 PM
avaliao a que se propem o SAEB e o ENEM. A dvida que nos

assalta se seria uma avaliao referenciada a norma ou referenciada a critrio. O problema decorre do fato de que, pelo esquema de planejamento, por sua estrutura final, pelos processos de
correo, entre outros elementos, tudo nos leva a crer que se trataria de um instrumento referenciado a norma, ao desempenho
do grupo, refletido em diferentes tipos de estatsticas; contudo,
quando observamos as escalas de proficincias e vemos as diferentes habilidades referenciadas a diferentes nveis especficos
de desempenho (critrios), ficamos na dvida norma ou critrio? , dvida, alis, que no exclusivamente nossa, tendo sido
inclusive objeto de considerao no Grupo de Trabalho sobre Padres e Avaliao do PREAL (Programa de Promoo da Reforma
Educativa na Amrica Latina e no Caribe), no frum de discusso
sobre As polticas de avaliao do desempenho da aprendizagem
nos sistemas educativos da Amrica Latina (2003).
Voltando ao problema das comparaes, perguntamo-nos
qual o seu significado, qual , efetivamente, o seu objetivo? Quando ouvimos algum dizer, por exemplo, que o desempenho de um
aluno da 3 srie do ensino mdio no vale do Gurupi corresponde
ao desempenho de um aluno de 8 srie do ensino fundamental do
vale do Itaja, acreditamos que a comparao se faa simplesmente pelo hbito de comparar, pois dessa comparao nada efetivamente resulta, salvo maliciosos comentrios de alguns segmentos
da mdia, tendo em vista suas implicaes. Como comparar um
indivduo que vive numa zona de economia extrativista, numa
rea de ndices sociais comprometidos, com um outro sujeito de
uma regio com economia bem prxima da existente no primeiro
mundo e com altos ndices sociais positivos?
Alm de aspectos sociais e econmicos, precisamos atentar
para a diversidade das caractersticas dos sistemas educacionais
em diferentes regies, a natureza dos currculos, a formao e experincia do corpo docente. Diante desse quadro, podemos fazer
comparaes e imaginar que os indivduos poderiam ter os mesmos conhecimentos e as mesmas capacidades? bom lembrar,
fazendo referncia novamente a Nuttall (1995), que a comparao
entre padres no significa, necessariamente, identidade de desempenhos. O ato de comparar tem muito pouco de certeza, no
se constitui em um procedimento de rigorosa anlise estatstica.
A comparao resulta de um julgamento humano, sujeito, dessa
221
5/29/15 3:37 PM
forma, falibilidade, considerando, tambm, que o conceito de

comparar extremamente vago. Apesar de tudo, comparar tornou-se um ato obsessivo na prtica de algumas avaliaes so
comparados sistemas, desempenhos por disciplina, comparam-se
disciplinas ao longo dos anos e o mesmo procedimento adotado
em relao a diferentes programas , chegando a um lamentvel
e absurdo exerccio, por ignorar o fato de que qualquer avaliao
de um ser humano feita por um outro ser humano e os escores
resultantes nunca se revestem de uma preciso absoluta, que demandaria instrumentos perfeitos isentos de erros de medida, o
que impossvel na prtica, mesmo que utilizadas tecnologias de
ponta e processos estatsticos sofisticados.
EXAME NACIONAL DE CURSOS ENC

uma grande controvrsia
Chegamos, nesta fase da presente reflexo, a um terceiro momento da discusso sobre a avaliao da educao brasileira o
Exame Nacional de Cursos ENC para as instituies de Ensino Superior, pblicas e privadas, compreendendo Universidades, Centros Universitrios, Faculdades Integradas e instituies
isoladas de ensino de terceiro grau. O ENC foi chamado pela
massa estudantil de Provo, denominao esta incorporada pelos rgos oficiais da educao, que a adotaram inclusive como
ttulo de uma revista de divulgao dos seus pressupostos e objetivos. O novo Exame Nacional de Cursos, que vigora a partir
de 1996, sendo obrigatrio para todos os alunos formandos, por
fora de instrumento aprovado pelo Congresso Nacional, nasceu sob o signo da contestao de alguns segmentos, inclusive
professores e alunos, mas foi, entretanto, inteiramente aceito
pela sociedade, que passou a utilizar seus resultados para fins
de escolher cursos nas instituies mais bem situadas na classificao final, baseada parcialmente no desempenho dos alunos em instrumentos de verificao do rendimento acadmico.
Houve nisso um grande equvoco, pois o critrio de avaliao
das instituies no se restringe apenas a provas, inclui, tambm, a avaliao do corpo docente, a do projeto pedaggico e a
da infraestrutura institucional, que, juntamente com o Exame
Nacional de Cursos, resultam na Avaliao das Condies de
222
5/29/15 3:37 PM
Ensino. O chamado Provo apenas uma das dimenses de um

processo mais amplo (e bastante controverso, como veremos).
A avaliao do ensino superior constitui, sem sombra de
dvida, uma necessidade. O crescimento do atual Ensino Bsico,
desde os anos 60, e a nova configurao da rede de ensino, inclusive com o justo aumento dos anos de escolaridade obrigatria, entre outros elementos, contriburam para o surgimento de
presses sobre o nvel de escolaridade subsequente, promovendo,
assim, a ecloso de numerosas faculdades e a abertura de novos
cursos em diferentes instituies, sobretudo privadas, em um
ritmo inteiramente descontrolado. Ao aumento quantitativo corresponderam dvidas quanto qualidade do ensino, eficincia
do corpo docente e devida adequao das condies institucionais, que justificaram a ao governamental, ainda que tardia.
A criao do ENC teve de imediato grande repercusso no
ensino privado, que se viu diante de uma situao indita no
quadro educacional brasileiro, e gerou, igualmente, reaes no
ensino pblico, especialmente tendo em vista a argumentao,
nem sempre defensvel, da autonomia universitria, que estaria
sendo violada. Alguns problemas no foram realmente definidos com a devida adequao, destacando-se, entre outros, a mal
dimensionada obrigatoriedade do Exame para todos os alunos
formandos sem a fixao de uma nota de corte, que refletisse
um nvel mnimo de competncia desejvel. A falta de um escore
mnimo fez com que prevalecesse simplesmente a presena do
aluno, independentemente do seu desempenho. Isso, traduzido
em termos de ao, significou que muitos estudantes contrrios
ao exame, por motivos vrios, inclusive ideolgicos, se limitassem a assinar o documento comprovante da sua presena a
folha de respostas da prova e ignorassem o contedo curricular
exigido, entregando a prova em branco ou nela expressando protestos, e garantindo, dessa forma, a expedio do diploma, tendo
em vista o atendimento do ritual legal.
A diversidade dos numerosos cursos a serem avaliados levou
o MEC a constituir comisses que definissem para cada prova as
vrias reas objeto do Exame e estabelecessem uma certa filosofia para cada uma das avaliaes, segundo a proposta oficial
de verificar os conhecimentos fundamentais necessrios aos formandos de cada curso. Vimos, desse modo, que certas definies
envolveram elementos dos cursos bsicos ministrados nos pri-
223
5/29/15 3:37 PM
meiros momentos da sequncia formativa, omitindo ou deixando de considerar outros aspectos objeto de estudos nas ltimas
sries da formao acadmica. Alm do mais, seria preciso que o
MEC levasse em considerao o fato de que similaridades curriculares nem sempre traduzem identidades e cursos com a mesma designao podem ter estruturas inteiramente diferenciadas;
desse modo, na prtica, os syllabus se assim podemos chamar
, que foram divulgados pelo MEC, e so dados a conhecer todos
os anos, na poca do Exame, passaram a ser programas de ensino em muitas instituies, mais preocupadas com o que seria a
avaliao institucional do que com a formao geral, cientfica e
profissional do seu alunado. Alm do mais, algumas instituies,
considerando as repercusses do desempenho dos alunos no seu
marketing promocional, desenvolveram imaginosas estratgias
de ensino com vistas ao preparo para o ENC ou, mais especificamente, para o hoje clebre Provo, configurando-se nova
modalidade de cursinho preparatrio.
Outras comisses, integradas por membros de diferentes
instituies, necessitam ser organizadas ao longo do processo de desenvolvimento do ENC. Assim, definidos os contedos,
constituem-se grupos para a elaborao dos instrumentos, ressaltando-se que estes novos grupos so diferentes dos que definiram a filosofia e desenvolveram o que chamamos de syllabus.
Apresentam-se muitas vezes situaes conflitivas, pois os que
devem elaborar o material do Exame nem sempre tm as mesmas percepes tericas dos que integraram a primeira comisso, dificultando, desse modo, a operacionalizao do Exame.
bem possvel, a ttulo de uma exemplificao inteiramente
hipottica, mas no absurda, que um grupo junguiano deva
implementar uma programao de sabor skinneriano ou vice-versa; ou que um programa de fsica orientado no sentido
eminentemente experimental deva ser trabalhado por um
outro grupo extremamente matematizado ou vice-versa; ou
que um programa de biologia inspirado na qumica molecular
deva ser operacionalizado por um grupo mais chegado a uma
orientao tradicionalista ou vice-versa. Essas so algumas hipteses levantadas para configurar situaes que podem ser
consideradas impossveis, mas que ocorrem na prtica do dia
a dia, em que divergncias conceituais, filosficas e de tratamento dos vrios assuntos existem, sem dvida, dificultando
224
5/29/15 3:37 PM
ou mesmo impossibilitando o trabalho dos responsveis pela

definio operacional dos vrios contedos a examinar.
Ainda com relao a conflitos entre o grupo que idealiza
um esquema e o que constri os instrumentos, podemos imaginar o seguinte: suponhamos que o grupo idealizador, imbudo da ideia traduzida no binmio ensino/pesquisa, alis discutida recentemente com bastante equilbrio por Moura e Castro
(Veja, 22.12.02), resolva exigir a elaborao de um projeto de
pesquisa, numa situao de exame como o que ora analisado.
Como operacionalizar esse mito educacional denominado ensino/pesquisa numa situao artificial de stress que envolve
milhares de pessoas que trabalham sem fontes de consulta e de
referncia dentro de um perodo de tempo bastante restrito? A
situao proposta no to estranha quanto pode parecer a um
primeiro exame. A soluo desse conflito poderia ser superada
pela atuao conjunta das duas comisses a que teoriza e a que
implementa , que se proporiam a elaborar um programa que
traduzisse um certo consenso, admitindo-se que seja possvel
um consenso em questes educacionais.
Antes de referirmo-nos a uma terceira comisso participante do ENC, queremos analisar aspectos ligados a pequenas comisses, integradas por funcionrios do MEC e/ou por pessoas
da confiana do Ministrio, que fazem a reviso formal das questes ou dos itens, depois de pronto o instrumento e revisto pela
prpria comisso elaboradora e por um revisor especialista na
rea. A comisso do MEC procura seguir de uma forma bastante
ortodoxa princpios definidos ao longo dos tempos por psicometristas e algumas instituies especializadas, como o Educational
Testing Service (Princeton, New Jersey), e disseminados por pessoas direta ou indiretamente ligadas a centros de pesquisa e avaliao, quase sempre norte-americanos. O excesso de formalismo,
queremos acentuar, nem sempre traz grandes contribuies,
mas quase sempre constitui fator de perturbao, devendo prevalecer o bom senso no uso de pequenas regras, que se podem
transformar em verdadeiros preciosismos, quando usadas sem
as devidas cautelas.
Definidos os objetivos da avaliao, estabelecidos os parmetros para a elaborao dos instrumentos, discutidas, revistas
e aplicadas as provas com a posterior divulgao dos resultados,
inicia-se, na dinmica do ENC, a atuao de uma nova comisso
225
5/29/15 3:37 PM
com elementos que no participaram das vrias fases anteriores, com o objetivo de, em princpio, fazer uma anlise crtica
dos instrumentos elaborados. sabido que no existem instrumentos perfeitos, especialmente no caso presente, pois medem
elementos no tangveis que englobam aspectos cognitivos e
diferentes capacidades relacionadas ao construto que, supostamente, est sendo mensurado. Toda e qualquer discusso na
rea sempre proveitosa, dependendo dos seus termos e, no caso
presente, as consideraes devem basear-se nas matrizes compostas por diferentes elementos estatsticos possveis de coletar
sobre o desempenho dos que responderam s questes. Isso no
significa, ressaltemos, que no haja um certo subjetivismo sempre que so expressos juzos de valor relacionados a assuntos e
maneira como foram abordados nas vrias questes; entretanto,
esse subjetivismo no pode resultar de posicionamentos ideolgicos, idiossincrasias pessoais e nem decorrer de antagonismos
acadmicos. O que se observa, no entanto, que essas discusses
possuem um tom eminentemente impressionista eu acho; eu
penso; eu acredito; eu julgo sem qualquer tipo de fundamentao emprica ou terica; por outro lado, as crticas no incidem
sobre o instrumento como tal, sua estrutura, seus possveis e at
mesmo compreensveis defeitos, mas resultam de um posicionamento muitas vezes contrrios filosofia, prtica do Exame
Nacional de Cursos e sua razo de ser, refletindo, por outro
lado, um certo antagonismo a toda a poltica educacional que
fundamentou a deciso de instituir um amplo programa de avaliao de todo o sistema educacional do pas. A anlise supostamente crtica reflete com bastante frequncia um certo sabor
xenfobo, digamos, ao considerar o instrumento com um vis
regional, considerando a prova como identificada com certas
instituies, mas negando-lhe valor em relao a outras.
O EXAME NACIONAL DE CURSOS

E O USO DA CURVA NORMAL
A presente considerao do ENC nos leva de um ponto crtico
a outro, s vezes bem mais crtico que os anteriores, como o
caso do que ora passamos a considerar: a apresentao inicialmente feita dos resultados do ENC expressos por concei-
226
5/29/15 3:37 PM
tos associados a porcentagens fixas de tal forma que sempre

teramos, independentemente da distribuio dos escores, os
conceitos A, B, C, D e E, com o mesmo nmero percentual de
sujeitos em A e E, o mesmo nmero tambm percentual de
elementos em B e D, e a maior concentrao de estudantes
na faixa do conceito C, refletindo, assim, a crena mtica na
curva normal gaussiana, como se esta efetivamente traduzisse a distribuio das diferenas individuais. O uso da ideia da
curva normal de Gauss, que nada mais do que a expresso
de uma determinada funo matemtica associada a grandes
nmeros e a fenmenos probabilsticos, foi uma tragdia de
grandes propores e da qual parte significativa do mundo
da educao ainda no conseguiu se refazer. Diferentes tipos
de curvas podem ser obtidos, dependendo da construo dos
instrumentos e do grau de dificuldade dos itens (CRONBACH;
WARRINGTON, 1952) e crticas curva normal para explicar
variveis educacionais (e psicolgicas) foram devidamente dimensionadas por Cronbach (1971 e 1977) e por Bloom, Hastings
e Madaus (1971), sendo que estes trs ltimos colocaram a
questo nos seguintes termos:
Como educadores usamos a curva normal na atribuio de
notas aos estudantes h tanto tempo que passamos a nela
acreditar. Medidas do desempenho so planejadas para detectar diferenas entre nossos alunos ainda que as diferenas sejam sem importncia em termos de contedos. Ento, distribumos nossas notas segundo a curva normal. Em
qualquer grupo de estudantes esperamos que uma pequena
porcentagem receba A. Ficamos surpresos quando o nmero de alunos difere muito de cerca de 10 por cento. Estamos
tambm preparados para que igual proporo de alunos fracasse. Muito frequentemente esse fracasso determinado
pela posio dos estudantes no seu grupo e no pela incapacidade de perceber as ideias fundamentais do curso. Assim,
acostumamo-nos a classificar os alunos em cerca de cinco
nveis de desempenho e a atribuir graus de uma maneira relativa. No importa que os fracassados de um ano tenham o
desempenho aproximado do nvel daqueles que obtiveram
conceito C no outro ano. Nem importa que os estudantes
de nvel A de uma escola tenham um desempenho igual ao
dos estudantes que receberam F em outra escola. (p. 44-45)
227
5/29/15 3:37 PM
evidente que, como as distribuies dos resultados no

apresentam uma normalidade perfeita e nem mesmo aproximada, mas, ao contrrio, uma assimetria acentuada para a direita,
positiva, com a maior concentrao de escores baixos, o fato de
um curso ter conceito A ou B no significa, necessariamente,
pelo critrio adotado, a excelncia dos resultados; ao contrrio,
a maioria dos resultados A poderia situar-se abaixo da mdia terica de 50, numa escala de 0 a 100. Tendo em vista, portanto, a bizarra mas no rara situao que se configurava com propores
pr-definidas para cada faixa conceitual, o MEC alterou seus critrios, tomando a mdia de cada curso em funo da mdia e do
desvio da totalidade dos cursos para estabelecer seus conceitos,
conforme se pode ver no texto adiante reproduzido:
O critrio parte da mdia aritmtica das notas dos estudantes que fazem o exame e considera a mdia geral da rea e o
desvio padro, que mede a disperso das notas em torno da
mdia. Com isso, o conceito A atribudo a todos os cursos
que obtm notas acima de 1.0 desvio padro da mdia geral. O conceito B, aos que tm entre 0.5 e 1.0 desvio padro
acima da mdia geral. O conceito C vai para as faculdades
que tiraram entrem 0.5 desvio padro abaixo e 0.5 desvio
padro acima da mdia geral. Por fim, os cursos que ficam
com os conceitos D e E tm notas entre 0.5 e 1.0 desvio padro abaixo da mdia geral (D) e notas abaixo de 1.0 desvio
padro da mdia geral.
Verifica-se, dessa forma, que pode haver casos em que no

existiro conceitos A e B, mas apenas conceitos C, D ou E, o que
representou um certo avano, ainda que no muito significativo, e persistiram ainda insatisfaes, inclusive com recursos ao
Poder Judicirio para impedimento da divulgao dos desempenhos dos cursos, o que se configura, mais uma vez, uma situao extremamente surpreendente, sobretudo tendo em vista o
atendimento de liminar ao pedido. Lamentavelmente, no fundo,
continuou a subsistir a ideia (e a fervorosa crena) de que a clebre curva normal traduz a distribuio de variveis ligadas ao
desempenho dos seres humanos.
228
5/29/15 3:37 PM
O PAPEL DO ESTADO EM AVALIAES

possveis alternativas
O Estado como avaliador sofre bastante restries, mas no
restam dvidas de que uma avaliao, para fins de atestar a
competncia ao trmino de um curso, algo que se impe,
inclusive com o apoio generalizado da sociedade. Acreditamos
que existam solues satisfatrias, vivenciadas em outros pases e, em algumas situaes, no prprio Brasil: a avaliao
por rgos de classe, que podem exigir a comprovao da eficincia de uma pessoa para o exerccio de determinada profisso, credenciando-a, aps resultados satisfatrios, para a
atuao em determinada rea de conhecimento profissional
selecionada para atuao na sociedade. A Ordem dos Advogados do Brasil, por exemplo, no caso da seo de So Paulo,
realiza, anualmente, um exame ps-curso, a que todos os formandos em direito esto sujeitos, fato este que lhe permite,
inclusive, identificar os cursos mais eficientes e os de menor
sucesso, evitando, assim, que sejam lanados no mercado de
trabalho milhares de futuros profissionais sem as requeridas
qualificaes. A excelncia dessa medida estaria ligada sua
validade local, por Estado, ou seja, algum, mesmo aprovado em um estado, ao se transferir para outro, seria obrigado
a submeter-se a novo exame junto ao rgo local, evitando-se tentativas de burla a dispositivos que venham a regular a
matria. Outros exemplos podem ser citados na rea mdica.
Alguns rgos corporativos, como a Sociedade Brasileira de
Pediatria e a Sociedade Brasileira de Ortopedia e Traumatologia realizam exames anuais, por intermdio dos quais atestam a capacidade de especialistas em suas respectivas reas,
e muitos hospitais j comeam a exigir essa titulao para o
exerccio profissional em seu quadro mdico.
Acreditamos que o exame de competncia profissional e,
implicitamente, da competncia dos cursos superiores poderia
ser realizado com bastante eficincia pelos rgos corporativos
regionais das diferentes profisses, sob o controle do seu respectivo rgo central. A aplicao de exames de competncia deveria
ser de responsabilidade dos rgos corporativos regionais, que, inclusive, poderiam atuar em associao com outras instituies de
direito privado especializadas em avaliao de recursos humanos
qualificados, para fins de elaborao dos instrumentos, quando
229
5/29/15 3:37 PM
fosse o caso. A certificao de concluintes de cursos de licenciatura

ligados ao magistrio poderia ser feita pelas Secretarias de Estado
da Educao, com validade restrita aos seus respectivos estados.
AUTOAVALIAO E AVALIAO
EXTERNA SEU SIGNIFICADO
Pensamos que essas e outras sugestes tenham praticabilidade e possam vencer ou atenuar as resistncias ora oferecidas.
Ao MEC e s Secretarias de Estado da Educao caberiam a importante e significativa misso de controlar os resultados das
avaliaes e aplicar as possveis punies s instituies que
no atingissem os parmetros desejados. O assunto polmico,
temos plena conscincia, assim como quase tudo em educao
igualmente polmico ou objeto de polmicas. preciso lembrar, alm dos problemas anteriormente apontados, os atuais
custos elevados do ENC e tememos que, em futuro bem prximo, seja o mesmo inviabilizado do ponto de vista financeiro.
O assunto deve ser discutido pela sociedade, inclusive considerando outras alternativas alm das que foram anteriormente propostas, a fim de alterar a atual situao, considerando
que as prprias instituies de terceiro grau precisam de informaes consistentes que lhes permitam aprimorar os seus
procedimentos e atender a suas necessidades. A sociedade, sem
dvida, necessita, igualmente, de informaes vlidas e consistentes para julgar de forma criteriosa as instituies que, de
um modo ou de outro, so suas subsidiadas.
A avaliao institucional de Universidades, Centros Universitrios, Faculdades Integradas e de todas as modalidades de
Instituies de Ensino Superior IES que possam existir no sistema educacional brasileiro, salvo melhor juzo, deve basear-se,
necessariamente, na AUTOAVALIAO e em AVALIAES EXTERNAS por iniciativa das prprias instituies, a exemplo do que j
ocorre em algumas universidades que tiveram um papel pioneiro nessa iniciativa, como a Universidade Nacional de Braslia
UnB e em outras instituies mais, que, sendo subordinadas a
Conselhos Estaduais, como as universidades estaduais do Estado
de So Paulo e os Centros Universitrios de Santo Andr e So
Caetano, no mesmo estado, j promovem suas autoavaliaes.
230
5/29/15 3:37 PM
preciso resgatar a promissora experincia do Programa de Avaliao Institucional das Universidades Brasileiras PAIUB, que,
lamentavelmente, no foi levada adiante.
A autoavaliao e as possveis avaliaes externas, quando
estas ltimas se fizerem necessrias, a juzo das instituies,
deveriam ser complementadas com avaliaes eminentemente
qualitativas dos programas de pesquisas pelas agncias financiadoras, como, por exemplo, o CNPq e a FAPESP, e, finalmente, a avaliao tambm qualitativa, mas incluindo elementos
quantitativos, dos cursos de ps-graduao pela CAPES, o que
j vem ocorrendo. As autoavaliaes, realizadas em intervalos
a serem fixados, cinco anos, suponhamos, juntamente com
possveis avaliaes externas para fins especficos, e mais os
trabalhos de auditoria no campo da pesquisa e da ps-graduao, forneceriam, sem dvida, elementos preciosos para o MEC
exercer sua funo principal de agncia controladora da qualidade do ensino superior, podendo, inclusive, atravs de procedimentos legais apropriados, isentar alguns cursos de graduao de novos exames, a partir dos dados informativos oriundos
dos rgos corporativos responsveis pelos exames de fim de
curso, como a OAB, CFM, CREAs e outros conselhos mais, que
tivessem comprovado de forma indiscutvel a eficincia ao longo de quatro anos seguidos, suponhamos.
As presentes consideraes, acompanhadas de algumas
sugestes, que julgamos realistas face o atual quadro, visam a
propor uma nova formatao s pioneiras avaliaes em larga
escala promovidas nos anos 90 pelo MEC e implementadas
com grande eficincia pelo Instituto Nacional de Estudos e
Pesquisas Educacionais INEP. Queremos, ao finalizar, reiterar o significado da avaliao no processo educacional, como
o fez Kellaghan (2001), e destacar sua importncia no sentido
de (1) elevar os padres de ensino muitas vezes bastante comprometidos em algumas instituies; (2) ajustar os processos
de ensino aprendizagem com o uso de metodologias adequadas e que devem ser de domnio dos professores, o que nem
sempre ocorre; (3) contribuir para a formao de cidados que
possam desafiar a complexidade de uma sociedade tecnolgica; e, ainda, (4) proporcionar aos responsveis pela tomada de
decises educacionais o feedback necessrio para que prevalea
o bom senso que, na prtica, conduz ao acerto das aes.
231
5/29/15 3:37 PM
BELLER, Michal. Admission to higher education: current dilemmas and
proposed solution. In: KELLAGHAN, Thomas (Ed.). Admission to higher education:
issues and practice. Dublin: Educational Research Centre; New Jersey:
International Association for Educational Assessment, 1995.
BLOOM, Benjamin S. Inocncia em educao. Cadernos de Pesquisa, So Paulo,
n. 16, p. 63-71, mar. 1976.
BLOOM, Benjamin S.; HASTINGS, J. Thomas; MADAUS, George F. Handbook on
formative and summative evaluation of student learning. New York: McGraw-Hill
Book, 1971.
BROWN, Frederick G. Principles of educational and psychological testing. Illinois:
The Dryden, 1970.
CAMPBELL, Donald T.; FISKE, Donald W. Convergent and discriminant validation
by the multitrait-multimethod matrix. Psychological Bulletin, n. 59, 1959.
CRONBACH, Lee J. Essentials of psychological testing. 2th ed. New York: Harper and
Row, 1960.
______. Test validation. In: THORNDIKE, Robert L. Educational measurement.
2th ed. Washington, D.C: American Council on Education, 1971.
______. Essentials of psychological testing. 3th ed. New York: Harper and Row, 1977.
CRONBACH, Lee J.; MEEHL, Paul F. Construct validity in psychological tests.
Psychological Bulletin, n. 52, 1955.
CRONBACH, Lee. J.; WARRINGTON, Willard G. Efficiency of multiples: choice
tests as function of spread of items difficulties. Psychometrika, n. 17, 1952.
DONLON, Thomas F.; ANGOFF, William H. The Scholastic aptitude test. In:
ANGOFF, W.H. (Ed.). The College board admissions testing program: a technical
report on research and development activities relating to the SAT and
achievement tests. New York: College Entrance Examination Board, 1971.
KELLAGHAN, Thomas. The use of assessment in educational reform. In: ANNUAL
CONFERENCE OF THE INTERNATIONAL ASSOCIATION FOR EDUCATIONAL
ASSESSMENT, 27., 2001, Rio de Janeiro, Paper Rio de Janeiro: IAEA, 2001.
NUTTALL, Desmond. The Myth of comparability. In: MURPHY, Roger;
BROADFOOT, Patricia. A Tribute to Desmond Nuttall. London: The Falmer, 1995.
RYANS, D. G.; FREDERICKSEN, N. Performance tests of educational achievement.
In: LINDQUIST, E. F. (Ed.). Educational measurement. Washington, DC: American
VIANNA, Heraldo M. Validade de construto em testes educacionais. Educao e
Seleo, So Paulo, n. 8, p. 35-44, jul./dez. 1983.
WEDMAN, Ingeman. Selection to higher education in Sweden. In: KELLAGHAN,
Thomas (Ed.). Admission to higher education: issues and practice. Dublin:
Educational Research Centre; New Jersey: International Association for
Educational Assessment, 1995.
232
5/29/15 3:37 PM
5/29/15 3:37 PM
VIVNCIA E REFLEXO1
1 Artigo publicado em Estudos

n. 18, p. 69-109, jul./dez. 1998.
2 Cronbach, L I. et al. (1980)

maneira de Martinho
Lutero, com suas Teses (1517)
que provocaram o Conclio
Tridentino divulgaram um
conjunto de proposies
advogando uma nova viso
da avaliao, especialmente
de programas sociais, criando
uma nova conscincia em
re!ao avaliao.
234
Introduo
Ao longo de vrios momentos, esforamo-nos para definir
a posio metodolgica de alguns responsveis pela criao da nossa concepo de avaliao, focalizando, especialmente, Tyler, Cronbach, Scriven, Stufflebeam e Stake.
Procuramos destacar aqueles que se preocuparam com a lgica do processo (Scriven) e visaram a apresentar solues
para problemas prticos (Cronbach), criando, assim, uma
sistemtica para lidar com os problemas enfrentados pelos
avaliadores. Chegamos, agora, ao momento de considerar
algumas outras questes, refletindo o nosso posicionamento. Ao faz-lo, partimos da lembrana das 95 teses apresentadas por Cronbach2, esclarecendo que a presente reflexo
representa um esforo visando a mostrar a compreenso
que temos dos problemas considerados e vivenciados por
ns no perodo de 1962 a 1995. uma tentativa, portanto,
de registrar o nosso pensamento sobre avaliao educacional de forma sistematizada, luz de experincias pessoais,
refletindo algumas das influncias que sofremos ao longo
daquele perodo e da prtica da avaliao.
5/29/15 3:37 PM
Avaliao e autoconhecimento
A educao no se limita a transmitir conhecimento elaborado e sistematizado ao longo do tempo. Esse conhecimento
indispensvel sobrevivncia do indivduo e sua necessidade
se torna cada vez mais crtica medida que a nossa cultura
sofre um maior aprofundamento tecnolgico, exigindo o domnio de tcnicas necessrias a atividades bastante simples. A
educao, entretanto, no fica restrita apenas a esse aspecto,
pois assim no teria sentido o seu proceder. Para completar e
dar significado ao seu proceder, impe que, ao lado do conhecimento humanstico e tecnolgico, sejam incorporados valores e
tradies definidos culturalmente. Ora, diante desse quadro, a
avaliao no um processo que leva apenas ao levantamento
de dados, identificao de problemas para que os executivos
da educao lhes deem as melhores solues. A avaliao, vista
sob o enfoque que pretendemos, bem mais do que apenas
isso; uma forma de autoconhecimento da prpria sociedade, que procura conhecer a si mesma atravs da identificao
do que prevalece em uma de suas principais instituies a
escola , que responsvel por sua continuidade. O fracasso
refletido atravs de uma avaliao representa, na realidade, o
prprio fracasso da sociedade em concretizar seus objetivos,
ficando, desse modo, detentora de uma forma de conhecimento que poder utilizar, mas que pouco contribuir para a sua
sobrevivncia uma escola falida reflete, atravs da avaliao,
uma sociedade igualmente fracassada nos seus objetivos.
Avaliao e planos de ao
Algumas sociedades possuem verdadeira obsesso relativamente avaliao caso especfico da norte-americana ; outras,
a usam com moderao, preocupadas muitas vezes com suas
implicaes sociolgicas como parece ocorrer na Inglaterra ,
tornando o seu uso bastante cauteloso e um terceiro grupo, geralmente integrado por pases do Terceiro Mundo, que sofrem
a influncia de agncias internacionais de financiamento, as
quais usam a avaliao como forma de controle dos seus subsdios financeiros e tentam influenciar polticas pblicas. A situao nestes pases de plena euforia avaliativa, especialmente
235
5/29/15 3:37 PM
diante da possibilidade de virem a conhecer seus sistemas de

ensino e criarem novas condies para a superao de seus diversos problemas, geralmente graves, diramos mesmo gravssimos. Enquanto os primeiros elementos fazem investimentos de
milhes em diversas moedas fortes; os ltimos financiam seus
emprstimos, muitas vezes a juros extremamente onerosos.
Avaliaes so feitas, s vezes, com o emprego de tcnicas bastante sofisticadas e que nem sempre esto ao alcance dos que
seriam os maiores interessados, pelo menos teoricamente, os
professores. Uma pergunta surge-nos: o que ocorre com essas
avaliaes, particularmente as realizadas no mundo em desenvolvimento, com especial referncia a alguns pases do Terceiro Mundo? As avaliaes so discutidas em crculos restritos,
profissionalmente interessados, s vezes com a participao de
elementos burocrticos, mas com repercusses em segmentos
limitados. A partir das avaliaes, e ao contrrio do que seria
desejvel e recomendvel, e mesmo impositivo, no so geradas novas discusses que levam a planos para uma ao efetiva.
s vezes ocorrem aes setoriais reviso de currculos e os inevitveis e frustrantes treinamentos de professores, via cursos
que no correspondem s suas expectativas e necessidades reais. Na verdade, no so feitos planos alternativos de ao, que
conduzam mudana e transformao da escola em termos
positivos. Avaliao, sem o complemento de planos de ao, tende a ser uma atividade burocrtica, que aos poucos perde o seu
significado e passa a ter efeitos nulos e gera reaes adversas,
que se propagam em cadeia dentro do sistema. A avaliao passa a ter um efeito negativo, contrrio ao que seria desejvel.
Avaliao e transformao
A avaliao s vezes vista de forma bizarra, como um processo
revolucionrio que promover mudanas imediatas em todo o
sistema, abrangendo todos os sujeitos administradores, tcnicos, professores e alunos, com a alterao imediata de programas, projetos e materiais. Assim como na natureza nada se faz
aos saltos, mas resulta de um processo s vezes razoavelmente
longo, o mesmo ocorre em educao, especialmente em relao
avaliao e aos seus propsitos. A escola tende a ser conserva-
236
5/29/15 3:37 PM
dora, visando, naturalmente, a sua sobrevivncia, inclusive com

os seus males; entretanto, a avaliao no est comprometida
com esse conservadorismo, que gera um processo de estagnao e autodestruio. A avaliao admite um certo gradualismo
e que as transformaes venham a se processar progressiva e
refletidamente, para evitar fracassos, alteraes injustificveis
e no fundamentadas que levam, depois, ao saudosismo, ao
sonhar com o que poderia ter sido e no foi e a aes desgastantes para o sistema. A avaliao no , entretanto, conservadora; pressupe um certo adualismo, exigncia do prprio pensar
educacional, mas o seu compromisso real com a mudana e a
transformao que somente a partir dela (avaliao) pode resultar. Avaliao nada tem a ver com a manuteno do status quo,
a reproduo do pensamento acabado; a avaliao no gera um
quadro de revoluo, mas conduz a mudanas desejveis, com
as quais est comprometida.
Avaliao e reflexo
A avaliao est integrada no processo contnuo de refletir sobre as diversas reas educacionais e seus problemas. A reflexo
constante e envolve o administrador, com os seus problemas
para o bom funcionamento do pequeno/grande mundo que a
escola, o pessoal tcnico supervisores e coordenadores que
deve refletir sobre a diversidade dos problemas de seu dia a dia,
envolvendo, inclusive, problemas de relacionamento humano, e
o professor, supostamente um tcnico em promover a aprendizagem, que precisa refletir como desenvolver habilidades e aptides, alm, naturalmente, de procurar fixar todo um contedo
associado a um conjunto de experincias curriculares. A reflexo sobre essa diversidade mantm uma relao biunvoca com
a avaliao; pois no se pode pensar em educao e ensino sem,
simultaneamente, uma valorao de outros elementos diversos.
A avaliao no um conjunto de tcnicas para o levantamento de informaes sobre diferentes sujeitos, mas um momento permanente na reflexo sobre os problemas educacionais.
A contradio momento/permanente justifica-se, porque se refere no a um instante temporal, mas a um elemento indispensvel ao constante refletir sobre a educao e seus problemas.
237
5/29/15 3:37 PM
Assim, todos, na comunidade educacional administradores,

tcnicos e professores so avaliadores, na medida em que refletir sobre educao avaliar o prprio problema.
Avaliao e polticas pblicas

Se considerarmos o nosso contexto, observamos que nem sempre
os programas de avaliao resultam de uma compreenso aprofundada das suas finalidades e do carter impositivo que devem
ter. A par dos modismos habituais, a avaliao muitas vezes decidida de uma forma quase improvisada e passa a ser considerada
prioridade. Um programa de avaliao deve resultar de uma definio de polticas que dimensionam um quadro especfico com
vistas qualidade da educao. No se avalia apenas para dizer
que avaliou e que se possui um banco de dados computadorizado
sobre mltiplos aspectos da educao. O refletir associado avaliao decorre da necessidade de promover um ensino/educao
que seja de qualidade. A prpria reflexo mostra, por outro lado,
que a avaliao deve ser de natureza diversificada, procurando
fazer com que diferentes programas analisem e solucionem diferentes problemas. preciso que compreendamos um programa
de avaliao em seus fundamentos e objetivos, para que possamos
definir e influenciar sobre as polticas pblicas a serem estabelecidas e implementadas com seriedade, tendo em vista que a m
qualidade da educao catastrfica e a sociedade se v solapada
em um de seus elementos bsicos, ficando na dependncia de outras culturas mais bem estruturadas.
Avaliao e o avaliador
Falamos, anteriormente, em reflexo, que resultaria numa anlise que incluiria, tambm, um processo de avaliao e ressaltamos o papel de administradores, tcnicos e professores, que,
em princpio, estariam qualificados para esse desempenho. A
incidimos em um ponto nuclear, pois a anlise exigida de
natureza bastante complexa, no admitindo improvisaes.
fundamental que o avaliador possua uma formao geral e que
tenha vivenciado os problemas do ensino, especialmente atravs
238
5/29/15 3:37 PM
da experincia de sala de aula. Vimos que a tarefa do avaliador

exige habilidades especficas, desenvolvidas por intermdio de
uma formao quantitativa, inicialmente, e qualitativa, posteriormente, conforme a orientao estabelecida por Robert Stake
na Universidade de Illinois (Urbana). O desenvolvimento de capacidades quantitativas, apenas, pode levar a simplificaes, s
vezes quase esotricas para os no-iniciados; a formao qualitativa, unicamente, por outro lado, leva a generalizaes filosofantes, que pouco ou nada informam sobre a realidade para aqueles
que devem tomar as decises. Ambas as orientaes completam-se e possibilitam ao avaliador explorar o problema em seus
diferentes aspectos. Infelizmente, alguns exaltam apenas um
tipo de formao, menosprezando o outro, o que demonstra um
posicionamento equivocado, pois o quantitativo e o qualitativo
se completam. Em algumas circunstncias um impe-se ao outro, sem que isso signifique que esse quadro seja o melhor, mas
apenas o mais adequado situao apresentada. A escolha da
abordagem correta, associada qualificao do avaliador, permite, desse modo, que falsas interpretaes sejam evitadas e julgamentos igualmente falsos se concretizem.
Avaliao e controvrsias
Alguns programas educacionais costumam dar margem a controvrsias. Pensamos, a ttulo de ilustrao, nos chamados programas
de matemtica moderna em oposio matemtica clssica.
Isso costuma gerar situaes muitas vezes passionais e, portanto, emotivas, que do margem ao surgimento de elementos
que dificultam a tarefa do avaliador. preciso, portanto, que
o avaliador, na medida do possvel, mantenha-se isento, sem
tomar aprioristicamente um posicionamento. Isso ocorre
com bastante frequncia, ao contrrio do que se possa pensar.
o resultado do desejo de provar que o novo melhor, em
oposio ao antigo, o que no necessariamente verdade. A
responsabilidade do avaliador, no caso, bastante grande, exigindo que, graas sua capacitao e experincia adquirida
ao longo da prtica habitual, possa identificar essas situaes
desfigurantes e, assim, estabelecer meios adequados para esclarecer os problemas, sem envolvimentos ou controvrsias
239
5/29/15 3:37 PM
que anulam o trabalho, fazendo com que no tenha validade e,

ipso facto, no merea credibilidade entre aqueles que usam na
prtica os dados que o avaliador lhes proporciona.
Avaliao e novas metodologias

O processo de avaliao ao longo do tempo precisa ser aprimorado, novas metodologias introduzidas e modificaes realizadas, para que a avaliao no se transforme numa prtica burocratizada, repetitiva e que acabe desmotivando a clientela a
que ela se destina Isso uma verdade inconteste e j comea
a ser sentida em pases que a usam intensamente, impondo-se
um trabalho de motivao para que o descrdito no passe a
dominar. Por outro lado, tambm, preciso cautela, em relao
a novidades no inteiramente testadas, e cujos resultados, alm
de nada informarem, no contribuem para o aprimoramento
do processo de avaliao. Ainda que a situao seja ideal, isso
no significa que no se concretize na realidade. preciso que
a avaliao apresente informaes relevantes ao sistema e deixe
bastante claro que os servios que presta so realmente importantes, o que nem sempre sentido. Poder-se-ia argumentar que
estamos diante de uma situao ideal, nem sempre concretizvel,
considerando as foras negativas que existem dentro do sistema
e que se opem s avaliaes, porquanto acabam por exp-las, denunciando a sua ao. Essa uma das muitas finalidades da avaliao: identificar reaes negativas e super-las, apresentando
caminhos de excelncia para a melhora do sistema.
Avaliao e seus usurios

Quem so ou deveriam ser os reais usurios das avaliaes?
As avaliaes no se realizam para uso dos avaliadores, que so
agentes na identificao dos problemas. Os administradores e
tcnicos devem ser os usurios dos resultados das avaliaes e
os implementadores do conjunto de aes ou de aes isoladas
para a soluo dos problemas. Entretanto, aqueles a quem as avaliaes se destinam so realmente os professores, eles prprios
avaliadores permanentes do prprio sistema e de tudo aquilo
240
5/29/15 3:37 PM
que o aciona. Professores, entretanto, costumam alegar que os

resultados das avaliaes, especialmente as realizadas externamente por terceiros, no servem s suas necessidades e interesses. Por sua vez, os avaliadores queixam-se de que os resultados
dos seus trabalhos no so utilizados devidamente, no s por
professores, mas tambm por administradores e tcnicos. Isso,
sem dvida, uma realidade indiscutvel. reas ministeriais e
Secretarias de Estado possuem um nmero enorme de avaliaes
(e pesquisas, s vezes por solicitao oficial) e as mesmas repousam tranquilamente nos arquivos, ignoradas ou desconhecidas,
no sendo utilizadas na definio de polticas e nem para a elaborao de projetos. Um descompasso realmente existe, e deve
ser eliminado para que as avaliaes resultem em ao interativa
entre todos os membros que atuam no sistema educacional, o
que somente se consegue com uma disseminao adequada dos
elementos informativos s clientelas interessadas.
Avaliao e influncia poltica

A interao entre os elementos ligados avaliao mostra que
o avaliador educacional, mesmo quando no pretende ter influncia poltica sobre o sistema, acaba por exerc-la. E por que isso
ocorre, independentemente da sua vontade? Pensemos, inicialmente, que a avaliao, assim como a pesquisa educacional, visa
a coletar dados da realidade para autoconhecimento da sociedade (alunos, pais, professores, tcnicos e administradores), inclusive daqueles que so responsveis pela definio de polticas
que mais tarde se vo transformar em projetos com vistas ao
desdobramento de aes para a promoo da qualidade da educao. Ora, ainda que em termos tericos, tudo deveria partir da
avaliao e dos seus resultados, da a responsabilidade do avaliador, que, dependendo da metodologia delineada e dos resultados obtidos, assim como de seu relatrio, das suas concluses e
das propostas de ao pode encaminhar o sentido das decises
polticas a serem definidas e implementadas pelas autoridades
educacionais. Nem sempre os avaliadores se do conta da sua
responsabilidade pblica, das consequncias de projetos inadequadamente propostos e da impropriedade de seus relatrios,
acabando, dessa forma, por influir negativamente nas polticas
241
5/29/15 3:37 PM
pblicas, quando so consideradas. importante que as avaliaes sejam utilizadas pelo sistema, mas sumamente necessrio
que essas avaliaes sejam responsveis, tendo em vista a possvel influncia que vo exercer.
Avaliao e consenso
Uma nica teoria da avaliao o desejo no concretizvel da
maioria dos avaliadores. Assim como no existe apenas uma
teoria da educao aceita pelo consenso impossvel o consenso em educao, apesar das esperanas da tcnica Delphi, que
parte desse pressuposto , no existe um consenso que tambm
seria desejvel em avaliao. As posies so muitas, s vezes
antagnicas. Pode-se elaborar uma teoria com base em uma
concepo de educao, mas ser sempre uma entre muitas outras teorias igualmente possveis. Algumas vezes, em educao,
ficamos no domnio da idealidade. Elaborar uma teoria da avaliao que satisfaa a todos difcil, praticamente impossvel.
As coisas tornam-se mais complexas quando se pensa em uma
teoria que seja ao mesmo tempo uma teoria da interao poltica. lnterao poltica um construto e admite diferentes posicionamentos difceis de conciliar; por outro lado, uma teoria
assim estruturada somente se completaria se a ela pudssemos
integrar uma teoria da determinao de fatores, pois, no fundo,
o avaliador procura estabelecer os fatores determinantes que
dimensionam o problema a solucionar. Acreditamos que o avaliador deva assumir uma posio filosofante, como pensador
que , e procurar basear-se em uma teoria (ou criar uma teoria)
associada interao poltica, no importando que vozes diversas se manifestem contrrias. O significativo o seu trabalho
e nesse quadro no podemos deixar de pensar em Tyler, que
legou uma obra significativa, apesar de todas as resistncias
que enfrentou e soube superar.
Avaliao e expectativas
A avaliao afigura-se a muitos como o caminho da esperana,
acreditando que, por intermdio da avaliao, se podero obter
242
5/29/15 3:37 PM
respostas inequvocas para os numerosos problemas que o campo educacional oferece. Sem dvida, poderemos obter respostas
para algumas questes, mas no para todas. Ao delinearmos um
programa educacional, qualquer que seja, simples, sem maiores complexidades, sempre surgiro controvrsias. A avaliao
do programa poder fornecer certas informaes sobre o seu
possvel mrito, indiscutivelmente, mas essas informaes por
mais completas que possam ser, por maior que seja a soma de
dados coletados, nunca eliminar totalmente as controvrsias
que sobre seus mritos possam existir. Poder haver um certo
convencimento, mas que no ser suficiente para dirimir as dvidas que possam existir. Neste caso, a avaliao que surge para
alguns como a senda da esperana, pode vir a transformar-se em
caminho do desapontamento. E por isso talvez seja rduo o mtier
de avaliador, que deve conviver com opostos: a esperana e a
angstia da frustrao. preciso, pois, que o avaliador no parta
de certezas absolutas, mas baseie o seu trabalho em possibilidades, em expectativas que possam vir a se concretizar, mas sem
pensar que a tudo domina, que o senhor de todos os saberes
e que o seu domnio das tecnalidades seja capaz de eliminar as
dvidas que so parte da contingncia humana.
Avaliao e processo poltico

A definio de um programa educacional insere-se em um conjunto maior de natureza social, que, por sua vez, resulta de um
processo poltico, com vistas transformao da educao e de
sua agncia responsvel, a escola vemos, portanto, que h um
encadeamento de momentos que se ligam e se interpenetram,
constituindo um corpo uno. O avaliador muitas vezes chamado a participar desse contexto e seu comportamento de perplexidade. Seus modos, seus mtodos de tratamento dos dados,
suas sofisticadas estatsticas processadas por instrumentos de
alta tecnologia permitem-lhe coletar e manipular grande soma
de dados e, finalmente, chegar esperada fase das concluses.
Concluses que levaro a sugestes para eliminar situaes ou
criar um novo quadro. Nesse momento quase final do trabalho,
o avaliador d-se conta que o seu trabalho chegou a um impasse.
s concluses ope-se um elemento mais forte, o processo poltico
243
5/29/15 3:37 PM
em que tudo est inserido. um instante crtico, que demonstra a situao de impotncia em que se encontra a avaliao e
o avaliador educacional. H razes outras que podem escapar
sua compreenso, mas que se impem tendo em vista que a
educao ocorre em um contexto poltico e parodiando o velho
sempre moderno filsofo francs, pode-se dizer que a poltica tem razes que a prpria razo desconhece. Isso verdade
no mundo das emoes e no mbito das realidades. A educao
deve estar pronta para enfrentar essas realidades, sendo que isso
no representa um demrito para o avaliador, quando as suas
concluses nem sempre so consideradas.
Avaliao e pesquisa
A ideia de avaliao comea a dominar a nossa sociedade, graas,
em parte, atuao da mdia, chamando a ateno para alguns
problemas que s vezes no so realmente prioritrios, com
o esquecimento de outros, mais relevantes e de repercusso
social mais profunda. A questo da avaliao passou a dominar
os mais diversos segmentos sociais, despertando o interesse de
rgos sindicais de um lado e no extremo oposto de grupos empresariais, ainda que por motivos diversos. Existe uma crena
generalizada na necessidade de impor a avaliao como um
procedimento normal ao sistema educacional. Percebe-se, entretanto, que essa ideia, aparentemente nova, nada mais do
que o desdobramento de uma ideia anterior, que tardiamente
surgiu no mbito do ensino superior: a prtica da pesquisa.
A pesquisa em educao bastante recente, pelo menos em
nosso contexto, e recebeu grande impulso na medida em
que a ps graduao se consolidou nos principais centros de
ensino superior. Uma nova atitude comeou a formar-se em
relao anlise dos problemas educacionais e um acmulo
de know-how tecnolgico se estruturou, permitindo trabalhos
empricos. Avaliao e pesquisa seriam campos separados ou
seriam na verdade reas que se integram e se complementam?
Tentamos, muitas vezes, delinear as caractersticas de uma e
de outra, pontos de aproximao e de divergncia; no entanto,
afigura-se-nos que as atuais distines so artificiais, so mais
um exerccio acadmico, pois o evoluir de ambas as atividades
244
5/29/15 3:37 PM
est fazendo com que a possvel distino que ento existia esteja desaparecendo e a avaliao se transformando igualmente
em uma forma de pesquisa. Podemos estabelecer como um imperativo atual que se formem pesquisadores para uma atuao
eficiente na rea da avaliao educacional.
Avaliao e accountability
A dcada de 60 assistiu a um boom da avaliao educacional no
contexto norte-americano. Alguns milhares de projetos foram
realizados com o investimento de centenas de milhes de dlares; ao final, alguns trabalhos se revelaram realmente relevantes e tiveram ampla repercusso, mas a maioria foi objeto
de acerbas crticas, tendo em vista as limitaes dos resultados
apresentados. Aos poucos, comeou a impor-se o conceito de
accountabillty, palavra difcil de traduzir com exatido; contudo, percebe-se que est relacionada expresso to be accountable
for ser responsvel por , da a traduo que usualmente
empregamos responsabilidade educacional. Por outro lado,
preciso lembrar, tambm, que account tem um sentido contbil, financeiro. Haveria, assim, uma preocupao maior com
as grandes despesas governamentais para obteno de resultados muitas vezes decepcionantes, em decorrncia, inclusive, da irrelevncia metodolgica da maioria dos projetos.
Aprofundando-se o conceito de accountability sente-se que,
alm do aspecto financeiro, h uma grande preocupao com
o que foi, com o passado, visando a definir mritos e a estabelecer a culpabilidade dos responsveis pelos programas;
parece-nos, entretanto, que a avaliao pode ser melhor utilizada na medida em que nos permita compreender os acontecimentos e a ter uma inteligncia aprofundada dos processos
educacionais, com o objetivo de fornecer subsdios para os
novos educadores que se venham a envolver com futuros projetos e com outros programas, aproveitando os ensinamentos
do passado e as experincias vivenciadas. A avaliao um
olhar para frente, um olhar em perspectiva, talvez a partir do
que foi, mas sem querer culpabilizar pessoas ou instituies,
bastando a angstia do possvel insucesso. A avaliao guia; a
avaliao no pune.
245
5/29/15 3:37 PM
Avaliao e realidades
O poeta diz com razo que navegar preciso; diramos que avaliar tambm preciso, mas com as devidas cautelas, tendo uma
bssola orientadora, a fim de evitar certos abrolhos e possveis
desapontamentos. Algumas vezes, arquitetam-se grandes planos,
com vistas a grandes renovaes e a esperana de promover uma
revoluo. Sonhar igualmente necessrio, mas dentro de certos
limites, considerando as nossas realidades. Ideias so importadas sem que sofram um processo de aculturao; instituies so
transplantadas com o esquecimento de que, atrs delas, h toda
uma tradio acumulada ao longo dos tempos e experincias verificadas ao longo de um processo de validao. A situao no
abstrata, mas ocorrente em nosso contexto. O avaliador educacional v-se muitas vezes envolvido nessa situao e obrigado a
opinar sobre propostas de renovao ou a elaborar planejamento que acompanhe a implementao dessas novas experincias.
A sua situao pessoal bastante crtica. Nem sempre pode recusar a sua participao; outras vezes, procurando agir com imparcialidade na medida em que o ser humano pode ser imparcial
seus resultados contrariam as expectativas, sendo prudente,
portanto, que o avaliador considere a possibilidade de insucesso
do projeto de renovao e advirta os responsveis pelo projeto.
Sinceridade e honestidade so, obrigatoriamente, atributos de
um avaliador consciente.
Avaliao e comprometimento
A atividade educacional implica intenso comprometimento dos
envolvidos. Esta situao deve ser mantida ao longo de todo o desenrolar das aes programadas, inclusive com a participao ativa
dos avaliadores, sejam estes especialistas externos ou professores,
que, em ltima anlise, so, realmente, os avaliadores dos programas nas escolas. A atividade educacional em pases em transio
socioeconmica extremamente desgastante fisicamente e sem
uma certa paixo, reflexo do comprometimento, fcil ser cair na
descrena, na prtica do fazer pelo fazer, simplesmente. O avaliador, e no somente ele, mas todos os educadores, devem superar
seus momentos de descrena e dvida f e dvida coexistem e
a dvida robustece a f , que podem levar ao negativismo e in-
246
5/29/15 3:37 PM
diferena, estados emocionais bastante frequentes em educao.

A avaliao tem seus paradoxos sem paixo, sem comprometimento impossvel uma anlise racional. Isto aparentemente
contraditrio paixo e racionalidade, mas, na verdade, se no
houver da parte do avaliador uma certa paixo que o leve a persistir, a manter-se acima e alm das adversidades, que so bastante
comuns, no ter a suficiente clareza de esprito para empreender
uma anlise racional que o trabalho quase artesanal do avaliador
exige. Desse modo, o comprometimento, que essencialmente
poltico, leva o avaliador a agir (e a reagir) com racionalidade.
Avaliao e controle
H alguns pargrafos consideramos a problemtica da
accountability. Voltemos a ela, porque esse conceito que surgiu
h mais de trinta anos no contexto norte-americano comeou
a expatriar-se, passando a fazer parte do jargo tecnolgico das
avaliaes nacionais. Ser que essa ideia se aplica nossa situao, que somente agora, nos ltimos anos, menos de um decnio, comea a se preocupar com a avaliao, seus problemas e
as inmeras implicaes que dela decorrem? Acreditamos que
sim, considerando que havendo recursos, pessoal qualificado,
planejamento adequado e ao implementadora consistente, os
programas educacionais, quaisquer que sejam, sero bem sucedidos. Essa a ideia mais explcita do conceito de accountability.
Outras percepes tambm existem, como o seu contedo financeiro, entretanto, preocupa-nos um outro aspecto, que nos parece extremamente grave. Se necessitamos desse conceito a ponto
de import-lo e incorpor-lo prpria educao, no dizemos
que apenas a avaliao o incorporou. A educao em geral sentiu
necessidade de utilizar essa ideia, no unicamente a avaliao,
e isso preocupante, pelo menos para ns, pois revela que o
sistema se apercebe que um quadro patolgico se desenvolve no
sistema, e necessita de elementos de controle, a fim de evitar
que ele se desenvolva e comprometa a sua prpria razo de ser,
inclusive a avaliao, que passa a sofrer os mesmos malefcios,
via todo um processo de metstase social. A avaliao, ao coletar
e analisar dados, passa, assim, a exercer as funes de um elemento de controle da salubridade do sistema educacional.
247
5/29/15 3:37 PM
Avaliao e coisa pblica

A informao uma fonte de poder e deste modo faz com que
muitos guardem elementos de informao, s vezes como justificativa para a prpria existncia. Isso refletiria a ideia de uma comunidade fechada em que somente as autoridades teriam acesso
ao conhecimento dos dados. A avaliao opor-se- a esta situao.
Os dados da avaliao, obtidos atravs de uma expertise adequada no so propriedade exclusiva do avaliador, no pertencem
escola, no so de uso restrito dos autores e implementadores
de programas, no pertencem s Secretarias de Educao e nem
mesmo autoridade centralizadora do Ministrio da Educao,
agente do Estado. Os resultados de uma avaliao constituem res
publica, coisa pblica, para uso da comunidade e conhecimento
da sociedade. Assim, a avaliao no tem sentido em uma sociedade fechada, centralizadora e autoritria. A sua razo de ser est em
uma sociedade aberta, descentralizada e democrtica. A avaliao
somente se pode considerar plenamente realizada na medida em
que a utilizao de seus resultados demonstre que no h um crculo fechado, que estamos em uma sociedade transparente que
procura se conhecer e ter a suficiente coragem de apresentar suas
deficincias e indicar os aspectos em que bem-sucedida.
Avaliao e credibilidade
A eficincia de um governo no est no fazer, mas no saber fazer em correspondncia com as realidades vividas no contexto
da sociedade. Ao querer fazer, sem antes consultar a sociedade
e ouvir seus posicionamentos, um governo democrtico, constitudo por pessoas de formao democrtica, mas s vezes sem
experincia democrtica, acaba por revelar uma face autoritria
at ento desconhecida. A centralizao na rea educacional leva
muitas vezes a situaes contraditrias. Ao impor, por exemplo,
a avaliao processo fundamental no mbito da educao, no
temos dvida, por uma questo de coerncia com o prprio viver sentimos um princpio de violncia, que no desejvel.
A avaliao deve resultar de uma aspirao prpria e do desejo
de autoconhecer-se, ao mesmo tempo que identifica seus problemas, seus xitos e seus fracassos, ainda que essa colocao possa
parecer utpica, mas sem uma utopia no se vive, nem sobrevive.
248
5/29/15 3:37 PM
Avaliao em que o governo avalia seus prprios procedimentos no merece credibilidade. Falta-lhe credibilidade por
querer impor uma avaliao no inteiramente independente,
porque realizada por rgos de certa forma ligados ao poder
central ou que dele dependem para sobreviver. Cairamos, dessa forma, no mundo inconsequente de verdades paradoxais
(uma contradio, evidentemente), ou seja, em educao o suposto racionalismo de um governo centralizado pode levar ao
autoritarismo, ao generalizar medidas possivelmente aceitas
pela sociedade, desde que tivesse sido ouvida e os temas discutidos por suas instituies mais representativas.
Avaliao e obstculos
O avaliador, assim como o homem de Ortega y Gassett, ele
prprio e suas circunstncias. Possui suas limitaes e sofre restries que lhe so impostas pelo contexto em que atua. Tem o
domnio das tcnicas, mas nem sempre as pode usar, tendo em
vista os condicionamentos do pblico a que se destinam, ou,
ento, as empregam usando meios palatveis de comunicao,
a fim de que seu trabalho possa ser compreendido e utilizado. Nem sempre pode realizar o que, teoricamente, gostaria de
concretizar, porque possui limitaes oramentrias, s vezes
bastante srias. Sendo o seu trabalho o resultado do esforo de
uma equipe, em muitos casos no dispe de pessoal qualificado ou deve agir com apoio de um grupo bastante restrito. Ao
desenvolver o projeto no ter condies de superar muitas dificuldades e ele prprio em seu relatrio dever honestamente
explicitar as dificuldades encontradas, as limitaes enfrentadas e os aspectos que no puderam ser abordados, por razes
diversas, e as solues que no forem possveis. O avaliador,
assim como o pesquisador, e ele prprio tambm um pesquisador, no um super-homem que vence todos os obstculos,
enfrenta todas as situaes e soluciona todos os problemas,
armado com os instrumentos que lhe oferece a tecnologia de
ponta. O avaliador , em grande parte, o gerenciador de um
programa, que, com diligncia, procura torn-lo o mais eficiente possvel, sem o uso de superpoderes que no possui. Seria
uma iluso pensar ao contrrio.
249
5/29/15 3:37 PM
Avaliao e gerenciamento
Chegamos a um ponto crtico nestas reflexes sobre a avaliao
educacional. Perguntamo-nos: por que o sucesso do Eight-Year
Study, de Tyler, ou o de Stufflebeam, baseado no modelo Contexto,
lnput, Processo e Produto (CIPP)? evidente que, primeiramente, havia a vontade poltica de realizao das avaliaes, sem o
que nada possvel realizar. Havia, ainda, um modelo com slida
fundamentao terica, independentemente das restries que
alguns elementos da comunidade de avaliadores apresentaram
a essas formulaes. Os projetos possuam dotaes oramentrias necessrias sua concretizao, com verbas de fontes diversas. Isso tudo, entretanto, no seria suficiente para explicar
o xito desses projetos ou de quaisquer outros programas de
avaliao; h um outro elemento de capital importncia: o responsvel pelo gerenciamento dos projetos. Tyler e Stufflebeam
tinham experincia de ensino; participaram de atividades acadmicas, inclusive administrativas, em grandes universidades,
e possuam a vivncia de outros programas anteriormente executados. Tinham capacidade de liderana, aglutinando em torno
de si instituies diversas e diferentes pessoas com formao
variada; faziam valer, democraticamente, o seu comando, solucionando os vrios conflitos de relaes humanas; alm de se
imporem pelo domnio da rea substantiva em que estavam envolvidos, ou seja, o gerente no um burocrata, mas um cientista
com experincias diversificadas. Em sntese, o xito de qualquer
programa de avaliao depende de um controle firme da parte
de seu gerente e da sua capacidade de liderana.
Avaliao e liderana democrtica

Um programa de avaliao envolvendo todo um sistema educacional, ainda que realizado por amostragem, demanda negociaes e acomodaes, que so prprias de uma liderana
democrtica. A imposio de um programa ao sistema exige um
preparo anterior, para atenuar as reaes contrrias, que so inevitveis. Qualquer avaliao mexe com o sistema e reaes adversas
devem ser esperadas. So parte da mecnica do processo, sendo
necessrio um trabalho inicial de acomodao para a diluio
das foras adversas. Sem colaborao no possvel realizar esse
250
5/29/15 3:37 PM
trabalho, que deve ser desmembrado em diferentes nveis, com

vrias linhas de coordenao e superviso. O poder numa avaliao, ainda que haja um gerenciamento geral, deve ser diludo e
as responsabilidades compartilhadas em diferentes momentos
e instncias. Seria uma ideia platnica admitir-se que, definido um programa, o mesmo passar a ser aceito sem questionamentos, com a concordncia integral dos vrios integrantes do
processo a ser desenvolvido. necessrio um trabalho prvio,
em que fique demonstrada a deciso poltica de realizar o programa, e sejam esclarecidos os problemas suscitados pelo prprio
sistema, numa tentativa, alis compreensvel, de autodefesa.
Defesa em relao a algo que desconhece e que precisa ser
definido para que seja compreendido o seu significado, a sua
importncia, o uso de seus resultados e as modificaes que
possivelmente sero realizadas, como decorrncia da avaliao. importante que se saiba por que est sendo feita a avaliao, suas finalidades e que providncias sero tomadas no
futuro. Avaliar por avaliar, simplesmente, no faz sentido,
necessrio que haja consequncias decorrentes da avaliao.
Avaliao e agncias financeiras

O avaliador, no desempenho do seu trabalho, v-se envolvido em
diferentes contextos, compreendendo administrao (e burocracia), quadros tcnicos, corpo discente e docente, alm da estrutura financeira que lhe fornecer os meios para desenvolver o
projeto. bastante frequente que essa estrutura financeira seja
representada por instituies nacionais e internacionais, que
tm a sua cultura prpria, o seu corpo tcnico especializado,
mas no necessariamente em avaliao, e que por intermdio
dos projetos, fazendo exigncias, tentem interferir nas polticas
pblicas. Acreditamos que a parceria com agncias financeiras
seja desejvel e at mesmo bem-vinda; contudo, o avaliador precisa acautelar-se em relao a diferentes aspectos, inclusive adotando uma atitude agressiva, se necessrio for, e abandonando
posies de prudncia poltica. preciso cautela em face da tentativa de impor modelos que correspondem a outros contextos
e que nada tm a ver com a cultura educacional. O modelo a ser
usado deve resultar de um consenso entre as partes atuantes no
251
5/29/15 3:37 PM
processo de avaliao, com envolvimento de at mesmo as agncias, mas sem a prevalncia de suas ideias, muitas vezes exticas.
A imposio de consultores preciso ser vista igualmente com
reserva, pois quase sempre apresentam extenso currculo, mas
desconhecem a realidade nacional e agem em termos inteiramente abstratos, sugerindo metodologias que no atendem s
necessidades do projeto e nem aos seus objetivos. Ainda, frequentemente, propem tcnicas de tratamento para fins de futuras pesquisas que no se ajustam natureza dos dados coletados e
exigem dos participantes da avaliao, especialmente em nvel
de corpo docente, uma familiaridade com elementos que no
fazem parte da sua cultura pedaggica. O avaliador deve fazer
frente a essas situaes, impondo-se, exercendo a sua funo
de avaliador, dentro das suas responsabilidades. evidente que
nem sempre se pode prescindir da colaborao das agncias financiadoras. preciso que o responsvel pela avaliao no seja
um guardio platnico do seu projeto, mas adote uma posio
que resguarde o seu planejamento, sem, entretanto, criar uma
situao conflitiva que impea a concretizao do trabalho.
Avaliao e meta-avaliao
A experincia pessoal nos tem demonstrado que, qualquer que
seja o processo de avaliao, o sistema tende a permanecer imvel, sem promover iniciativas que levem atuao do avaliador.
preciso que sua iniciativa pessoal atue, coordenando as vrias
atividades e promovendo o envolvimento de todos os participantes. Apresentados os resultados, muito possivelmente pouco se
far em termos de modificaes, salvo se estas vierem atravs de
sugestes no prprio relatrio do avaliador. lgico que existem
excees; no entanto, considerando os interesses polticos em
entrechoque na rea educacional, talvez seja necessria uma interveno do avaliador. As coisas facilmente se acomodam e tendem a permanecer como se encontram, prevalecendo o estado de
inrcia. Assim, obtidos os resultados do trabalho necessrio que
se promova a avaliao dos mesmos, que, em outras palavras, se
faa uma anlise de todo o processo, ou seja, que haja uma meta-avaliao (avaliao da avaliao) a fim de que seja julgado o seu
valor. A avaliao da avaliao, segundo determinados padres
252
5/29/15 3:37 PM
(Stufflebeam), deve ser externa, na medida do possvel, considerando o envolvimento do avaliador e o seu comprometimento, o
que pode gerar vieses nos julgamentos, ficando comprometidos
os juzos que se fizerem. Alm das caractersticas j apresentadas, o avaliador tambm deve ter iniciativa e senso de oportunidade, para agir no momento prprio.
Avaliao e interesses conflitantes

A avaliao exige um processo de negociao com diferentes
segmentos que muitas vezes apresentam interesses conflitantes.
Vejamos, por exemplo, os casos da avaliao institucional ou da
avaliao de cursos de 3o Grau, aps a concluso do bacharelado,
ideias que comeam a se concretizar em nosso contexto educacional. possvel que a maioria da sociedade esteja em princpio de acordo com as ideias bsicas das propostas, como no
nosso caso pessoal; no entanto, especialmente a comunidade
acadmica apresentou reaes negativas, algumas de origem
corporativa, tendo em vista que no participou do seu planejamento e no discutiu nenhuma proposta, sendo surpreendida
por medidas impositivas. Assim, a avaliao deve disseminar
informaes que diluam reaes contrrias, que atenuem as
arestas apresentadas, que muitas vezes invalidam o trabalho de
avaliao. mais do que evidente que a avaliao deve apresentar informaes que possibilitem a tomada de todo um conjunto de decises corretas; entretanto, essa mesma avaliao deve
fazer um levantamento exaustivo dos elementos de informao
para que sejam apresentados sociedade no processo de negociao com vistas sua viabilidade.
Avaliao e sua dinmica

O trabalho de avaliao faz-se de forma progressiva e medida que
avana exige constantes adaptaes. O planejamento, por mais
bem feito que seja, considera o mximo de variveis possveis,
mas no tem condies de prever o impondervel; desse modo,
a avaliao precisa ser feita com suficiente plasticidade para que
possa enfrentar esses fatores imprevisveis de forma efetiva e bem-
253
5/29/15 3:37 PM
-sucedida. A avaliao de um sistema educacional em nvel de

Estado, por exemplo, apresenta inmeros problemas que no so
antecipveis, acontecem na medida em que o trabalho se processa; por outro lado, ainda que os treinamentos realizados em diferentes nveis sejam eficientes, as informaes passadas dentro do
sistema podem gerar diferentes procedimentos, s vezes com inovaes, e comportamentos no previstos que podem afetar todo o
processo, impondo-se, desse modo, adaptaes para que o planejamento como um todo no seja afetado e os objetivos estabelecidos desvirtuados. A avaliao, assim, exige toda uma dinmica
especial, reflexo de sua plasticidade e capacidade de interao nas
vrias situaes que podem afetar o trabalho do avaliador.
Avaliao e tomada de deciso

A avaliao, qualquer que seja o seu objetivo, pretende chegar a
um ponto que permita a tomada de deciso, s vezes pelo prprio
avaliador, mas na maioria das vezes pela pessoa ou instituio interessada no trabalho. A deciso deve emergir da prpria avaliao, no algo externo, uma simples consequncia do projeto,
mas uma decorrncia do que foi trabalhado. O que desejamos
destacar que a deciso no um fruto exclusivo do avaliador,
mas uma emergncia de todo o processo. Tudo na avaliao deve
levar a essa emergncia, que justifica o trabalho, e d sentido ao
que foi realizado.
Avaliao e dvidas
Ao longo de um trabalho de avaliao as dvidas, as inseguranas
e as incertezas so constantes e devem ser superadas. O avaliador
deve ter uma estrutura mental capaz de superar esse quadro depressivo que se forma e que o leva a perceber que muitas vezes
est sozinho e que por si deve vencer suas prprias angstias. A
situao do avaliador se enquadra nesse contexto, apesar de possuir uma equipe que o auxilia e estar envolvido por numerosas
pessoas que o observam e esperam seus resultados, mas na hora
da tomada de deciso sobre como agir em relao a determinado
aspecto, ele um solitrio na multido, e deve agir por si. Ento,
254
5/29/15 3:37 PM
o agir do avaliador deve resultar da plausibilidade de suas aes

que no devem conflitar com os interesses e as expectativas polticas da sociedade em que atua. Avaliar no estabelecer um
confronto, mas agir sensatamente para que os resultados dessa
avaliao sejam plenamente aceitos pela sociedade.
Avaliao e seus resultados

A avaliao tem objetivos definidos, mas o fato de no os alcanar no significa que tenha fracassado. Isso da natureza do
prprio processo. s vezes, apenas alguns poucos objetivos so
alcanados, o que j representa uma vitria. O mesmo se pode
dizer em relao aos resultados, que nem sempre so positivos,
refletindo o sucesso de um programa ou o xito de uma determinada inovao educacional. O insucesso fornece igualmente
informaes, que so importantes nas decises. Nem todos os
sonhos se concretizam, mas o esforo para realiz-los vlido,
e por si prprio o empenho de concretiz-los j constitui uma
recompensa. Assim, tambm, na avaliao. Apesar de nem sempre chegarmos a resultados favorveis, isso no significa fracasso, antes, uma vitria, mostrou que o programa avaliado no
funcionou e deve ser modificado ou substitudo, que o material arduamente construdo no satisfez plenamente e deve ser
recuperado em certos pontos ou descartado na sua totalidade.
Avaliao e definio de objetivos

A questo dos objetivos em avaliao s vezes colocada em termos retricos; ou melhor, enfatizam-se os objetivos especficos,
que so de natureza operacional e sem os quais nem sempre se
pode construir o instrumental necessrio ao trabalho. Ainda que
possa existir uma avaliao goal-free, indiscutvel que, independentemente de posicionamentos ideolgicos, a definio de objetivos importante, por serem orientadores das vrias atividades.
Isso no significa que a avaliao deve ficar restrita a objetivos
operacionais e/ou comportamentais. A avaliao possui objetivos
amplos, muitas vezes de grande abstrao, e nem sempre mensurveis, quantificveis e at mesmo nem sempre observveis de
255
5/29/15 3:37 PM
imediato. A avaliao visa a provocar um impacto, procura despertar

interesses, tenta gerar atitudes positivas; a avaliao, em sntese, colabora para a promoo da qualidade da educao. O que
qualidade em educao? um atributo que sabemos existir um
construto , sobre o qual hipotetizamos, porque acreditamos no
seu existir, mas dificilmente conseguiremos defini-lo, e nem mesmo h necessidade dessa definio, para sermos concretos.
Avaliao e vieses do avaliador

A educao uma arte, a educao uma cincia. Diramos, ainda, que a educao uma rea de incertezas, resultantes do entrechoque de opinies conflitivas, no se conseguindo muitas vezes
o consenso esperado. O pensamento dos educadores sofisticado
e nem sempre acessvel aos no-iniciados. Talvez haja uma certa
intencionalidade nesse comportamento, cujos objetivos so s vezes nebulosos. No entanto, exigido do avaliador que ele seja claro, exato, preciso, objetivo, positivo e explcito nas suas palavras e
aes, o que nem sempre possvel, porque todo avaliador possui
vieses, que resultam da sua formao, das suas predilees, das
suas experincias profissionais e das suas idiossincrasias ideolgicas. O avaliador no um ser perfeito, possui suas deficincias
e prejuzos, prprios de sua condio humana, que deve ser respeitada. E muitas vezes o avaliador deixa de ser preciso e cai na
subjetividade; contudo, h um espao para a subjetividade na avaliao, mesmo quando trata com elementos objetivos. O homem
avaliador no consegue fugir sua condio humana e, assim,
a subjetividade faz sentido no seu existir profissional.
Avaliao e questes simplistas

A responsabilidade do avaliador enorme na conduo do seu
trabalho, pois a comunidade escola, alunos, pais, professores
se volta para ele, que, assim, se torna o ponto focal que, supostamente, deve iluminar todos os problemas de interesse dos diversos segmentos. O que ele faz pode vir a ser o norte, o objetivo
maior de todo o sistema, que passa, ento, a atuar no sentido de
prever uma imagem de suposta eficincia do ensino, dos pro-
256
5/29/15 3:37 PM
gramas, dos materiais e de inovaes que por ventura estejam

sendo avaliados. Assim, deve ponderar as consequncias do seu
agir, que estar influenciando o comportamento de toda uma
constelao de interessados no seu trabalho.
Apesar desse interesse pelos resultados da avaliao, sobretudo se h possibilidades de que sejam favorveis ao objeto
avaliado, o sistema no apresenta questes desafiadoras ao avaliador, permanece entregue ao seu quietismo burocrtico, espera
de que as coisas aconteam por obra do trabalho de avaliao.
O sistema educacional, salvo as excees de praxe, como convm
acentuar, atua por inrcia, no se autoprovoca, no se estimula,
da, como anteriormente foi registrado, o trabalho de avaliao
ser considerado um ponto nuclear, a partir do qual novas perspectivas se abriro, o que no deixa de ser parcialmente correto.
A expectativa, entretanto, que ao sistema caiba a iniciativa de
aes, a partir de perguntas estimulantes para o avaliador, que
quase nunca so apresentadas, ficando o avaliador como responsvel pela sua propositura e, igualmente, pelas respostas desejadas pelos usurios da avaliao.
O problema da avaliao muitas vezes proposto ao avaliador de forma bastante simplista: avaliar o sistema; avaliar o
livro; avaliar o material didtico etc. A questo inteiramente
vaga, nada diz ao avaliador, no explcita, cabendo, ento, ao
avaliador determinar o que se deseja, usar sua intuio, e com
sensibilidade determinar os objetivos da avaliao, os problemas envolvidos e a destinao que ser dada aos elementos de
informao. A avaliao no um agir individualista, mas um
trabalho solidrio, que demanda o envolvimento da comunidade em que se situa o objeto da avaliao. As afirmaes devem
ser diretivas a fim de que perguntas adequadas sejam propostas
para, ao fim e ao cabo, termos dados de informao que proporcionem uma possvel soluo para a indagao inicial.
Avaliao e seu projeto

Avaliar no simplesmente construir instrumentos e levantar o
mximo possvel de dados informativos. s vezes, o excesso de
dados acaba por prejudicar o trabalho, porque resultam de questionamentos inapropriados. Antes, portanto, de planejar ade-
257
5/29/15 3:37 PM
quadamente a coleta de dados, fundamental, diramos mesmo

que indispensvel, a total imerso do avaliador no projeto, para
conhecer a sua filosofia, os seus propsitos, as suas expectativas
e toda a sua linha de concepo. A identificao com todos os
detalhes do projeto representa mais do que o passo inicial para o
sucesso da tarefa proposta; somente depois dessa interao projeto/avaliador que o projeto passa a realmente existir, adquire
vida e capaz de produzir frutos. Talvez as primeiras perguntas
a serem feitas sejam: como esse projeto foi efetivamente concebido? quais as suas motivaes? quais os seus reais propsitos?
A, sim, podemos comear a interagir programa e avaliador
em busca de respostas aos problemas expostos.
As perguntas que fazemos em avaliao muitas vezes tm
mltiplas respostas, considerando-se que h diferentes interessados sociedade e escola , que esperam respostas diferenciadas.
A avaliao no d uma nica resposta, s vezes nem mesmo
oferece uma resposta, mas apresenta outras indagaes, que so
igualmente importantes para a construo de conhecimento
aprofundado do objeto. A indagao gera outras interrogaes,
que conduzem a novas situaes ou at mesmo a outros problemas, e com isso o conhecimento se acumula, novas perspectivas
se abrem e a avaliao passa a ter validade.
preciso cautela no levantamento de dados informativos,
que podem gerar um quadro enganador. A preocupao muitas
vezes est no acumular o mximo possvel de dados, mas isso
no suficiente. Ainda que haja toda a probidade possvel da
parte do avaliador, se as perguntas no forem aquelas que realmente devem ser feitas e a qualidade das respostas garantida,
o simples acmulo de elementos de informao no faz sentido.
preciso que toda avaliao tenha pelo menos duas audincias:
a dos que aplaudem e a dos que criticam; dessa forma, as perguntas devem apresentar fatos teis, que justifiquem os aplausos
e possam responder queles que por ventura venham a apresentar suas crticas, muitas vezes bastante procedentes.
Avaliao e ocorrncias provveis

Quando comea efetivamente uma avaliao? uma pergunta
que nos temos feito reiteradas vezes e a resposta foge ao comu-
258
5/29/15 3:37 PM
mente apresentado: o seu comeo est com o planejamento,

com o design. Parece-nos que, antes disso, antes de planejar,
o avaliador deve ter uma intimidade maior com o objeto a
ser avaliado, para, depois, ento, iniciar o seu projeto. Talvez
comear pela anlise de experincias similares j realizadas,
pois nada de novo existe sob o sol; o que pretendemos realizar s vezes j foi feito com eficincia, e preciso aproveitar
experincias anteriores. As avaliaes tm uma base de sustentao terica, sendo til fazer uma review do embasamento
de projetos semelhantes anteriormente realizados. preciso
considerar que a avaliao ser objeto de exame crtico pela comunidade e, assim, antecipadamente, deve ponderar a respeito dos pontos vulnerveis a crticas. H todo um conjunto de
expectativas com relao ao projeto que precisa tambm ser
analisado, pois muito possivelmente vrias dessas expectativas
no sejam concretizveis, por circunstncias do momento, e
necessrio evitar frustraes. Antes de planejar necessrio
pensar nos possveis usurios dos dados e na destinao que
ser dada aos resultados. Aps estas consideraes, faz sentido
iniciar o planejamento.
A preciso dos resultados em uma avaliao possvel e
necessria. Se no houver preciso, no ter credibilidade, da
sua imperiosa necessidade. A possibilidade de obter resultados
precisos exige um trabalho piloto, ou seja, um trabalho que
permita validar a forma como a avaliao ser conduzida. Seria
quase uma pr-testagem de todo o processo para eliminar os
elementos comprometedores da confiabilidade dos resultados.
Vendo as coisas em funo do nosso contexto, sente-se que isso
nem sempre considerado. H um processo de improvisao
acelerada, na falsa crena de que uma avaliao possa ser realizada ex-abrupto. foroso reconhecer que precisamos encarar
com cautela muitos resultados ufanisticamente apresentados,
pois podem estar comprometidos na sua infraestrutura.
A possibilidade da realizao de um prottipo precisa ser
considerada. Iniciar uma avaliao sem ter perfeita conscincia do que vai acontecer, dos problemas que podero surgir,
comprometendo todo o processo, temerrio e um avaliador
com experincia ter certamente o bom senso de evitar essa
situao. A pr-realizao de uma avaliao permitir que o
avaliador considere uma amplitude bastante grande de ocorrn-
259
5/29/15 3:37 PM
cias provveis que na prtica do dia a dia podem efetivamente

surgir, s vezes de forma inesperada e sem possibilidade de uma
soluo imediata.
Avaliao e reproduo de modelos

A questo dos planos de avaliao precisa ser considerada com
bastante ateno, tendo em vista que em muitos casos so pouco
flexveis, preocupados com mincias, apresentando uma formatao estereotipada e um contedo bastante repetitivo. Falta a
esses planos uma personalidade prpria, que lhes d identidade,
uma caracterstica pessoal. H casos em que os planos se repetem ipsis verbis de instituio para instituio, de programa para
programa, sem considerar a diversidade dos contextos educacionais e das caractersticas culturais. H um certo mecanicismo,
uma rigidez nessas planificaes. preciso que os projetos de
avaliao fujam a esquemas pr-definidos e que considerem a
diversidade das situaes, o que nem sempre ocorre.
O avaliador deve valorizar o seu trabalho, recusando projetos que no ofeream oportunidades de uma atividade criativa.
Explicitando a questo, podemos dizer que muitos projetos
so parte da burocracia educacional, que pondervel e adota esquemas que no do margem a novas indagaes, a novos
procedimentos. Em sntese, nada acrescentam ao avaliador
e nem concorrem para o aprimoramento do prprio processo
de avaliao. Repetem-se ad nauseam, so simples reprodues de
outros modelos, nem sempre escolhidos adequadamente. um
trabalho que leva exausto intelectual e os resultados no so
compensadores, pois no fertilizam a rea educacional, no geram novos conhecimentos. Repetem procedimentos sem nada
acrescentar. A impossibilidade de criatividade motivo suficiente para a recusa de um projeto de avaliao, assim como a falta
de liberdade. Se o avaliador no tiver liberdade de atuao, se
no puder agir com autonomia (relativa em alguns casos, mas
absoluta em outros), segundo sua capacitao e aceitando a responsabilidade por suas aes, melhor que no inicie o projeto,
porquanto se sentir cerceado no seu agir. O avaliador precisa
convencer-se de que suas atividades sofrem algumas limitaes e
com estas deve conformar-se. Ainda que deseje divulgar os dados
260
5/29/15 3:37 PM
de forma que possam ser amplamente utilizados, preciso reconhecer que a avaliao no sua propriedade particular, devendo,
assim, conciliar os seus desejos com os interesses da outra parte (agncias financiadoras, rgos governamentais, instituies
etc.). Por outro lado, precisa considerar que crenas e convices
no devem influenciar a avaliao, produzindo um trabalho
ideologicamente contaminado, o que muitas vezes ocorre; alm
disso, o avaliador no deve insistir em permanecer indefinidamente em um mesmo projeto, apropriando-se dele como algo
exclusivamente seu. O rodzio do avaliador por vrios projetos
salutar para a avaliao e especialmente para o prprio avaliador.
Avaliao e estratgias de divulgao

As relaes entre avaliadores e administradores muitas vezes
so tensas. O avaliador nem sempre considera aspectos que o
executivo acredita fundamentais. Por exemplo, custos. E criam-se alguns conflitos. O administrador, por sua vez, quer o domnio das informaes, mant-las sob seu controle, pois parte
do pressuposto de que ter informaes ter poder. O avaliador
julga que esses dados devam ser amplamente divulgados para
diferentes segmentos a fim de que os frutos do seu trabalho
sejam disseminados e produzam efeitos.
Nada mais legtimo, especialmente na rea da avaliao
educacional. Entretanto, necessrio um entendimento entre
as partes. A avaliao depende em muitos aspectos de apoio logstico, que a administrao proporciona; por sua vez, o executivo necessita dos dados da avaliao para a tomada de decises.
Ambos, portanto, completam-se e devem respeitar suas respectivas reas de atuao.
H uma preocupao legtima dos avaliadores com os aspectos ticos da divulgao dos resultados. A forma como essa
divulgao feita pode significar o descrdito do projeto e,
consequentemente, a sua repercusso negativa e o menosprezo
dos resultados. H que adotar, portanto, medidas acautelatrias
para divulgao dos dados ao final do estudo, para que os mesmos no sejam invalidados. Outro aspecto a considerar refere-se
privacidade dos dados, que no pode ser descurada. Ainda que
em muitos lugares, como, por exemplo, na Inglaterra, os resul-
261
5/29/15 3:37 PM
tados de avaliaes educacionais sejam apresentados com a individualizao das escolas participantes, acreditamos seja questionvel esse comportamento, tendo em vista as suas diferentes
implicaes. Alm disso, em muitos casos, existem obrigaes
contratuais, que limitam a divulgao parcial ou total dos dados, sendo um aspecto a considerar pelo avaliador.
A estratgia de divulgao dos resultados de avaliaes
precisa ser considerada com cautela. Qual o procedimento a seguir? Resultados parcelados ou apenas ao final dos trabalhos? A
divulgao dos resultados globais, procedimento mais frequente, costuma causar um grande impacto, mas, simultaneamente,
provoca interpretaes que podem ser distorcidas, especialmente pelos rgos da mdia, que nem sempre esto interessados no
fato cientfico, mas na repercusso que ter junto ao pblico.
A divulgao parcelada parece-nos a mais sensata, porque o
pblico interessado passa a participar das vrias fases do trabalho e assim o acompanha at o final, discutindo seus aspectos
e vivenciando os problemas em diferentes momentos.
Avaliao e relaes humanas

O fator pessoal na avaliao um elemento que no pode deixar de ser considerado, inclusive tendo em vista a possibilidade do surgimento de situaes conflitivas na prpria equipe,
j que a avaliao uma obra realizada em conjunto. H, pois,
na avaliao, um componente de relaes humanas que precisa ser gerenciado com o objetivo de evitar quadros de conflito entre os membros do grupo de trabalho. Uma equipe em
crise de relacionamento no consegue produzir, desgasta-se e
fragmenta-se, inviabilizando o trabalho. Outro problema humano centra-se no interesse das autoridades em relao aos dados da avaliao. Este interesse algumas vezes somente surge
aps a divulgao dos resultados e do impacto que por ventura
os mesmos provocaram. preciso que as autoridades, inclusive as administrativas, na rea da educao, aprendam com
os dados e atentem para a sua relevncia e significado. O fator
pessoal tambm est presente no avaliador, no seu desejo de
mostrar o que conseguiu positivar e as concluses a que chegou, havendo necessidade de um controle do que poder dar
262
5/29/15 3:37 PM
margem a exibicionismos e a procedimentos inconsequentes.

Ao avaliador deve-se exigir uma postura serena de cientista.
O equilbrio na comunicao dos resultados de uma avaliao indispensvel, sem o que o trabalho poder resultar prejudicado. A carncia de elementos informativos um obstculo
para uma boa avaliao, mas, por outro lado, um nmero excessivo de informaes, muitas vezes conflitivas, no permite,
igualmente, uma anlise razovel das variveis envolvidas. necessrio, portanto, que no delineamento da avaliao seja feita
uma ampla discusso sobre os dados a coletar, no incidindo no
erro frequente de levantar dados simplesmente por levantar um
maior nmero de elementos sem saber, muitas vezes, qual a destinao que ser dada a esses elementos. A avaliao no pode
conter no seu mago elementos que a invalidem.
O problema da comunicao dos resultados de uma avaliao reveste-se da maior complexidade, e exige reflexo do avaliador. As comunicaes formais, ainda que necessrias, devem
ser suplementadas por outros meios informais, que s vezes
esclarecem melhor, e de forma definitiva, as dvidas surgidas,
as incompreenses que muitas vezes decorrem de uma leitura
imperfeita dos resultados apresentados formalmente, por intermdio de relatrios tcnicos, que nem sempre esto ao alcance
da compreenso de pais, administradores e mesmo de professores, por excesso de tecnalidades. Acreditamos, por isso, que a
comunicao deva ser feita em dois nveis; um, formal, tcnico,
para os especialistas; outro, simples, informal com carter de
divulgao, para acesso de um pblico mais amplo.
Avaliao e repercusses
Ao fazermos uma avaliao precisamos pensar que os nossos
procedimentos tero implicaes nas prximas avaliaes.
Ou seja, ao avaliarmos no presente, estamos criando vetores
que atuaro no futuro. Uma avaliao sempre consequente;
h um momento do agora, quando a avaliao realizada, e um
do depois, quando nova avaliao ser feita. Precisamos pensar,
simultaneamente, em duas dimenses. Um bom trabalho gera
bons frutos: mas um mau trabalho tambm gera frutos, somente que amargos. Uma experincia de avaliao fracassada pode
263
5/29/15 3:37 PM
determinar outros insucessos, difceis de serem superados a

curto prazo e exigindo grandes esforos para superar os problemas criados, s vezes involuntariamente, mas que refletem
no apenas falta de cautela, mas tambm de uma reflexo
crtica aprofundada. Ao avaliarmos, repetimos, preciso que
pensemos nas futuras avaliaes que ocorrero: presente e futuro esto interligados, assim como nas suas repercusses.
A elaborao de um projeto de avaliao deve ter elementos que sejam capazes de despertar o interesse da sociedade.
O interesse no pode ficar limitado ao mbito dos tcnicos
que planejam o trabalho. Isso seria condenar a avaliao a
uma repercusso restrita; ser de conhecimento exclusivo da
comunidade escolar, o que reduziria o alcance da avaliao. A
participao da sociedade, por intermdio dos pais, integrantes
do colegiado, no planejamento, elaborao dos instrumentos,
aplicao, correo e redao dos relatrios, uma atividade de
interao social, proporcionar sociedade uma viso dos problemas de uma instituio que bsica ao seu existir a escola
e possibilitar uma atuao mais eficiente da educao, dando-lhe novos rumos, abrindo novas perspectivas. A avaliao tem
suas implicaes, inclusive na definio das polticas pblicas.
A avaliao no se completa se sobre os seus dados no se
fizerem pesquisas de seus diferentes aspectos. Avaliao e pesquisa se confundem em vrios momentos. H atividades que
apresentam alguma transvarincia, mas em outros aspectos se
afastam, como a possibilidade de repetio dos resultados ou
a generalizao dos mesmos, que no caso da pesquisa pode ser
alto, mas na avaliao geralmente baixo. imperioso que avaliao e pesquisa caminhem juntas, so atividades perfeitamente compatveis, que se complementam e convergem para um
ponto, que a gerao de novos conhecimentos. Sem pesquisa, a
avaliao, sozinha, perde grande parte do seu impacto.
Avaliao e os dados da avaliao

A avaliao destina-se a um pblico e seus resultados no podem ser sonegados. O direito aos dados de uma pesquisa ou de
uma avaliao pela sociedade no pode ser violado, sob qualquer pretexto. preciso, desse modo, inicialmente, saber quais
264
5/29/15 3:37 PM
os dados de informao que devem ser coletados, respeitados,

naturalmente, os direitos humanos, o direito privacidade. Algumas vezes, um excesso de dados levantado sem maior sentido, porque no sero utilizados ou se o forem no contribuiro
efetivamente para esclarecer ou solucionar um determinado problema. A par disso, a manipulao e anlise de um nmero grande de informaes demanda tempo e pessoal qualificado para a
sua disseminao. Acreditamos, desse modo, que seja prudente, inicialmente, uma seleo do que vai ser efetivamente til
e, depois, que a divulgao dos elementos encontrados se faa
paulatinamente, e no apenas em um relatrio nico e final.
A audincia poder, assim, participar mais ativamente de todas
as fases do progresso da avaliao ou da pesquisa.
A literatura tcnica sobre avaliao e, especialmente, sobre medidas, tem crescido vertiginosamente, variando bastante os seus nveis de qualidade e complexidade, problema este
que precisa ser considerado ainda que no no presente. O que
nos interessa, no momento, que essa literatura destaca reiteradamente a necessidade da elaborao de um plano rigorosamente estabelecido que seria indispensvel para a realizao
de uma boa avaliao. evidente que o rigor cientfico indispensvel, a fim de que resultados vlidos e fidedignos sejam recebidos com confiabilidade pela comunidade e exeram algum
tipo de impacto sobre a sociedade e o pblico interessado. Contudo, necessrio ressaltar que a avaliao pode ser realizada
segundo diferentes formas, s vezes menos rigorosas na sua
metodologia, mas nem por isso menos importantes e oferecendo resultados significativos. Pensamos, no caso, por exemplo,
na observao e na utilizao do mtodo indutivo. Apenas
preciso que o avaliador (ou pesquisador) seja uma pessoa realmente capacitada e experiente.
Uma avaliao se processa em um contexto determinado, em
que atuam variveis bastante especficas, que so prprias quela situao particular. Aqui, a atividade do avaliador difere da do
pesquisador, entre outros aspectos, na impossibilidade de replicar
um determinado estudo, como pode fazer um pesquisador experimental. Em avaliao, cada caso um caso especfico, uma situao
prpria, um fenmeno que no se repetir ou que se repetir sob
outros aspectos com caractersticas diferentes. O avaliador, nesse
sentido, um historiador e a avaliao uma obra de histria.
265
5/29/15 3:37 PM
Avaliao e anlise crtica

Uma pesquisa ou uma avaliao deve ser submetida a constante anlise crtica durante o seu processo (meta-avaliao formativa) assim como no final, quando apresenta o seu produto
(meta-avaliao somativa). A crtica, em todas as suas fases, no
apenas contribui para o aprimoramento do processo, com a correo do rumo, tendo em vista provveis desvios, mas tambm
para o crescimento do prprio avaliador, cuja formao se faz
atravs de novas experincias e a vivncia de novos problemas.
A anlise da avaliao concorre, ainda, para que o trabalho no
se desvie das suas metas, dos seus propsitos e dos objetivos estabelecidos e no venha a dar informaes muitas vezes descabidas, ainda que sob uma forma bastante elegante, de problemas
que no foram propostos e que fogem ao mrito da avaliao.
A elegncia da formatao de um relatrio, ainda que til, no
importante; fundamental em uma avaliao a preciso dos
seus resultados e, especialmente, a validade das informaes.
O mrito de uma avaliao no est na forma, o mesmo
ocorrendo com a pesquisa. A atuao coordenada dos trabalhos
pois avaliao e pesquisa so obras de equipe e no one man/
woman show , a maturidade da pesquisa e do avaliador alcanadas aps reiteradas experincias de campo e tambm o grau de
intimidade do avaliador com os futuros usurios da avaliao
so elementos que vo estabelecer o estilo do relatrio, ou melhor dizendo, dos vrios relatrios a serem apresentados, porque, conforme a audincia, um determinado tipo de relatrio,
com formatao e estilos prprios, se deve impor. Um aspecto
precisa ser esclarecido imediatamente: uma avaliao no feita para um grupo restrito de iniciados; uma avaliao no se
destina apenas a avaliadores ou a pesquisadores, a um grupo
seleto de cientistas, mas a toda a comunidade, especialmente a
professores e alunos beneficirios imediatos das avaliaes.
A experincia adquirida ao longo dos anos de prtica gera
uma sabedoria que bem diferente daquela advinda do estudo e
da reflexo sobre o conhecimento produzido e apresentado em
livros e revistas. Um jovem, no ardor de seus verdes anos, dir
(ou diria): sou positivista, quantitativo, dedutivista e somativo.
Uma jovem em flor, na impetuosidade da sua juventude, dir
(ou diria): sou subjetivista, qualitativa, naturalista, indutivista e
266
5/29/15 3:37 PM
descritiva. Os jovens, na sua imaturidade, precisam demonstrar

que so, dizer que so e defender suas posies, ardorosamente.
A idade, a experincia e o trabalho ensinam que h vrios atalhos, que diversas so as sendas, mas que somente existe um caminho e que esse caminho o do meio, que nos leva em certos
momentos a uma posio, que ditada pela complexidade de
um contexto, e em outras circunstncias nos conduz a um posicionamento diverso, porque outro o quadro a ser avaliado.
A rigidez das posies pouco condizente com a flexibilidade de
esprito que deve caracterizar o avaliador.
Avaliao e validade
A questo da validade dos dados mais importante que a fidedignidade. Se os resultados so vlidos, evidente que so precisos,
ainda que a recproca no seja verdadeira. Os dados devem permitir que se faam inferncias sobre a natureza do objeto estudado e
que essas inferncias possam ir alm dos prprios dados (validade
externa). H um acentuado desejo de muitos, entretanto, com a
sofisticao dos planejamentos e, com isso, aumentar a validade
interna, que s vezes mais importante do que as generalizaes.
A avaliao implica custos, muitas vezes bastante elevados e
as fontes de financiamento so bastante parcimoniosas. Assim,
preciso que o avaliador exera um controle nos gastos e desenvolva na equipe um posicionamento tico para que as verbas no
se diluam inutilmente. necessrio, entretanto, atentar para a
qualidade dos dados. s vezes, o controle excessivo pode levar
ao comprometimento dos dados, ou falta de dados essenciais
ao estudo; por sua vez, o controle oramentrio em um aspecto
pode prejudicar outros aspectos do programa. O gerenciamento
a ser exercido pelo avaliador, assim como, na verdade, todos os
seus procedimentos, deve ser caracterizado por um comedimento equilibrado que no afete a harmonia de todo o programa.
Os problemas de amostragem so bastante complexos.
A amostragem exige do especialista uma formao especial, um
treinamento bsico e um estudo especializado bastante aprofundado. A amostragem no admite espritos aventureiros ou simplistas, que acreditam que 10% de alguma coisa seja representativo
de algo que s vezes desconhecem totalmente. Se o trabalho por
267
5/29/15 3:37 PM
amostragem, por detrs dela deve existir uma matemtica bastante sofisticada. Surpreendente, e paradoxal, que nem sempre
uma amostra, por ser supostamente representativa, proporciona
todos os elementos necessrios para um estudo; s vezes, a natureza do estudo pode necessitar de uma sobrerrepresentao de
casos excepcionais para uma coleta de melhores informaes; dar
o papel do estatstico especializado em amostragem, que deve ser
o associado constante do avaliador nos seus estudos, nas suas pesquisas, tendo em vista a validade dos resultados.
Avaliao e rea de habilitao

A avaliao, no nosso contexto educacional pleno de incertezas e dvidas, um contexto bastante fragilizado, bom insistir,
no se constitui em rea de habilitao, por deciso oficial,
tomada h algum tempo por um colegiado de sbios educadores. Apenas a administrao, a superviso e a orientao educacional seriam as supostas reas de habilitao, segundo pareceres de grande erudio livresca e pensamentos confusos.
Assim, a formao do avaliador feita, quando o , em outros
cursos pedagogia, psicologia e, possivelmente, na sociologia.
Aqui surgem alguns problemas: a pedagogia, curso de grande
amplitude de reas, forma generalistas, e a avaliao vista
en passant; a psicologia, com suas vrias tendncias tericas,
excepcionalmente d alguns destaques parte docimolgica, e
a sociologia, fragmentada em cursos monogrficos, apresenta,
sem grande amplitude, aspectos da metodologia da pesquisa. O
quadro assim apresentado exclui praticamente a avaliao; desse modo, por desvio de formao, muitos usam delineamentos
de planejamento que so apropriados s pesquisas de laboratrio, mas nem sempre adequados para a avaliao educacional.
Se a ideia mudar, atravs de um processo de avaliao, se,
alm disso, pretende-se, ainda utilizando uma avaliao, realizar
a implementao de um determinado programa, precisamos, inicialmente, estabelecer o mximo possvel de indicadores, o que
nem sempre realizado, sendo consideradas apenas variveis ligadas ao produto, ou seja, ao rendimento escolar e s atitudes.
Necessitamos, inicialmente, considerar um conjunto razovel
de elementos da demografia educacional, a fim de caracterizar
268
5/29/15 3:37 PM
a nossa clientela, o que se completa com variveis socioeconmicas relacionadas escola e uma srie de indicadores no ligados
escola, mas que so de fundamental importncia para a compreenso do fenmeno por exemplo, a participao da famlia na
educao e, depois, ento, indicadores que dizem respeito diretamente escola, para conhecimento de variveis do contexto,
do processo e do produto. A existncia de mltiplos indicadores
que se intercruzam concorre, pois, para que se forme um quadro
detalhado da realidade a ser criticamente analisada e avaliada.
O avaliador nem sempre est ligado a um nico projeto,
muitas vezes, v-se obrigado, por razes profissionais, a atuar
simultaneamente em diversas avaliaes, s vezes sobre objetos
inteiramente diferentes entre si. Isto exige um esforo hercleo,
uma capacidade de multiplicar-se diante de diferentes situaes
sem se sentir perdido, sem saber que procedimentos adotar e
sem se deixar sucumbir diante do estado de entropia em que se
acha submerso. A avaliao acaba sendo um mergulho em profundidade num mundo de incertezas, por falta de um treinamento adequado do avaliador.
Avaliao e anlise estatstica

Algumas avaliaes realizam o levantamento de grande soma de
dados que, depois, so submetidos a tcnicas estatsticas de alto
nvel e sofisticao matemtica. A interpretao e anlise desses
elementos, por uma questo de prudncia, no devem ser da responsabilidade exclusiva de uma nica pessoa, mas submetidas
a diversos avaliadores experimentados e entre eles discutidas.
Pensemos nas implicaes de uma anlise problemtica realizada por uma nica pessoa. uma grande responsabilidade pois a
avaliao visa a tomada de decises, que por sua vez objetivam
mudanas, que precisam estar aliceradas em elementos slidos,
inquestionveis, e aceitos pela sociedade. Ao relatrio final deve
anteceder, como uma coisa perfeitamente normal, uma anlise
das estatsticas por diferentes pessoas igualmente capacitadas.
A avaliao no momento presente (1997) constitui preocupao de diferentes segmentos da sociedade e no apenas da comunidade educacional. Chega a haver uma certa euforia, o que,
na verdade, preocupante, se atentarmos para o fato de que isso
269
5/29/15 3:37 PM
pode gerar discursos entusisticos e vises obscurecidas por uma

falsa luminosidade. Avaliaes, assim como pesquisas, costumam
incidir sobre as mesmas reas, gerando trabalhos paralelos. Estas
atividades repetitivas somente tm sentido quando se processa
um intercmbio de informaes, quando ocorre um processo de
cross-fertilization que auxilia na soluo cooperativa dos diversos
problemas que esto sendo considerados. A troca de informaes
entre diferentes grupos, alm de desejvel, sempre bem-vinda.
As avaliaes costumam ter um custo elevado mesmo quando se utiliza a mo de obra disposio nas escolas ou nas Secretarias de Estado. Apesar do emprego de mo de obra muitas vezes
ociosa, o custo existe e o avaliador deve atentar para procedimentos de racionalizao dos gastos. necessrio que o avaliador
atente para os procedimentos de racionalizao dos gastos. importante que o avaliador pergunte a si prprio se o elemento que
vai coletar justifica o investimento a ser feito e se haver um uso
consequente deste mesmo elemento, justificando-se mais ainda
os gastos operados, pelas aes que pode gerar. Isso indiscutvel
tanto na rea pblica como na atividade privada.
Avaliao e comparabilidade
O desenvolvimento de um programa de avaliao muitas vezes
se reveste de grande complexidade, exigindo elementos tcnicos em vrios nveis, pessoal qualificado para diferentes tarefas
e muitas vezes o envolvimento de dezenas de pessoas para que
o processo ocorra com um nmero mnimo de problemas. Ora,
certas avaliaes so verdadeiras operaes de estado-maior, que
exigem hierarquizao, disciplina e seguimento de normas prescritas. H necessidade, assim, do estabelecimento de mecanismos de controle que garantam o desenvolvimento do processo,
por exemplo o monitoramento dos pais, como representantes
da sociedade. preciso, contudo, que esses controles representem um custo razovel e limitado s previses oramentrias;
por sua vez tambm necessrio que se pense na possibilidade
da dispensa desses controles e nos efeitos negativos irreversveis
para a avaliao se a eliminao dos mesmos ocorrer.
comum em avaliao ouvir falar em comparaes dos dados. A coisa colocada de tal forma que se no houver compa-
270
5/29/15 3:37 PM
raes no haveria avaliao. O assunto merece considerao,

evidentemente, sem radicalizaes. evidente que havendo
equalizao dos resultados, as medidas obtidas podero, em
princpio, ser comparadas.
igualmente claro que existem diferentes maneiras de
promover essa equalizao, seja por intermdio de procedimentos clssicos, seja via procedimentos chamados modernos,
ainda que cinquentenrios, como o caso da teoria do trao latente mais conhecida por teoria da resposta ao item, vista por
alguns como o dernier-cri na rea da abordagem quantitativa.
necessrio, antes de mais nada, que se atente para a natureza
das comparaes desejadas e o estgio em que se encontra a
avaliao no contexto educacional, quando, ento, se poder
pensar em comparaes de dados, que, s vezes, frustram as
nossas expectativas. Finalmente, preciso atentar para o fato
de que programas com mltiplos e s vezes objetivos dissimilares no geram dados comparveis, e que nenhuma tecnologia,
por mais evoluda que seja, conseguir superar o problema e
tornar comparveis dados que na realidade no o podem ser.
preciso cuidado com o mito da comparabilidade3.
3 Ver NUTTALL, D. The myth

of comparabilily. Journal of
the National Association
of lnspectors and Advisers,
n. 11, p. 16-18, 1979.
Avaliao e terceIrizao
Avaliao um processo financeiramente dispendioso, exigindo
investimentos, e que demanda o envolvimento de um nmero
elevado de pessoal tcnico-cientfico, administradores e elementos da rea burocrtica em diferentes nveis. Isto significa dizer
que muitas instituies, por suas limitaes, no fazem avaliaes, ainda que as desejem, e nem as contratam de terceiros,
pelas mesmas razes. A avaliao est se tornando uma atividade entre instituies especializadas e rgos governamentais,
via diferentes processos de associao, consrcio ou simples terceirizao. A legislao sobre o assunto complexa e de difcil
entendimento, demandando assessoria especializada na hermenutica jurdica. Qualquer falha que venha a ocorrer pode inviabilizar todo o processo, inclusive impedindo a realizao da
avaliao, em muitos casos.
As relaes avaliao-avaliador so intermediadas por uma
instituio, na maioria das vezes. O avaliador no tem maior
271
5/29/15 3:37 PM
envolvimento institucional, sendo apenas um tcnico, mas estranho aos quadros institucionais. O avaliador, muitas vezes, se
encontra em uma situao bastante bizarra, vendo-se obrigado,
por fora contratual, a aceitar certas decises ou a participar de
aes que foram decididas sua revelia, sem a sua concordncia,
sem ao menos ter sido ouvido. Isso realmente um problema,
que pode ter implicaes ticas para o avaliador que, assim, fica
numa situao conflitiva que pode levar renncia ao projeto,
com prejuzo para ambas as partes, sendo aconselhvel, portanto, que se estabeleam negociaes entre instituies e avaliadores a fim de evitar constrangimentos que possam invalidar os
esforos no sentido de realizar um trabalho significativo.
A sociedade moderna, com suas relaes jurdicas extremamente complexas, est criando uma nova situao e gerando
novos tipos de relacionamento, forando o aparecimento de
outras formas de responsabilidade ou de corresponsabilidade. Anteriormente, a avaliao se fazia pela contratao de
algum responsvel pela avaliao, um professor com experincia, e uma instituio. A responsabilidade pelo sucesso e, sobretudo, pelo fracasso estava centrada na pessoa do avaliador;
hoje, entretanto, as relaes se esto alterando. O avaliador,
um professor ou especialista, est ligado a uma instituio,
que contratada para fazer a avaliao. Desse modo, as relaes jurdicas e a responsabilidade se alteram, no mais uma
relao indivduo/instituio, mas instituio/instituio, e a
responsabilidade no mais exclusiva do avaliador, mas da
instituio, passando o avaliador a corresponsvel, apenas.
Avaliao e relaes contratuaIS

Uma avaliao deve estabelecer necessariamente um cronograma de desenvolvimento de suas vrias fases, com a especificao
das tarefas, e suas datas provveis. evidente que no se pretende um esquema rgido, que o planejamento tenha a preciso
de um maquinrio suo. Seria uma violncia, inclusive contra
o prprio avaliador. Os prazos, em avaliao, devem ser bastante flexveis para no criar situaes de tenso e ansiedade, que
dificultam o desenrolar do processo. Os prazos, em avaliao e
em pesquisa, devem ser postos com antecedncia, discutidos
272
5/29/15 3:37 PM
pela comunidade e cumpridos sem relutncia. Inclusive, deve-se fixar um deadline para o trabalho avaliativo. A fixao de um
cronograma de um bvio total, sendo indispensvel qualquer
comentrio. O estabelecimento de um prazo final tambm se
justifica, pois a sua fixao no incio vai ditar o ritmo dos esforos ao longo dos trabalhos. Avaliao, planejamento e cronograma impossvel fugir a esses dois ltimos elementos, qualquer
que seja o tipo de avaliao: quantitativa ou qualitativa.
As relaes contratuais para a prestao de servios de avaliao esto ficando cada vez mais complexas, mais detalhistas, mais
cheias de sutilezas e, consequentemente, dando origem a contratos longos, com itens, subitens, pargrafos e alneas, que acabam
fazendo com que sua leitura seja difcil e, frequentemente, bastante tediosa. mais uma influncia do bacharelismo coimbro
na rea educacional. A tentativa de amarrar bem as coisas, prevendo tudo e estabelecendo todos os detalhes, acaba por dificultar a avaliao, s vezes impedindo a de concretizar-se. Uma lio
preciso extrair desta situao: definir demais as coisas no a
melhor forma de estruturar um bom esquema para levantamento
de informaes, pelo menos em avaliao educacional.
O macro e o micro em avaliao precisam ser considerados.
H casos em que uma macroavaliao, realizada a partir de toda
uma populao, impe-se por diferentes razes, inclusive por
suas ressonncias polticas. A microavaliao, a partir de uma
amostra, tambm igualmente vlida, no nos esqueamos. Isto
significa que precisamos atentar para as diferentes circunstncias que vo afetar a concretizao da avaliao; no entanto,
foroso que nos convenamos de que, pelo simples fato de
estarmos realizando uma pesquisa em larga escala, envolvendo centenas de milhares de sujeitos, no estaremos coletando
informaes de melhor qualidade, mais vlidas, do que se tivssemos partido para uma avaliao amostral, em pequena escala.
As circunstncias, o contexto e os recursos financeiros so variveis que ditaro o caminho a seguir.
Avaliao e macroavaliao
As avaliaes, conforme foi reiterado ao longo destas reflexes,
so um empreendimento dispendioso. Ipso facto, uma avaliao
273
5/29/15 3:37 PM
que abranja um nmero considervel de sujeitos e exija infraestrutura complexa, alm, naturalmente, de um software sofisticado,
deve ser objeto de mltiplos financiamentos oriundos de agncias diferentes: pblicas e privadas; nacionais e internacionais;
entretanto, quando se aprofunda o problema, chega-se concluso de que essas agncias devem ter diferentes perspectivas sociais, polticas e at mesmo econmicas. Parece-nos salutar que
uma viso multifacetada venha a influir sobre a abordagem metodolgica e a diversidade dos interesses a considerar.
Vivemos, pelo menos no contexto nacional, no momento
presente (1997), a hora das grandes avaliaes: avaliao de sistemas de ensino, avaliaes ao final do 2o Grau como uma nova
forma de acesso ao ensino superior e avaliao das grandes reas
profissionais, ao final dos cursos, para, a partir desses resultados, fazer uma avaliao institucional. No pretendemos entrar
no mrito dessas complexas questes. A vida a grande mestra,
mesmo em avaliao. Fazer macroavaliaes implica, necessariamente, descentralizar tarefas e atividades, uma questo de bom
senso; uma prtica saudvel. A avaliao, reproduzindo uma
expresso utilizada anteriormente, no de forma alguma one
man/woman show; mas um trabalho socializado por uma sociedade que busca conhecer a si mesma, suas virtudes e seus defeitos,
principalmente estes ltimos.
A avaliao pode prestar grandes servios sociedade, especialmente em relao a elementos fundamentais: a escola, seu
currculo, seus programas, seus professores e, acima de tudo,
seus alunos. A sociedade comea a descobrir a avaliao, a sentir
os efeitos da sua atuao e a perceber que para se autoconhecer
necessita estabelecer um estreito relacionamento com a avaliao, inclusive para no sucumbir. Entretanto, at agora, a contribuio da avaliao para a sociedade ainda no perfeitamente
reconhecida. Por qu? Apesar da importncia da avaliao, o
papel do avaliador, como profissional da educao, tambm ainda
no foi reconhecido pela sociedade, como ocorre, alis, com a
profisso do professor. A importncia do trabalho de ambos
figura de retrica dos que detm o poder.
274
5/29/15 3:37 PM
Avaliao e expertise
O momento presente (1997) de excitao com o boom da avaliao. A partir da cpula da educao ao sacrificadssimo professor
de escola rural todos, repentinamente, passaram a acreditar, a
desejar, a louvar e a aplaudir diferentes propostas de avaliao,
nos vrios nveis educacionais. A comunidade se esquece de que
para uma avaliao bem feita, precisamos, antes de mais nada, de
pessoal tcnico competente e com expertise adquirida ao longo de
uma prtica constante. E ns perdemos o bonde da histria, no
campo da avaliao, porque no se procurou formar recursos humanos, jovens, sobretudo, nos grandes centros de excelncia em
avaliao. E existem muitos nos Estados Unidos, na Inglaterra, na
Esccia e em outros pases fora do mundo anglo-saxo. Por outro
lado e h sempre um outro lado , o governo em seus diferentes
nveis federal, estadual e municipal no se preocupou em fazer investimentos financeiros na rea, salvo alguns poucos casos
(INEP/MEQ). No possvel avaliar sem recursos humanos e sem
recursos financeiros, obvio, mas esta a realidade.
A avaliao, no momento atual, em nosso contexto, um
trabalho isolado. O avaliador um solitrio perdido na sua solido muitas vezes do autodidatismo, e isso um perigo. Este
no o caminho para impor-se socialmente e adquirir o status
que deve ter na sociedade. Sozinho, nada conseguir. Ficar
perdido na estepe desolada em que se pode tornar o mundo
da educao. Sem compartilhar seus interesses, suas dvidas e,
para que no dizer, as suas angstias com outros avaliadores,
ser um ser atomizado, em um mundo intelectual estril. A
avaliao um trabalho participativo, com vistas socializao das experincias individuais.
O ritual de pesquisa educacional estabelece que, identificado um problema, se procure fazer um levantamento de trabalhos anteriores para depois mergulhar efetivamente no campo
da investigao. preciso conhecer e assimilar experincias
anteriores, acumulando-as e incorporando-as ao patrimnio do
pesquisador. A mesma liturgia deve ser seguida pelo avaliador.
Ainda que o nmero de avaliaes no nosso contexto seja limitado, a literatura estrangeira, e no apenas a anglo-sax, copiosa, sendo necessrio um trabalho seletivo, tendo em vista que,
ao lado de trabalhos de relevncia, existem experincias sem
grande significao, que pouco, ou mesmo nada, acrescentam
275
5/29/15 3:37 PM
ao existir do avaliador. Todo o material acumulado deve ser estudado, discutido e analisado em profundidade, a fim de que,
mais tarde, o avaliador realize trabalhos significativos que, por
diferentes caminhos, possa influenciar na educao, inclusive
por intermdio da definio de novas polticas pblicas.
Avaliao e componentes ticos

A avaliao, assim como a pesquisa, tem um conjunto de componentes ticos que no podem ser ignorados. A pesquisa, talvez
tendo em vista o fato de possuir uma tradio mais antiga, j
mereceu a considerao de vrios tericos e praticantes, que se
debruaram sobre o problema e estabeleceram padres de orientao. Poderamos simplesmente aceitar essas normas de conduta; entretanto, acreditamos que os avaliadores tambm se devam
dedicar, talvez no seu lazer criativo, anlise da avaliao sob
o ponto de vista da tica, especialmente porque, no momento,
com o boom de avaliaes no contexto nacional, comea a aparecer uma figura extica, um estranho no ninho, a que chamaremos, eufemisticamente, de o parvenu da avaliao, cujo grau de
probidade cientfica somente ser possvel constatar na medida
em que os avaliadores promovam uma reviso crtica dos seus
desempenhos, do desenho metodolgico de seus projetos e da
conduta tica subjacente a toda avaliao.
Uma pergunta surge de imediato e pode constituir-se em
motivo de angstia: como proceder, como agir para que padres
ticos sejam seguidos? Parece-nos que os avaliadores devam estar sempre em viglia na preservao de padres profissionais
e ticos elevados, considerando que o avaliador um pesquisador, especialmente um educador preocupado em influenciar e
gerar novas polticas pblicas, que se transformaro em aes,
e, ao final, influiro em um universo de pessoas, cujos direitos
precisam ser respeitados. Por isso, a avaliao deve promover
um amplo debate sobre suas estratgias de ao, suas controvrsias, suas motivaes e suas consequncias sobre a audincia a
que ela se destina. Diramos, ento, que a avaliao precisa sofrer
constantes e mltiplas crticas independentes, para que se possa
desenvolver e cumprir sua destinao.
276
5/29/15 3:37 PM
5/29/15 3:37 PM
INSTrUES A COLABOrADOrES
(impresso)
NORMAS gERAIS
- encaminhar duas verses do artigo: uma
Estudos em Avaliao Educacional publica
para avaliao, em pdF, sem informaes que
trabalhos inditos referentes educao,
permitam identificar a autoria; e outra, em
apresentados sob a forma de relatos de
Microsoft Word, com todas as informaes.
pesquisa, ensaios tericos, metodologias,

revises crticas, artigos e resenhas.
caso o artigo seja em coautoria, o ideal que

todos os autores estejam cadastrados no sistema.
excepcionalmente, sero aceitos trabalhos
possvel, no entanto, o envio do texto apenas
que tenham sido publicados em peridicos
com o cadastro de um dos autores. em ambos
estrangeiros (com a indicao da fonte), os
os casos, a pessoa que envia o arquivo precisa
quais sero submetidos mesma avaliao dos
incluir os coautores no passo 3. Metadados da
artigos inditos. o autor dever apresentar a
submisso incluir Autor.
autorizao da revista em que seu artigo tenha

sido originalmente publicado.
para acompanhar o status da submisso, deve-se

acessar o sistema menu acesso login e senha.
os originais recebidos so apreciados por

especialistas da rea e pelo comit editorial,
A primeira pgina do texto deve trazer o ttulo
mantendo-se em sigilo a autoria dos textos.
do trabalho e omitir o nome do autor e a filiao

institucional, a fim de assegurar o anonimato no
os autores recebem comunicao relativa aos
processo de avaliao.
pareceres emitidos. o comit editorial reserva-se o

direito de recusar o artigo ao qual foram solicitadas
na extenso, os artigos no podem exceder
ressalvas, caso no sejam atendidas a contento.
25 pginas (includos os anexos) e a extenso

mxima das resenhas de seis pginas, e devem
se a matria for aceita para publicao, a revista
ter o seguinte formato obrigatrio: 3 cm de
permite-se introduzir pequenas alteraes
margem superior, 3 cm de margem inferior, 3 cm
formais no texto, respeitando o estilo e a opinio
de margem esquerda e 2 cm de margem direita;
dos autores.
pargrafo 1,25; com espaamento de 1,5 entre as
os trabalhos no devero ser publicados em

qualquer outra forma antes de decorridos
seis meses de sua publicao em Estudos em
Avaliao Educacional.
Artigos de um mesmo autor s ser publicado
com intervalo de, pelo menos, seis meses.
solicita-se do(s) autor(es): nome completo,
vnculo institucional: ltima ocupao profissional:
cargo e filiao (empresa, instituio ou
organizao); unidade de referncia (da ocupao
profissional): Faculdade/instituto, programa
de Graduao/ps-graduao, departamento;
titulao (graduado, especialista, mestre/
mestrando, doutor/doutorando), endereo,
telefone, celular e correio eletrnico. pede-se,
linhas; sem espao (anterior ou posterior) entre

os pargrafos, pginas enumeradas (aps a folha
de rosto, na margem inferior direita), fonte em
Times New Roman, no corpo 12.
Ttulos e subttulos devem ter, no mximo,
11 palavras (incluindo artigos, preposies,
conjunes etc.).
toda matria, exceo de resenhas, precisa vir
acompanhada de resumo contendo no mximo
11 linhas, com espaamento simples entre as
linhas e sem espao entre pargrafos, sem
conter siglas nem referncias, trazendo, em seu
incio, o ttulo do trabalho. Ao final do resumo,
indicar quatro palavras-chave (descritores) do
contedo do texto.
ainda, que o autor indique como seu nome
citaes, remisses, notas e siglas devem
deve constar da publicao, bem como o nome
obedecer s regras da Abnt (nbr 10520, 2002).
completo da instituio qual est vinculado e
As citaes diretas (textuais), com at trs
seu e-mail de contato.
linhas, devem ser incorporadas ao texto, entre
os autores recebero trs exemplares impressos

da revista em que seus textos forem publicados.
APrESENTAO DOS OrIgINAIS
para submeter um artigo a Estudos em Avaliao
Educacional, necessrio:
aspas, sendo necessrio indicar o sobrenome do

autor, ano e nmero da pgina.
ex.: em funo desses indicadores, chegou-se
organizao de cinco grandes grupos de escolas
denominadas azul, verde, amarelo, laranja e
vermelho (so pAulo, 2001, p. 55).
- estar cadastrado no portal de peridicos da

Fundao carlos chagas.. se no estiver, acesse
para fazer o cadastro: <http://publicacoes.fcc.org.
br/ojs/> (o login e a senha sero a chave para o
acesso ao sistema).
5/29/15 3:37 PM
Citaes com mais de trs linhas devero ir
resoluo (300 dpi), todos produzidos em preto e
em um bloco abaixo do texto, sem aspas, com
branco, em tamanho mximo de 10 cm de largura.
recuo de 1,25 cm, a partir da margem esquerda,

com espaamento simples entre as linhas e sem
Referncias de cunho bibliogrfico devem
espao entre pargrafos, em fonte Times New
vir ao final do texto, por ordem alfabtica de
Roman e corpo 10, sendo necessrio indicar o

sobrenome do autor, ano e pgina. Ex.:
[...] a sofisticao tcnica da avaliao
sobrenome do autor, e, quando possvel, fazer

constar por extenso o prenome dos autores. Os
ttulos das obras devem vir em itlico.
nacional que hoje ocupa a ateno da cpula
Quando houver dois ou trs autores, separa-se o
decisria e de seus assessores apresenta-se
primeiro autor e os demais por ponto e vrgula;
como entrave para a compreenso; tanto
ultrapassando trs autores, faz-se a entrada
pelos atores dos sistemas e escolas como pela
pelo autor principal (referenciado no texto) e
populao em geral, do processo avaliativo
substitui-se os outros pela expresso et al..
realizado. (FREITAS, 2004, p. 685)

Sua apresentao deve seguir as normas da ABNT
Na citao de citao deve ser empregada
(NBR 6023, 2002). A exatido das referncias e a
a expresso latina apud (citado por) para
correta citao no texto so de responsabilidade
identificar a fonte que foi efetivamente
do(s) autor(es) dos artigos, sendo uma exigncia
consultada, a qual deve ter a referncia completa
para a publicao do trabalho.
no rodap; e na lista de Referncias incluir apenas

a obra consultada (CARONE et al., 2003).
direito de resposta
Estudos em Avaliao Educacional acolhe
Ex.: Para Watson (apud CARONE et al., 2003) [...].

As remisses bibliogrficas indiretas so
incorporadas ao texto entre parnteses (ano).
Ex.: Segundo Joo Barroso (2006), todos...
comentrio(s) a artigo publicado na revista.

Se o comentrio for aceito para publicao,
a revista oferecer ao autor igual espao
para rplica, que poder ser publicada no
mesmo nmero do comentrio ou no nmero
subsequente. Ambos esto sujeitos ao mesmo
As notas explicativas devem ser evitadas e
processo de avaliao dos demais textos.
utilizadas apenas quando for estritamente
No so aceitos comentrios ou rplicas
necessrio, preferencialmente sem ultrapassar
a resenhas.
trs linhas. Devem figurar sempre no rodap da

pgina, numeradas sequencialmente.
As siglas devem ser desdobradas quando
mencionadas primeira vez no artigo.
Ex.: Exame Nacional do Ensino Mdio (Enem).
ASSINE A REVISTA
Estudos em Avaliao Educacional
Tabelas, grficos, quadros e figuras (assim
Tel. (11) 3723-3084
como os ttulos e as fontes) devem ser
www.fcc.org.br
apresentados no corpo do texto, e no em caixas

de texto, alinhados esquerda, em sua pgina
correspondente, numerados com algarismos
arbicos, com ttulos (posicionados acima, em
corpo 12) padronizados quanto ao formato e
termos utilizados. Abaixo destes, sem estarem
em caixas de texto, deve, obrigatoriamente,
ser indicada a fonte dos dados (remetida s
referncias bibliogrficas), com autoria e ano,
inclusive se for de elaborao prpria dos
autores, em corpo 10, alinhada esquerda,
espao 1,5 entre linhas.
Tabelas, grficos e quadros devem, ainda, ser
enviados em um arquivo separado, em software
compatvel com o ambiente Windows, de
preferncia em Excel, e as figuras (ilustraes,
imagens, mapas, fotos etc.) em arquivo com alta
5/29/15 3:37 PM
280
5/29/15 3:37 PM

Heraldo Vianna - Textos e Reflexões

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Heraldo Vianna - Textos e Reflexões

Hochgeladen von

Copyright:

Verfügbare Formate

ESTUDOS EM AVALIAO EDUCACIONAL

CONTRIBUIES DE HERALDO VIANNA

FUNDAO CARLOS CHAGAS

V.25 N.60 NMERO ESPECIAL | DEZEMBRO 2014

ESTUDOS EM AVALIAO EDUCACIONAL N. 2 JUL./DEZ. 1990

ESTudos em avaliao educacional

Naura Syria Carapeto Ferreira

(Universidade Federal de Santa Catarina,

(Universidade Tuiuti do Paran, Curitiba,

Florianpolis, Santa Catarina, Brasil)

Fernando Lang da Silveira

Ncia Maria Bessa

(Universidade Federal do Rio Grande do Sul,

(Pontifcia Universidade Catlica do

Porto Alegre, Rio Grande do Sul, Brasil)

Rio de Janeiro, Rio de Janeiro,

Heraldo Marelim Vianna In memoriam

Rio de Janeiro, Brasil)

(Fundao Carlos Chagas, So Paulo,

Nigel Pelham de Leighton Brooke

(Universidade Federal de Minas Gerais,

Jos Francisco Soares

Belo Horizonte, Minas Gerais, Brasil)

(Universidade Federal de Minas Gerais,

Belo Horizonte, Minas Gerais, Brasil)

(Universidade Federal da Bahia,

Lina Ktia Mesquita de Oliveira

Salvador, Bahia, Brasil)

(Universidade Federal de Juiz de Fora,

Sandra Zkia Sousa

Juiz de fora, Minas Gerais, Brasil)

(Universidade de So Paulo, So Paulo,

Luzia Marta Bellini

(Universidade Estadual de Maring,

Srgio Vasconcellos de Luna

Maring, Paran, Brasil)

(Pontifcia Universidade Catlica de So Paulo,

Maria Ins Gomes de S Pestana

So Paulo, So Paulo, Brasil)

(Instituto Nacional de Estudos e Pesquisas

Yara Lcia Esposito

Educacionais Ansio Teixeira, Braslia,

(Fundao Carlos Chagas, So Paulo,

Distrito Federal, Brasil)

Adlia Maria Mariano da Silva Ferreira

Raquel da Cunha Valle

Avaliao educacional: teoria e histria

Avaliao educacional: formao do avaliador

Instrumentos de Avaliao EDUCACIONAL

Reflexes sobre a prtica avaliativa

A revista Estudos em Avaliao Educacional, em seu nmero 60,

de Educao de So Paulo, no perodo de 1997 a 2000, e prestou

Um terceiro grupo de textos refere-se a Instrumentos de

de instrumentos de medida educacional, de 1984, Vianna trata

o uso de metodologias sofisticadas de anlise que dificultam

2 Alguns desses novos

1.1. Avaliao educacional

A sociedade norte-americana sofreu grandes transformaes

Houve, nessa poca, como mostram Madaus et al. (1993),

medir mudanas nos seres humanos (Worthen; Sanders, 1987).

nacional. Os problemas passam a ser considerados no apenas

o ao modelo proposto por Tyler. importante destacar, nesse

pondo novos caminhos para a prtica da avaliao, conforme

prtica habitual, no controle da qualidade do ensino e dos investimentos feitos em educao.