U M A H I S T R I A DA T R I : E N T E N DA

A R G U A D E AVA L I A O D O E N E M

MAI.2015

&

EDUCAO AVALIAO

UMA
H I S T R IA DA

:
TRI

ENTEN DA

A RGUA D E
AVALIAO D O

ENEM

UMA
PUBLICAO

SUPERVISO PEDAGGICA RENATO JDICE

E CAMILA KARINO
DIREO DE ARTE ROB FRIEDE

1 W W W. G E E K I E . C O M . B R

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

MAI.2015

SUMRIO
VOC ENCONTRAR NESTE EBOOK:

INTRODUO
PARTE 1
PARTE 2
PARTE 3
PARTE 4
PARTE 5
PARTE 6
PARTE 7

A TRI E A TRAJETRIA DE DUAS CANDIDATAS

UMA COMPETIO DE SALTO EM ALTURA
TODAS AS ETAPAS DO ENEM
PR-TESTE: QUAL O PBLICO?
QUEM TEM MEDO DA TEORIA ANTICHUTE?
ZERO OU 300?
USANDO A TRI NA SUA ESCOLA
O FUTURO DO ENEM DIGITAL

3
5
9
10
11
13
15
16

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

INTRODUO

A TRI E A
TRAJETRIA
DE DUAS
CANDIDATAS

Julia do tipo esguio. Tem

1,75 m e pesa 53 kg. Clarissa
tem outro bitipo. Mede 1,68
m e pesa 64 kg. Julia usava
um vestido leve azul-claro
com estampas de flores e um
par de sapatilhas e Clarissa
vestia cala jeans com uma
camiseta do Movimento Passe
Livre e tnis quando as duas
prestaram o primeiro dia de
provas do Exame Nacional
do Ensino Mdio (Enem), em
um sbado qualquer. Nossas
duas personagens fictcias levam vidas bem diferentes e
no se conhecem, mas tm
o mesmo objetivo: conseguir
vaga em um curso de Cincias Sociais em alguma universidade federal.
Filha de um psiclogo e
de uma executiva, Julia meditou durante 10 minutos antes de sair de casa. Moradora
de Pinheiros, zona oeste de
3 W W W. G E E K I E . C O M . B R

MAI.2015

So Paulo, pegou carona com

a me e seguiu de carro por
2,5 quilmetros at o local de
prova. Filha de um pedreiro e
de uma diarista, Clarissa rezou por 2 minutos no quarto
de casa em Jandira, cidade
prxima de Osasco, regio
oeste da Grande So Paulo.
Depois pegou dois nibus,
em um trajeto de 8 km, para
chegar escola estadual onde
prestou o Enem.
1 da tarde, Julia j estava
sentada bem ereta na carteira
da escola em Pinheiros, enquanto Clarissa ainda arrumava trs copos de gua embaixo da cadeira na sala em
Jandira. Em minutos as duas
abririam os cadernos de prova
de Cincias Humanas e Cincias da Natureza e iniciariam
uma batalha para mostrar o
que aprenderam nos longos
12 anos de educao bsica.

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

Os sonhos e o futuro de
Julia e Clarissa dependem de
algo que no pode ser observado ou medido diretamente
por algum instrumento, ao
contrrio do peso e da altura
de cada uma, do tempo que
gastaram meditando ou rezando antes de sarem de casa
ou da distncia que percorreram para chegar ao local de
prova. Eles dependem do conhecimento. Mas como medir
o que uma pessoa sabe? Mais
do que isso, como medir seu
conhecimento comparado ao
que ela deveria saber numa
determinada poca da vida escolar? E essa medida permite
comparaes mesmo sem utilizar o mesmo instrumento?
No caso do Enem, a alternativa correta para todas essas
perguntas a Teoria de Resposta ao Item (TRI), um sofisticado conjunto de modelos
matemticos. Julia e Clarissa
no sabem, mas esto prestes
a serem alocadas em uma rgua, que vai dar a medida do
seu domnio nas quatro reas
avaliadas no Enem: Cincias
da Natureza, Cincias Humanas, Linguagens e Cdigos e
Matemtica.
A TRI serve para medir o
trao latente, que qualquer
caracterstica no s de pessoas, mas de empresas e outras instituies, que voc s
consegue medir de forma in4 W W W. G E E K I E . C O M . B R

direta, diz Dalton Andrade,

professor da Ps-Graduao
em Engenharia de Produo da Universidade Federal
de Santa Catarina e um dos
maiores especialistas em TRI
do Brasil. Isso se aplica tanto
ao que se aprende na escola
como, por exemplo, ao nvel
de qualidade de vida de algum. Voc monta um conjunto de perguntas e a partir
das respostas consegue construir uma rgua para medir
aquela caracterstica. Resolver uma questo (item) sobre
fraes, por exemplo, exige o
domnio especfico de um conhecimento matemtico.
A construo dessa rgua
s possvel porque Julia, Clarissa e os outros 8,5 milhes
de candidatos que prestam o
Enem com elas no so os pri-

MAI.2015

meiros estudantes a responder

s 180 questes que avaliam
as quatro reas do conhecimento. Meses ou at anos antes, grupos selecionados de
alunos de escolas pblicas e
privadas de todo o Brasil j fizeram isso, em pr-testes realizados pelo Instituto Nacional
de Estudos e Pesquisas Educacionais (Inep), rgo do Ministrio da Educao que o
responsvel pelo Enem, tanto
do ponto de vista pedaggico
quanto logstico.
Para os alunos do pr-teste, a presso no era nem
de perto a que Julia e Clarissa
estavam sentindo naquele sbado, mas espera-se que eles
tenham respondido quelas questes com tanta seriedade quanto se valesse nota
na escola. Para o Inep, era a

A TRI serve para medir o trao

latente, que qualquer caracterstica
no s de pessoas, mas de empresas e
outras instituies, que voc s consegue
medir de forma indireta.
Dalton Andrade, professor da Ps-Graduao em Engenharia
de Produo da Universidade Federal de Santa Catarina
e especialista em TRI

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

oportunidade de descobrir o
perfil das questes, para determinar, por exemplo, o lugar onde cada uma delas cairia
na rgua do exame. o que
se denomina tecnicamente de
calibrar o item. Uma questo com grande porcentual de
acertos no pr-teste considerada fcil e fica localizada
na parte inferior da rgua. As
questes de mdia dificuldade
povoam o centro da rgua e as
mais difceis so alocadas na
parte superior da rgua.
Continuando com nossas
analogias com outros instrumentos de medida, posicionar
as questes na rgua de medida do conhecimento to
importante quanto dar sentido
s temperaturas auferidas na
escala Celsius, por exemplo.
Imagine que algum menciona
o valor de 40 graus centgrados. Como conhecemos bem
essa escala, sabemos que esse
valor equivale a um dia de sol
muito, muito quente! Se algum menciona 100 C, sabemos que a temperatura de
ebulio da gua ao nvel do
mar. E assim por diante...
Agora que o Inep posicionou os itens na rgua do conhecimento, dado um determinado valor ser possvel
reconhecer o que aquela pessoa capaz de fazer (o que
ela conhece), o que ela est
aprendendo e o que ela ainda
5 W W W. G E E K I E . C O M . B R

no consegue fazer (o que ela

ainda no conhece). S que
a dificuldade do item no
o nico critrio levado em
conta, como veremos mais
adiante.
Com o pr-teste, temos
parte da rgua pronta. A outra ser dada pelos prprios
candidatos. E a surge logo a
pergunta sobre nossas personagens. Onde Julia e Clarissa
vo se encaixar na rgua do
exame? Ser que mais para
o incio, denotando que elas
sabem pouco? Ou ser mais
para o fim, sugerindo que elas
so verdadeiras nerds, sabem
tudo? Ser que na rgua de
Matemtica elas vo se posicionar bem, mas na de Cincias Humanas vo se dar mal?
E mais, ser que uma das duas
ter uma posio mais privilegiada que a da outra? Enfim, as perguntas so inmeras, mas todas podero ser
respondidas assim que tiver-

MAI.2015

mos a posio delas nas rguas, isto , assim que soubermos a nota TRI de Julia e
Clarissa no Enem. A essa nota
d-se o nome de proficincia.

PROVA DE SALTO EM ALTURA

Para entender bem o que
proficincia, vamos a outra analogia. Podemos imaginar que a trajetria das meninas lembre a de atletas de
salto em altura. Julia e Clarissa saltaram sem problemas
quando o sarrafo estava nas
posies iniciais da rgua de
Cincias da Natureza. Mantiveram o ritmo, acertando as
questes, at o sarrafo ficar
na posio 500. Nesse ponto,
Julia deixou de acertar. Clarissa, porm, seguiu adiante
at o sarrafo ficar na posio
512,5. Veja abaixo uma amostra de questes e seus respectivos sarrafos, conforme mapa
de itens divulgado pelo Inep:

U M A H I S T R I A DA T R I ,
A ESPINHA DORSAL DO ENEM

JULIA

SARRAFO NA POSIO 465.

JULIA E CLARISSA SALTAM
Os carrinhos de brinquedo podem ser de vrios tipos. Dentre
eles, h os movidos a corda, em que uma mola em seu interior
comprimida quando a criana puxa o carrinho para trs. Ao ser
solto, o carrinho entra em movimento enquanto a mola volta
sua forma inicial. O processo de converso de energia que
ocorre no carrinho descrito tambm verificado em
(A) um dnamo.
(B) um freio de automvel.
(C) um motor a combusto.
(D) uma usina hidroeltrica.
(E) uma atiradeira (estilingue).

SARRAFO NA POSIO 485,9.

JULIA E CLARISSA SALTAM
As estrelas-do-mar comem ostras, o que resulta em efeitos
econmicos negativos para criadores e pescadores. Por isso,
ao se depararem com esses predadores em suas dragas,
costumavam pegar as estrelas-do-mar, parti-las ao meio e atir-las
de novo gua. Mas o resultado disso no era a eliminao das
estrelas-do-mar, e sim o aumento do seu nmero.
DONAVEL, D. A bela uma fera. Super Interessante.
Disponvel em: http://super.abril.com.br. Acesso em: 30 abr. 2010 (adaptado).

A partir do texto e do seu conhecimento a respeito desses

organismos, a explicao para o aumento da populao de
estrelas-do-mar baseia-se no fato de elas possurem
(A) papilas respiratrias que facilitaram sua reproduo
e respirao por mais tempo no ambiente.
(B) ps ambulacrrios que facilitaram a reproduo e a
locomoo do equinodermo pelo ambiente aqutico.
(C) espinhos na superfcie do corpo que facilitaram sua proteo
e reproduo, contribuindo para a sua sobrevivncia.
(D) um sistema de canais que contriburam na distribuio de
gua pelo seu corpo e ajudaram bastante em sua reproduo.
(E) alta capacidade regenerativa e reprodutiva, sendo cada parte
seccionada capaz de dar origem a um novo indivduo.

6 W W W. G E E K I E . C O M . B R

MAI.2015

CLARISSA

U M A H I S T R I A DA T R I ,
A ESPINHA DORSAL DO ENEM

JULIA

MAI.2015

SARRAFO NA POSIO 500.

JULIA PASSA E CLARISSA FICA

CLARISSA

Pesticidas so contaminantes ambientais altamente txicos aos seres

vivos e, geralmente, com grande persistncia ambiental. A busca por
novas formas de eliminao dos pesticidas tem aumentado nos ltimos
anos, uma vez que as tcnicas atuais so economicamente dispendiosas
e paliativas. A biorremediao de pesticidas utilizando microrganismos
tem se mostrado uma tcnica muito promissora para essa finalidade,
por apresentar vantagens econmicas e ambientais. Para ser utilizado
nesta tcnica promissora, um microrganismo deve ser capaz de
(A) transferir o contaminante do solo para a gua.
(B) absorver o contaminante sem alter-lo quimicamente.
(C) apresentar alta taxa de mutao ao longo das geraes.
(D) estimular o sistema imunolgico do homem contra o contaminante.
(E) metabolizar o contaminante, liberando subprodutos
menos txicos ou atxicos.

Cincia Gaspar

SARRAFO NA POSIO 502,3.

JULIA SALTA

Suponha que, em cena anterior apresentada, o homem tenha se

alimentado de frutas e gros que conseguiu coletar. Na hiptese de,
nas prximas cenas, o tigre ser bem-sucedido e, posteriormente, servir
de alimento aos abutres, tigre e abutres ocuparo, respectivamente, os
nveis trficos de
(A)
(B)
(C)
(D)
(E)

produtor e consumidor primrio.

consumidor primrio e consumidor secundrio.
consumidor secundrio e consumidor tercirio.
consumidor tercirio e produtor.
consumidor secundrio e consumidor primrio.

7 7 WW
WW
WW
. G. G
E EE KE IKE I . EC. C
OO
MM
. B. RB R

U M A H I S T R I A DA T R I ,
A ESPINHA DORSAL DO ENEM

JULIA

SARRAFO NA POSIO 512,5. JULIA FICA

De acordo com o relatrio A grande sombra da pecuria

(Livestocks Long Shadow), feito pela Organizao das Naes
Unidas para a Agricultura e a Alimentao, o gado responsvel
por cerca de 18% do aquecimento global, uma contribuio maior
que a do setor de transportes.
Disponvel em: www.conpet.gov.br. Acesso em: 22 jun. 2010.

A criao de gado em larga escala contribui para o aquecimento

global por meio da emisso de
(A)
(B)
(C)
(D)
(E)

8 W W W. G E E K I E . C O M . B R

metano durante o processo de digesto.

xido nitroso durante o processo de ruminao.
clorofluorcarbono durante o transporte de carne.
xido nitroso durante o processo respiratrio.
dixido de enxofre durante o consumo de pastagens.

MAI.2015

CLARISSA

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

Julia termina o primeiro dia

de provas e avisa me pelo
WhatsApp que est liberada.
Enquanto espera, Clarissa, que
terminou de preencher o gabarito cinco minutos depois, comea a caminhar em direo
ao ponto de nibus. Vai conversando com uma vizinha que encontrou no local de prova, que
ser sua companhia no trajeto
de volta para casa.

TODAS AS ETAPAS DO ENEM

Enquanto nossas atletas de
salto em altura seguem para
um merecido descanso, na expectativa do segundo dia de
exames, temos uma boa oportunidade para falar, em ordem
cronolgica, de todas as fases
do processo de preparao do
Enem. A primeira delas justamente a elaborao de questes como essas que as meninas acabaram de responder,
uma das etapas mais compli9 W W W. G E E K I E . C O M . B R

MAI.2015

cadas da maratona de montar

uma prova com base na TRI.
Avaliaes baseadas em questes e no no conjunto da prova,
como a TRI, exigem um grande
volume de itens de qualidade,
capazes de aferir o desempenho
de candidatos. Com uma rede
extensa de professores como
a envolvida no Enem, em tese
no seria difcil pinar os 180
itens usados em cada exame.
No bem assim. Quando se
comeou a trabalhar com TRI
no Brasil, nos anos 90, de cada
seis questes voc aproveitava
uma, diz Dalton.
A situao melhorou, mas
ainda alto o descarte de itens
inadequados. Muitas vezes eles
no servem porque no distinguem bem quem sabe de quem
no sabe; noutras porque no
tratam do que o aluno deve dominar (competncia) para passar no Enem. Esses domnios,
como aplicar as tecnologias da

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

MAI.2015

comunicao e da informao na PR-TESTE: QUAL O PBLICO?

escola, no trabalho e em outros J falamos dessa etapa antes,
contextos relevantes para sua mas vale a pena retomar o tema,
vida, esto descritos na matriz e no s para manter a ordem
de referncia do exame.
Para analisar esse ltimo aspecto, a triagem das questes
tem uma etapa pedaggica, que
ocorre antes do pr-teste. Nessa
etapa, muitas questes so descartadas e no so aproveitadas
Baseado nas caractersticas de cada questo,
na elaborao dos instrumeno Enem exige a elaborao de um grande
volume delas. Uma rede de professores
tos de medida. A quantidade de
prepara os itens, muitos deles descartados
j na primeira triagem pedaggica.
questes descartadas depende de
caractersticas das avaliaes (estilo de questo, matriz e etapa
de ensino) e da experincia dos
professores-elaboradores.
A construo de um banco de
itens que d suporte s avaliaNo pr-teste, grupos
es um desafio. Mesmo exarestritos de alunos
mes mais antigos, como o Sisrespondem a lotes de
questes que sero
tema de Avaliao da Educao
includas em edies
Na anlise estatstica,
futuras do Enem. As
Bsica (Saeb), que j usa a TRI
as questes so
com grande ndice de
avaliadas pelo grau
desde 1995, tiveram dificuldades
acerto vo para a base
de discriminao, de
da rgua do exame, as
dificuldade e de chance
com a consolidao de um banco
de mdia dificuldade
de acerto ao acaso. Cada
povoam o centro e as
de questes, diz Amaury Grevarivel dessas gera uma
difceis, o topo.
curva. Quanto antes ela
maud, professor de Economia da
sobe, por exemplo, mais
fcil a questo.
Universidade de So Paulo em
Questes reprovadas nas
Ribeiro Preto e diretor de Avaavaliaes so descartadas
de vez ou encaminhadas
liao do Inep de 2006 a 2008.
para reelaborao.
O Enem passou a usar a TRI
bem depois do Saeb, em 2009.
A cada ano,
Desde ento, o Inep acelerou o
so pinadas
180 questes
processo de elaborao de quesdo banco
tes, fechando uma parceria com
para compor
o Enem. As
37 universidades e institutos fenotas mnima e
Questes aprovadas
mxima dependem
derais de ensino. Mesmo assim,
na triagem vo para
dos parmetros de
ningum de fora do governo se
o Banco Nacional de
dificuldade dos itens,
Itens, que abastece
por isso no h nota
arriscar a estimar o tamanho do
exames oficiais.
0 nem nota 1000.
Banco Nacional de Itens.

PASSO A PASSO NA ELABORAO DE ITENS TRI

2
3

1 0 W W W. G E E K I E . C O M . B R

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

cronolgica dos passos necessrios preparao do Enem.

Como vimos, com base nas
respostas de grupos selecionados de estudantes que o Inep
monta a rgua que mais tarde
vai medir o desempenho real
dos candidatos no Enem. Mas,
assim como a fase de elaborao
das questes, o pr-teste pode
ser problemtico.
Um dos aspectos em jogo
o pblico do pr-teste. preciso ter uma amostra equilibrada de estudantes do ensino
mdio de todo o Brasil. Tem
um problema com os pr-testes, que o fato de muitas vezes eles serem feitos por alunos
sem tanta proficincia. Acontece muito com matemtica.
Voc fica com um monte de
itens que em tese no prestam,
mas o problema est em quem
responde, diz Dalton. A soluo seria pegar tambm alunos
de escolas pblicas e privadas
de bom desempenho.
Especialistas admitem ainda
que h uma diferena de performance entre o pblico descompromissado do pr-teste e
os candidatos que esto jogando
seu futuro no Enem. S que a
desmotivao no pr-teste no
afeta o comportamento do item.
Uma questo de dificuldade 600
vai manter a posio na escala.
O que pode ocorrer a proficincia do aluno ser subavaliada,
diz Tufi Machado Soares, pro1 1 W W W. G E E K I E . C O M . B R

MAI.2015

Em geral, se o processo de elaborao

das questes est bem afinado, o
descarte de itens no pr-teste ser baixo,
na faixa de 5% a 10%.
Camila Karino, diretora de Avaliao da Geekie e ex-coordenadora-geral
de Instrumentos e Medidas do Inep

fessor do Departamento de Estatstica e do Programa de Doutorado e Mestrado em Educao

da Universidade Federal de Juiz
de Fora.
O problema de o aluno
responder de qualquer forma
porque o pr-teste no conta
na nota existe. Mas no Saeb,
por exemplo, os erros so sempre iguais, sistemtico, diz
o matemtico Ruben Klein,
consultor da Cesgranrio, presidente da Associao Brasileira de Avaliao Educacional e pioneiro na aplicao da
TRI no Brasil com o Saeb de
1995 na poca, ele fez at o
programa de computador que
rodou a prova. Voc v um
padro de respostas se repetindo e quando posiciona os
itens numa escala aquilo faz
um sentido enorme.

Ao mesmo tempo que precisa montar uma amostra

abrangente, o pr-teste tem de
ser limitado ao mnimo possvel de escolas, por questes de
segurana.

QUEM TEM MEDO

DA TEORIA ANTICHUTE?
Chegar ao pr-teste no garante que uma questo v ser
incorporada ao Banco Nacional de Itens. Aps serem respondidos em uma aplicao do
pr-teste, os itens so analisados estatisticamente. Em geral, se o processo de elaborao
das questes est bem afinado,
o descarte de itens no pr-teste
ser baixo, na faixa de 5% a
10%, diz Camila Karino, diretora de Avaliao da Geekie e
ex-coordenadora-geral de Instrumentos e Medidas do Inep.

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

Nessa fase de anlise, busca-se verificar empiricamente

a qualidade da questo. So realizadas anlises clssicas e estimam-se os parmetros dos
itens, conforme o modelo da
TRI utilizado no Enem. Uma
das caractersticas analisadas o
poder de discriminao, ou seja,
a capacidade do item de separar
quem domina o contedo de
quem no o domina. Digamos
que no Enem caia uma questo simples, de soma, e 99,9%
dos alunos acertem. Essa questo no traz nenhuma informao para a avaliao, diz Tufi.
Por outro lado, se aplicada no
5 ano do ensino fundamental,
ela pode ser til.
A segunda caracterstica avaliada a dificuldade. Na rgua
do Enem, a posio de uma
questo est relacionada ao n-

MAI.2015

vel de proficincia exigido dos

candidatos para que eles assinalem a resposta correta.
O terceiro parmetro o
que busca estimar se um determinado aluno acertou a resposta na base da adivinhao, do
chute. Essa varivel j valeu ao
Enem o apelido de Teoria Antichute e confundiu estudantes, como veremos um pouco
mais adiante. Ela tenta estimar a
capacidade de algum assinalar
a resposta correta mesmo que
no saiba o necessrio sobre um
determinado assunto. Afinal, o
candidato tem diante de si cinco
alternativas e pelo menos 20%
de chances de acertar a resposta
ao acaso.
A expresso chute est errada conceitualmente, porque
todos tm uma probabilidade
mnima de acertar, afirma Tufi,

COERNCIA NAS RESPOSTAS

que prefere usar a expresso inglesa guessing (algo como palpite) para designar esse tipo de
comportamento dos candidatos.
Uma hiptese que aumenta a
chance de guessing bem-sucedido a de as alternativas erradas (distratores) serem muito
bvias. A pessoa pode acertar
por um processo simples de eliminao.
Durante a anlise de questes, os tcnicos do Inep observam as curvas caractersticas dos itens (CCI) como a
apresentada abaixo. A rgua do
Enem tem como referncia 500,
que foi a nota mdia no Enem
2009 dos alunos que estavam
concluindo o ensino mdio naquele ano.
Pelas curvas possvel analisar todas as caractersticas
das questes. Quanto antes

Julia teve uma trajetria mais coerente na prova que

Clarissa, acertando questes com grau de dificuldade
inferior ao seu nvel de conhecimento e errando as de
nvel superior. Assim, apesar de ambas terem acertado
o mesmo nmero de questes, sua nota ser maior.

PARTICIPANTE B

100

NOTA
310

1 2 W W W. G E E K I E . C O M . B R

200

300

400

500

600

700

800

900

DIFCIL

FCIL

NOTA
PARTICIPANTE A 480

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

a curva subir, mais fcil o

item, explica Camila. Ou seja,
usando como referncia o grfico abaixo, quanto mais a curva
se desloca para a direita, mais
difcil a questo. Por outro
lado, curvas mais eretas indicam maior poder de discriminao entre alunos que sabem
e no sabem. Se ela fica mais
deitada, esparramada, voc sabe
que a questo tem menor poder de separar o joio do trigo,
diz Amaury.

NOTAS E O ZERO QUE VIRA 300

O clculo das notas do Enem
outra operao complexa, rea-

lizada por equipes que renem

especialistas em estatstica, matemtica ou psicometria, rea
que mistura as duas primeiras
com a psicologia.
O processo todo complicado, mas o que candidatos
como Julia e Clarissa por sinal, as duas acabaram de iniciar
a prova de Linguagens e Cdigos no segundo dia do exame
e suas famlias querem mesmo
entender so dois pontos: por
que ningum recebe nota zero
no Enem? E por que estudantes
que acertaram o mesmo nmero
de questes podem ter pontuaes diferentes? Vamos a eles:

Os tcnicos do Inep analisam grficos como este para saber quanto uma questo
consegue discriminar quem sabe de quem no sabe um contedo (a), seu grau de
dificuldade (b) e a possibilidade de acerto na base do chute (c). Quanto antes a curva
subir, por exemplo, mais fcil o item; uma curva mais ereta indica maior capacidade de
discriminao. Se ela fica mais esparramada, voc sabe que a questo tem menor poder
de separar o joio do trigo, diz Amaury Grenaud, ex-diretor de Avaliao do Inep
1 3 W W W. G E E K I E . C O M . B R

MAI.2015

A nota mnima e mxima

do Enem esto relacionadas aos
parmetros de dificuldades dos
itens que compem a prova. No
exame de 2014, em Matemtica,
por exemplo, a nota mnima foi
de 318,5. Ou, em Linguagens e
Cdigos, de 306,2. Esses eram
os menores valores de proficincia que podiam ser estimados
dadas as caractersticas dos itens
daquele ano. Da mesma forma,
a nota mxima em Matemtica
foi de 973,6 a de Linguagens e
Cdigos ficou um pouco abaixo,
em 814,2 ou seja, se o candidato acertasse todas as questes
da prova, esses seriam os valores de proficincia (nota) que
eles receberiam.
O professor Dalton, da Federal de Santa Catarina, brinca
com a preocupao com o zero.
Essa cultura de que quem no
sabe nada tira zero, coitado do
zero, ele tem seu valor. S que
no Enem o zero s vezes vira
300. Ou seja, no Enem o aluno
que erra todas as questes da
prova tira a nota mnima, que
no necessariamente o zero.
J a diferena de notas entre quem acertou o mesmo
nmero de questes obedece a
outro padro, o da coerncia.
Considerando que o conhecimento cumulativo e o domnio de habilidades mais complexas requer o domnio de
habilidades mais simples, espera-se que o estudante acerte

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

as questes com nvel de dificuldade abaixo do seu nvel de

conhecimento e tenda a errar
as questes que exigem um nvel de conhecimento superior
ao que ele possui. Assim, acertos aleatrios, no coerentes,
tendem a valer menos na estimao da proficincia do candidato.
No caso das nossas candidatas, Julia teve um padro de
acertos mais coerente pedagogicamente do que Clarissa. Assim, apesar de as duas terem
acertado o mesmo nmero de
questes, a nota de Julia ser
superior.
Aqui preciso fazer um parntese. A divulgao da Teoria Antichute pela imprensa
atribuiu a essa varivel um peso
que ela no tem. No se trata
de uma metodologia punitiva
que desconta pontos se a questo acertada ao acaso. Por isso,
no se justifica a atitude de outros candidatos, que preferiram
deixar em branco questes que
no sabiam com medo de perder nota. Acertos sempre contam a favor.
Enquanto Julia abre o caderno de prova de Matemtica
e Clarissa resolve a questo nmero 44 de Linguagens e Cdigos, voc pode estar se perguntando: por que o Inep adota
um processo to trabalhoso no
Enem? Por que no levar em
conta apenas o nmero de acer1 4 W W W. G E E K I E . C O M . B R

tos, como feito em exames nas

escolas e at mesmo em concursos pblicos ou grandes vestibulares, como a Fuvest?
Esse modelo, do nmero de
acertos, o da Teoria Clssica
dos Testes. Essa a teoria mais
comumente utilizada, mas ela
tem limitaes que foram superadas pela TRI. Para comear, a
nota na Teoria Clssica depende
do grau de dificuldade da prova.
Voc pode ter um aluno que
tira 7 em um exame. Mas em
outro exame, se voc aumentar
o grau de dificuldade, ele tira 4.
E a, esse aluno nota 4 ou nota
7?, pergunta o especialista em
avaliao Renato Jdice.
Outra caracterstica da TRI,
to importante quanto essa,
a de que provas diferentes so
comparveis. O exame da Teoria
Clssica tem como foco a prova.
E a prova como um todo nunca
vai ser igual a outra (paralelas).
A TRI, ao ter como base uma
escala de referncia, possibilita
a construo de provas compa-

MAI.2015

rveis mesmo que elas no sejam 100% paralelas.

importante ressaltar, porm, que estamos falando em
comparabilidade, no em provas de dificuldade idntica. Isso
porque praticamente impossvel ter dois lotes de 45 questes
com o mesmo grau de dificuldade. O prprio Inep admitiu que o Enem de 2011 tinha
questes relativamente mais fceis do que o exame de 2010.
S que, como em ambos os casos os itens estavam posicionados na mesma rgua, o nico
efeito prtico foi que os candidatos de 2011 tiveram de acertar
mais questes para conseguir a
mesma pontuao dos que prestaram o exame anterior.
Ressalvas parte, a comparabilidade importante por dois
motivos. O primeiro garantir
justia na avaliao, mesmo que
com provas diferentes. Poucos
se do conta, mas o Enem j
realizado duas vezes por ano,
primeiro para os candidatos tra-

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

dicionais e depois para presos e

internos de unidades socioeducativas, como a Fundao Casa.
Tambm fazem a prova nessa
segunda data candidatos que,
por um motivo ou por outro,
ficaram sem nota no primeiro
exame. Em diversas edies do
Enem isso ocorreu com moradores de reas que ficaram
inundadas no dia da primeira
prova. Outro grupo que fez o
Enem na segunda data foi o de
639 estudantes do Cear que
teve as provas anuladas pelo vazamento do pr-teste em 2011.
O segundo motivo pelo qual
a comparabilidade importante
vem do fato de o Enem no ser
s um processo seletivo. Um
dos objetivos do exame fazer
um raio X da educao bsica
ao trmino do ensino mdio,
fornecendo dados para orientar
polticas pblicas. Isso no seria
possvel se o exame no fosse
comparvel ano a ano, para sa-

ber se as polticas adotadas tm

dado algum resultado.

USANDO A TRI NA SUA ESCOLA

Graas em boa parte TRI, o
Enem um instrumento confivel de mensurao do desempenho dos estudantes brasileiros. O problema que a
montanha de dados gerados raramente tem servido para aperfeioar o ensino na prtica. E
no estamos falando s no nvel do macro, dos governos estaduais e federal, mas tambm
no das escolas. O Enem poderia ser um roteiro do que necessrio para formar estudantes
qualificados, mas essa chance
tem sido, na maioria dos casos,
pouco aproveitada.
Especialista em avaliao da
Geekie, Claudio Maroja, colaborador do Banco de Itens do
Inep, fala com essa experincia
e com a de professor das redes municipal e estadual de So

preciso usar o resultado

dos exames de forma a fazer efeito.
No Brasil voc tem muitos dados,
mas eles no so de fcil leitura. O Inep
v a avaliao como fim, no como meio.
Para ns (educadores) ela meio.
Claudio Maroja, especialista em avaliao da Geekie
e colaborador do Banco Nacional de Itens
1 5 W W W. G E E K I E . C O M . B R

MAI.2015

Paulo. preciso usar o resultado dos exames de forma a fazer efeito. No Brasil voc tem
muitos dados, mas eles no so
de fcil leitura, diz. O Inep v
a avaliao como fim, no como
meio. Para ns (educadores) ela
meio.
Traduzir o resultado da avaliao em ao pedaggica
uma tarefa complexa. preciso
montar um plano de ensino e
uma sequncia didtica, saber
o que o aluno domina e o que
necessrio ele aprender, etapa
por etapa, para chegar a uma
pontuao maior. No se trata
de apagar incndios, mas criar
um ciclo de trabalho.
Muitas vezes, mesmo nas escolas privadas, que em tese tm
melhor estrutura, o uso dos resultados das avaliaes deixa a
desejar. Uma reao comum aos
resultados do Enem adotar a
poltica de apertar o ritmo de
estudos para fazer a nota subir
no exame seguinte. Isso ocorre,
por exemplo, quando a escola
cai no ranking do exame e passa
a temer a perda de alunos para
concorrentes.
Como puxar a nota mais
fcil com alunos de maior proficincia, as escolas esquecem
quem est em um nvel inferior, diz Maroja. Chegam ao
ponto de fazer provas especficas s para turmas avanadas
ou s para os piores alunos. Elas
se esquecem de que o estudante

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

no de nvel inferior, ele est

em um nvel inferior.
Uma das sadas para essa situao pode ser a escola incorporar a TRI e as provas de resultados comparveis ao seu dia a
dia. A Geekie fornece uma plataforma que utiliza a TRI, numa
escala comparvel do Enem,
para calibrar questes preparadas por uma rede prpria
de professores. Como a nota
comparvel do exame oficial,
as avaliaes permitem antecipar o desempenho dos estudantes e, com isso, possibilitar
o delineamento da melhor estratgia de ensino. De modo a
contribuir com o processo de
ensino, a plataforma da Geekie
tambm aponta os pontos fracos
e fortes do aluno e monta para
ele um plano de estudos, atualizado periodicamente graas a
algoritmos de ensino adaptativo.
Dissemos l no comeo do
texto que a TRI um conjunto
de modelos matemticos. Alguns deles so mais complexos
que o do Enem e permitem a
realizao de avaliaes com outros propsitos e caractersticas.
Por exemplo, h modelos da
TRI que permitem a utilizao
do chamado item politmico
ordinal, ou seja, admite respostas graduais do tipo discorda/
discorda totalmente/concorda/
concorda totalmente.
Tambm possvel montar
provas que consideram acer1 6 W W W. G E E K I E . C O M . B R

tos parciais. Conhecido como

Modelo de Samejima em homenagem sua criadora, a psicometrista japonesa Fumiko Samejima, essa variante da TRI j
foi usada no Brasil, na anlise da
prova de escrita da ANA (Avaliao Nacional de Alfabetizao).

ENEM ONLINE,
A APOSTA PARA O FUTURO
No mdio prazo, entretanto,
a mudana mais provvel do
Enem sua transformao em
prova digital. Em janeiro o exministro da Educao, Cid Gomes, acenou com a possibilidade
de adotar um exame online. Os
candidatos marcariam a data na
qual fariam o exame, como j
ocorre com testes internacionais. o caso do Toefl, exame
que avalia conhecimentos em
ingls, tem vrias edies por
ano e realizado em mais de
4.500 locais de 165 pases.
O prprio Gomes reconheceu na poca que, antes de mais
nada, preciso ampliar bastante

MAI.2015

o nmero de questes do Enem

armazenadas no Banco Nacional de Itens. O crescimento do
banco tambm requisito para
o desenvolvimento de provas
adaptativas. Nelas, o computador submete as questes ao
aluno de acordo com a resposta
ao item anterior. O objetivo
ter um vestibular o mais personalizado possvel.
Amaury Gremaud, da USP
Ribeiro, concorda que o Enem
online traria vrios benefcios,
comeando por eliminar o pesadelo logstico que organizar
o exame hoje. Se voc coloca
8 milhes de pessoas sentadas
para fazer uma prova em um
s dia pas afora, h um grande
risco de que haja problemas,
diz. S que para ter o Enem online voc precisa de um banco
de itens fenomenal. Os grandes
exames l de fora tm centenas
de milhares de questes.
Para Ruben Klein, da Cesgranrio, o exame online
mesmo o futuro, desde que o

U M A H I S T R I A DA T R I : E N T E N DA
A R G U A D E AVA L I A O D O E N E M

banco de itens seja realmente

robusto. Nos Estados Unidos
tiveram de tirar do ar um teste
adaptativo porque as questes
estavam muito repetitivas, diz
Klein. Aqui no Brasil tem cursos de preparao para testes do
Detran em que voc vai l treinar e as mesmas questes caem
na prova.
Klein acredita, no entanto,
que para o Enem digital dar
certo so necessrias mudanas
na lei, com o objetivo de resguardar o sigilo das questes.
O Enem um tipo de concurso no qual o aluno sai com
a prova. O ideal numa prova
adaptativa que no tivesse
uma legislao que te obrigasse
a divulgar o exame, diz.
Dalton Andrade, da Federal
de Santa Catarina, diz que, apesar das ressalvas, a prova adaptativa a ideal, porque permite
medir o conhecimento do candidato de forma mais precisa
sem que ele precise enfrentar uma maratona de questes.
Na prova nica voc tem pessoas de nveis muito diferentes, quem est l em baixo tem
muito pouco item para acertar
e quem est l em cima tem
muito pouco item para errar,
diz. um tipo de exame no
qual voc tem problemas nessas duas pontas.
Na prova adaptativa, o candidato pode responder a um
maior nmero de questes
1 7 W W W. G E E K I E . C O M . B R

que ficam no seu nvel de conhecimento ou prximas dele.

O aluno s vai responder aos
itens difceis se for de alta proficincia, caso contrrio vai ficar nas questes mais fceis.
preciso ter um nmero significativo de itens para que a pessoa possa se expressar bem neles, explica Dalton.
Parece cronometrado. Mal o
professor Dalton acabou de falar e Julia terminou a redao.
Deu um suspiro de alvio e alisou o vestido que desta vez
tinha motivos geomtricos no
lugar de flores. Dali a alguns
meses, ela conferiu pela internet sua pontuao no Enem.
Foi bem o suficiente para entrar no curso de Cincias Sociais. Feito bastante comemorado em casa, com os pais, e
mais tarde com amigos num
barzinho da Vila Madalena.
Clarissa terminou a redao
quase meia hora depois de Julia.

MAI.2015

Teve mais dificuldades nas provas objetivas do exame, mas foi

muito bem na redao. No final, ela tambm conseguiu nota
suficiente para entrar na educao superior e realizou o sonho do pai.
O fato de Clarissa ter conseguido entrar na faculdade graas
redao mostra a importncia
dessa prova na composio da
nota final. Essa a nica prova
do Enem que no usa a Teoria
de Resposta ao Item. O Inep j
convocou universidades e institutos de pesquisa interessados
em investigar meios de adotar a
TRI na produo de texto. Esto sendo feitos estudos. Uma
possibilidade a de o corretor
entrar como mais uma mtrica
de avaliao, de se tentar determinar o quanto um corretor
mais rigoroso do que outro, diz
Camila, da Geekie. Mas a redao j assunto para um prximo ebook.

CADA PESSOA APRENDE

DE UM JEITO DIFERENTE.
ENTO, POR QUE ENSINAR
DA MESMA FORMA?
A Geekie uma soluo educacional capaz de
potencializar o aprendizado e melhorar o desempenho
de cada aluno sem deixar ningum para trs

COM A GEEKIE, SEUS ALUNOS E A

SUA ESCOLA PODEM MUITO MAIS
RELATRIOS
GERENCIAIS
Professores e gestores
tm acesso a relatrios de
desempenho de cada aluno
e, assim, conseguem fazer
intervenes direcionadas

PREPARAO
PARA O ENEM
Avaliaes na escala ENEM
no comeo e fim do ano letivo.
O aluno tem uma estimativa
da sua nota no exame oficial e
tem um poderoso instrumento
de anlise da evoluo

INTERESSADO?
A gente vai adorar falar com voc
SAIBA MAIS

www.geekie.com.br

PLATNICA
DE AFOR
CRED ESTUD MA
ENCI
ADA OS
P

MEC

ELO

ENGAJAMENTO
DO ALUNO
Contedo dinmico,
desenvolvido para a
plataforma digital