Beruflich Dokumente
Kultur Dokumente
Prova Brasil
na educao pblica
// ndice
ndice 2
Sobre o QEdu 18
2
O impacto da Prova Brasil na educao pblica QEdu
1 Perceber se os alunos de uma mesma escola e rede de ensino dominavam competncias comuns, isto , o
bsico que se espera de conhecimento de habilidades cognitivas, como portugus e matemtica;
2 Desenvolver um mtodo que permitisse comparar os resultados da avaliao ao longo dos anos, pois s
assim seria possvel verificar a evoluo do aprendizado e traar metas;
3 Instituir um mtodo adequado de correo das provas que demonstrasse se de fato houve e qual o nvel
de aprendizado dos alunos.
A prova foi desenvolvida pensando esses trs grandes desafios. Entenda como eles foram solucionados.
A. Matriz de Referncia
O primeiro grande desafio da Prova Brasil foi elaborar uma matriz de referncia das competncias e
habilidades que seriam exigidas dos alunos. Essa matriz se refere ao mnimo que se espera que o aluno
tenha aprendido, no que diz respeito ao conhecimento cognitivo em portugus e matemtica, em cada etapa
escolar.
Por isso, a Prova Brasil testa os alunos nas competncias de matemtica e portugus. A avaliao elaborada
de forma que contemple todas as habilidades exigidas na matriz de referncia. Durante a correo, avaliado
se o conjunto dos alunos de uma turma demonstraram conhec-las.
Cabe ressaltar que a matriz no deve ser confundida com as propostas curriculares das redes
ou com os projetos polticos pedaggicos das escolas, pois no englobam todo o currculo
escolar. Para selecionar quais as competncias e habilidades em Lngua Portuguesa e
Matemtica que seriam avaliadas, o Inep baseou-se nos Parmetros Curriculares Nacionais,
nos currculos adotados pelas Secretarias Estaduais de Educao e por algumas redes
municipais para as sries e disciplinas avaliadas, alm de consultar os livros didticos mais
utilizados por professores das rede de ensino pblicas e privadas.
Outra informao importante que a Matriz de Referncia a mesma para todas as edies da Prova Brasil,
possibilitando, junto com a escala SAEB, a comparao dos resultados em diferentes anos. E assim entra-se no
segundo grande desafio da Prova Brasil.
3
O impacto da Prova Brasil na educao pblica QEdu
B. Escala Saeb
O objetivo da Prova Brasil no reprovar ou aprovar o aluno, mas medir o aprendizado para assim dizer
se seu direito educao est sendo garantido. O primeiro passo foi desenvolver uma escala onde fosse
possvel apontar qual o nvel de aprendizado dos alunos. Semelhante a uma rgua, a Escala Saeb o
instrumento onde se localiza o que o aluno aprendeu ou deixou de aprender.
importante ressaltar que nesta escala no esto posicionados os descritores da matriz de referncia,
mas sim a descrio do nvel que busca representar sua dificuldade, ou seja, aquilo que em cada faixa de
pontuao o aluno provavelmente ser capaz de dominar. Dessa maneira, uma habilidade pode ser exigida
em vrios nveis.
Alm de revelar o conhecimento dos alunos, era preciso dizer se o que eles aprenderam o adequado para
a sua etapa escolar, ou seja, se dominam habilidades mnimas que lhe permitam avanar para uma prxima
etapa. Este foi outro ponto extremamente importante que a Escala Saeb ajudou a solucionar.
A escala determina quais so os itens mais fceis e mais difceis. Isto porque cada item da Prova Brasil possui
uma nota estabelecida, uma vez que todas as questes so testadas anteriormente. Esta nota dada de
acordo com o nvel de dificuldade percebido no teste, que feito por um grupo de alunos sorteados pelo Inep
e que no sabem que esto resolvendo questes da Prova Brasil.
Com a definio de uma escala, foi possvel dizer a partir de qual ponto dela os alunos
realmente aprenderam o que deveriam em uma disciplina em determina etapa escolar. Assim,
quando os alunos respondem aos itens da Prova Brasil, a proficincia, isto , o desempenho dos
alunos nas provas de portugus e matemtica, posicionado nesta escala.
Como a matriz de referncia de elaborao e a correo da prova sempre a mesma, a escola tambm
podem verificar a evoluo do aprendizado ao longo dos anos. Alm disso, diferentemente das provas que o
professor aplica em sala de aula, a metodologia adotada na construo e aplicao dos testes da Prova Brasil
adequada para avaliar redes ou sistemas de ensino, e no alunos individualmente. Este foi o terceiro grande
desafio da Prova Brasil.
4
O impacto da Prova Brasil na educao pblica QEdu
Essa teoria no foi criada pelo Inep ou pelo Saeb; uma teoria de testes ultilizada internacionalmente
, servindo tambm para avaliaes nos Estados Unidos e na Holanda, por exemplo. Utilizando a TRI as
notas no so mais calculadas pela soma dos acertos, mas levam em conta o nvel de dificuldade das
questes acertadas e a coerncia dos acertos.
Com a TRI ainda possvel comparar os resultados ao longo dos anos, pois ela foi essencial para criar a escala
de habilidades que os alunos desenvolveram. Assim podemos ter um diagnstico da educao dos anos
iniciais e finais das redes e escolas nas quais a Prova Brasil realizada.
A TRI tambm ajudou a solucionar um outro problema: avaliar a escola e a rede de ensino e no o
aluno. Como seu objetivo verificar se o sistema de ensino est cumprindo seu papel de proporcionar
o aprendizado, no fazia sentido
avaliar os alunos inidividualmente.
Por isso, o prprio modo como a
prova estruturada e respondida
foi desenvolvido para possibilitar a
avaliao do sistema e no do aluno.
5
O impacto da Prova Brasil na educao pblica QEdu
Apesar de a ideia de aprendizado no poder ser reduzida a de aprendizado cognitivo, a Prova Brasil conseguiu
suprir uma necessidade primria.
Dado que o sistema educacional existe para servir o cidado, ele deve ser analisado pelo
aprendizado dos seus alunos medido em uma mtrica comum. A Prova Brasil foi um passo
fantstico, no sentido de que se criou uma maneira de verificar se o direito dos alunos est ou
no atendido.
Francisco Soares, presidente do Inep
Alm disso, a Prova Brasil foi constituda a partir de uma metodologia de avaliao que permite verificar o
aprendizado de toda a trajetria escolar do aluno (no s do ano letivo que ele est matriculado) e a evoluo
do ensino ao longo dos anos, j que a prova segue uma mesma matriz de referncia e escala de notas em
todas as edies. Essa padronizao permite listarmos pelo menos trs pontos importantes que no seria
possvel ter acesso sem a Prova Brasil.
6
O impacto da Prova Brasil na educao pblica QEdu
Alm desta avaliao do aprendizado, o Brasil incluiu no ndice a aprovao. A ideia era perceber se os
alunos esto sendo aprovados dominando as habilidades que deveriam para uma determinada etapa escolar.
Isso significa que no basta o aluno aprender, ele precisa ter aprendido na idade certa. Caso no existisse
a Prova Brasil ou uma avaliao parecida, seria preciso considerar outras dimenses educacionais que
pudessem atestar a qualidade do ensino no pas e tambm seria difcil comparar os resultados brasileiros
com o de outros pases.
Assim, alm de ser usada para o clculo do Ideb, a Prova Brasil tambm fornece dados detalhados de como
est o aprendizado de determinadas competncias e habilidades nas escolas que compem as redes pblicas
de ensino. Lembre que a prova elaborada a partir de uma matriz de referncia, composta por tpicos
(competncias) e esmiuados em descritores (habilidades especficas). Assim, ficou mais fcil organizar e
trabalhar com todo o contedo sugerido durante a criao da matriz e dar resultados mais detalhados para
as redes fazerem diagnsticos.
7
O impacto da Prova Brasil na educao pblica QEdu
Neste captulo, listamos alguns pontos importantes que podem ajudar na preparao para essa avaliao.
>
Escolas urbanas e rurais que possuam pelo menos 20 alunos no 5 ou no 9 ano do Ensino Fundamental.
Apenas os alunos matriculados nestas sries realizam a prova, mas que avalia o aprendizado obtido ao
longo da sua trajetria escolar.
> As escolas pblicas e particulares que tenham de 10 at 19 alunos matriculados nestas sries podem
participar da ANEB (Avaliao Nacional do Ensino Bsico) caso sejam sorteadas, compondo uma
amostra complementar Prova Brasil.
B. O que avaliado
..
A Prova Brasil testa os alunos em duas disciplinas:
Portugus
Matemtica
Entender as competncias avaliadas em cada disciplina apenas o primeiro passo. O segundo saber que a
prova tem uma organizao muito peculiar, mas interessante e que pode fazer muita diferena.
8
O impacto da Prova Brasil na educao pblica QEdu
C. Organizao da prova
Uma das caractersticas que conferem credibilidade Prova Brasil e que permite posicionar o nvel de
aprendizado de toda a turma na escala Saeb que ela avalia um nmero alto de habilidades. Para se ter ideia,
em cada edio so aplicados 77 tens para o 5 ano e 91 para o 9 ano para cada disciplina. Como o objetivo
avaliar o sistema e no um aluno individualmente, no necessrio que ele responda a todas as perguntas.
Para isso, a metodologia chamada Blocos Incompletos Balanceados (BIB), cujo objetivo permitir que um
grande nmero de itens sejam aplicados ao conjunto de alunos avaliados, sem que cada aluno precise
responder a todas as questes.
preciso destacar que cada habilidade pode ser testada em dois ou mais blocos. Como no final todos os
alunos de uma turma tero respondido a todas as perguntas da Prova, uma habilidade ter sido respondido
por dois ou mais alunos. Assim, possvel dizer se a turma domina ou no determinadas habilidades.
9
O impacto da Prova Brasil na educao pblica QEdu
D. Questionrios contextuais
A aplicao de questionrios contextuais uma das partes mais importantes da Prova Brasil e todos os
envolvidos devem estar atentos. So usados para coletar informaes sobre o contexto socioeconmico e as
caractersticas de alunos, professores, diretores e escolas, bem como sobre as condies em que ocorrem os
processos de ensino e aprendizagem.
Assim, os questionrios devem ser respondidos pelos alunos e professores dos anos avaliados e
pelos diretores das unidades escolares. H, ainda, um questionrio da escola, que respondido pelo
aplicador da avaliao.
10
O impacto da Prova Brasil na educao pblica QEdu
largamente conhecido o uso da Prova Brasil para fins de clculo do Ideb. Mas os resultados da prova vo
muito alm e tm um papel fundamental para a educao brasileira. Os resultados gerados a partir da Prova
Brasil so utilizados para oferecer subsdios formulao, reformulao e monitoramento de polticas
pblicas e programas de interveno ajustados s necessidades diagnosticadas.
Com o uso da Prova Brasil, pesquisadores de todo o Brasil, o MEC, os 26 estados mais o Distrito Federal, as
mais de 5,5 mil secretarias de educao e cada uma das escolas do pas, podem refinar o olhar sobre o que
est e o que no est funcionando nos seus processos pedaggicos. Esta a grande vantagem da Teoria da
Resposta ao Item (TRI), permitir comparabilidade e saber se o que foi feito ao longo de dois anos teve ou no
impacto significativo no aprendizado.
Veja no infogrfico todos os usos da Prova Brasil, segundo a portaria de divulgao da edio deste ano:
11
O impacto da Prova Brasil na educao pblica QEdu
De acordo com Antnio Nvoa, socilogo portugus, aprender tudo que nos une e que nos
liberta. O que nos une a cultura e o conhecimento nos liberta. Assim, mesmo que a ideia de
aprendizado no possa ser reduzida ideia de aprendizado cognitivo, necessrio que ele seja
medido a partir de uma mtrica comum. Alm disso, os sistemas de avaliao so uma boa
ferramenta para gestores e professores melhorarem a educao
Francisco Soares, presidente do Inep
Soares agrupou em trs grandes categorias os usos que a Prova Brasil pode ter para as escolas e para as
redes de educao: o uso normativo, o pedaggico e o administrativo e gerencial.
A. Uso normativo
Segundo Francisco Soares, o uso normativo diz respeito a ter uma indicao clara se o que o aluno aprendeu
est adequado ou no. Perceba que no passar ou no passar. Essa uma ideia excludente, explica.
A maneira de olhar para os dados deve refletir os valores de uma viso democrtica do
processo de ensino e aprendizagem. Ao observarmos outros sistemas de medida, veremos
que possvel se deparar com nveis de aprendizagem como o bsico, o adequado - aprendeu
o esperado - e o avanado - aprendeu alm - e, no caso brasileiro, ainda preciso se utilizar
do conceito de insuficiente para aqueles que esto abaixo do nvel bsico, ou seja que no
aprenderam nem o bsico
Francisco Soares, presidente do Inep
Para Soares, a escola deve ser vista pela porcentagem dos alunos em cada nvel, e todos os alunos devem
estar em algum lugar e serem considerados sem tirar uma mdia.
B. Uso pedaggico
Saber quantos alunos esto em cada nvel ainda no suficiente para transformar a educao, segundo
Soares. Para ele, preciso entender o que os resultados esto falando. A interpretao pedaggica da
avaliao nos ajuda a entender e a poder agir nas dificuldades dos alunos, afirma.
12
O impacto da Prova Brasil na educao pblica QEdu
Para entender os resultados, preciso antes ter claro o conceito de cada nomenclatura utilizada na Prova
Brasil. Para Soares, as habilidades, que so conhecimentos especficos, se somam para resultar em uma
competncia, como a de leitura. preciso sair da proficincia, que um nmero, para algo que pedaggico
e faz sentido para o professor, explica.
A essncia da interpretao pedaggica que o item da prova e o aluno so posicionados na mesma escala, e
por isso possvel identificar em qual nvel ele est na escala e quais itens, geralmente os que possuem nvel
de dificuldade acima da posio do aluno, ele teria maior probabilidade de errar.
O segundo passo utilizar os resultados para desenvolver projetos de intervenes pedaggicas necessrias
para agir onde os alunos tm mais dificuldade.
Por exemplo, quem est no nvel insuficiente precisa de recuperao. J para os que esto
no bsico, seria interessante a escola ter uma proposta de reforo, pois os conhecimentos
dos estudantes ainda muito elementar. Para os alunos do adequado preciso aprofundar
o contedo. J para os que esto no avanado, incentivar a participao em olimpadas de
matemtica, portugus etc.
Francisco Soares, presidente do Inep
Soares defende ainda a incluso de uma nova categoria, de excludos, e que isto tenha peso na nota das
escolas e das redes. Neste caso, o resultado da escola no seria observado por seu patamar, isto , a mdias
dos ltimos anos, e a melhoria, mas tambm o esforo das escolas, o quanto de fato ela contribuiu para o
aprendizado dos alunos. Eu acho que a gente precisa explicitar esse esforo para ter um dilogo mais
razovel com o concreto. Por exemplo, escolas que selecionam seus alunos geralmente tm melhores
resultados e o esforo da escola foi mnimo para que ela apresentasse aquele resultado, justifica.
Por isso, preciso falar de resultado, mas tambm de esforo. No podemos falar sobre
o resultado como se fosse algo ruim. O aprendizado um direito e deve estar registrado.
Vivemos numa sociedade democrtica, na qual o cidado tem o direito de se manifestar e
questionar o que no aprendeu, mas poderia ter aprendido
Francisco Soares, presidente do Inep
13
O impacto da Prova Brasil na educao pblica QEdu
Esse fato hipottico tem grandes chances de acontecer caso a escola no se prepare para o momento de
aplicao da Prova Brasil. Conversamos com professora Marilde Fonseca, que foi aplicadora da Prova Brasil
2013 e hoje coordenadora de polo da Prova Brasil em Florianpolis (SC), para entender como a prova
aplicada. A professora, hoje aposentada, contou como acontece o processo de aplicao da prova e deu
algumas orientaes para que as escolas possam se preparar para este momento to importante.
As secretarias de educao tm um papel fundamental nesse processo tambm, pois podem atuar
juntamente com as escolas para prepar-las e impedir que problemas como estes atrapalhem o desempenho
dos alunos na prova.
Depois, vamos para a sala de aula organizar a aplicao. O professor da turma permanece em sala
durante toda a aplicao, mas no interage com as crianas durante a prova. Quando h crianas
com deficincia na turma, outro aplicador e outro professor capacitado precisam estar juntos
tambm.
Antes de iniciar a prova, o professor da turma assina um termo de sigilo, para no correr o risco de a
prova vazar. Isso porque s vezes um mesmo professor leciona em mais de uma escola em que ser
aplicada a Prova Brasil, ento ele no pode nem ter acesso prova. Em seguida, o aplicador explica
para as crianas o que a Prova Brasil, orienta sobre a importncia dela e explica como vai ocorrer
o processo. Aps o incio da prova, as crianas no devem sair at o final da aplicao, a no ser
acompanhados pelo professor.
Ao final de todo o processo, o aplicador indicado pelo coordenador solicitar que um funcionrio da
escola o acompanhe para que ele possa responder ao questionrio da escola que est relacionado
principalmente infraestrutura.
14
O impacto da Prova Brasil na educao pblica QEdu
Aps selecionados, eles passam por uma capacitao de seis horas que geralmente acontece alguns
dias antes da prova. Durante esse momento, os aplicadores precisam aprender desde o que e
a importncia da Prova Brasil, para poder explicar para o professor e para a turma, at a maneira
como ela deve ser aplicada em sala de aula, ou seja, todos os procedimentos burocrticos de
organizao e aplicao das provas para garantir o seu sucesso.
Cada aplicador responsvel por acompanhar a realizao de oito a dez provas numa rede. Em cada
uma delas preciso estar atento para que no ocorra nenhum tipo de fraude. Ento os aplicadores
aprendem o passo a passo da aplicao: quais os documentos que precisam ser assinados, o que
pode e o que no pode falar em sala, onde realizar cada procedimento, como abertura e fechamento
do malote de provas, organizao das crianas e distribuio das provas em sala etc.
As provas vm identificadas e existem provas adicionais para alunos que no esto na lista.Se
sobrar prova, por exemplo, elas so recolhidas e colocadas dentro de uma bolsa que fica na posse
do aplicador durante toda a avaliao, e ningum, nem professor e nem aplicador, podem folhe-la.
Apesar disso, os professores colaboram muito durante a aplicao. Nunca tive problemas com isso,
embora eu saiba que alguns tm resistncia com a Prova Brasil.
Outro ponto que pode fazer com que os professores tenham algum receio da prova que,
geralmente quando se avalia uma criana, eles acham que automaticamente se est avaliando
o professor e at mesmo o gestor da escola. Alegam que a escola tem problemas internos, e
a aparece uma pessoa de fora para fazer uma avaliao dos alunos... ento pode ser que haja
resistncia da parte deles por isso.
15
O impacto da Prova Brasil na educao pblica QEdu
MARILDE: Muito difcil, porque os aplicadores so treinados para no deixarem isso acontecer. s
vezes o professor pode ver alguma questo por algum descuido e mesmo sem querer, mas isso
no atrapalha tanto. Os que tive a oportunidade de acompanhar at hoje tinham muita conscincia
sobre a importncia da prova.
Os aplicadores tomam muito cuidado para que no haja nenhuma fraude. Por exemplo, os
professores no ficam a ss com os alunos durante a aplicao, as provas no ficam em cima de
mesas para que os professores no as vejam alm disso, o professor assina um termo de sigilo, o
que d ainda mais segurana para prova.
MARILDE: Sim! Na maioria das escolas onde eu apliquei, os prprios professores reforam com os
alunos antes da aplicao da prova a importncia dela, explicam como ela funciona para que ele
fiquem calmos e possam fazer uma boa prova.
16
O impacto da Prova Brasil na educao pblica QEdu
MARILDE: So trs orientaes que eu acho que podem fazer a diferena. A primeira que os
professores dispensem um tempo para ensinar os alunos a como marcarem cartes-resposta e provas
como essa. Isso faz toda a diferena, pois o aluno no perde tempo e pode se dedicar mais resoluo
da prova. A segunda orientao que o professor tenha ateno de no dia a dia das aulas explicar o
significado de termos comuns que caem na prova, como assinale, circule, escolha etc. s vezes
eles at conseguiriam responder questo, mas no conseguem entender como respond-la porque
no compreendem esses termos no enunciado.
A ltima orientao seria para os diretores. interessante fazer uma reunio com toda a equipe
da escola antes da aplicao da prova. No somente com os professores que iro acompanhar o
aplicador, mas toda a equipe mesmo, desde os professores de educao fsica at a equipe da copa,
limpeza etc. Isso evita que aconteam imprevistos durante a realizao da prova que atrapalhem o
desempenho dos alunos.
17
O impacto da Prova Brasil na educao pblica QEdu
QEdu
Use dados, transforme a educao
Acreditar que dados so essenciais no processo de transformao da educao brasileira o que tem movido
o QEdu. Nosso time acredita que possvel sim dar vida aos dados educacionais para auxiliar gestores,
diretores, professores e todos os interessados a fazerem melhores escolhas na educao. Com esse ideal,
aplicamos tecnologias inovadoras e design moderno para facilitar o acesso aos dados educacionais, usamos
referenciais tericos slidos para mostrar como possvel usar os dados, e assim construmos o QEdu, um
projeto indito desenvolvido em parceria entre a Meritt e a Fundao Lemann.
Ns queremos estar presente no dia a dia das instituies e pessoas comprometidas com a melhoria da
educao bsica, e, por isso, buscamos sempre conhecer e suprir as necessidades das escolas e redes
educao com relao ao uso de dados e indicadores educacionais. Para isso, o QEdu est criando
conexes mais fortes com cada um de seus pblicos, oferecendo mais dados, mais informaes, mais
conhecimento, aprendendo e crescendo junto com ele, criando uma rede de pessoas interessadas, engajadas
e empoderadas para transformar a educao do Brasil.
Siga o QEdu
18