>

Avaliao

A escala da discrdia
Novos critrios do Sistema Qualis, da Capes,
recebem crticas da comunidade cientfica

etores da comunidade cientfica receberam com

crticas as mudanas no Sistema Qualis, ferramenta usada pela Coordenao de Aperfeioamento
de Pessoal de Nvel Superior (Capes) para classificar os peridicos nos quais os programas de
ps-graduao publicam sua produo cientfica.
Enquanto o sistema de categorizao anterior dividia os veculos segundo sua circulao (local, nacional e
internacional) e a sua qualidade (A, B, C), a nova escala
formada por oito estratos (A1, A2, B1 a B5 e C). O estrato
C tem peso zero. A avaliao da qualidade da produo
passa a ser medida primordialmente pelo fator de impacto
(FI) dos peridicos, independentemente do mbito da sua
circulao. O FI, utilizado como ferramenta de avaliao
desde os anos 1960, busca medir o impacto cientfico de
uma publicao levando em conta o ndice de citao dos
trabalhos publicados em outros artigos.
O denominador comum das crticas vincula-se ao peso
exagerado que o fator de impacto passa a ter na classificao
da Capes e seus efeitos sobre publicaes mal avaliadas
previsvel que elas passem a ser evitadas pelos pesquisadores
e tenham ainda mais dificuldade em se consolidar. A reao
mais contundente veio da rea de qumica. Em novembro
de 2008, o Frum de Coordenadores de Ps-graduao em
Qumica reuniu-se em Ribeiro Preto, interior paulista,
com uma agenda que inclua a discusso da avaliao dos
cursos. Aps dois dias de debates, foi divulgada uma moo
que considerou inadequada a nova classificao da Capes.
Em sua primeira edio de 2009, a revista Qumica Nova,
vinculada Sociedade Brasileira de Qumica, reforou
a posio assumida pelo frum. Um editorial assinado
por dois dos pesquisadores da rea mais produtivos do
pas, Fernando Galembeck, da Universidade Estadual de
Campinas (Unicamp), e Jailson Bittencourt de Andrade,
da Universidade Federal da Bahia (UFBA), ao mesmo tempo que ressaltava a importncia da avaliao expunha o
descontentamento com a mudana no Qualis.
De acordo com o editorial, a valorizao excessiva da
visibilidade e da insero internacional dos peridicos,
medida pelo FI, promove diferenciaes artificiais entre

32

junho DE 2009

PESQUISA FAPESP 160

publicaes de subreas da disciplina.

Considerando-se uma rea especfica
como a qumica, a comparabilidade
entre os peridicos utilizando o fator
de impacto (FI) incorre em srios desvios. Por exemplo, o peridico Inorganic
Chemistry dificilmente apresentar um
FI maior do que Analytical Chemistry,
o que no significa que no haja artigos
de excelente qualidade nas duas disciplinas. Simplesmente a visibilidade das
inovaes metodolgicas analticas em
outras disciplinas maior do que a da
qumica inorgnica, escreveram Galembeck e Andrade.
De acordo com Andrade, a Capes
deveria sofisticar seu esquema de avaliao. O sistema brasileiro de avaliao tem sido muito importante para
elevar a qualidade da ps-graduao,
sou inteiramente favorvel a ele, afirma o professor. Mas o fator de impacto no uma medida absoluta de
qualidade. preciso criar um sistema
mais complexo, que d um peso maior
a outros indicadores, como, por exemplo, o destino dos egressos dos programas de ps-graduao. H programas
cujos doutores no conseguem depois
ser aprovados em concursos de profes-

sores das universidades pblicas. Esse

indicador fala mais sobre a qualidade
do que o nmero de papers publicados, afirma.
Limite Lvio Amaral, diretor de ava-

liao da Capes, diz que a mudana

foi necessria porque a escala adotada
anteriormente perdera sua capacidade
de discriminar os programas de psgraduao. Deve-se sempre enfatizar
que a avaliao dos programas de psgraduao considera um conjunto de
indicadores e que o Qualis Peridicos
aplica-se apenas a um deles, o que se
refere produo intelectual, disse
Amaral. Ele argumenta que a estratificao foi realizada por cada uma das
47 coordenaes de reas da Capes e
que nem todas elas trabalham com
FI. Tambm lembra que essa medida
atribuda por um conjunto de procedimentos independentes da agncia.
Como sabemos, para que uma dada
revista tenha um fator de impacto, ela
deve ser indexada e analisada no ISIThomson. Uma vez atribudo um fator
de impacto, ele um e um s, seja no
Brasil, seja em qualquer outro pas no
mundo, afirmou.

O editorial da Qumica Nova repercutiu em outras das chamadas cincias

duras. No Boletim da Sociedade Brasileira
de Fsica, Silvio Salinas, professor do Instituto de Fsica da Universidade de So
Paulo, endossou a crtica. Francamente,
acho que atingimos um limite perigoso,
que coloca em risco o prprio conceito
de avaliao. Por exemplo, o que significa classificar Physical Review D como
A2 e Physical Review B como B1? Por
acaso os particuleiros so melhores do
que os solidistas?, pergunta o professor.
Acho que est na hora de refletir sobre
essa numerologia, que pouco a pouco
se acentua em todas as reas, impulsionada pelas facilidades da informtica e
por uma vaga ideia de globalizao. Ser
que a numerologia vai mesmo substituir
a avaliao dos pares?, diz Salinas.
O professor da USP toca num ponto-chave, que a utilizao cada vez
mais recorrente de critrios bibliomtricos como ferramentas de avaliao.
Eles vm substituindo sistemas mais
complexos, como a avaliao por pares
(peer review), na qual os membros de
uma comunidade acadmica mensuram a qualidade de um determinado
trabalho, como faz a FAPESP na avaliao dos projetos de pesquisa que
financia. A discusso internacional.
O Reino Unido, por exemplo, planeja
a substituio de Research Assessment
Exercise (RAE), que periodicamente
avalia a qualidade da pesquisa de suas
universidades e orienta a distribuio
de recursos e baseado primordial-

Condenao - Um grande risco embu-

tido na mudana do Qualis, dizem seus

crticos, a condenao de publicaes
importantes, mal avaliadas por razes
que vo da periodicidade irregular
escassez de recursos. razovel supor
que elas sejam menos procuradas por
pesquisadores de peso e mergulhem
PeSQUISA FAPESP 160

junho DE 2009

33

marcos garuti

mente em peer review. No lugar, deve

surgir um sistema mais simples e barato, que utilizar mais crtrios bibliomtricos como o fator de impacto, mas
preservar uma boa dose de peer review
(ver Pesquisa FAPESP n 156). O formato do novo sistema ainda est em
construo e inspira controvrsias na
comunidade acadmica britnica. No
incio do ano, editores de publicaes
internacionais da rea de humanidades
e cincias sociais lanaram um manifesto insurgindo-se contra uma proposta da Unio Europeia que buscava
categoriz-las em trs escalas segundo
seu fator de impacto e disseminao. A
ideia da escala acabou abandonada (ver
Pesquisa FAPESP n 157).
Rogrio Meneghini, que coordenador cientfico da biblioteca eletrnica
SciELO Brasil, explica que a utilizao
crescente de indicadores bibliomtricos deve-se necessidade de avaliar
uma produo cientfica que cresce
em ritmo veloz. O fator de impacto
uma ferramenta adequada para avaliar a produo acadmica de grupos
de ps-graduao, pois mesmo desvios
para cima ou para baixo que possam
surgir na avaliao de cada pesquisador so compensados quando se v o
grupo inteiro, afirma. Lvio Amaral,
da Capes, acrescenta: O uso do Qualis Peridicos totalmente inadequado na avaliao de pesquisadores. Ele
se destina anlise de programas de
ps-graduao, e no de pesquisadores
individualmente.

num crculo vicioso de perda de prestgio. O zologo Miguel Trefaut Rodrigues, professor do Instituto de Biocincias da USP, d exemplos em sua
rea. No posso aceitar a ideia de que
publicaes tradicionais e de alta penetrao e respeito internacional como
Arquivos do Museu Nacional, Boletim
do Museu Nacional, Arquivos de Zoologia, Boletim do Museu Goeldi e algumas
publicaes novas com corpo editorial
de alta qualidade venham listadas com
B5, ao lado de panfletos e jornalecos de
divulgao feitos por amadores, disse
Trefaut. Ele lembra que algumas dessas
publicaes no tm ndice de impacto
porque sua periodicidade irregular,
mas tiveram e mantm uma importncia significativa no desenvolvimento da
cincia brasileira.
A falta de periodicidade, ele explica,
se deveu sobretudo escassez de recursos, mas elas serviram para informar a
comunidade internacional sobre avanos do conhecimento, como a descrio de novas espcies, uma etapa que j
no existe mais nos pases de Primeiro
Mundo que j tm a fauna conhecida.
Trata-se de uma completa falta de viso
da realidade da cincia brasileira. No
estamos no Primeiro Mundo. Se hoje
temos excelentes bibliotecas zoolgicas
com colees completas de peridicos
estrangeiros no Museu de Zoologia da
USP, foi graas permuta que fizemos
com as publicaes internacionais, utilizando nossas revistas como moeda de
troca. Isso e o elevado conceito que ainda tm revelam a importncia que elas
tiveram no avano da cincia nacional.
Vamos jogar isso no lixo?
A sociloga da cincia Lea Velho,
professora da Universidade Estadual de
Campinas, chama a ateno para o impacto que a perda de prestgio das publicaes pode acarretar. Na maioria
dos campos do conhecimento h uma
diversidade de paradigmas e publicaes que os contemplam um economista marxista no publica seus papers
em peridicos de orientao neoclssica, por exemplo. O risco tirar a voz de
paradigmas minoritrios e exigir que se
publique tudo no chamado mainstream. Isso uma loucura para a cincia,
afirma. Segundo a professora, as reas
multidisciplinares so especialmente
afetadas pelos critrios da Capes. H
um discurso segundo o qual a multidis34

junho DE 2009

PESQUISA FAPESP 160

Prev-se que
publicaes
rebaixadas pelo
Sistema Qualis
sejam menos
procuradas por
pesquisadores
de peso e
mergulhem num
crculo vicioso de
perda de prestgio

ciplinaridade o caminho a ser seguido, pois enfrenta os problemas da vida

real. Mas os pesquisadores dessa rea
publicam em peridicos novos e pouco
citados, porque suas comunidades so
ainda pequenas e incipientes. O vis da
Capes notadamente disciplinar: quem
quiser ser bem avaliado ter que publicar em reas consolidadas, afirma Lea
Velho. Ela faz outra ressalva: pesquisas
de interesse apenas regional tambm
sairo perdendo. J h uma tendncia na pesquisa agrcola de prestigiar
temas de interesse internacional em
detrimento da soluo de problemas
da agricultura nacional, que sempre foi
a tnica do Brasil nessa rea.
Falta de critrio - Rogrio Meneghini

faz uma crtica falta de critrio na poltica de avaliao da Capes. A maioria

dessas publicaes contou nos ltimos
anos com apoios financeiros do governo
federal, como os editais do CNPq. A mudana na avaliao prejudica esse investimento, afirma. Segundo ele, o impacto
alcanado por publicaes de muitos
pases desenvolvidos se deve ao incentivo para que as publicaes melhorem.
Isso vem sendo feito no Brasil por meio
da SciELO, financiada pela FAPESP, que

estimulou a adoo de normas rgidas de

qualidade pelos peridicos e os tornou
mais visveis, graas a um sistema de
acesso aberto. As publicaes da SciELO beneficiaram-se enormemente desse
estmulo, afirma Meneghini.
Em carta enviada ao presidente da
Capes, Jorge Guimares, no final de
maio, 78 pesquisadores de botnica e
zoologia reclamaram do rebaixamento de peridicos de suas especialidades
pelo novo Qualis, apesar dos esforos
feitos para melhorar a sua qualidade.
Nesse sentido, apontamos como um
caminho alternativo para as revistas
nacionais o uso pela Capes do sistema
SciELO, que vem avaliando e monitorando h anos o parque de revistas cientficas brasileiras, diz o manifesto, encaminhado Capes por Rodney Ramiro Cavichioli, presidente da Sociedade
Brasileira de Zoologia. Hussam Zaher,
professor do Instituto de Biocincias
da USP e um dos coordenadores do
manifesto, diz que a Capes, ao adotar
um sistema de avaliao que privilegia
um parmetro, acaba decidindo sozinha sobre uma seara que diz respeito
a outros atores, caso, por exemplo, do
Ministrio da Cincia e Tecnologia. O
cenrio muito complexo e no pode
ser gerenciado de uma forma simplista.
No devemos rejeitar avaliaes o que
pedimos que o sistema seja bem pensado, bem articulado, diz o professor,
que editor das revistas do Museu de
Zoologia da USP. Gostaria de ver um
sistema que qualificasse nossas revistas
e nos ajudasse a competir. Esse sistema
vai levar extino de publicaes. No
acho que seja salutar reduzir a possibilidade de expresso da comunidade
cientfica brasileira, afirmou.
Mas h pases, diz Rogrio Meneghini, que seguem uma estratgia diferente. Ele cita exemplos como o da
Sucia ou da Holanda, que pouco se
preocupam com a manuteno de suas
publicaes, mas tm uma estratgia
clara de cultivar editores nos comits
das publicaes internacionais. Quem
est nesses comits tem poder de deciso, e isso se traduz na aceitao dos
bons artigos publicados no pas. Mas o
nmero de editores brasileiros em publicaes internacionais ainda muito
pequeno, afirma Meneghini.
n

Fabrcio Marques